一文看懂互联网反欺诈体系建设

反欺诈作为一个职能，在互联网、金融、传统零售等各行各业广泛的存在。反欺诈是一个跨安全、风控、数据、研发、内控等多学科的一个新兴领域。本文结合近年来互联网领域内的反欺诈现状，针对互联网反欺诈体系建设过程中的经验和教训进行了简单的总结和罗列。

❶

随着互联网的发展，网络购物、网络游戏、网络出行、网络视频、外卖、互联网教育、互联网金融等各种互联网平台如雨后春笋，越来越多曾经只能在线下享受的服务成为“互联网+“。得益于互联网服务的发展，互联网欺诈也得到了充足的资源和动力实现快速的发展，欺诈手法多种多样且灵活多变，随着互联网业务的变化和发展不断的演进，并且迅速的开始规模化、产业化和专业化。

❷

互联网业务特点，对互联网反欺诈体系提出了更高的要求。

✦ （准）实时性：考虑到用户体验，互联网反欺诈体系必须能够在非常短的时间内对欺诈行为进行认定，并给出判断。对于注册、登陆、支付等一些场景，必须能够在用户无感知到情况下对欺诈行为进行检测和认定。

✦ 自动化：由于（准）实时性的要求较高，决定了互联网业务无法通过人工操作进行反欺诈，必须使用更加高效的自动化反欺诈错事。

✦ 数据化：与传统的线下反欺诈不同，自动化的反欺诈检测本质上是数据应用能力的比拼。数据采集能力、挖掘能力和分析能力、建模能力，决定了互联网反欺诈能力的高低。

❸

以上原则决定了互联网反欺诈体系对人员、方法、技术、数据等方面均存在特有的需求和特点：

传统的线下反欺诈往往是单兵作战，但建设互联网反欺诈体系需要一个完整的团队，各个岗位分工配合共同完成。一个完备的反欺诈策略体系需要以下几类岗位人员。

✦ 策略人员：互联网反欺诈体系需要有大量熟悉互联网欺诈手段和防范方法的反欺诈策略人员。反欺诈策略人员应当实时关注互联网欺诈的动态，及时发现新出现的互联网欺诈手段和手法，并有效的调度和利用既有的资源制定反欺诈的策略，进行防范。

✦ 运营人员：由于互联网欺诈行为的多样性和灵活性，欺诈手段会不断的出现变化和创新。反欺诈运营人员应当建立起各类反欺诈运营监控指标体系，通过监控指标的变化，不间断的分析指标变化原因，及时发现穿透反欺诈策略体系的欺诈行为并予以应急响应。此外，运营人员还应该与业务部门、产品部门、营销部门保持高度密切的沟通，做欺诈风险和用户体验的平衡。

✦ 调查人员：反欺诈调查人员应当人工对各种已经发生或正在发生的互联网业务请求进行人工的调查、核实。对于在人工调查中发现的漏报欺诈行为，应当及时的止损、追损，如取消订单（互联网电商）、拦截发货（互联网电商）、贷后提前介入（互联网金融）等。

✦ 数据挖掘人员：数据挖掘人员主要负责将系统采集的各种形式的数据进行解析和挖掘，输出各种特征，使其能够被应用于反欺诈建模和反欺诈策略工作。该岗位的工作可与公司数据分析、用户画像等部门共享。

✦ 数据建模人员：数据建模人员负责利用系统采集到的客户数据和数据挖掘输出的特征，建立欺诈模型，对客户的欺诈概率进行判断。该岗位的工作可与企业内部其他数据建模工作共享。

✦ 研发人员：负责各类反欺诈系统的开发和维护、反欺诈策略和模型的实现。

相较于线下反欺诈，互联网反欺诈对于人员的需求的最大特点，在于对于研发人员和数据挖掘、数据建模人员的巨大需求。

反欺诈的方法多种多样，当前互联网反欺诈体系中常用的方法有信誉库、专家规则、机器学习等几种：

✦ 信誉库：

信誉库即传统的黑、白名单，通过内部积累、外部获取的各种人员、手机号、设备、IP等黑、白名单对欺诈行为进行判断，是一种实施简单、成本较低的反欺诈手段。与此同时，信誉库也存在着准确度低、覆盖面窄的缺陷和不足，仅可作为互联网反欺诈的第一道过滤网使用。

✦ 专家规则：

专家规则是目前较为成熟的反欺诈方法和手段，主要是基于反欺诈策略人员的经验和教训，制定反欺诈规则。当用户的操作请求和操作行为触发了反欺诈规则时，即被认定为欺诈行为并启动拦截，常见的如各种聚集度规则等。

专家规则的优势在于实现较为简单、可结实性强，但缺陷在于专家规则存在有严重的滞后性，对于新出现的欺诈手段和方法无法及时的进行应对，往往需要着付出大量损失后才能总结教训提取新的规则。此外，由于人脑的限制，专家规则只能使用一个或几个维度的标量进行计算和识别，往往存在有较大的误报率。

专家规则严重依赖于策略人员的经验和教训，不同水平的策略人员制定的专家规则效果也会纯在较大区别，主要可以作为互联网反欺诈的应急响应手段和兜底防线。

✦ 机器学习：

机器学习反欺诈是近年来比较火的一种反欺诈方法，目前也取得了一定的成果，最为常见的如芝麻信用分等。

机器学习反欺诈是通过机器学习方法，将用户各个维度的数据和特征，与欺诈建立起关联关系，并给出欺诈的概率。

常见的机器学习反欺诈包括有监督和无监督两种：

▶  基于有监督机器学习的反欺诈：

有监督机器学习反欺诈是目前机器学习反欺诈中较为成熟的一种方法。其基本思路是通过对历史上出现的欺诈行为进行标记，利用逻辑回归等机器学习算法，在海量的用户行为特征、标签中进行分类，发现欺诈行为所共有的用户行为特征，并通过分值、概率等方式予以输出。

由于互联网欺诈行为的多样性，很难百分百的将欺诈行为与正常行为完全进行区分，因此有监督机器学习反欺诈等最大难点在于如何准确获取大量欺诈行为的标记。

▶  基于无监督机器学习的反欺诈：

无监督机器学习反欺诈是近来行业内出现的一种新兴思路，也成为一些公司的卖点，但迄今为止尚未出现较为成熟和经过实践验证的解决方案。

相对于有监督机器学习的反欺诈，无监督机器学习的反欺诈方法不需要预先标记欺诈行为，而是通过对所有用户和所有操作行为各纬度数据和标签的聚类，找出与大多数用户和行为差异较大的用户和操作请求，并予以拦截。

理论上，基于无监督机器学习的反欺诈方法可以使得反欺诈人员摆脱被动防守的局面。但是由于无监督机器学习算法对于数据的广度、数据使用的深度都有着极其高的要求，因此无监督机器学习算法的效果仍需等待实践的检验。

如果把互联网反欺诈看作是一顿大餐的烹饪，那么互联网反欺诈的方法就如同一本菜谱。就像天下烹饪无非煎炒烹炸蒸煮炖，反欺诈的方法也是万变不离其宗。

但是，在不同的反欺诈团队手里，同样的反欺诈方法却可以发挥出截然不同的效果。对于反欺诈方法运用的好，可以在准确拦截欺诈者避免欺诈损失的同时，让正常用户完全无感址。反之，若对欺诈方法等使用不当，则可能使得正常用户被折磨的苦不堪言，欺诈者却依然如入无人之境。因此，结合企业反欺诈需求和场景，组合各类反欺诈方法和手段，实现企业综合利益最大化应当是每一个反欺诈团队永远的追求。

互联网反欺诈常用的技术主要包括数据采集、特征工程、决策引擎、数据分析等几个类别：

✦ 数据采集技术：

数据采集技术主要是应用于从客户端或网络获取客户相关数据的技术方法。值得强调的是，数据采集技术的使用，应当严格遵循法律法规和监管要求，在获取用户授权的情况下对用户数据进行采集。

✦ 设备指纹：

设备指纹是目前在互联网领域被广泛使用的一种技术手段，其在反欺诈体系中的作用也从最早的设备唯一标示，变为了客户端数据采集器。

设备指纹服务目前市场上有大量的服务提供商，评价一个设备指纹服务的优劣应当综合考虑覆盖度、唯一性、全面性等几个方面。

✦ 网络爬虫：

网络爬虫技术即可以用于用户运营商数据、信用卡数据、网络交易数据等各类数据等的爬取，也可以应用于司法老赖名单、网络核查数据的爬取。

✦ 特征工程技术：

特征工程技术是指可以从原始数据中进行数据挖掘的各类技术。常见的特征工程技术如生物识别、活体检测、文本语义分析、知识图谱等。

✦ 生物识别：

生物识别，如声音识别、人脸识别等，是指对用户特定生物特征进行检测和识别一种技术手段，通过比对用户的生物特征信息，判断用户身份，主要用于用户身份的核实等场景，防止出现用户帐户被盗用的情况。

✦ 活体检测：

活体检测技术主要通过要求用户做特定动作或朗读特定内容，对用户是活人还是机器进行判断和检测，是防范欺诈团伙批量攻击的一种有效手段。

✦ 文本语义分析：

文本语义分析主要用于对文本类数据的解析和挖掘，从用户评论等文本内容中提取用户特征。

✦ 知识图谱：

知识图谱是利用图数据库，从特定维度对不同用户和不同操作行为之间进行关联和计算，从而发现不同用户和不同操作之间的关联关系，可以用于团伙特征检测等场景。

✦ 数据分析技术：

随着互联网反欺诈方法等不断演进，数据分析技术也成为反欺诈能力构建的一个核心能力。海量数据和特征的处理也对数据分析技术提出了更高的要求。常见的数据分析技术包括实时分析（如Storm）和离线分析（如Hadoop）两类，具体介绍可以参见大数据相关技术。

✦ 决策引擎：

反欺诈决策引擎是互联网反欺诈体系的大脑和核心。一个功能强大的决策引擎，可以将信誉库、专家规则和反欺诈模型等各类反欺诈方法有效的整合，并为反欺诈人员提供一个操作高效、功能丰富的人机交互界面，大幅降低反欺诈运营成本和响应速度（如明策决策引擎集机器学习、专家规则、反欺诈模型于一体，可实时生成可视化报表）。

对于决策引擎好坏的判断，应当从引擎处理能力、响应速度、UI界面等多个维度进行综合判断。

反欺诈技术能力犹如锅碗瓢盆灶，反欺诈技术能力的高低，决定了互联网反欺诈能力的高度。与线下反欺诈不同，互联网反欺诈是攻守双方在技术上的对抗。特别是在欺诈团伙已经开始产业化，并且广泛使用大数据、人工智能等前沿技术的时候，反欺诈技术能力直接影响着互联网反欺诈效果的好坏。

数据是互联网反欺诈能力的基础。互联网反欺诈体系的建设，对于数据的广度和深度都提出了非常高的要求。业内目前常用的数据从类别上可以分为以下几类：

✦ 设备类：

设备类数据主要指用户客户端（如手机、平板电脑、笔记本、PC等 ）等各类参数，主要通过页面、APP内嵌入各类sdk，js脚本等方式进行采集和获取。

✦ 环境类：

环境类数据是指用户发起操作请求时所处环境的相关数据，可以分为虚拟环境和物理环境两大类。

虚拟环境数据，主要指用户所的IP、WiFi等网络环境相关数据。

物理环境数据，主要指用户的手机定位、基站位置等相关数据。

✦ 行为类：

行为类数据是指用户在网页或APP上进行各种操作时的各类数据，如用户页面停留时长、文本输入时长、键盘敲击频次等。

✦ 第三方数据：

第三方数据指通过从公开途径或第三方数据服务商处获取的各类数据，包括但不限于用户的运营商数据、电商消费数据、银行数据、司法数据等各类数据。

由于监管要求，此类数据往往是已经进行脱敏处理的标签数据。考虑到这类数据会产生一定的数据成本，同时其真实性和准确性也参差不齐，所以在使用这类数据时，应当十分谨慎。

反欺诈数据的分类和使用仁者见仁智者见智，但正所谓巧妇难为无米之炊，数据的完备性决定了反欺诈体系的天花板，直接限制了反欺诈体系效果可以达到最高水平。