当前互联网企业存在很多业务风险,有些风险(比如薅羊毛)虽然没有sql注入漏洞利用来的直接,但是一直被羊毛党、刷单党光顾的企业长期生存下来的几率会很低!
- 账号:垃圾注册、撞库、盗号等
- 交易:盗刷、恶意占用资源、篡改交易金额等
- 活动:薅羊毛
- 短信:短信轰炸
实时业务风控系统是分析风险事件,根据场景动态调整规则,实现自动精准预警风险的系统。
本项目只提供实时风控系统框架基础和代码模板。
- 哪些是风险事件,注册、登录、交易、活动等事件,需要业务埋点配合提供实时数据接入
- 什么样的事件是有风险的,风险分析需要用到统计学,对异常用户的历史数据做统计分析,找出异于正常用户的特征
- 实时性,风险事件的分析必须毫秒级响应,有些场景下需要尽快拦截,能够给用户止损挽回损失
- 低误报,这需要人工风控经验,对各种场景风险阈值和评分的设置,需要长期不断的调整,所以灵活的规则引擎是很重要的
- 支持对历史数据的回溯,能够发现以前的风险,或许能够找到一些特征供参考
- 轻量级,可扩展,高性能的Java实时业务风控系统
- 基于Spring boot构建,配置文件能少则少
- 使用drools规则引擎管理风控规则,原则上可以动态配置规则
- 使用redis、mongodb做风控计算和事件储存,历史事件支持水平扩展
- 次数统计,比如1分钟内某账号的登录次数,可以用来分析盗号等
- 频数统计,比如1小时内某ip上出现的账号,可以用来分析黄牛党等
- 最大统计,比如用户交易金额比历史交易都大,可能有风险
- 最近统计,比如最近一次交易才过数秒,可能机器下单
- 行为习惯,比如用户常用登录地址,用户经常登录时间段,可以用来分析盗号等
通用公式:某时间段,在条件维度(可以是多个维度复合)下,利用统计方法统计结果维度的值,充分发挥你的想象吧!
要将任意维度的历史数据(可能半年或更久)实时统计出结果,需要将数据提前安装特殊结果准备好(由于事件的维度数量不固定的,选取统计的维度也是随意的,所以不是在关系数据库中建几个索引就能搞定的),需要利用空间换时间,来降低时间复杂度。
redis中数据结构sortedset,是个有序的集合,集合中只会出现最新的唯一的值。利用sortedset的天然优势,做频数统计非常有利。
比如1小时内某ip上出现的账号数量统计:
-
保存维度
ZADD key score member(时间复杂度:O(M*log(N)), N 是有序集的基数, M 为成功添加的新成员的数量),key=ip,score=时间(比如20160807121314),member=账号。存储时略耗性能。 结构如下:
1.1.1.1 |--账号1 20160807121314 |--账号2 20160807121315 |--账号n 20160807121316 2.2.2.2 |--账号3 20160807121314 |--账号4 20160807121315 |--账号m 20160807121316
-
计算频数
ZCOUNT key min max(时间复杂度:O(1)),key=ip,min=起始时间,max=截止时间。计算的性能消耗极少,优势明显
-
redis lua
把保存维度,计算频数,过期维度数据等操作,使用lua脚本结合在一起,可以减少网络IO,提供性能
mongodb本身的聚合函数统计维度,支持很多比如:max,min,sum,avg,first,last,标准差,采样标准差,复杂的统计方法可以在基础聚合函数上建立,比如行为习惯:
getDB().getCollection(collectionName).aggregate(
Arrays.asList(
match(match) --匹配条件维度
, group("$" + field, Accumulators.sum("_count", 1)) --求值维度的次数
, match(new Document("_count", new Document("$gte", minCount))) --过滤,超过minCount才统计
, sort(new Document("_count", -1)) --对次数进行倒叙排列
)
);
建议在mongodb聚合的维度上建立索引,这样可以使用内存计算,速度较快。
redis性能优于mongodb,所以使用场景较多的频数计算默认在redis中运行,参考代码DimensionService.distinctCountWithRedis方法。但是redis为了性能牺牲了很多空间,数据重复存储,会占用很多内存。
- mysql,数据结构在import.sql中定义了
- redis
- mongodb,建议使用分片集群
- 应用配置:application.properties
- 日志配置:logback.xml
- 规则配置:rules/*.drl,规则都是用java语言编写。默认配置了登录事件的部分规则
单个规则文件说明:
package rules; --规则包路径
import com.example.riskcontrol.model.LoginEvent --引入类
import com.example.riskcontrol.service.DimensionService
import com.example.riskcontrol.model.EnumTimePeriod
global DimensionService dimensionService --引入外部服务
rule "98_login_ip" --规则名称,全局唯一
salience 98 --规则优先级,值越大越先执行
lock-on-active true --事件不重复执行该规则
when --条件判断,是否需要进入action
event:LoginEvent() --判断事件对象是否是LoginEvent类
then --action
int count = dimensionService.distinctCount(event,new String[]{LoginEvent.OPERATEIP},EnumTimePeriod.LASTHOUR,LoginEvent.MOBILE); --近1小时内该事件ip上出现的mobile数量统计
if(event.addScore(count,20,10,1)){ --如果统计结果超过20个,则记10分,并且结果每超1个,再多记1分
dimensionService.insertRiskEvent(event,"近1小时内同ip出现多个mobile,count="+count); --记录风险事件日志
}
end --结束规则
drools的详细文档,请参考官方 http://docs.jboss.org/drools/release/6.4.0.Final/drools-docs/html_single/index.html
系统默认采用jar打包和运行,建议集群方式部署,然后使用反向代理做负载均衡。
mvn clean install
建议jdk 8
java -jar riskcontrol-*.jar
如果需要tomcat等容器部署,也可将配置打包方式修改成war包方式,修改pom.xml
<packaging>war</packaging>
-
请求:http://domain/riskcontrol/req?json=JSON.toJsonString(LoginEvent)
-
响应:score字段代码该事件的风险值(超过100分预警)
- 扩展黑白名单,ip,手机号,设备指纹等;
- 扩展维度信息,比如手机号地域运营商,ip地域运营商,ip出口类型,设备指纹,Referer,ua,密码hash,征信等,维度越多,可以建立规则越多,风控越精准;
- 扩展风控规则,针对需要解决的场景问题,添加特定规则,分值也应根据自身场景来调整。
- 将用户的行为轨迹综合考虑,建立复合场景的规则条件。比如:登录->活动->订单->支付,将事件关联分析综合考虑;
- 减少漏报和误报。当然,这将是个漫长的过程;
我把本项目献给我的阳