【机器学习PAI实践四】如何实现金融风控
2017-04-18 17:08
232 查看
(本文数据为虚构,仅供实验)
本文的业务场景如下:
下图是已知的一份人物通联关系图,每两个人之间的连线表示两人有一定关系,可以是同事关系或者亲人关系等。已知“Enoch”是信用用户,”Evan”是欺诈用户,计算出其它人的信用指数。通过图算法,可以算出图中每个人是欺诈用户的概率,这个数据可以方便相关机构做风控。
![](https://zos.alipayobjects.com/rmsportal/kRYqfAwTVhGWHqc.png)
具体字段如下:
数据截图:
![](https://zos.alipayobjects.com/rmsportal/OfkCBoVXsiMPwWR.png)
![](https://zos.alipayobjects.com/rmsportal/bUAaUWykPyJfsgP.png)
![](https://zos.alipayobjects.com/rmsportal/AleBndNADLzhVoO.png)
如下图:
![](https://zos.alipayobjects.com/rmsportal/FRzzxiNLABdQmDL.png)
调用“标签传播分类”组件除了要有所有人员的通联图数据以外,还要有人员打标数据。这里通过“已知数据-读odps”组件导入打标数据(weight表示目标是欺诈用户的概率):
![](https://zos.alipayobjects.com/rmsportal/jfcpbFHmdzGupZI.png)
通过SQL对结果进行筛选,最终结果展现的是每个人涉嫌欺诈的概率,数值越大表示是欺诈用户的概率越大。
![](https://zos.alipayobjects.com/rmsportal/KIyOZONFgyVolJT.png)
免费体验:阿里云数加机器学习平台
一、背景
本文将针对阿里云平台上图算法模块来进行实验。图算法一般被用来解决关系网状的业务场景。与常规的结构化数据不同,图算法需要把数据整理成首尾相连的关系图谱。图算法更多的是考虑边和点的概念。阿里云机器学习平台上提供了丰富的图算法组件,包括K-Core、最大联通子图、标签传播聚类等。本文的业务场景如下:
下图是已知的一份人物通联关系图,每两个人之间的连线表示两人有一定关系,可以是同事关系或者亲人关系等。已知“Enoch”是信用用户,”Evan”是欺诈用户,计算出其它人的信用指数。通过图算法,可以算出图中每个人是欺诈用户的概率,这个数据可以方便相关机构做风控。
![](https://zos.alipayobjects.com/rmsportal/kRYqfAwTVhGWHqc.png)
二、数据集介绍
数据源:本文数据为自己生成,用于实验。具体字段如下:
字段名 | 含义 | 类型 | 描述 |
---|---|---|---|
start_point | 边的起始节点 | string | 人 |
end_point | 边结束节点 | string | 人 |
count | 关系紧密度 | double | 数值越大,两人的关系越紧密 |
![](https://zos.alipayobjects.com/rmsportal/OfkCBoVXsiMPwWR.png)
三、数据探索流程
首先,实验流程图:![](https://zos.alipayobjects.com/rmsportal/bUAaUWykPyJfsgP.png)
1.最大联通子图
最大联通子图的功能很好理解,前面已经介绍了,图算法的输入数据是关系图谱结构的。最大联通子图可以找到有通联关系的最大集合,在团伙发现的场景中可以排除掉一些与风控场景无关的人。本次实验通过“最大联通子图”组件将数据中的群体分为两部分,并赋予group_id。通过“SQL脚本”组件和“JOIN”组件去除下图中的无关联人员。![](https://zos.alipayobjects.com/rmsportal/AleBndNADLzhVoO.png)
2.单源最短路径
通过“单源最短路径”组件探查出每个人的一度人脉、二度人脉关系等。distance讲的是“Enoch”通过几个人可以联络到目标人。如下图:
![](https://zos.alipayobjects.com/rmsportal/FRzzxiNLABdQmDL.png)
3.标签传播分类
“标签传播分类”算法为半监督的分类算法,原理是用已标记节点的标签信息去预测未标记节点的标签信息。在算法执行过程中,每个节点的标签按相似度传播给相邻节点。调用“标签传播分类”组件除了要有所有人员的通联图数据以外,还要有人员打标数据。这里通过“已知数据-读odps”组件导入打标数据(weight表示目标是欺诈用户的概率):
![](https://zos.alipayobjects.com/rmsportal/jfcpbFHmdzGupZI.png)
通过SQL对结果进行筛选,最终结果展现的是每个人涉嫌欺诈的概率,数值越大表示是欺诈用户的概率越大。
![](https://zos.alipayobjects.com/rmsportal/KIyOZONFgyVolJT.png)
四、其它
参与讨论:云栖社区公众号免费体验:阿里云数加机器学习平台
相关文章推荐
- 【机器学习PAI实践九】如何通过机器学习实现云端实时心脏状况监测
- Linux内核实践 - 如何添加网络协议[三]:实现
- 关于 如何实践kernel/driver/u-boot ,怎么样按照作者的思路实现自己的代码
- elk实时日志分析平台部署搭建详细实现过程:加上个人实践意见,及如何避坑
- 中科院罗平演讲全文:自动撰写金融文档如何实现,用 AI 解救“金融民工” | CCF-GAIR 2017
- 从理论到实践,手把手教你如何用 TensorFlow 实现 CNN
- 【机器学习PAI实践七】文本分析算法实现新闻自动分类
- 从理论到实践,手把手教你如何用 TensorFlow 实现 CNN
- Linux内核实践 - 如何添加网络协议[二]:实现
- 利用图算法实现金融行业风控
- 支付行业,如何通过日志大数据实现深度分析及风控
- 如何将算法翻译成代码,软件设计实践,一个B Plus Tree算法实现(未完待续)
- Linux内核实践 - 如何添加网络协议[三]:实现
- Linux内核实践 - 如何添加网络协议[二]:实现
- golang实践-如何实现高性能的定时任务管理器
- SharePoint项目实践中如何实现非打破继承看上去很美的权限控制
- Linux内核实践 - 如何添加网络协议[三]:实现
- 互联网金融产品如何利用大数据做风控
- 金融领域如何基于大数据做风控
- 中科院罗平演讲全文:自动撰写金融文档如何实现,用 AI 解