一种基于实时大数据的图指标解决方案

作者:京东科技 尚建平yHx搜集对生活有用的优质文章

1. 现有技术

在电商、金融风控领域,使用图来建模,将大量的人员和事件编织成一张庞大的图关系网络,构建图指标来识别异常人员和群体风险行为,目前图指标现有实现方式是基于离线数据或t+1数据构建图关系网络,图指标由业务人员或需求人员根据业务需要提出具体需求由开发人员临时开发、测试、部署、上线。yHx搜集对生活有用的优质文章

2. 现有技术的缺点

第一,图指标时效性差,无法实时更新图关系数据,在某些时效性强的场景下图指标不可用。yHx搜集对生活有用的优质文章

第二,创建、修改图指标流程繁琐,业务及需求人员无法单独实现,需开发人员临时开发。yHx搜集对生活有用的优质文章

第三,图指标相关元数据没有统一管理及分类,无法查看、修改、复用、追溯。yHx搜集对生活有用的优质文章

3. 本发明技术方案

3.1 本发明所要解决的技术问题(即发明目的)yHx搜集对生活有用的优质文章

第一,接收实时大数据流,实时构建图关系网络,图指标可基于实时图关系数据查询。yHx搜集对生活有用的优质文章

第二,业务及需求人员对图指标可视化创建、测试、上线,无需开发人员参与。yHx搜集对生活有用的优质文章

第三,图指标相关元数据进行统一管理及分类,可灵活查看、修改、复用、追溯。yHx搜集对生活有用的优质文章

3.2 本发明的完整技术方案yHx搜集对生活有用的优质文章

3.2.1 系统原理图、结构说明图或流程图yHx搜集对生活有用的优质文章

 yHx搜集对生活有用的优质文章

图1-系统原理图yHx搜集对生活有用的优质文章

3.2.2 技术方案详细描述yHx搜集对生活有用的优质文章

如图2-系统流程图所示,方案详细描述如下:yHx搜集对生活有用的优质文章

步骤1:实时图指标平台获取用户设计图指标相关的元数据信息,包括数据源、图模型、图指标等元数据。数据源信息描述了接入数据源类型和数据源字段信息,图模型信息描述图关系网络的构建模型及构建数据的字段映射信息,图指标信息描述图指标计算逻辑信息。yHx搜集对生活有用的优质文章

步骤2:实时图指标平台根据数据源信息接收外部实时流数据。数据源主要是可构建图关系网络的人员及事件信息,包括用户登入、注册、订单交易、风险决策等数据源。yHx搜集对生活有用的优质文章

步骤3:实时图指标平台将接收的实时流数据进行清洗、转换、分流。将接收的数据源中无效的数据及非法数据清除,并根据不同图模型数据要求对数据进行转换、分流。yHx搜集对生活有用的优质文章

步骤4:实时图指标平台根据图模型信息及数据字段映射信息,将实时数据流转换生成可插入图关系数据的类SQL。将人员及事件信息转换成用类SQL表示的用户、设备等节点及用户与设备节点之间关联的登入、注册等边数据。yHx搜集对生活有用的优质文章

步骤5:实时图指标平台通过对nebula图数据库各图空间执行类SQL将图关系数据插入更新至nebula图数据库。通过实时插入更新类SQL表示的节点及关联边数据,将大量的人员和事件编织成一张庞大的图关系网络,并实时更新。yHx搜集对生活有用的优质文章

步骤6:实时图指标平台接收外部系统查询图指标结果请求及入参,查询用户可视化配置的图指标相关元数据信息。如查询用户x近30天内使用过的所有设备关联的注册金白条用户数量。yHx搜集对生活有用的优质文章

步骤7:实时图指标平台将可视化配置的图指标元数据信息转换成用类SQL表示的图指标计算逻辑。如从用户x节点查找近30天登入、注册等边关联出的所有设备,再反向查找这些设备被多少注册过金白条的用户使用过。yHx搜集对生活有用的优质文章

步骤8:实时图指标平台通过对nebula图数据库执行查询类SQL,获取图指标查询结果,根据业务情况调整图指标阈值,识别异常人员和群体风险行为。如用户x近30天内使用过的所有设备关联的注册金白条用户数量大于5时,那么识别出用户x是风险用户。yHx搜集对生活有用的优质文章

 yHx搜集对生活有用的优质文章

图2-系统流程图yHx搜集对生活有用的优质文章

3.3 本发明希望保护的技术创新点yHx搜集对生活有用的优质文章

本发明通过接收实时大数据流,实时构建图关系网络,实现图指标数据实时查询。yHx搜集对生活有用的优质文章

本发明通过可视化配置维护图指标相关信息,实现图指标及相关元数据统一管理、快速部署上线。yHx搜集对生活有用的优质文章

也许你还喜欢

图片格式转换器ico图文教程详细解

ico格式也是我们经常接触到的如桌面的图标,也有一些公司的标志等等,那么怎样把图片转换

360随身wifi2使用教程图文解说

只要你的电脑上着网,不管是台式还是笔记本,只要插上360随身wifi二代,你的手机就能接受到

打电话对方听不到我的声音图文解决

伴随着五一小长假的临近,各种音乐节等演出活动纷纷拉开了序幕。2021年,草莓音乐节计划举

怎么网页翻译成中文操作步骤图文详

现在很多人都在使用电脑,那么怎么设置英文网页变成中文呢?今天小编为大家讲讲,希望能够对

怎么root安卓手机操作步骤图文详解

使用安卓手机的用户们,对手机root并不陌生,有的朋友们为了预装一些app,或者使用一些高级

kakaotalk怎么用以及注册方法图文

kakaotalk电脑版是一个功能和国内的微信差不多的手机聊天软件,拥有windows、iPhone、An

笔记本如何设置wifi热点图文操作步

虽然很多手机支持wifi,但是不加密或者知道密码的wifi热点却寥寥无几。笔记本的无线网卡

如何查车辆违章记录图文教程最新分

生活中车辆违章很常见,但如何快速的查询自己的违章记录呢?下面就由小编带你一起共同查询

删除浏览器上保存的密码具体操作方

有时候我们会遇到一些问题,比如如何删除浏览器上保存的密码?下面就为大家介绍一下。

怎样删除浏览器具体操作方法图文介

现在给大家介绍一下怎样删除浏览器