课程链接： https://www.itwangzi.cn/4433.html
面向政府业务开发者的数据开发平台
互联网、金融、汽车、零售等行业因为竞争激烈，数据价值挖掘成为驱动行业增长与业务创新的重要因素之一，快速调整业务需求及充分开发数据价值，是这些行业的特点，由此，诞生了一大批成熟的减少编码工作量及实施时间，降低开发成本、提升效率、敏捷易上手及易扩展的数据开发平台。但在政府内网领域，特别是纪检监察、司法领域，以大数据挖掘、分析为突出特征的“智慧警务”、“智慧法院”、“智慧检务”、“智慧监督”等概念也随之兴起。由于行业的专业性、敏感性、封闭性、安全性等特点，很多业务系统的建设目标、技术体系、应用系统和数据库各自为政，业务系统之间出现割裂、隔离，数据标准不规范，各系统数据难以融会贯通，数据质量无保证、数据不能有效利用和无法响应快速的业务迭代创新等问题制约着业务往真正的智慧方向发展，特别是传统的数据分析技术架构的基本范式，业务人员只负责业务层面的开发和应用，底层的数据开发基本上交给专业的IT 人员或运维人员去处理，原因是与业务相关的数据ETL任务专业性强且繁杂，纯业务人员不愿意触及，但涉及敏感的数据业务交给IT人员或运维人员，给平台带来的安全性和埋下的隐患不言而喻。广州达爱数据开发平台，可以实现面向政府业务开发者，从数据接入层到数据服务输出层全流程安全管控的数据活动，提供一站式可视化解决方案，数据处理不再需要专业的IT人员。从数据接入采集、存储资源、计算引擎、数据治理、数据预处理中间件、数据仓库、API服务、数据可视化及GI自助建模等功能，实现对数据进行集中处理、统一标准和有效整合，构建起多层次的大数据生产、采集和分析体系，将“智慧警务”、“智慧法院”、“智慧检务”、“智慧监督”变得更加容易。达爱数据开发工作台，构建面向政府业务开发者的数据专有开发平台，将数据开发拆分为数据接入、数据治理、数据ETL开发、数据仓库、数据建模、数据跨平台服务输出、数据机器学习、数据可视化及研判报告等模块。针对每个模块的不同特点，将其进一步细分为一系列步骤组合，使得业务开发者按照步骤先后完成各个任务即可完成整个模块工作。1、数据接入层及接入策略统一的数据采集接入功能，支持对数据接入的插件化管理，提供多源异构数据、同源异构等数据模式的接入策略，形成数据开发中心的原始库，并对原始库有相应的数据管理机制，如数据血缘（数据来源）、数据质量报告（数据完整性、重复性、时效性、来源性等进行质量评估）、数据生命周期（数据更新周期、更新方式、销毁方式等）、数据接入方式（在线、离线、数据来源等）、数据增加方式（全量、增量、其它）等有相应的数据监测和管理策略。
2、数据治理层及治理策略
政府信息化发展大致经历了初期的烟囱式系统建设、中期的集成式系统建设和后期的数据管理式系统建设三个大的阶段，可以说是一个先建设后治理的过程。数据治理内容包括：组织体系、标准体系、流程体系、评价体系、技术体系、元数据管理、数据标准管理、主数据管理、数据质量管理、数据安全管理等。
3、数据预处理（ETL）及处理策略
数据预处理包含对资源库的结构化、非结构化、半结构化数据进行处理等，数据处理方式包括数据的抽取、清洗转换、加载到数据主题库、专题库的自动或半自动过程，目的是将资源库中分散、零乱、标准不统一的数据整合到一起，为数据分析平台的决策提供分析依据和数据资产。包括多表拼接、新增列及格式化数据等处理功能。
4、面向业务的数据仓库（结合纪委监委或检察院业务特点）能够敏捷式管理数据组织中的原始库、资源库、主题库、专题库、知识库和个人库等。原始库：数据在原始库中形成数据缓存层，以支持数据加工。同时实现了非结构化数据的关键信息的提取、数据分级分类标签等处理。原始库对外提供了查询、比对、推送、订阅等服务。同时为后续的数据血缘追踪提供溯源支持。资源库：是对原始库数据进行清洗标准化及轻度整合，形成全量数据的持久化层。资源库对外支持数据的分类检索、轨迹碰撞，及明细数据的统计、分析、比对、推送、订阅等服务。主题库：通过归并及建模，形成全息视图，并且通过实体间的关系构成了关系类知识图谱和事理图谱。对外在各中心共享了实体间的关系，并完成实体标签、数据分析、统计、比对等服务。专题库：为特定的分析模型业务活动提供基础数据、临时数据、分析统计类数据、挖掘类数据等，并记录业务过程中总结及发现的相关知识。知识库：资源库、主题库和业务库均有可能用到知识库，通过对资源库、主题库和业务库进行挖掘，可反哺和进一步完善知识库。5、快速的数据建模（GI）及模型输出达爱GI是旨在帮助政府的数据分析人员充分了解和利用他们的数据，利用内置的可视化数据预处理工具，不需要代码就可以对多个数据表进行交并差联等多表进行处理，内置对单表数字、字符、时间、布尔等类型的常规算法，用户只需通过简单的拖拉拽等操作方式，便能对多种数据进行常用的数据碰撞、互斥、求和、排序、频率频数、中位数、标准差、方差、平均值、时间序数（以时间为单位的各种上述运算）制作出丰富多样的数据可视化信息，数据报表输出，实现自由地对数据进行分析和探索。6、提供跨平台、系统及应用的数据服务（API）
服务总线通过API接口方式提供服务，服务构建平台为应用开发提供支撑。通过以上方式，形成数据中心手段丰富、分类服务、按需动态授权的数据服务综合模式。7、机器学习及可视化服务组件随着AI技术的发展与大数据应用的需求，达爱GI还内置了一些常用的人工智能算法，帮助用户做好对数据趋势的预测、判断、分析等功能，内置的AI算法有：古典概率、条件概率、正态分布、线性回归、分类、聚类、时间序列等算法。同时，根据用户当前分析的字段种类和个数，自动推荐合适的图表类型，常见数据可视化图表有：柱状图、折线图、饼图、散点图、雷达图、箱型图、气泡图、词频图、桑基图、热力图、关系图、漏斗图等。