1.大数据统计/分析
对大数据进行有效分析的前提是必须要保证数据的质量,高质量的数据和有效的数据管理,无论是在学术研究还是在商业应用领域,都需要保证分析结果的真实性和价值性。数据质量与管理是管理的最佳实践,通过标准化流程和机器对数据进行处理可以确保获得一个预设质量的分析结果。
大数据分析技术是改进已有数据挖掘和机器学习技术,目前,大数据分析技术的发展需要在两个方面取得突破:
1)对规模非常庞大的结构化数据和半结构化数据进行高效的深度分析。
2)对非结构化数据进行分析,将海量复杂多源的语音、图像和视频数据转化为机器可识别的、具有明确语义的信息,获取隐性知识。
大数据分析的技术路线主要是通过建立人工智能系统,使用大量样本数据进行训练,让机器模仿人工,获得从数据中提取知识的能力。科学家根据人脑认知过程的分层特性,提出增加人工神经网络层数和神经元节点数量,加大机器学习的规模.构建深度神经网络,可以提高训练效果,使得神经网络技术成为机器学习分析技术的热点,并在语音识别和图像识别方面取得了很好的效果。
2.大数据的展现技术
大数据技术能够将隐藏于海量数据中的信息和知识挖掘出来,为人类的社会经济活动提供依据,从而提高各个领域的运行效率,大大提高整个社会经济的集约化程度。大数据的展现技术包括图化展示(散点图、折线图、柱状图、地图、饼图、雷达图、K线图、箱线图、热力图、关系图、矩形树图、平行坐标、桑基图、漏斗图、仪表盘)和文字展示。基于数据应用服务的计算结果,在数据可视化层进行呈现。即在指挥中心的大型显示屏上显示,或者是基于电子地图的实时轨迹显示,或是基于交通流量统计的多种形式的信息发布等。