总体框架 在智慧城市海量数据的背景下,以新型智慧城市信息化系统中间件为核心设计理念,以不同维度为客户提供量身定制的产品为原则,科学梳理不同部门的图像及数据监管需求并将其纳入数据中心集中管理,通过小v(大数据平台)创新的大数据分析处理技术,对这些数据进行分析、挖掘、提炼,从各种海量的数据中成长出各式各样的业务,进而为新型智慧城市建设提供多源信息采集、海量数据汇聚、智能分析处理、大数据深度挖掘、城市态势展报、惠民信息等多样化服务,创建城市管理社会服务新模式,从而实现新型智慧城市的核心价值。
小v大数据引擎 而小v大数据引擎,是利用开源大数据平台,为智慧城市提供一个可横向扩充的、高性能的大数据管理平台,其主要功能包括各种数据提供快速的提供秒级查询与统计(OLAP)、实时模型对比、预测预警、定时离线分析、数据清洗与重塑等功能。
系统亮点特色 1、系统能力的横向扩充,一个智慧城市物联网管理环节在刚开始搭建的时候,收集到的数据量并不是很大,但随着时间的推移,采集到各式各样的数据会随着时间堆积,系统会随着数据的增加在存储空间、统计报表、数据检索、离线分析方面会变的越来越慢,到最后物理网经营者或系统管理者,不能不选择放弃系统所采集到的有价值的数据,而这些数据都蕴含着各种各样的价值。小V大数据引擎它兼顾Hadoop-Spark大数据系统所有特征,提供性能与存储的1+N的横向扩充,也就是随着时间的推移数据的累积,当单台小V大数据引擎不能满足性能与存储要求,可以通过增加数据节点,是系统能力得到线性的增加。 2、去中心化软件系统,去中心化是使系统稳定性,每个节点都是一个完整的大数据系统,多个节点互相连接组成一个性能更高的大数据集群。当大数据集群中某个节点出现故障时,不会影响整个集群的稳定性。 3、数据安全性,采集到的数据一旦进入大数据系统就很难丢失。数据被按照数据块备份多份分布在不同的数据节点中,而一个节点的故障不会影响整个系统,当这个节点恢复时,这个节点的数据也会被修复。 4、适合于海量数据的处理与分析,系统就是为海量数据处理而设计的,小V大数据引擎可高速的对海量数据进行统计分析,数据搜寻秒级响应,实时模型对比、预测预警、定时离线分析、数据清洗与重塑等功能,能够实现数据的价值转换。 5、使用灵活,小V大数据引擎提供统一方便的SDK,方便于基础到多个系统中。可根据用户与物联网系统经营者的需求,根据所采集的数据,做离线分析、机器学习,对整个物联网IoT进行不断地优化,给出各种优化建议,能够降低整个系统的使用成本,真正做到高效、节能、安全、省心、省钱。
|