面对领域大数据,在全生命周期的一体化协同环境下的大数据采集、存储、管理及分析处理都将面临着前所未有的挑战,具体而言,面临以下难题: 1)大数据采集问题。如何将大数据变小,在尽量不损失价值的情况下减少数据的规模,像数据的清洗、去除等等,即如何有效地处理大数据类似物理的作用,把大数据的规模变小但不损失价值;如何从一个平面的大数据提炼出高附加值的概念、知识和智慧。 2)大数据存储问题。对于结构化数据,海量数据的查询、统计、更新效率低;对于非结构化数据,如图片、视频等文件的存储、检索困难;对于半结构化数据,进行存储、分析需要转化为结构化数据,或者按照非结构化数据进行存储,难度较大。 3)大数据管理问题。如何对分布、多态、异构的大数据进行管理,当前还缺乏有效手段。 4)大数据分析处理问题。分布式计算、并行计算能够提供有效支持,而如何有效利用现有分布式、并行技术开展大数据的分析处理有待研究。 5)大数据领域应用问题。如何应用大数据辅助具体的领域应用,如:快速开展治安防控、警情研判及指挥决策。同时,如何发掘行业信息资源价值,提高领域大数据的利用率亟待研究。
..
|