面对领域大数据，在全生命周期的一体化协同环境下的大数据采集、存储、管理及分析处理都将面临着前所未有的挑战，具体而言，面临以下难题： 1）大数据采集问题。如何将大数据变小，在尽量不损失价值的情况下减少数据的规模，像数据的清洗、去除等等，即如何有效地处理大数据类似物理的作用，把大数据的规模变小但不损失价值；如何从一个平面的大数据提炼出高附加值的概念、知识和智慧。 2）大数据存储问题。对于结构化数据，海量数据的查询、统计、更新效率低；对于非结构化数据，如图片、视频等文件的存储、检索困难；对于半结构化数据，进行存储、分析需要转化为结构化数据，或者按照非结构化数据进行存储，难度较大。 3）大数据管理问题。如何对分布、多态、异构的大数据进行管理，当前还缺乏有效手段。 4）大数据分析处理问题。分布式计算、并行计算能够提供有效支持，而如何有效利用现有分布式、并行技术开展大数据的分析处理有待研究。 5）大数据领域应用问题。如何应用大数据辅助具体的领域应用，如：快速开展治安防控、警情研判及指挥决策。同时，如何发掘行业信息资源价值，提高领域大数据的利用率亟待研究。
|
