随着数据库产业的膨大，人们对数据库已经不太满足了，于是把databases说成大数据，这便遇到了两个不可回避的挑战，第一个挑战是由于关系代数的形式化约束过于苛刻，无法表示现实数据;第二个挑战是随着数据量的增大，关系代数运算性能急剧下降。在这个时候，我们的存储技术得到了迅猛发展，人类进入了搜索时代。搜索因为存储便宜了，存储的速度大概每9个月翻一番，所以存储带动了技术的脚步，这种搜索时代经过了20多年的发展，带领我们进入了一个半结构化数据挖掘时代。
网络化的大数据挖掘
随着互联网带宽6个月翻一番的速度，人类进入了交互时代，交互带动着计算和存储的发展。
移动互联网时代的大数据挖掘主要是网络化环境下的非结构化数据挖掘，这些数据形态反映的是鲜活的、碎片化的、异构的、有情感的原生态数据。
非结构化数据的特点是，它常常是低价值、强噪声、异构、冗余冰冷的数据，有很多数据放在存储器里就没再用过。数据的形式化约束越来越宽松，越来越接近互联网文化、窗口文化和社区文化。
关注的对象也发生很大改变，挖掘关注的首先是小众，只有满足小众挖掘需求，才谈得上满足更多小众组成的大众的需求，因此一个重要思想就是由下而上胜过由上而下的顶层设计，强调挖掘数据的真实性、及时性，要发现关联、发现异常、发现趋势，总之要发现价值。
如果云计算支撑大数据挖掘要发现价值，那么我们认为云计算本来就是基于互联网的大众参与计算模式，其计算资源是动态的，可收缩的，被虚拟化的，而且以服务的方式提供。 产生摆脱了传统的配置带来的系统升级，更加简洁、灵活多样、个性化，手机、游戏机、数码相机、电视机差别细微，出现了更多icloud产品，界面人性化、个性化，都可成为大数据挖掘的终端。
挖掘员支撑各种各样的大数据应用，如果我们有数据收集中心、存储中心、计算中心、服务中心，一定要有数据挖掘中心，这样一来，就可以实现支撑大数据的及时应用和价值的及时发现。
大数据标志一个新时代的到来，这个时代的特征不只是追求丰富的物质资源，也不只是无所不在的互联网带来方便的多样化的信息服务，同时还包含区别于物质的数据资源的价值挖掘和价值转换，虚拟世界的信息价值挖掘导致更加精确的控制物理世界的物质和能量，以及由大数据挖掘带来的精神和文化方面的崭新现象。 ..
|
