首页 易企管 定制 方案 案例 资讯
关于我们  |  联系我们  | 400-0906-395
伟创软件_办公软件专家
+ 信息化咨询与顾问      + 办公软件集成方案     
+ 企业信息化系统解决方案      + 数据集成及安全方案     
+ 数据挖掘及智能分析方案      + 网络应用方案     
     
当前位置: 首页 -> 行业资讯 -> 大数据分布式存储应考虑哪些问题?
定制场景
协同办公
ERP管理
客户管理
知识管理
人力管理
合同管理
进销存
流程管理
档案管理
设备管理
考勤管理
项目管理
数据挖掘
搜索引擎
移动办公
企业网站
您的位置:大数据分布式存储应考虑哪些问题?
 权威软件定制专家
作者:佚名  来源:网络
导语:“大数据”来袭时,传统的数据存储方式已不能满足要求,需要开展分布式存储的研究,大数据分布式存储主要考虑以下几个问题:

“大数据”来袭时,传统的数据存储方式已不能满足要求,需要开展分布式存储的研究,大数据分布式存储主要考虑以下几个问题:
 
    1)存储资源管理方法
 
    为了解决集群存储环境下的存储资源管理问题,采用存储资源映射方法通过在物理存储资源和虚拟存储资源请求之间建立合理的映射关系,来进行有效的存储资源管理。国内外相关研究提出合理的集群存储资源映射方法,将虚拟存储资源请求均匀地分配到节点上,然后进行节点内部设备级别的资源映射。
 
    2)支持多用户的资源使用和存储环境隔离机制
 
    当用户数量增多,有限的存储资源已经不能满足用户对该类资源的需求时,用户与资源的矛盾就会突显出来。解决这种矛盾的最有效办法就是采取有效资源共享机制,将有限数量的资源按需动态共享给多个用户使用。此外,在存储资源共享的同时,从用户角度看每个应用系统是独立的,不依赖于其他应用系统运行而运行,也不受其他应用系统和资源的运行结果影响,因此需要存储环境隔离技术来屏蔽各个应用系统对存储资源运行的互相影响。
 
    研究表明,利用存储虚拟化技术来整合不同厂商的存储系统。通过隔离主机层与物理存储资源,存储虚拟化技术可以将来自于不同存储设备(即使是不同厂商的设备)的存储容量汇集到一个共享的逻辑资源池中,这样存储的管理就更容易了。任何单体存储阵列所创建的物理卷的容量都是有限制的,而多个异构的存储系统联合在一起就可以创建出一个更大的逻辑卷。
 
    3)基于Hadoop的大数据存储机制
 
    大数据的各类描述方式的多样性,存在着结构化数据、半结构化数据和非结构化数据需要进行处理。对于结构化数据,虽然现在出现了各种各样的数据库类型,但通常的处理方式仍是采用关系型数据知识库进行处理;对于半结构化和非结构化的知识,Hadoop框架提供了很好的解决方案。
 
    Hadoop分布式文件系统HDFS是建立在大型集群上可靠存储大数据的文件系统,是分布式计算的存储基石。基于HFDS的Hive和HBase能够很好地支持大数据的存储。具体来说,使用Hive可以通过类SQL语句快速实现MapReduce统计,十分适合数据仓库的统计分析。HBase是分布式的基于列存储的非关系型数据库,它的查询效率很高,主要用于查询和展示结果;Hive是分布式的关系型数据仓库,主要用来并行处理大量数据。将Hive与HBase进行整合,共同用于大数据的处理,可以减少开发过程,提高开发效率。使用HBase存储大数据,使用Hive提供的SQL查询语言,可以十分方便地实现大数据的存储和分析。



【下一篇】实施大数据管理面临哪些难题
  面对领域大数据,在全生命周期的一体化协同环境下的大数据采集、存储、管理及分析处理都将面临着前所未有的挑战,具体而言,面临以下难题:     1)大数据采集问题。如何将大数据变小,在尽量……

伟创软件业务范围
软件
定制
软件
咨询
研发
顾问
数据
安全
网络
应用
数据
集成
网站
规划
数据
挖掘
企业信息化方案
400-0906-395
第69页 第68页 第67页 第66页 第65页 第64页 第63页 第62页 第61页 第60页 第59页 第58页 第57页 第56页 第55页 第54页 第53页 第52页 第51页 第50页 第49页 第48页 第47页 第46页 第45页 第44页 第43页 第42页 第41页 第40页 第39页 第38页 第37页 第36页 第35页 第34页 第33页 第32页 第31页 第30页 第29页 第28页 第27页 第26页 第25页 第24页 第23页 第22页 第21页 第20页 第19页 第18页 第17页 第16页 第15页 第14页 第13页 第12页 第11页 第10页 第9页 第8页 第7页 第6页 第5页 第4页 第3页 第2页 第1页
 
热线电话:400-0906-395   Copyright © 2008-2018 伟创软件-权威软件定制专家 All Rights Reserved. 京ICP备17005839号    行业资讯