IBM将在Hadoop上树立全新存储架构规划
2014-04-03 11:22
483 查看
IBM科学家声称,该规划在将万亿字节的数据变成可用的信息方面,速度比当时技能能够进步两倍。因而,该规划十分适用于云核算和数据密集型的作业负载使用场合,比方数字媒体、数据发掘、金融剖析等。
这种新的架构名为通用并行文件体系无同享群集 (GPFS-SNC,General Parallel File System-Shared Nothing Cluster),旨在经过高档集群技能、动态文件体系办理和高档数据仿制(Data Replication)技能来进步可用性和速度。
存储剖析发明者和IBM的研讨主管Prasenjit Sarkar表明,一个具有40个节点的文件体系将有12GB/sec吞吐量,并与400个节点的体系能够到达120GB/sec吞吐量。他说:“这是十分契合本钱效益的带宽。你得到1MB/sec美元。如果你想仿制,存储区域网络,它会十分昂贵。”
“在咱们的集群示例中,您能够在Hadoop架构上树立作为群集运转DB2或Oracle数据库”Sarkar说。 “这让咱们能够有一个通用的文件体系,广泛的用户可使用。”
据了解,新的架构是让使用程序,撑持高功用剖析,数据仓库使用程序和云核算的目的。他描绘为每个节点或标准的x86服务器有时机取得自个的元数据,缓存,数据存储和办理工具的GPFS的“不同享”的集群技能,一起也有经过千兆位接入在同一时间集群中所有其他节点以太网端口。
他说:“咱们所做的,是咱们每一个分布式文件体系方面相对于google文件体系,它有一个域节点,元数据,分配,锁办理,令牌办理,即便来自集群服务器的机架,咱们依然能够持续作业。”
所谓无同享,可用性,功用和拓展新的水平,可完成与集群文件体系。中的每个GPFS-SNC的架构节点也自给自足。任务被区分这些独立的核算机之间。
GPFS也撑持POSIX,使一个使用广泛的传统上运转的文件体系之上,答应读取和写入履行。Prasenjit Sarkar说:“你能够翻开一个文件,你能够读取一个文件,那么你就能够追加到该文件并掩盖任何有些。与google的Hadoop分布式文件体系,你能够不追加到一个文件,你不能掩盖的任何章节,所以你重十分有限你能做啥。”
GPFS的-民委还撑持公司数据存储功用,例如快照,备份整个范围内,归档,信息生命周期办理,数据缓存,广域网数据仿制和办理方针。该体系结构有一个单一的全球域称号空间,使虚拟机办理程序的节点之间移动。
这种新的架构名为通用并行文件体系无同享群集 (GPFS-SNC,General Parallel File System-Shared Nothing Cluster),旨在经过高档集群技能、动态文件体系办理和高档数据仿制(Data Replication)技能来进步可用性和速度。
存储剖析发明者和IBM的研讨主管Prasenjit Sarkar表明,一个具有40个节点的文件体系将有12GB/sec吞吐量,并与400个节点的体系能够到达120GB/sec吞吐量。他说:“这是十分契合本钱效益的带宽。你得到1MB/sec美元。如果你想仿制,存储区域网络,它会十分昂贵。”
“在咱们的集群示例中,您能够在Hadoop架构上树立作为群集运转DB2或Oracle数据库”Sarkar说。 “这让咱们能够有一个通用的文件体系,广泛的用户可使用。”
据了解,新的架构是让使用程序,撑持高功用剖析,数据仓库使用程序和云核算的目的。他描绘为每个节点或标准的x86服务器有时机取得自个的元数据,缓存,数据存储和办理工具的GPFS的“不同享”的集群技能,一起也有经过千兆位接入在同一时间集群中所有其他节点以太网端口。
他说:“咱们所做的,是咱们每一个分布式文件体系方面相对于google文件体系,它有一个域节点,元数据,分配,锁办理,令牌办理,即便来自集群服务器的机架,咱们依然能够持续作业。”
所谓无同享,可用性,功用和拓展新的水平,可完成与集群文件体系。中的每个GPFS-SNC的架构节点也自给自足。任务被区分这些独立的核算机之间。
GPFS也撑持POSIX,使一个使用广泛的传统上运转的文件体系之上,答应读取和写入履行。Prasenjit Sarkar说:“你能够翻开一个文件,你能够读取一个文件,那么你就能够追加到该文件并掩盖任何有些。与google的Hadoop分布式文件体系,你能够不追加到一个文件,你不能掩盖的任何章节,所以你重十分有限你能做啥。”
GPFS的-民委还撑持公司数据存储功用,例如快照,备份整个范围内,归档,信息生命周期办理,数据缓存,广域网数据仿制和办理方针。该体系结构有一个单一的全球域称号空间,使虚拟机办理程序的节点之间移动。
相关文章推荐
- IBM将在Hadoop上建立全新存储架构设计
- IBM将在Hadoop上建立新的存储架构
- Hadoop-Centos7安装和Hadoop存储规划
- 优化存储 IBM智慧信息架构高峰论坛开幕
- Hadoop平台架构--存储篇
- IT基础架构规划的现状和建议 ――(源于IBM小型机和SAP ERP领域相关的最佳实践)
- IBM DS8700-IBM高端存储系统的全新成就
- Thinking in BigData(九)大数据hadoop集群下离线数据存储和挖掘架构
- 类似google存储架构的开源项目: Hadoop
- 【Hadoop】Hadoop HA 部署 详细过程(架构、机器规划、配置文件、部署步骤)
- Hadoop平台架构--存储篇
- 智慧架构大背景下 IBM存储走向细分
- 基于Hadoop架构的分布式计算和存储技术及其应用
- IBM智慧存储架构决胜三大领域 五步走上胜利征途
- IBM全新存储系统亮相西部 多项技术性能再升级
- IBM规划未来存储设备 重点是速度和密度
- 智慧架构大背景下 IBM存储走向细分【转】
- 利用XIV构建全新数据中心存储架构
- 樊华:IBM数字图书馆动态存储基础架构
- 面向服务体系架构的业务规划和建模方法系列之五——SOA项目中IBM产品的采用 推荐