IBM:20万块硬盘组建120PB数据仓库
2011-09-15 09:52
295 查看
IBM加州阿尔马登研究中心近日打造了一个世上最庞大的数据仓库,总容量高达120PB(120000TB),是此前记录的几乎十倍。
这个大型数据仓库由20万块传统机械硬盘联合而成,平均每块容量600GB。它可以存储大约1万亿份文件,或者240亿首高品质MP3音乐。即使是面对拥有1500亿个网页的最大规模互联网档案馆WayBack Machine,它也能轻松保存60份。
仅仅为了跟踪存储文件的文件名、文件类型和其它属性,就需要消耗大约2PB的空间,占总容量的六十分之一。
这套存储系统是IBM为一家不知名的客户打造的,后者需要一套新的超级计算机进行对真实世界现象的细节模拟。按照IBM的说法,就算是用于天气和气候模型这种极其复杂的系统模拟,这套存储系统也可以应付自如。
如此庞大的存储系统绝对不止是把一块块硬盘堆叠在一起就完事,IBM为此开发了一系列新的软硬件技术来协调它们的工作,比如说面对不可避免的常规性硬盘故障,IBM不但使用了在不同硬盘上进行多重备份的传统策略,也加入了一些新的维护技术,结果就是即便某块硬盘突然损坏,超级计算机系统也可以继续照常全速工作。
和几乎所有的数据中心内一样,这些硬盘都被存放在高高的机架内,不过总体更宽以容纳更多硬盘,同时还辅以循环水冷技术。
IBM表示,120PB存储系统现在看起来可能有些疯狂,但过不了几年,可能就会成为所有云计算系统的标准配置。
这个大型数据仓库由20万块传统机械硬盘联合而成,平均每块容量600GB。它可以存储大约1万亿份文件,或者240亿首高品质MP3音乐。即使是面对拥有1500亿个网页的最大规模互联网档案馆WayBack Machine,它也能轻松保存60份。
仅仅为了跟踪存储文件的文件名、文件类型和其它属性,就需要消耗大约2PB的空间,占总容量的六十分之一。
这套存储系统是IBM为一家不知名的客户打造的,后者需要一套新的超级计算机进行对真实世界现象的细节模拟。按照IBM的说法,就算是用于天气和气候模型这种极其复杂的系统模拟,这套存储系统也可以应付自如。
如此庞大的存储系统绝对不止是把一块块硬盘堆叠在一起就完事,IBM为此开发了一系列新的软硬件技术来协调它们的工作,比如说面对不可避免的常规性硬盘故障,IBM不但使用了在不同硬盘上进行多重备份的传统策略,也加入了一些新的维护技术,结果就是即便某块硬盘突然损坏,超级计算机系统也可以继续照常全速工作。
和几乎所有的数据中心内一样,这些硬盘都被存放在高高的机架内,不过总体更宽以容纳更多硬盘,同时还辅以循环水冷技术。
IBM表示,120PB存储系统现在看起来可能有些疯狂,但过不了几年,可能就会成为所有云计算系统的标准配置。
相关文章推荐
- 设计并实现数据仓库ETL过程(IBM讲座)
- 从Teradata迁移到IBM DB2数据仓库注意事项
- AWS推数据仓库服务Redshift 价格仅是Teradata IBM Oracle的十分之一
- 设计并实现数据仓库ETL过程(IBM讲座)
- 数据仓库专题(5)-如何构建主题域模型原则之站在巨人的肩上(一)IBM-FSDM主题域模型划分
- 数据仓库专题(5)-如何构建主题域模型原则之站在巨人的肩上(一)IBM-FSDM主题域模型划分
- AIX数据恢复案例-IBM小型机P690硬盘损坏数据恢复成功
- IBM x3850 RAID5硬盘离线的数据恢复成功案例
- 设计并实现数据仓库ETL过程(IBM讲座)
- 中烟项目日志:IBM产品与技术描述、BI、数据仓库、ETL
- IBM DS 5300存储硬盘故障数据恢复详解
- 面向服务体系架构(SOA)和数据仓库(DW)的思考基于 IBM 产品体系搭建基于 SOA 和 DW 的企业基础架构平台
- 数据仓库专题(5)-如何构建主题域模型原则之站在巨人的肩上(一)IBM-FSDM主题域模型划分
- 数据仓库与数据库的区别
- 深入浅出数据仓库中SQL性能优化之Hive篇
- 结合Teradata数据仓库特点浅谈其检索机制
- 关于数据仓库不得不说的事儿
- linux恢复硬盘数据
- 维度模型数据仓库(三) —— 准备数据仓库模拟环境