Google每天处理20PB数据 37倍于三年前 ZT

Google的Jeff Dean和Sanjay Ghemawat近日披露，Google庞大的分布式计算集群现在平均每天都要处理20PB(20000TB)以上的数据，三大核心技术之一的MapReduce每天工作量超过10万个。

在2007年9月，MapReduce的工作量多达221.7万个，平均完成时间395秒，平均每个工作使用394台机器，一个月下来就要动用11081台服务器；当月每天Map输入数据403152TB，Map输出数据34774TB，Reduce输出数据14018TB，最终输出20756TB，也就是将近21PB。

Google还同时透露了2004年8月和2006年3月的MapReduce状态统计，对比之下更能看出Google的飞跃发展，单就处理数据量而言就是三年前的37倍。



最后再看看Google集群节点的标准配置：双路Intel Xeon 2GHz超线程处理器、4GB内存、两块160GB IDE硬盘、千兆以太网。这种机器在企鹅计算或戴尔那里价值大约2400美元，在Verio等处的主机托管费用一个月要900美元左右。一个MapReduce工作的硬件集群运行成本高达100万美元，而且这还不包括带宽费用、数据中心开销、员工工资等。

附注：

MapReduce：Google开发的C++编程工具，用于大规模数据集(大于1TB)的并行运算，“Map”(映射)和“Reduce”(简化)以及主要思想都是从函数式编程语言和矢量编程语言那里借来的。

Jeff Dean：天才架构师，Google大型并发编程框架MapReduce的作者。

Sanjay Ghemawat：Google基石之一、大规模分布式文件系统“Google FileSystem”(GFS)的主要作者，同时也是Google MapReduce以及Google BigTable的作者之一。