Hadoop数据资源池

随着Hadoop数据资源池的概念进入主流IT,越来越多的企业开始试水Hadoop。但很多只是将一部分数据池化，还没有开发出成熟的Hadoop环境。

数据资源池使用基于开源Hadoop框架和商业硬件，以池化资源的形式处理、存储和管理大数据，尤其是支持分析应用。支持者认为数据池架构提供了一个更便宜的替代传统数据仓库的选项，能够处理结构化、半结构化以及非结构化数据。不过，数据资源池的概念还相对较新，带来利益的同时也隐藏着陷进。关注BI和大数据的咨询公司Eckerson集团首席咨询师Wayne Eckerson表示：“在过去7年里，Hadoop取得了长足的进步，但它仍有很长的路要走。”

在接受TechTarget采访时，Eckerson讲述了他个人对数据资源池的理解，以及可能影响该进程的阻力。对于公司是否适合采用Hadoop资源池的问题，他也给出了建议。

TechTarget:从您接触到的公司来看，Hadoop资源池到底有多流行？

Wayne Eckerson:很多公司已经或打算使用Hadoop。只有当你把所有数据都放入Hadoop集群的时候，数据资源池才是真实的。公司当然对它干兴趣，尤其是目前还没有数据仓库的公司，他们会选择从Hadoop开始，而不是关系型数据库，当然前提是他们有掌握Hadoop的人才。不过我认为，供应商推Hadoop的力度大于用户对hadoop的需求。泡沫发成分还是有的。

Techtarget:公司为什么要考虑数据池，数据池能够给公司带来的最大好处是什么？

Eckerson:理论上这种方法大有裨益。你把数据放入资源池，不需要再移动它。你需要做的只是把数据提取到支持业务的正确的处理系统中。数据资源池的好处是你把数据存储在数据产生的地方，然后把处理流程加在数据上，这样能够让公司更少的移动数据。但是问题是，在过去20年里，我们积累了如何从数据中提取答案的经验，但这些经验并不完全适用于数据资源池。公司要重新确认流程，保证能得到正确答案。不过因为成本低，所以人们还是很愿意尝试它。

企业在部署Hadoop时，对数据资源池的概念是否有误解？

Eckerson:对于任何新技术，人们都不免对希望它能“包治百病”。但事实并非如此，Hadoop需要专业的技术人才，而且有很多功能还不成熟，比如安全、管理、容灾和恢复、交互查询等。现在，这些功能逐渐被添加到Hadoop平台上，它现在正在想企业级方向发展。不过它仍然没有传统数据仓库环境那么成熟。你不能只给人们一个生数据的入口，就期望他们能完成任何事。这和数据仓库的道理是一样的，只是用到的技术不同。我认为最大的误解是认为Hadoop是适用于业务用户的环境，其实不是，Hadoop还是需要掌握固定技能的专家的。
数据资源池适用于所有企业吗，还是值适用于部分企业？

Eckerson：任何公司，只要有时间和资源，都可以尝试数据资源池。公司要以开放的心态迎接新技术，需要花费时间进行验证，了解数据资源池能够给自己带来什么。早期的Hadoop使用者已经在大范围部署Hadoop了。但也有公司忙于应对已有的数据仓库，无暇考虑Hadoop。这是企业文化的问题，有些对新技术比较积极，有些则不然。

转自泰迪智慧