您的位置:首页 > 运维架构

[转]Adobe发布Puppet Recipes for Hadoop

2010-07-06 10:07 316 查看








转自:http://www.infoq.com/cn/news/2010/07/adobe-released-puppet-recipes

近日,Adobe向社区发布了Puppet recipes

该工具用于自动化Hadoop/HBase的部署工作。InfoQ有幸采访到了PuppetLabs的创建者Luke Kanies以了解更多信息。

Puppet是个开源的数据中心自动化工具,InfoQ早在今年2月就报道过
。很多中小公司都使用过Puppet,此外像Google
Digg
Sun/Oracle
等大公司的基础设施中也
经常出现Puppet的身影。

Hadoop是Apache软件基金会的开源项目。它使用Java编写,提供了用于处理海量数据的可伸 缩、分布式的框架。其灵感来自于Google的MapReduce
,现在很多需要处理千兆字节数据的公
司都在使用Hadoop,如Facebook
Twitter


Adobe发布的Puppet recipes
可以自动化
Hadoop/HBase的部署工作。InfoQ有幸采访到Puppetlabs(Puppet背后的公司)的创建者 与领导Luke
Kanies以了解更多信息。Luke重点谈到了与Adobe发布Puppet recipes这一事件相关的3个事实:

像Adobe这样的大公司正使用Puppet管理着关键基础设施

他们正使用Puppet管理着传统与现代化的基础设施

他们看到了借助于Puppet所创建的协作解决方案的真正价值

很多大公司说他们使用开源项目不仅对于从事着开源项目的人来说是很重要的,对于那些想要在基础设施中集成开源组件的人来说也非常重要。在被问到对于
企业使用开源项目的看法时,Luke说到:

根据我的经验来看,大多数企业都很热衷于开源。当然了,我的经验对于那些热衷于购买开源服务与支持的公司来说还是有失偏颇的,尤
其是那些使用开源软件替换掉非功能性软件的公司。

我知道在5——10年前,使用Puppet的很多公司并不是那么严重地依赖于开源软件,但现在的市场发生了翻天覆地的变化。
有业务支撑的开源公司对于开发者和消费者来说都是好事。在被问到Puppet的发展过程时,Luke说到:

对于Puppet来说,与众不同的是项目与公司是同时成立的,这是由我的咨询经验决定的。我知道如果项目不够好而负担不起我的日
常开支,那么它也无法满足别人的要求;如果我的生存状况不受项目质量的影响,那么我也没有动力把项目做到完美。假设系统管理员更加关注Puppet项目,
那么它就不会像开发者所关注的项目那样得到人们更多的贡献,因此Puppet Labs的支持是非常重要的。
使用Hadoop的开发者们经常要处理海量数据,但Hadoop也找到了适合自己的教育路线,那就是走进大学。在被问到是否会有很多中小公司使用
Puppet recipes for Hadoop时,Luke说到:

我认为Puppet模块的存在会使得Hadoop更加适合于这些小公司。没有完整的自动化手段,部署与管理Hadoop的代价是
相当高的,但借助于简单的部署与管理手段,整个项目的花费都会得到极大的降低,因此Puppet不仅适合于大公司,中小公司也同样适用。
大公司的自动化机制是很健全的,但小公司则担心起步时在配置管理、自动化和部署上面的代价。Luke就如何使用Puppet给出了一些建议:

在开始使用Puppet时,我强烈建议从自动化那些痛苦的事情开始:那些让你在夜晚还不停查阅资料的事情、会导致很多麻烦的事
情、会浪费你大量时间的事情。实际上,这些事情并非真的那么复杂,但会浪费你的时间,进而会导致更大的痛苦。

大多数Puppet用户都会从小步实施开始:管理一小部分机器。比如说,我们通常会与公司的各个部门或是分支机构签署支持协议,只有当Puppet的部署
规模增大后才会拓展该支持协议。

关于使用Puppet部署Hadoop,首先要做的显然是找到Hadoop能解决的问题。但我认为先构建一个Puppet部署以自动化Hadoop也是完
全可行的:如果知道要用Hadoop,但却没有使用Puppet,那么就不能说Puppet可以管理Hadoop部署。我见过不少公司构建了针对特定需求
的Puppet基础设施。这种成功案例会提升Puppet的使用率,但只有在解决掉最初的问题后才能这么说。
对Puppet感兴趣的InfoQ读者可以访问Puppet
Module Repository
以了解Puppet用户是如何解决问题的。可以在http://groups.google.com/group/puppet-users
Google Group上提问并与其他Puppet用户讨论。PuppetCamp Europe最近还发布了几个视频与幻灯片
,想要探索Puppet的用户可以通过这些资源加深对Puppet的
理解。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: 
相关文章推荐