Hadoop应用程序性能调优案例分析——CSDN TUP第四期精彩摘要
2010-09-07 18:14
288 查看
由CSDN和《程序员》杂志联合策划组织,旨在与业界人士分享IT产品背后的技术和用户体验故事的线下活动TUP(Technology、User Experience、Product) 第四期,9月6日在Yahoo全球研发中心举办,本期活动邀请到了Yahoo公司Hadoop应用架构师——Milind Bhandarkar深入分析了Hadoop应用程序性能调优。
在讲座中,Milind Bhandarkar给与会者讲述了Hadoop一些最重要的参数的配置方法以及这些参数对系统的性能有何影响。
此外,Milind Bhandarkar还给与会者介绍了一个尚未发布的基于规则的性能异常检测框架——Hadoop Vaidya,并展示了Yahoo公司真实负载下Vaidya框架的性能结果。
Milind Bhandarkar为与会者介绍了相当多的技术热点,比如如何在Hadoop中实现map过程、如何定义InputFormat和OutputFormat等技术实践内容。
在最佳实践的建议中,Milind Bhandarkar提出了在Hadoop平台上使用高级语言进行开发、使用合成器对本地软件集成以减少文件大小等几种解决方案。
本次活动得到了CSDN大量Hadoop开发者的大力支持,50张门票在短短两天时间内便被预定一空,现场座位之紧张程度可见一斑。与会者有来自中国移动研究院、中国电信研究院、百度、搜狐、人人网、豆瓣等知名公司的资深技术人员,讨论相当深入。
据对与会人员的抽样调查,国内许多互联网公司都已经开始在生产环境使用Hadoop。云计算技术正在进入主流。
讲师介绍
Milind Bhandarkar,Yahoo!公司Hadoop应用架构师
Milind Bhandarkar自从0.1.0.版本就开始为Apache Hadoop项目做出贡献,他带领Yahoo公司网格解决方案团队专注于为Hadoop相关开发者提供培训与咨询,他们已经为数百个Hadoop相关开发团队提供了支持。Milind Bhandarkar拥有超过20年并行编程语言经验。他曾工作于Center for Development of Advanced Computing (C-DAC,专注于先进火箭模拟的研究中心),Siebel Systems公司,与Pathscale公司(被QLogic收购),于2005年加入Yahoo!公司。
关于Hadoop
Hadoop是MapReduce和GFS的开源Java实现,一种得到广泛应用的分布式计算框架。最初是搜索引擎项目Nutch的一部分,由时在Yahoo的Doug Cutting开发。目前已经成为Apache的顶级项目。
想了解更多TUP技术沙龙第四期活动请关注http://tup.csdn.net/
更多TUP技术沙龙实时资讯请关注新浪、搜狐“TUP技术沙龙”
在讲座中,Milind Bhandarkar给与会者讲述了Hadoop一些最重要的参数的配置方法以及这些参数对系统的性能有何影响。
此外,Milind Bhandarkar还给与会者介绍了一个尚未发布的基于规则的性能异常检测框架——Hadoop Vaidya,并展示了Yahoo公司真实负载下Vaidya框架的性能结果。
Milind Bhandarkar为与会者介绍了相当多的技术热点,比如如何在Hadoop中实现map过程、如何定义InputFormat和OutputFormat等技术实践内容。
在最佳实践的建议中,Milind Bhandarkar提出了在Hadoop平台上使用高级语言进行开发、使用合成器对本地软件集成以减少文件大小等几种解决方案。
本次活动得到了CSDN大量Hadoop开发者的大力支持,50张门票在短短两天时间内便被预定一空,现场座位之紧张程度可见一斑。与会者有来自中国移动研究院、中国电信研究院、百度、搜狐、人人网、豆瓣等知名公司的资深技术人员,讨论相当深入。
据对与会人员的抽样调查,国内许多互联网公司都已经开始在生产环境使用Hadoop。云计算技术正在进入主流。
讲师介绍
Milind Bhandarkar,Yahoo!公司Hadoop应用架构师
Milind Bhandarkar自从0.1.0.版本就开始为Apache Hadoop项目做出贡献,他带领Yahoo公司网格解决方案团队专注于为Hadoop相关开发者提供培训与咨询,他们已经为数百个Hadoop相关开发团队提供了支持。Milind Bhandarkar拥有超过20年并行编程语言经验。他曾工作于Center for Development of Advanced Computing (C-DAC,专注于先进火箭模拟的研究中心),Siebel Systems公司,与Pathscale公司(被QLogic收购),于2005年加入Yahoo!公司。
关于Hadoop
Hadoop是MapReduce和GFS的开源Java实现,一种得到广泛应用的分布式计算框架。最初是搜索引擎项目Nutch的一部分,由时在Yahoo的Doug Cutting开发。目前已经成为Apache的顶级项目。
想了解更多TUP技术沙龙第四期活动请关注http://tup.csdn.net/
更多TUP技术沙龙实时资讯请关注新浪、搜狐“TUP技术沙龙”
相关文章推荐
- Hadoop应用程序性能调优案例分析——CSDN TUP第四期精彩摘要
- 【预告】CSDN TUP第四期:Hadoop技术沙龙——Hadoop应用性能优化实战
- JavaEE应用程序在Glassfish上的性能调优案例分析
- 【预告】CSDN TUP第四期:Hadoop技术沙龙——Hadoop应用性能优化实战
- JavaEE应用程序在Glassfish上的性能调优案例分析
- JavaEE应用程序在Glassfish上的性能调优案例分析
- JavaEE应用程序性能调优案例分析
- Spark商业案例与性能调优实战100课》第11课:商业案例之通过纯粹通过DataFrame分析大数据电影点评系仿QQ和微信、淘宝等用户群分析与实战
- Spark商业案例与性能调优实战100课》第3课:商业案例之通过RDD分析大数据电影点评系各种类型的最喜爱电影TopN及性能优化技巧
- 《Spark商业案例与性能调优实战100课》第6课:商业案例之通过Spark SQL实现大数据电影用户行为分析
- 《Spark商业案例与性能调优实战100课》第15课:商业案例之纯粹通过DataSet进行电商交互式分析系统中各种类型TopN分析实战详解
- Spark商业案例与性能调优实战100课》第2课:商业案例之通过RDD实现分析大数据电影点评系统中电影流行度分析
- 性能调优之案例分析
- 《Spark商业案例与性能调优实战100课》第1课:商业案例之通过RDD实现分析大数据电影点评系统中电影的用户行为信息
- <<《Spark商业案例与性能调优实战100课》第17课:商业案例之NBA篮球运动员大数据分析系统代码实战
- Spark商业案例与性能调优实战100课》第2课:商业案例之通过RDD实现分析大数据电影点评系统中电影流行度分析
- 《Spark商业案例与性能调优实战100课》第18课:商业案例之NBA篮球运动员大数据分析代码实战之核心基础数据项编写
- LoadRunner+jmeter+性能监控+瓶颈定位分析+调优+完整案例性能实战+性能持续集成
- Spark商业案例与性能调优实战100课》第16课:商业案例之NBA篮球运动员大数据分析系统架构和实现思路
- 《Spark商业案例与性能调优实战100课》第14课:商业案例之纯粹通过DataSet进行电商交互式分析系统中特定时段购买金额Top10 和访问次数增长Top10