Spark运行调试方法与学习资源汇总
2014-06-19 22:24
183 查看
最近,在学习和使用Spark的过程中,遇到了一些莫名其妙的错误和问题,在逐个解决的过程中,体会到有必要对解决上述问题的方法进行总结,以便能够在短时间内尽快发现问题来源并解决问题,现与各位看官探讨学习如下:
解决spark运行调试问题的四把“尖刀”:
1、Log
包括控制台日志、主从节点日志、HDFS日志等。许多错误可以通过日志,直接对错误类型、错误来源进行准确定位,因此,学会读取和分析Log是解决问题的第一步。
2、Google
确定错误类型和原因后,就可以使用Google在Spark User List、Google Group等各类Spark学习社区和论坛进行求助,而大部分问题都是可以找到答案的。
3、官网配置文档
大部分问题都是配置问题引起的,如何准确配置,需要结合官方说明文档进行配置,而其中的Tuning Spark内容,也是每个Spark实践者必须了解和掌握的,推荐精读:
Tuning Spark(内存调优): http://spark.apache.org/docs/1.0.0/tuning.html
Spark Configuration(基本配置): http://spark.apache.org/docs/1.0.0/configuration.html
4、官网Example
各个子项目都有对应的Example和源码,可以从源码的src子文件夹里找到,而在每个子项目的官网说明上也有相应的代码示例,也可以作为参考。
这4个方法是解决问题的第一位要素,特别地,要会通过Log反推错误来源,定位故障原因,然后第一时间想到谷歌,把错误关键词粘贴查找寻求解答。而大部分人的问题其实主要都是配置问题,1和2其实就能解决了。3和4主要用来模仿学习,照猫画虎,学以致用,不成功便成仁。
交流和互动也很重要,把握国内Spark研究的前沿,就要善于利用和挖掘各类互联网资源,这里,推荐一些博客、微博、QQ学群供大家参考学习:
知名博主:
徽沪一郎:http://www.cnblogs.com/hseagle/category/569175.html
fxjwind:http://www.cnblogs.com/fxjwind/category/518904.html
张包峰:http://blog.csdn.net/zbf8441372/article/category/1556747
高彦杰:http://blog.csdn.net/gaoyanjie55
saisai_shao:http://jerryshao.me/
微博大牛:
hashjoin,Databricks大数据公司创始人之一,UC Berkeley AMPLab:http://weibo.com/hashjoin
Andrew-Xia:http://weibo.com/u/1410938285
CrazyJvm:http://weibo.com/476691290
明风Andy,淘宝技术部,数据挖掘与计算团队负责人:http://weibo.com/mingfengandy
saisai_shao: http://weibo.com/u/2122584747
连城:http://weibo.com/lianchengzju
张包峰:http://weibo.com/pelickzhang
王联辉:http://weibo.com/u/1685831233
徽沪一郎:http://weibo.com/eagleonline
Spark学习资料
Fast Data Processing with Spark,http://pan.baidu.com/s/1bnnJHlP
Scala学习资料:
快学Scala,http://pan.baidu.com/s/1gdJzElt
Scala Cookbook,http://pan.baidu.com/s/1jGn5zPc
Scala编程,http://pan.baidu.com/s/1pJ0Szgv
Spark论文:
NSDI-2012,http://pan.baidu.com/s/1jGifNMm
[博士论文]Matei Zaharia,http://pan.baidu.com/s/1nt1C2BR
QQ群:
Spark零基础学习@367106111
最后,欢迎各位看官能够提供更优质丰富的学习资源,以便大家共同分享提高!
解决spark运行调试问题的四把“尖刀”:
1、Log
包括控制台日志、主从节点日志、HDFS日志等。许多错误可以通过日志,直接对错误类型、错误来源进行准确定位,因此,学会读取和分析Log是解决问题的第一步。
2、Google
确定错误类型和原因后,就可以使用Google在Spark User List、Google Group等各类Spark学习社区和论坛进行求助,而大部分问题都是可以找到答案的。
3、官网配置文档
大部分问题都是配置问题引起的,如何准确配置,需要结合官方说明文档进行配置,而其中的Tuning Spark内容,也是每个Spark实践者必须了解和掌握的,推荐精读:
Tuning Spark(内存调优): http://spark.apache.org/docs/1.0.0/tuning.html
Spark Configuration(基本配置): http://spark.apache.org/docs/1.0.0/configuration.html
4、官网Example
各个子项目都有对应的Example和源码,可以从源码的src子文件夹里找到,而在每个子项目的官网说明上也有相应的代码示例,也可以作为参考。
这4个方法是解决问题的第一位要素,特别地,要会通过Log反推错误来源,定位故障原因,然后第一时间想到谷歌,把错误关键词粘贴查找寻求解答。而大部分人的问题其实主要都是配置问题,1和2其实就能解决了。3和4主要用来模仿学习,照猫画虎,学以致用,不成功便成仁。
交流和互动也很重要,把握国内Spark研究的前沿,就要善于利用和挖掘各类互联网资源,这里,推荐一些博客、微博、QQ学群供大家参考学习:
知名博主:
徽沪一郎:http://www.cnblogs.com/hseagle/category/569175.html
fxjwind:http://www.cnblogs.com/fxjwind/category/518904.html
张包峰:http://blog.csdn.net/zbf8441372/article/category/1556747
高彦杰:http://blog.csdn.net/gaoyanjie55
saisai_shao:http://jerryshao.me/
微博大牛:
hashjoin,Databricks大数据公司创始人之一,UC Berkeley AMPLab:http://weibo.com/hashjoin
Andrew-Xia:http://weibo.com/u/1410938285
CrazyJvm:http://weibo.com/476691290
明风Andy,淘宝技术部,数据挖掘与计算团队负责人:http://weibo.com/mingfengandy
saisai_shao: http://weibo.com/u/2122584747
连城:http://weibo.com/lianchengzju
张包峰:http://weibo.com/pelickzhang
王联辉:http://weibo.com/u/1685831233
徽沪一郎:http://weibo.com/eagleonline
Spark学习资料
Fast Data Processing with Spark,http://pan.baidu.com/s/1bnnJHlP
Scala学习资料:
快学Scala,http://pan.baidu.com/s/1gdJzElt
Scala Cookbook,http://pan.baidu.com/s/1jGn5zPc
Scala编程,http://pan.baidu.com/s/1pJ0Szgv
Spark论文:
NSDI-2012,http://pan.baidu.com/s/1jGifNMm
[博士论文]Matei Zaharia,http://pan.baidu.com/s/1nt1C2BR
QQ群:
Spark零基础学习@367106111
最后,欢迎各位看官能够提供更优质丰富的学习资源,以便大家共同分享提高!
相关文章推荐
- Spark运行调试方法与学习资源汇总
- Spark学习资源汇总
- Spark大数据学习资源汇总
- Spark学习资源汇总
- spark源码学习(八):spark具体是如何使用集群的资源去运行任务
- Spark菜鸟学习营Day6 分布式代码运行调试
- Spark学习笔记(30)集群运行模式下的Spark Streaming调试
- Loadrunner视频学习资源汇总
- Java学习路径-方法篇+资源篇
- asp.net学习资源汇总
- 关于出现"出现了运行时间错误,是否要进行调试"的解决方法
- ASP.NET 3.5 Extensions、Expression Studio和Silverlight、IE 8 Preview 发布及学习资源、安装问题汇总
- Lucene 及 Lucene.net 国内外的一些学习资源汇总
- 运行ASP.Net 程序无法启动调试问题汇总
- Flex学习资源:(网站,博客,论坛)汇总
- 让进程在后台运行方法汇总
- Flex学习资源:(网站,博客,论坛)汇总
- asp.net学习资源汇总
- Lucene 及 Lucene.net 国内外的一些学习资源汇总
- ASP.NET 3.5 Extensions、Expression Studio和Silverlight、IE 8 Preview 发布及学习资源、安装问题汇总