Spark学习笔记(27)详解Spark Streaming的运行日志
2017-08-31 10:57
441 查看
本期内容:
1. Spark Streaming日志
2. Spark Streaming在IDE中的日志分析
WordCountLine
15秒钟的时间间隔
日志中ForeachDStream先打印。
SocketInputDStream storage level false,false,false,false,1
但StorageLevel:
rememberDuration也是15s。
在提交作业前,先构建DStreamGraph对象。
driver准备 就绪,receiver也没问题了。75-93line 可以交给Core进行调度了。
75-83 executor的内容
92- 增加job
94- core的内容
SS就是个大Saprk应用程序
154- 监听器 要保证延迟时间一定要小于batchDuration
156- 作业完成后,删除作业:清掉数据和元数据
下面又有作业产生
210- 删除RDD
remove old batch metadta driver级别,是在下一个batch时删除?
rememberDuration的设置略微复杂些,大体是 slideDuration,如果设置了checkpointDuration 则是2*checkpointDuration 或者通过DStreamGraph.rememberDuration(如果设置了的话,譬如通过StreamingContext.remember方法,不过通过该方法设置的值要大于计算得到的值会生效)
另外值得一提的就是后面的DStream 会调整前面的DStream的rememberDuration,譬如如果你用了window* 相关的操作,则在此之前的DStream 的rememberDuration 都需要加上windowDuration。
问题:
remove old batch metadta driver级别,是在下一个batch时删除?
第一个Job出现没有删除RDD的信息,在第二个BatchDuration之前,
1. Spark Streaming日志
2. Spark Streaming在IDE中的日志分析
WordCountLine
15秒钟的时间间隔
日志中ForeachDStream先打印。
SocketInputDStream storage level false,false,false,false,1
但StorageLevel:
rememberDuration也是15s。
在提交作业前,先构建DStreamGraph对象。
driver准备 就绪,receiver也没问题了。75-93line 可以交给Core进行调度了。
75-83 executor的内容
92- 增加job
94- core的内容
SS就是个大Saprk应用程序
154- 监听器 要保证延迟时间一定要小于batchDuration
156- 作业完成后,删除作业:清掉数据和元数据
下面又有作业产生
210- 删除RDD
remove old batch metadta driver级别,是在下一个batch时删除?
rememberDuration的设置略微复杂些,大体是 slideDuration,如果设置了checkpointDuration 则是2*checkpointDuration 或者通过DStreamGraph.rememberDuration(如果设置了的话,譬如通过StreamingContext.remember方法,不过通过该方法设置的值要大于计算得到的值会生效)
另外值得一提的就是后面的DStream 会调整前面的DStream的rememberDuration,譬如如果你用了window* 相关的操作,则在此之前的DStream 的rememberDuration 都需要加上windowDuration。
问题:
remove old batch metadta driver级别,是在下一个batch时删除?
第一个Job出现没有删除RDD的信息,在第二个BatchDuration之前,
相关文章推荐
- Spark学习笔记(5)Spark Streaming流计算框架的运行源码
- Spark学习笔记(29)Spark Streaming日志和Web监控台
- Spark定制班第28课:在集成开发环境中详解Spark Streaming的运行日志内幕
- Spark学习笔记(30)集群运行模式下的Spark Streaming调试
- Spark Hadoop集群部署与Spark操作HDFS运行详解---Spark学习笔记10
- 第28课 :在集成开发环境中详解spark streaming的运行日志内幕
- Spark学习笔记(19)Spark Streaming架构设计和运行机制大总结
- Spark Hadoop集群部署与Spark操作HDFS运行详解---Spark学习笔记10
- Spark Streaming揭秘 Day28 在集成开发环境中详解Spark Streaming的运行日志内幕
- Spark计算Pi运行过程详解---Spark学习笔记4
- Spark Streaming揭秘 Day28 在集成开发环境中详解Spark Streaming的运行日志内幕
- Spark学习笔记 --- SparkStreaming 中基本概念
- Spark学习笔记(24)StreamingContext及JobScheduler源码图解
- RDD Dependency详解---Spark学习笔记9
- Spark RDD Transformation 详解---Spark学习笔记7
- Spark学习1_【Spark六十一】Spark Streaming组合Flume、Kafka进行日志分析
- Spark上提交运行简单WordCount程序---Spark学习笔记(1)
- Spark RDD Action 详解---Spark学习笔记8
- [Spark内核] 第36课:TaskScheduler内幕天机解密:Spark shell案例运行日志详解、TaskScheduler和SchedulerBackend、FIFO与FAIR、Task运行时本地性算法详解等
- Spark Streaming学习笔记