Spark学习笔记(29)Spark Streaming日志和Web监控台
2017-09-01 00:32
411 查看
本期内容:
1. 集群模式下的Spark Streaming日志
2. 集群模式下的Spark Streaming Web监控台
NetworkWordCount程序 batch duration设置300秒。job并行度为1。4个worker的集群。
看web控制台知道,如果不输入数据,Receiver就没有计算任务。数据处理的任务中socket text strearm,flatmap、map处,也没有task运行。reduceByKey处还是有task,以表明有action。即使0数据时,batch duration周期内也有处理时间,因为有打印输出。
如果输入数据,数据处理的任务中socket text strearm,flatmap、map、reduceByKey处,都有数据处理。
没有batch duration周期都会有Job生成。
每个batch duration内有3个job。
TODO 课程不清晰。
最开始只有一个receiver,就只有一个job。当后面有多个receiver时,会有多个job。
预期是运行一个Job,实际是运行了多个Job。系统能根据已有的并行度设置,来尽量多的分配并发资源。
从Spark Streaming的角度讲,只是封装了Runnable对象。
1. 集群模式下的Spark Streaming日志
2. 集群模式下的Spark Streaming Web监控台
NetworkWordCount程序 batch duration设置300秒。job并行度为1。4个worker的集群。
看web控制台知道,如果不输入数据,Receiver就没有计算任务。数据处理的任务中socket text strearm,flatmap、map处,也没有task运行。reduceByKey处还是有task,以表明有action。即使0数据时,batch duration周期内也有处理时间,因为有打印输出。
如果输入数据,数据处理的任务中socket text strearm,flatmap、map、reduceByKey处,都有数据处理。
没有batch duration周期都会有Job生成。
每个batch duration内有3个job。
TODO 课程不清晰。
最开始只有一个receiver,就只有一个job。当后面有多个receiver时,会有多个job。
预期是运行一个Job,实际是运行了多个Job。系统能根据已有的并行度设置,来尽量多的分配并发资源。
从Spark Streaming的角度讲,只是封装了Runnable对象。
相关文章推荐
- Spark定制班第30课:集群运行模式下的Spark Streaming日志和Web监控台实战演示彻底解密
- 第30课:集群运行模式下的Spark Streaming日志和Web监控台实战演示彻底解密
- Spark学习笔记(27)详解Spark Streaming的运行日志
- web开发日志------学习笔记
- Spark学习1_【Spark六十一】Spark Streaming组合Flume、Kafka进行日志分析
- Spark监控官方文档学习笔记
- Spark2.x学习笔记:18、Spark Streaming程序解读
- Spark学习笔记-Streaming-1
- Spark学习笔记之-Spark-Streaming
- Spark学习笔记-Streaming-1<转>
- Spark学习笔记(30)集群运行模式下的Spark Streaming调试
- 学习笔记:利用awk分析大型WEB日志 //待完善
- Spark学习笔记(24)StreamingContext及JobScheduler源码图解
- 大数据Spark企业级实战版【学习笔记】-----Spark Streaming案例分析
- openfire+spark+jwchat+服务器日志输出 环境搭建(学习笔记)
- Spark学习笔记(3)SparkStreaming架构进阶之Job和容错
- Spark学习笔记(4)Spark Streaming的Exactly-One的事务处理
- 大数据Spark企业级实战版【学习笔记】-----Spark Streaming 的构架
- spark学习笔记六:Spark Streaming
- Spark学习笔记 --- Spark Streaming 与 Stom 比较