spark配置(4)-----Spark Streaming
2016-06-25 07:42
267 查看
Spark Streaming
Spark Streaming 使用 Spark API 进行流计算,这意味着在 Spark 上进行流处理与批处理的方式一样。因此,你可以复用批处理的代码,使用 Spark Streaming 构建强大的交互式应用程序,而不仅仅是用于分析数据。
Spark Streaming 示例(基于流的单词统计)来演示一下 Spark Streaming:本地服务器通过 TCP 接收文本数据,实时输出单词统计结果。
[/code]
在终端 1 中输入文本,在终端 2 中就可以实时看到单词统计结果了。
参考/转载:http://www.powerxing.com/spark-quick-start-guide/
来自为知笔记(Wiz)
Spark Streaming 使用 Spark API 进行流计算,这意味着在 Spark 上进行流处理与批处理的方式一样。因此,你可以复用批处理的代码,使用 Spark Streaming 构建强大的交互式应用程序,而不仅仅是用于分析数据。
Spark Streaming 示例(基于流的单词统计)来演示一下 Spark Streaming:本地服务器通过 TCP 接收文本数据,实时输出单词统计结果。
nc -l -p 9999
# 需要另外开启一个终端,记为终端 2,然后运行如下命令
/usr/local/spark/bin/run-example streaming.NetworkWordCount localhost 9999
[/code]
在终端 1 中输入文本,在终端 2 中就可以实时看到单词统计结果了。
参考/转载:http://www.powerxing.com/spark-quick-start-guide/
来自为知笔记(Wiz)
相关文章推荐
- spark配置(5)-独立应用程序
- spark配置(3)
- spark配置(2)
- hadoop配置(5) --启动YARN
- hadoop配置(4) --在每次运行时自动删除输出目录
- Hadoop 配置(3)---使用 HDFS
- git oschina
- Hadoop 配置(1)
- Hadoop 配置(2)-Hadoop伪分布式配置
- 基于Hadoop生态圈的数据仓库实践 —— 目录
- ubuntu 12.04安装OpenGL
- 2016年6月22日--6月26日(共15小时,剩下2940小时)
- webpack 前端构建
- 简析 .NET Core 构成体系
- erdaicms旅游网站程序模板免费下载(PC站自带手机站,自带3套模板可切换,对接支付宝和微信支付)
- 1006. Sign In and Sign Out (25)解题思路
- php实现var_dump函数
- csdn待改进点之27------>作为用户, 我不懂什么叫参数错误!
- [Leetcode刷题]Summary Ranges
- SQL复习笔记一(mysql)