SparkStreaming找不到reduceByKey的解决方法
2015-07-29 21:42
232 查看
本文转自http://www.68idc.cn/help/jiabenmake/qita/20150115172034.html,所有权力归原作者所有。
本文中的问题可能是个很低级的问题,但是对我对Spark程序的认识很可能有巨大影响哦~
今天写了一个SparkStreaming的测试代码,简单的测试流式读取HDFS中的文件,然后统计WordCount。代码如下:packagecom.company.scala.lkimportorg.apache.spark.s
今天写了一个SparkStreaming的测试代码,简单的测试流式读取HDFS中的文件,然后统计WordCount。代码如下:
package com.company.scala.lk import org.apache.spark.streaming._ /** * Created by kai on 15/1/14.
*/ object SparkStreamingTest { def loadFile(): Unit = { val ssc = new StreamingContext("yarn-client", "streaming test", Seconds(15)) val fileStreaming = ssc.textFileStream("/user/kai") val rs = fileStreaming.flatMap(_.split("\t")).map(w => (w, 1)).reduceByKey(_ + _).print()
ssc.start() ssc.awaitTermination() } def main(args: Array[String]) { loadFile() } }
IDE里面提示找不到“reduceByKey”方法,但是官方资料里说是有该方法的。当时怀疑是不是Spark的版本太低了,然后各种版本确认之后也没发现问题(我用的Spark1.2.0版本),一时无解。
没办法,上网查吧,最后在Spark的mailing list中找到线索:
%3CCAMwrk0mN-Q=c970+Sa7JnBZHUPRRN_YZHkMHqQYb6jLFw2pmsA@mail.gmail.com%3E
原来是缺少“import StreamingContext._”,Scala会将DStream隐式转换成PairDStreamFunctions,该类中有K/V数据类型相关的函数,例如groupByKey、reduceByKey、join等。
查看Spark的源代码,在StreamingContext文件中找到如下代码:
implicit def toPairDStreamFunctions[K, V](stream: DStream[(K, V)]) (implicit kt: ClassTag[K], vt: ClassTag[V], ord: Ordering[K] = null) = {
new PairDStreamFunctions[K, V](stream) }
可以看到,上面的隐式转换函数会将DStream转换为PairDStreamFunctions。
隐式转换函数需要额外import,否则无法正常转换。
可以直接import转换函数:
import org.apache.spark.streaming.StreamingContext.toPairDStreamFunctions
或者import org.apache.spark.streaming.StreamingContext._
本文出自 “RunningMan” 博客,请务必保留此出处
本文中的问题可能是个很低级的问题,但是对我对Spark程序的认识很可能有巨大影响哦~
今天写了一个SparkStreaming的测试代码,简单的测试流式读取HDFS中的文件,然后统计WordCount。代码如下:packagecom.company.scala.lkimportorg.apache.spark.s
今天写了一个SparkStreaming的测试代码,简单的测试流式读取HDFS中的文件,然后统计WordCount。代码如下:
package com.company.scala.lk import org.apache.spark.streaming._ /** * Created by kai on 15/1/14.
*/ object SparkStreamingTest { def loadFile(): Unit = { val ssc = new StreamingContext("yarn-client", "streaming test", Seconds(15)) val fileStreaming = ssc.textFileStream("/user/kai") val rs = fileStreaming.flatMap(_.split("\t")).map(w => (w, 1)).reduceByKey(_ + _).print()
ssc.start() ssc.awaitTermination() } def main(args: Array[String]) { loadFile() } }
IDE里面提示找不到“reduceByKey”方法,但是官方资料里说是有该方法的。当时怀疑是不是Spark的版本太低了,然后各种版本确认之后也没发现问题(我用的Spark1.2.0版本),一时无解。
没办法,上网查吧,最后在Spark的mailing list中找到线索:
%3CCAMwrk0mN-Q=c970+Sa7JnBZHUPRRN_YZHkMHqQYb6jLFw2pmsA@mail.gmail.com%3E
原来是缺少“import StreamingContext._”,Scala会将DStream隐式转换成PairDStreamFunctions,该类中有K/V数据类型相关的函数,例如groupByKey、reduceByKey、join等。
查看Spark的源代码,在StreamingContext文件中找到如下代码:
implicit def toPairDStreamFunctions[K, V](stream: DStream[(K, V)]) (implicit kt: ClassTag[K], vt: ClassTag[V], ord: Ordering[K] = null) = {
new PairDStreamFunctions[K, V](stream) }
可以看到,上面的隐式转换函数会将DStream转换为PairDStreamFunctions。
隐式转换函数需要额外import,否则无法正常转换。
可以直接import转换函数:
import org.apache.spark.streaming.StreamingContext.toPairDStreamFunctions
或者import org.apache.spark.streaming.StreamingContext._
本文出自 “RunningMan” 博客,请务必保留此出处
相关文章推荐
- 求一个类的sizeof应考虑的问题
- ExtJS的面向对象编程(继承、重写)
- android杂记4:style & theme
- 加密方法汇总
- C++的引用类型的变量到底占不占用内存空间?
- strncpy 引起的思考,重新认识了strncpy这个函数
- LINUX 基本命令 参照用
- 1213 How Many Tables
- 测试用例执行和bug管理
- (转)Android 之自定义控件样式在drawable文件夹下的XML实现
- 初识JAVA
- Sort Colors
- Sort Colors
- 数据分析之美:如何进行回归分析
- LeetCode-Reverse Linked List
- Windows10专业版非升级安装过程
- Material Design 之 ToolBar
- Crossword Answers
- zoj3728_Collision(简单计算几何)
- SQL Server建库-建表-建约束