您的位置：首页 > 大数据 > Hadoop

spark1.6从hdfs上读取文件运行wordcount

2016-06-02 00:00 483 查看
从hdfs上读取文件并运行wordcount

[root@hadoop14 app]# hadoop fs -put word.txt /yuhui






scala> val file=sc.textFile("hdfs://hadoop14:9000/yuhui/word.txt")


scala> val count=file.flatMap(line => line.split(" ")).map(word => (word,1)).reduceByKey(_+_)

scala> count.collect()


结果：

res1: Array[(String, Int)] = Array((cccc,2), (aaaa,2), (bbb,2), (ddd,1))
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 点击这里给我发消息
标签： 
相关文章推荐
新的分享
章节导航