sparkshell里的wordcount
2015-06-01 10:51
591 查看
val rdd =sc.textFile("hdfs://localhost.localdomain:9000/input/test") rdd.count val wordcount = rdd.flatMap(_.split(' ')).map((_,1)).reduceByKey(_+_) wordcount.collect #keypaixu wordcount.sortByKey(false) wordsort.collect #cishiupaixu rdcount.map(x=>(x._2,x._1)).sortByKey(true).map(x=>(x._2,x._1))collec
相关文章推荐
- 有用的shell命令
- shell 日期加减运算
- 查看当前系统shell
- 查看当前系统shell 分类: Ubuntu学习笔记 2015-06-01 08:34 28人阅读 评论(0) 收藏
- QT下实现对Linux Shell调用的几种方法
- Linux中用C语言执行shell命令并获取返回结果
- linux shell 攻略
- 如何替换PowerShell中的"/"与"\"符号
- 如何在PowerShell中把密码保存到文件
- SHELL脚本if语句
- linux定期执行shell脚本的方式
- 手把手教你编写一个具有基本功能的shell
- bash regrex operator =~
- show bash version
- Internal Sorting: Shellsort: Sorting by Insertion
- Linux Bash Shell入门教程
- Hadoop学习笔记(五)---HDFS shell操作
- shell脚本如何判断某个文件里是否包含指定的字符?
- shell编程19例
- 使用PowerShell统计子文件夹大小(改良版)