001Spark文件分析测试
2015-09-02 08:42
302 查看
使用spark-1.4.1-bin-hadoop2.6进行处理,测试文件大小为3G, 测试结果: 1:统计一个文件中某个字符的个数 scala> sc.textFile("/home/y/my_temp/1.txt").filter(line=>line.contains("ok")).count() scala> sc.textFile("/home/y/my_temp/1.txt"). 用时:Duration 13 s 记录条数:res5: Long = 101824020 2:统计行数 scala> sc.textFile("/home/y/my_temp/1.txt").count() 用时:Duration 12 s 记录条数:res2: Long = 10
相关文章推荐
- 二叉树 知道度 求节点数
- runloop
- 图像采集系统的Camera Link标准接口设计
- 图像采集系统的Camera Link标准接口设计
- 11.2.0.4 Patch Set - Availability and Known Issues (Doc ID 1562139.1)
- POJ 1226 && HDU 1238 Substrings(kmp)
- POJ 3461 && HDU 1686 Oulipo(kmp)
- POJ 2406 Power Strings(kmp)
- POJ 2185 Milking Grid(二维kmp)
- web service与远程调用(RPC)的区别
- onbeforeunload与onunload事件
- POJ 1961 && HDU 1358 Period(kmp)
- GridView认识(一)
- 最近学习笔记
- Mybatis-spring基本配置
- Empty、Error、Nothing 及 Null
- 需要在AndroidManifest中添加的条件
- GridView中实现CheckBox的全选
- 递归树 TreeList
- cookie和session的区别