Spark API编程动手实战-06-对搜狗日志文件深入实战操作
2016-03-02 09:37
381 查看
本节中所用到的内容是来自搜狗实验室,网址为:http://www.sogou.com/labs/dl/q.html
我们使用的是迷你版本的tar.gz格式的文件,其大小为87K,下载后如下所示:
上传到服务器后,解压并查看:
查看Sogou文件内容:
该文件的格式如下所示:
访问时间 \t 用户ID \t 查询词 \t 该URL在返回结果中的排名 \ t用户点击的顺序号 \t 用户点击的URL
把解压后的文件上传到hdfs的data目录下:
查看web控制台:
大功告成,文件上传hdfs成功
接下来 我们使用Spark获得搜索结果排名第一同时点击结果排名也是第一的数据量,也就是第四列值为1同时第五列的值也为1的总共的记录的个数。
先读取SogouQ.mini文件:
count操作后:
count之后有2000条记录
首先过滤出有效的数据:
可以发现该文件中的数据都是有效数据。
下面使用spark获得搜索结果排名第一同时点击结果排名也是第一的数据量:
可以发现搜索结果排名第一同时点击结果排名也是第一的数据量为794条;
使用toDebugString查看一下其lineage:
HadoopRDD->MappedRDD->MappedRDD->FilteredRDD->FilteredRDD->FilteredRDD
下面看用户ID查询次数排行榜:
对sortedSogouQRdd进行collect操作:(不要乱collect 会出现OOM的)
结果:
把结果保存在hdfs上:
hdfs命令行查询:
part-0000:
part-00001:
web控制台查询:
我们通过hadoop命令把上述两个文件的内容合并起来:
查看一下合并后的本地文件:
使用head命令查看其具体内容:
我们使用的是迷你版本的tar.gz格式的文件,其大小为87K,下载后如下所示:
上传到服务器后,解压并查看:
查看Sogou文件内容:
该文件的格式如下所示:
访问时间 \t 用户ID \t 查询词 \t 该URL在返回结果中的排名 \ t用户点击的顺序号 \t 用户点击的URL
把解压后的文件上传到hdfs的data目录下:
查看web控制台:
大功告成,文件上传hdfs成功
接下来 我们使用Spark获得搜索结果排名第一同时点击结果排名也是第一的数据量,也就是第四列值为1同时第五列的值也为1的总共的记录的个数。
先读取SogouQ.mini文件:
count操作后:
count之后有2000条记录
首先过滤出有效的数据:
可以发现该文件中的数据都是有效数据。
下面使用spark获得搜索结果排名第一同时点击结果排名也是第一的数据量:
可以发现搜索结果排名第一同时点击结果排名也是第一的数据量为794条;
使用toDebugString查看一下其lineage:
HadoopRDD->MappedRDD->MappedRDD->FilteredRDD->FilteredRDD->FilteredRDD
下面看用户ID查询次数排行榜:
对sortedSogouQRdd进行collect操作:(不要乱collect 会出现OOM的)
结果:
把结果保存在hdfs上:
hdfs命令行查询:
part-0000:
part-00001:
web控制台查询:
我们通过hadoop命令把上述两个文件的内容合并起来:
查看一下合并后的本地文件:
使用head命令查看其具体内容:
相关文章推荐
- SpringMVC源码解析 - HandlerAdapter - HandlerMethodArgumentResolver
- 同时需要32位和64为的java开发环境解决办法
- golang的连接池例子
- Java-No.15 内存泄露和内存溢出问题定位
- java.time时间/日期API
- PHP第五课 自己主动类型转换与流程控制
- 如何分析java.lang.IllegalArgumentException: Cannot draw recycled bitmaps异常
- c/c++将整数转换为字符串
- SPRING IN ACTION 第4版笔记-第二章Wiring Beans-005-<constructor-arg>和c-namespace
- thinkphp中的session()方法
- Java HotSpot(TM) 64-Bit Server VM warning: Attempt to deallocate stack guard pages failed
- Spark:用Scala和Java实现WordCount
- Spring MVC那点事儿
- 使用Alcatraz为Xcode安装XActivatePowerMode插件, 从此敲代码逼格大大滴~
- PHP函数
- C# Report根据条件设置显示颜色
- Python:You must not use 8-bit bytestrings unless you use a text_factory that can interpret 8-bit byt
- 利用ffmpeg解码h264流的代码
- php缓存技术基础知识
- 原创翻译:James Whittaker系列——Google是如何测试的(3)