spark【例子】count(distinct 字段) 简易版 使用groupByKey和zip
2017-04-11 11:20
666 查看
例子描述:
有个网站访问日志,有4个字段:(用户id,用户名,访问次数,访问网站)
需要统计:
1.用户的访问总次数去重
2.用户一共访问了多少种不同的网站
这里用sql很好写
select id,name,count(distinct url) from table group by id,name
其实这个题目是继官方和各种地方讲解聚合函数(aggregate)的第二个例子,第一个例子是使用aggregate来求平均数。
我们先用简易版来做一遍,后续我更新一份聚合函数版
原始数据:
id1,user1,2,http://www.baidu.com
id1,user1,2,http://www.baidu.com
id1,user1,3,http://www.baidu.com
id1,user1,100,http://www.baidu.com
id2,user2,2,http://www.baidu.com
id2,user2,1,http://www.baidu.com
id2,user2,50,http://www.baidu.com
id2,user2,2,http://www.sina.com
结果数据:
((id1,user1),4,1)
((id2,user2),4,2)
代码片段:
[java] view
plain copy
val sparkConf = new SparkConf().setAppName("DisFie").setMaster("local")
val sc = new SparkContext(sparkConf)
val source = Source.fromFile("C:\\10.txt").getLines.toArray
val RDD0 = sc.parallelize(source)
RDD0.map {
lines =>
val line = lines.split(",")
((line(0), line(1)), (1, line(3)))
}.groupByKey().map {
case (x, y) =>
val(n,url) = y.unzip
(x,n.size,url.toSet.size)
}.foreach(println)
有个网站访问日志,有4个字段:(用户id,用户名,访问次数,访问网站)
需要统计:
1.用户的访问总次数去重
2.用户一共访问了多少种不同的网站
这里用sql很好写
select id,name,count(distinct url) from table group by id,name
其实这个题目是继官方和各种地方讲解聚合函数(aggregate)的第二个例子,第一个例子是使用aggregate来求平均数。
我们先用简易版来做一遍,后续我更新一份聚合函数版
原始数据:
id1,user1,2,http://www.baidu.com
id1,user1,2,http://www.baidu.com
id1,user1,3,http://www.baidu.com
id1,user1,100,http://www.baidu.com
id2,user2,2,http://www.baidu.com
id2,user2,1,http://www.baidu.com
id2,user2,50,http://www.baidu.com
id2,user2,2,http://www.sina.com
结果数据:
((id1,user1),4,1)
((id2,user2),4,2)
代码片段:
[java] view
plain copy
val sparkConf = new SparkConf().setAppName("DisFie").setMaster("local")
val sc = new SparkContext(sparkConf)
val source = Source.fromFile("C:\\10.txt").getLines.toArray
val RDD0 = sc.parallelize(source)
RDD0.map {
lines =>
val line = lines.split(",")
((line(0), line(1)), (1, line(3)))
}.groupByKey().map {
case (x, y) =>
val(n,url) = y.unzip
(x,n.size,url.toSet.size)
}.foreach(println)
相关文章推荐
- spark【例子】count(distinct 字段) 简易版 使用groupByKey和zip
- spark【例子】count(distinct 字段) 简易版 使用groupByKey和zip
- spark【例子】同类合并、计算(主要使用groupByKey)
- spark【例子】同类合并、计算(主要使用groupByKey)
- spark【例子】同类合并、计算(主要使用groupByKey)
- spark【例子】同类合并、计算(主要使用groupByKey)
- [Spark][Python]groupByKey例子
- mysql group by/having/distinct 查询使用例子
- 在Spark中尽量少使用GroupByKey函数
- spark新能优化之reduceBykey和groupBykey的使用
- Spark程序使用groupByKey后数据存入HBase出现重复的现象
- Spark使用小结:Java版的GroupByKey示例
- Spark Streaming实现实时WordCount,DStream的使用,updateStateByKey(func)实现累计计算单词出现频率
- Spark groupbykey和cogroup使用示例
- groupByKey实例分析Spark Hash Shuffle
- [spark]groupbykey reducebykey
- Spark算子:RDD键值转换操作(3)–groupByKey、reduceByKey、reduceByKeyLocally
- spark aggregateByKey函数使用问题
- Spark API编程动手实战-04-以在Spark 1.2版本实现对union、groupByKey、join、reduce、lookup等操作实践
- Spark API 详解/大白话解释 之 groupBy、groupByKey