spark【例子】同类合并、计算(主要使用groupByKey)
2017-06-28 20:03
316 查看
例子描述:
【同类合并、计算】
主要为两部分,将同类的数据分组归纳到一起,并将分组后的数据进行简单数学计算。
难点在于怎么去理解groupBy和groupByKey
原始数据
2010-05-04 12:50,10,10,10
2010-05-05 13:50,20,20,20
2010-05-06 14:50,30,30,30
2010-05-05 13:50,20,20,20
2010-05-06 14:50,30,30,30
2010-05-04 12:50,10,10,10
2010-05-04 11:50,10,10,10
结果数据
2010-05-05 13:50,40,40,40
2010-05-04 12:50,20,20,20
2010-05-06 14:50,60,60,60
2010-05-04 11:50,10,10,10
代码片段:
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
【同类合并、计算】
主要为两部分,将同类的数据分组归纳到一起,并将分组后的数据进行简单数学计算。
难点在于怎么去理解groupBy和groupByKey
原始数据
2010-05-04 12:50,10,10,10
2010-05-05 13:50,20,20,20
2010-05-06 14:50,30,30,30
2010-05-05 13:50,20,20,20
2010-05-06 14:50,30,30,30
2010-05-04 12:50,10,10,10
2010-05-04 11:50,10,10,10
结果数据
2010-05-05 13:50,40,40,40
2010-05-04 12:50,20,20,20
2010-05-06 14:50,60,60,60
2010-05-04 11:50,10,10,10
代码片段:
/* 同类合并、计算 */ val source = Source.fromFile("E:test.txt").getLines.toArray val sourceRDD = sc.parallelize(source) /* spark单机读取数据 */ sourceRDD.map { line => val lines = line.split(",") /* 拆分数据 */ (s"${lines(0)}", s"${lines(1)},${lines(2)},${lines(3)}") /* 找出同样的数据为K,需要进行计算的为V,拼成map */ }.groupByKey.map { /* 分组,最重要的就是这,同类的数据分组到一起,后面只需要计算V了 */ case (k, v) => var a, b, c = 0 /* 定义几个存数据的变量,恩,这很java,一般scala中很少见到var */ v.foreach { /* 遍历需要计算的V */ x => val r = x.split(",") /* 将V拆分 */ a += r(0).toInt /* 计算 */ b += r(1).toInt c += r(2).toInt } s"$k,$a,$b,$c" /* 拼字符串,返回数据 */ }.foreach(println)1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
相关文章推荐
- spark【例子】同类合并、计算(主要使用groupByKey)
- spark【例子】同类合并、计算(主要使用groupByKey)
- spark【例子】同类合并、计算(主要使用groupByKey)
- spark【例子】count(distinct 字段) 简易版 使用groupByKey和zip
- spark【例子】count(distinct 字段) 简易版 使用groupByKey和zip
- spark【例子】count(distinct 字段) 简易版 使用groupByKey和zip
- spark【例子】同类合并、计算2
- spark【例子】同类合并、计算2
- Spark程序使用groupByKey后数据存入HBase出现重复的现象
- spark【例子】同类合并、计算2
- Spark groupbykey和cogroup使用示例
- spark新能优化之reduceBykey和groupBykey的使用
- Spark使用小结:Java版的GroupByKey示例
- 在Spark中尽量少使用GroupByKey函数
- [Spark][Python]groupByKey例子
- Spark Streaming实现实时WordCount,DStream的使用,updateStateByKey(func)实现累计计算单词出现频率
- Spark 使用sortByKey进行二次排序
- SparkStreaming updateStateByKey 使用
- 大数据Spark “蘑菇云”行动第40课:Spark编程实战之aggregateByKey、reduceByKey、groupByKey、sortByKey深度解密
- spark中groupByKey与reducByKey