01_spark1.3_RDD的开发

原创博客：http://blog.csdn.net/codemosi。辛辛苦苦记录，希望转发不要删这行。

上个spark系列博客是0.9版本，也没带录视频，开始录制一个1.3的spark系列，以备忘，好记性不如烂笔头。本系列还是集中在开发部分。概念和集群运维不会涉及到。主要涉及spark RDD，spark SQL,spark Streaming,graphX,mllib.的开发，和API接口说明。

需求：

SELECT tel,SUM(money) FROM u GROUP BY tel WHERE tel = ？

使用spark 的RDD 的api实现这个数据分析的程序如何开发，作为第一篇。尽可能的的把程序分开。map等高阶函数的函数值会先分离出来，程序略显傻逼。但是 较为通熟易懂。

涉及到的API

1：RDD spark编程的对象，开发的时候看成Map或者List就好。实质上是丰富的子类和隐式转换的抽象类。

2：SparkContext spark核心，带了丰富的RDD的隐式转换。通过他实现方法链的连续调用，rdd促发隐式调用

3：sparkConf 配置对象

4：map 高阶函数1：传入一个函数，对rdd内每个值调用，并返回调用该函数的新的rdd

5：filter 高阶函数2：传入一个函数，对rdd内每个值调用，并返回调用该函数后，返回结果为true，的新的rdd

6：reduceByKey 高阶函数3：传入一个（key，value）对函数，对相同key的rdd内连续的2个值调用，并返回调用该函数后的rdd

7:take 取出Rdd的前N个对象，是action级别的RDD操作，能真正促发spark开始计算。

-----------------配套视频----------------------------------------

录制中。

-----------------配套代码----------------------------------------

package spark.liguozhong._01

import org.apache.spark.SparkContext

import org.apache.spark.SparkConf

object _01SparkContext {

def main(args: Array[String]) {

//01准备sparkContext上下文

val conf = new SparkConf

conf.setMaster("local").setAppName("_01SparkContext ").set("", "")

val sc = new SparkContext(conf)

//02 准备数据

val data = Array(

"13559 5",

"15888 9",

"13355 1",

"13559 2",

"15888 7",

"18988 117")

//03scala数据类型转换成 RDD

val rdd = sc.parallelize(data, 1);

//04开始spark transform操作

rdd.map(mapFunction)

.filter(filterFunction)

.reduceByKey(reduceFunction)

.take(10)

.foreach(println)

}

//--------------------------------------------

val mapFunction = (x: String) => {

val megs = x.split(" ")

(megs(0).toInt, megs(1).toInt)

}

val filterFunction = (meg: (Int, Int)) => {

meg._1 != 18988

}

val reduceFunction = (x: Int, y: Int) => {

x + y

}

}

原创博客：http://blog.csdn.net/codemosi。辛辛苦苦记录，希望转发不要删这行。