Spark map 遍历rdd中的每个元素
2016-05-15 15:48
387 查看
Map操作主要是遍历rdd中的每个元素,对每个元素进行操作并返回,代码如下:
public static void myMap(){
List<Integer> numbers=Arrays.asList(1,2,3,4,5);
SparkConf conf=new SparkConf()
.setMaster("local")
.setAppName("myMap");
JavaSparkContext sc=new JavaSparkContext(conf);
JavaRDD<Integer> numberRdd= sc.parallelize(numbers);
//第一个参数表示输入的值,第二个参数表示输出的值
JavaRDD<Integer> numMapRdd=numberRdd.map(new Function<Integer,Integer>(){
private static final long serialVersionUID = 1L;
@Override
public Integer call(Integer num) throws Exception {
// TODO Auto-generated method stub
return num+2;
}
});
numMapRdd.foreach(new VoidFunction<Integer>(){
@Override
public void call(Integer num) throws Exception {
// TODO Auto-generated method stub
System.out.println("numbers;"+num);
}
});
}
结果:
umbers;3
numbers;4
numbers;5
numbers;6
numbers;7
public static void myMap(){
List<Integer> numbers=Arrays.asList(1,2,3,4,5);
SparkConf conf=new SparkConf()
.setMaster("local")
.setAppName("myMap");
JavaSparkContext sc=new JavaSparkContext(conf);
JavaRDD<Integer> numberRdd= sc.parallelize(numbers);
//第一个参数表示输入的值,第二个参数表示输出的值
JavaRDD<Integer> numMapRdd=numberRdd.map(new Function<Integer,Integer>(){
private static final long serialVersionUID = 1L;
@Override
public Integer call(Integer num) throws Exception {
// TODO Auto-generated method stub
return num+2;
}
});
numMapRdd.foreach(new VoidFunction<Integer>(){
@Override
public void call(Integer num) throws Exception {
// TODO Auto-generated method stub
System.out.println("numbers;"+num);
}
});
}
结果:
umbers;3
numbers;4
numbers;5
numbers;6
numbers;7
相关文章推荐
- android Google Map获取地理位置信息的方法
- Spark RDD API详解(一) Map和Reduce
- 使用spark和spark mllib进行股票预测
- Python中map()函数浅析
- Android使用Google Map浅谈
- Spark随谈——开发指南(译)
- Spark,一种快速数据分析替代方案
- Erlang中的映射组Map详细介绍
- c++中map的基本用法和嵌套用法实例分析
- 百度地图给map添加右键菜单(判断是否为marker)
- JavaScript中实现Map的示例代码
- jquery中map函数与each函数的区别实例介绍
- jquery中map函数遍历数组用法实例
- jquery与google map api结合使用 控件,监听器
- jquery遍历数组与筛选数组的方法
- JavaScript中实现map功能代码分享
- 用json方式实现在 js 中建立一个map
- Android Map新用法:MapFragment应用介绍
- js Map List 遍历使用示例