spark take获取前n个元素
2016-05-03 23:05
393 查看
take和 collect操作类似,都是从远程集群上获取元素,只是collect操作获取的所有数据,而take操作是获取前n个元素
直接上代码:
public static void myTake(){
SparkConf conf=new SparkConf()
.setMaster("local")
.setAppName("myTake");
JavaSparkContext sc=new JavaSparkContext(conf);
List<Integer> numberList = Arrays.asList(1, 2, 3, 4, 5, 6, 7, 8, 9, 10);
JavaRDD<Integer> numRdd=sc.parallelize(numberList, 2);
List<Integer> list=numRdd.take(4);
for(Integer i:list){
System.out.println("i:"+i);
}
sc.close();
}
结果:
i:1
i:2
i:3
i:4
直接上代码:
public static void myTake(){
SparkConf conf=new SparkConf()
.setMaster("local")
.setAppName("myTake");
JavaSparkContext sc=new JavaSparkContext(conf);
List<Integer> numberList = Arrays.asList(1, 2, 3, 4, 5, 6, 7, 8, 9, 10);
JavaRDD<Integer> numRdd=sc.parallelize(numberList, 2);
List<Integer> list=numRdd.take(4);
for(Integer i:list){
System.out.println("i:"+i);
}
sc.close();
}
结果:
i:1
i:2
i:3
i:4
相关文章推荐
- Spark RDD API详解(一) Map和Reduce
- 使用spark和spark mllib进行股票预测
- Spark随谈——开发指南(译)
- Spark,一种快速数据分析替代方案
- eclipse 开发 spark Streaming wordCount
- Understanding Spark Caching
- ClassNotFoundException:scala.PreDef$
- Windows 下Spark 快速搭建Spark源码阅读环境
- Spark中将对象序列化存储到hdfs
- 使用java代码提交Spark的hive sql任务,run as java application
- Spark机器学习(一) -- Machine Learning Library (MLlib)
- Spark机器学习(二) 局部向量 Local-- Data Types - MLlib
- Spark机器学习(三) Labeled point-- Data Types
- Spark初探
- Spark Streaming初探
- Spark本地开发环境搭建
- 搭建hadoop/spark集群环境
- Spark HA部署方案
- Spark HA原理架构图
- spark内存概述