您的位置:首页 > 其它

spark take获取前n个元素

2016-05-03 23:05 393 查看
     take和 collect操作类似,都是从远程集群上获取元素,只是collect操作获取的所有数据,而take操作是获取前n个元素

直接上代码:

public static void myTake(){

        SparkConf conf=new SparkConf()

        .setMaster("local")

        .setAppName("myTake");

        

        JavaSparkContext sc=new JavaSparkContext(conf);

        List<Integer> numberList = Arrays.asList(1, 2, 3, 4, 5, 6, 7, 8, 9, 10);

         JavaRDD<Integer> numRdd=sc.parallelize(numberList, 2);

         List<Integer> list=numRdd.take(4);

         for(Integer i:list){

             System.out.println("i:"+i);

         }

         sc.close();

        

    }

结果:

i:1

i:2

i:3

i:4
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  spark take