spark take获取前n个元素

2021年7月7日 12点热度 0条评论 来源: fjr_huoniao

     take和 collect操作类似,都是从远程集群上获取元素,只是collect操作获取的所有数据,而take操作是获取前n个元素

直接上代码:

public static void myTake(){
        SparkConf conf=new SparkConf()
        .setMaster("local")
        .setAppName("myTake");
        
        JavaSparkContext sc=new JavaSparkContext(conf);
        List<Integer> numberList = Arrays.asList(1, 2, 3, 4, 5, 6, 7, 8, 9, 10);
         JavaRDD<Integer> numRdd=sc.parallelize(numberList, 2);
         List<Integer> list=numRdd.take(4);
         for(Integer i:list){
             System.out.println("i:"+i);
         }
         sc.close();
        
    }

结果:

i:1
i:2
i:3
i:4

    原文作者:fjr_huoniao
    原文地址: https://blog.csdn.net/fjr_huoniao/article/details/51308582
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系管理员进行删除。