SparkContext的parallelize的参数
2017-06-28 19:18
155 查看
在一个Spark程序的开始部分,有好多是用sparkContext的parallelize制作RDD的,是ParallelCollectionRDD,创建一个并行集合。
例如sc.parallelize(0 until numMappers, numMappers)
创建并行集合的一个重要参数,是slices的数目(例子中是numMappers),它指定了将数据集切分为几份。
在集群模式中,Spark将会在一份slice上起一个Task。典型的,你可以在集群中的每个cpu上,起2-4个Slice (也就是每个cpu分配2-4个Task)。
一般来说,Spark会尝试根据集群的状况,来自动设定slices的数目。当让,也可以手动的设置它,通过parallelize方法的第二个参数。
例如sc.parallelize(0 until numMappers, numMappers)
创建并行集合的一个重要参数,是slices的数目(例子中是numMappers),它指定了将数据集切分为几份。
在集群模式中,Spark将会在一份slice上起一个Task。典型的,你可以在集群中的每个cpu上,起2-4个Slice (也就是每个cpu分配2-4个Task)。
一般来说,Spark会尝试根据集群的状况,来自动设定slices的数目。当让,也可以手动的设置它,通过parallelize方法的第二个参数。
相关文章推荐
- SparkContext的parallelize的参数
- SparkContext的parallelize的参数
- SparkContext的parallelize的参数作用以及MapValues
- SparkContext的parallelize的参数
- C#中关键词ref的用途(传址参数需要修饰符ref)
- struts2与js传参数,也是利用Ajax实现
- asp页面和Asp.net页面传中文参数UrlEncode编码以及接收解码
- Flex addEventListener增加事件侦听函数时传递多个参数
- lvs可以使用-p (persistent )参数对session进行保持
- a、b交换不用参数
- 【MFC/C++ 操作Excel】C++下TextToColumns函数的参数
- 理解Java赋值和参数传递机制
- 在jsp页面获得url参数的方法
- MyBatis传入多个参数的问题
- C#函数参数
- javascript技巧:用闭包传递参数
- 指针变量作为函数参数
- Redis配置文件参数说明
- Fragment的通信问题, 新建Fragment为何不要在构造方法中传递参数
- 百度云推送pkg_content参数 到达指定activity