[hadoop+spark+python]大数据实战随手笔记

1.提交任务

指令(我配置了spark-submit的环境变量)

spark-submit --class org.apache.spark.examples.SparkPi --master spark://192.168.12.233:7077 --executor-memory 10G --total-executor-cores 10  fielname

逐条解释如下:

(1)–class org.apache.spark.examples.SparkPi

设置运行的环境,java或者yarn

(2)–master spark://192.168.12.233:7077

设置spark服务的地址,格式为 spark:// +

(3)–executor-memory 10G

分配内存,这个属性每个worker都会分配10G,根据实际情况分配

(4)–total-executor-cores 10

分配运行cpu核数,不超过总核数即可

(5)fielname

要运行的文件,相对路径或者绝对路径都可以,如果是python文件一定要能在命令行环境运行,requirment和包环境都要满足才行,我一般是把项目打包写好setup.py先编译一遍在运行主程序