Spark任务提交jar包依赖解决方案
2017-10-26 15:57
190 查看
方法一:spark-submit –jars
根据spark官网,在提交任务的时候指定–jars,用逗号分开。这样做的缺点是每次都要指定jar包,如果jar包少的话可以这么做,但是如果多的话会很麻烦。
方法二:extraClassPath
提交时在spark-default中设定参数,将所有需要的jar包考到一个文件里,然后在参数中指定该目录就可以了,较上一个方便很多:spark.executor.extraClassPath=/home/hadoop/wzq_workspace/lib/* spark.driver.extraClassPath=/home/hadoop/wzq_workspace/lib/*1
2
需要注意的是,你要在所有可能运行spark任务的机器上保证该目录存在,并且将jar包考到所有机器上。这样做的好处是提交代码的时候不用再写一长串jar了,缺点是要把所有的jar包都拷一遍。
相关文章推荐
- Spark任务提交jar包依赖解决方案
- Spark任务提交jar包依赖解决方案
- Spark任务提交jar包依赖解决方案
- Spark任务提交jar包依赖解决方案
- Spark任务提交jar包依赖解决方案
- spark-2.0.0提交jar任务的几种方式
- spark下使用submit提交任务后报jar包已存在错误
- spark调度系列------3. RDD依赖的建立以及RDD依赖在任务提交到调度系统的作用
- spark下使用submit提交任务后报jar包已存在错误
- 蜗龙徒行-Spark学习笔记【四】Spark集群中使用spark-submit提交jar任务包实战经验
- spark源码解析-从提交任务到jar的加载运行(基于2.1.0版本)
- Spark集群中使用spark-submit提交jar任务包实战经验
- 使用java代码提交Spark的hive sql任务,run as java application
- spark跑YARN模式或Client模式提交任务不成功(application state: ACCEPTED)
- 【Spark Core】TaskScheduler源代码与任务提交原理浅析2
- Spark的Application和依赖的公共jar包单独存放
- Spark任务提交-json参数踩坑
- Spark任务提交与执行之RDD的创建、转换及DAG构建
- Spark 提交任务详解
- 基于mesos集群中spark是如何提交任务的