您的位置:首页 > 运维架构 > Apache

sparksql 提交到yarn出现 java.lang.NoClassDefFoundError: Lorg/apache/hadoop/hive/ql/plan/TableDesc

2015-06-23 12:12 1036 查看
出现这个问题,是因为spark的excutor执行的时候,缺少hive的依赖包,添加依赖包的参数是:

--conf "spark.executor.extraClassPath=/opt/cloudera/parcels/CDH-5.3.1-1.cdh5.3.1.p0.5/lib/hive/lib/*"

下面是是一个例子:

spark-submit --class com.simple.spark.Test \
--master yarn-client \
--num-executors 2 \
--driver-memory 600m \
--executor-memory 600m \
--executor-cores 1 \
--conf "spark.executor.extraClassPath=/opt/cloudera/parcels/CDH-5.3.1-1.cdh5.3.1.p0.5/lib/hive/lib/*" \
--jars /opt/cloudera/parcels/CDH-5.3.1-1.cdh5.3.1.p0.5/lib/hive/lib/hbase-common.jar test.jar
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: