关于运行hadoop任务的第三方jar如何加入classPath
2014-09-25 16:42
246 查看
之前在跑一个任务的时候，那个任务需要使用第三方的jar，关于这个jar可以再打包的时候嵌入到包中也可以查看hadoop-env.sh脚本里面有加载classpath的脚本语句：
for f in $HADOOP_HOME/contrib/capacity-scheduler/*.jar; do
if [ "$HADOOP_CLASSPATH" ]; then
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$f
else
export HADOOP_CLASSPATH=$f
fi
done
故可以将第三方jar放在该目录下：contrib/capacity-scheduler
for f in $HADOOP_HOME/contrib/capacity-scheduler/*.jar; do
if [ "$HADOOP_CLASSPATH" ]; then
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$f
else
export HADOOP_CLASSPATH=$f
fi
done
故可以将第三方jar放在该目录下：contrib/capacity-scheduler
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- hadoop学习笔记（5）-运行任务(Job)小结：第三方jar包、hadoop jar命令
- 如何把外部jar包加入class-path
- mahout安装配置，运行kmeans算法，bin/mahout -help出现MAHOUT_LOCAL is not set; adding HADOOP_CONF_DIR to classpath
- 从ClassPathXmlApplicationContext中看spring在web中如何运行
- ApplicationContextAware和ClassPathXmlApplicationContext（Spring定时任务运行多次问题）
- 关于开发中如何防止死等程序导致其它任务运行不了方法
- 运行hadoop程序，如何在map中获取输入数据的全路径（fullpath）
- hadoop如何处理长时间运行不完成的map/reduce 任务?
- 关于hadoop job中job.setOutputFormatClass和FileOutputFormat.setOutputPath容易报错的问题
- 如何在arm平台上运行Jetty5（包含移植jamvm + classpath过程）（1）
- 关于开发中如何防止死等程序导致其它任务运行不了方法
- 关于开发中如何防止死等程序导致其它任务运行不了方法
- hadoop学习笔记（5）-运行任务(Job)小结：第三方jar包、hadoop jar命令
- 如何在运行时添加classpath
- 如何在arm平台上运行Jetty5（包含移植jamvm + classpath过程）
- 不在系统变量中设定path/classpath，运行任意路径下的class文件（通过.bat文件）
- -jar参数运行应用时classpath的设置方法
- 如何有效地处理Java里长期运行的任务
- -jar参数运行应用时classpath的设置方法
- 如何获取正在运行任务的列表?