您的位置:首页 > 运维架构

hadoop如何使用第三方依赖jar包

2015-07-20 23:50 387 查看
在hadoop环境下,我们经常会遇到执行一些脚本,然后却需要临时依赖一些jar包,比如在查看mahout运行结果的时候,如果用hadoop fs -text xxx就会遇到类似的错误信息:java.io.IOException: WritableName can't load class: org.apache.mahout.math.VectorWritable。意思就是当前环境下载classpath中没有对应的类,一般情况下可以如下解决:

1.直接用hadoop的libjars参数加载第三方jar

hadoop fs -libjars /opt/hadoop/mahout-distribution-0.9/mahout-examples-0.9.jar -text /user/mahout/popapp/temp/preparePreferenceMatrix/itemIDIndex/part-r-00000|more

2.在当前环境变量中加入HADOOP_CLASSPATH

HADOOP_CLASSPATH=/opt/hadoop/mahout-distribution-0.9/mahout-examples-0.9.jar

hadoop fs -text /user/mahout/popapp/temp/preparePreferenceMatrix/itemIDIndex/part-r-00000|more
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: