技术积累
2017-03-13 21:36
176 查看
1.CDH中spark连接hbase
解决：（1）需要将/opt/cloudera/parcels/CDH/lib/hbase/lib 目录中以hbase开头的jar包拷至/opt/cloudera/parcels/CDH/lib/spark/lib/hbase/目录中
（2）需要将/opt/cloudera/parcels/CDH/jars/目录中的guava-12.0.1.jar,htrace-core-3.1.0-incubatin.jar,protobuf-java-2.5.0.jar也拷至/opt/cloudera/parcels/CDH/lib/spark/lib中
（3）将/etc/spark/conf下的spark-env.sh中添加jar包的地址。export SPARK_CLASSPATH=/opt/cloudera/parcels/CDH/lib/spark/lib/hbase/*
(4) 将spark-env.sh和/opt/cloudera/parcels/CDH/lib/spark/lib/hbase/下的jar包都拷至其它节点中。
2.配置文件和jar包地址
配置文件：/etc/spark/conf
jar包地址：/opt/cloudera/parcels/CDH/lib/spark/
解决：（1）需要将/opt/cloudera/parcels/CDH/lib/hbase/lib 目录中以hbase开头的jar包拷至/opt/cloudera/parcels/CDH/lib/spark/lib/hbase/目录中
（2）需要将/opt/cloudera/parcels/CDH/jars/目录中的guava-12.0.1.jar,htrace-core-3.1.0-incubatin.jar,protobuf-java-2.5.0.jar也拷至/opt/cloudera/parcels/CDH/lib/spark/lib中
（3）将/etc/spark/conf下的spark-env.sh中添加jar包的地址。export SPARK_CLASSPATH=/opt/cloudera/parcels/CDH/lib/spark/lib/hbase/*
(4) 将spark-env.sh和/opt/cloudera/parcels/CDH/lib/spark/lib/hbase/下的jar包都拷至其它节点中。
2.配置文件和jar包地址
配置文件：/etc/spark/conf
jar包地址：/opt/cloudera/parcels/CDH/lib/spark/
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 对"技术积累"话题的一点小感慨
- 一个java工程师的前6年工作部分技术积累（二）
- 技术积累
- 安全技术积累-搜索目标漏洞201607月-openvas
- MFC技术积累——基于MFC对话框类的那些事儿3
- 开始注意技术积累
- 谈谈阿里系的技术积累 是什么让旗下网站爆发惊人能量
- IT 技术网址积累
- 前端项目积累和总结——AJAX异步更新网页技术
- C#技术积累（解压tar文件，解析xml，重命名文件，删除文件）
- 从今天起，做个有积累的技术人员
- 技术积累应用-可视化编程平台在整个软件生命周期中作用
- 技术积累应用-可视化编程平台应用方式-数据展示
- 技术积累笔记
- 云计算的由来——技术积累
- [知识积累] 技术框架积累
- 2017年末开始我的技术博客积累之路
- Android技术堆栈积累
- Spring mvc 技术积累
- Android技术积累：图片缓存管理