org/apache/hadoop/hbase/CompatibilityFactory(scan)没有找到类的解决办法
2016-06-28 20:49
686 查看
在做spark连接Hbase的时候,总会蹦出一些问题。总结起来就是各种类的找不到。
如:org/apache/hadoop/hbase/CompatibilityFactory没有找到类,
如此等等。
这些问题的核心还是没有正确加载Hbase所需要的库。
而Hbase中的一些库存在的会与spark中有一些版本区别,因此可以通过测试来进行添加。
正常需要引用的包如下:
除此之外,会需要hbase-hadoop-compact.jar等几个库,把这些库加载后,就不会出现这样的错误
如:org/apache/hadoop/hbase/CompatibilityFactory没有找到类,
E xception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/client/Scan
如此等等。
这些问题的核心还是没有正确加载Hbase所需要的库。
而Hbase中的一些库存在的会与spark中有一些版本区别,因此可以通过测试来进行添加。
正常需要引用的包如下:
<dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.10</artifactId> <version>1.4.1</version> <scope>provided</scope> </dependency> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-common</artifactId> <version>1.1.2</version> </dependency> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>1.1.2</version> </dependency> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</artifactId> <version>1.1.2</version> </dependency> </dependencies>
除此之外,会需要hbase-hadoop-compact.jar等几个库,把这些库加载后,就不会出现这样的错误
相关文章推荐
- Spark RDD API详解(一) Map和Reduce
- 使用spark和spark mllib进行股票预测
- Spark随谈——开发指南(译)
- Facebook's New Real-time Messaging System: HBase to Store 135+ Billion Messages a Month
- Spark,一种快速数据分析替代方案
- Hadoop生态上几个技术的关系与区别:hive、pig、hbase 关系与区别
- 基于HBase Thrift接口的一些使用问题及相关注意事项的详解
- 如何解决struts2日期类型转换
- Eclipse中查看android工程代码出现"android.jar has no source attachment"的解决方案
- 基于Java实现杨辉三角 LeetCode Pascal's Triangle
- hbase shell基础和常用命令详解
- eclipse 开发 spark Streaming wordCount
- Understanding Spark Caching
- ClassNotFoundException:scala.PreDef$
- Windows 下Spark 快速搭建Spark源码阅读环境
- 手把手教你配置Hbase完全分布式环境
- 实战:在Java Web 项目中使用HBase
- HBase RowKey设计的那些事
- Spark中将对象序列化存储到hdfs