spark shell 启动出错问题
2016-07-10 21:22
302 查看
错误描述:直接启动spark-shell,pia,出错了,之前一直是这样启动的啊,一点错也没有。心情不好的时候真的想一删了之,然后再下一个版本来用。可是想一想如果下载的也是这个样子,那我岂不是浪费时间,又做重复的事情,赔了夫人又折兵,虽然我没有夫人。。。。恩,还是静心看了看错误,忽然想起前段时间使用spark sql 从hive里面取数据来着,但是我的hive-site.xml和驱动包已经考到了对应的目录了,怎么还给我整这么一出,我估计是没有配置好路径的问题。然后我就直接在启动spark-shell的时候指定了spark-sql需要的驱动包,因为spark-shell启动的时候会启动spark-sql。错误日志和解决方法如下:
Caused by: org.datanucleus.store.rdbms.connectionpool.DatastoreDriverNotFoundException: The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH. Please check your CLASSPATH specification, and the name of the driver.
at org.datanucleus.store.rdbms.connectionpool.AbstractConnectionPoolFactory.loadDriver(AbstractConnectionPoolFactory.java:58)
at org.datanucleus.store.rdbms.connectionpool.DBCPConnectionPoolFactory.createConnectionPool(DBCPConnectionPoolFactory.java:50)
at org.datanucleus.store.rdbms.ConnectionFactoryImpl.generateDataSources(ConnectionFactoryImpl.java:238)
... 127 more
解决方法:
[root@hadoop0 bin]# ./spark-shell --driver-class-path /usr/local/spark/lib/mysql-connector-java-5.1.18-bin.jar
Caused by: org.datanucleus.store.rdbms.connectionpool.DatastoreDriverNotFoundException: The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH. Please check your CLASSPATH specification, and the name of the driver.
at org.datanucleus.store.rdbms.connectionpool.AbstractConnectionPoolFactory.loadDriver(AbstractConnectionPoolFactory.java:58)
at org.datanucleus.store.rdbms.connectionpool.DBCPConnectionPoolFactory.createConnectionPool(DBCPConnectionPoolFactory.java:50)
at org.datanucleus.store.rdbms.ConnectionFactoryImpl.generateDataSources(ConnectionFactoryImpl.java:238)
... 127 more
解决方法:
[root@hadoop0 bin]# ./spark-shell --driver-class-path /usr/local/spark/lib/mysql-connector-java-5.1.18-bin.jar
相关文章推荐
- spark-sql部署实现与Hive交互
- 【Bug】Spark sql jdbc fails for Oracle NUMBER type columns
- spark 基础和spark sql翻译
- Spark-SQL的安装及使用
- Spark-SQL--Thrift的安装及使用
- spark1.4.1配置及源码阅读
- Spark-sql 读hbase
- NoSuchMethodError:org.apache.spark.rdd.RDD.mapPartitionsInternal$default$2()Z
- spark sqlContext异常
- 大数据IMF传奇行动绝密课程第63课:Spark SQL下Parquet内幕深度解密
- 大数据IMF传奇行动绝密课程第62课:Spark SQL下的Parquet使用最佳实践和代码实战
- 大数据IMF传奇行动绝密课程第61课:Spark SQL数据加载和保存内幕深度解密实战
- 大数据IMF传奇行动绝密课程第60课:使用Java和Scala在IDE中实战RDD和DataFrame动态转换操作
- 大数据IMF传奇行动绝密课程第59课:使用Java和Scala在IDE中实战RDD和DataFrame转换操作
- 大数据IMF传奇行动绝密课程第58课:使用Java和Scala在IDE中开发DataFrame实战
- 大数据IMF传奇行动绝密课程第57课:Spark SQL on Hive配置及实战
- 大数据IMF传奇行动绝密课程第56课:揭秘Spark SQL和DataFrame的本质
- SparkSQL - DataFrame介绍
- Spark-1.0.0 SQL使用简介
- spark异常分析(一)