您的位置:首页 > 运维架构 > Shell

spark shell 启动出错问题

2016-07-10 21:22 302 查看
     错误描述:直接启动spark-shell,pia,出错了,之前一直是这样启动的啊,一点错也没有。心情不好的时候真的想一删了之,然后再下一个版本来用。可是想一想如果下载的也是这个样子,那我岂不是浪费时间,又做重复的事情,赔了夫人又折兵,虽然我没有夫人。。。。恩,还是静心看了看错误,忽然想起前段时间使用spark sql 从hive里面取数据来着,但是我的hive-site.xml和驱动包已经考到了对应的目录了,怎么还给我整这么一出,我估计是没有配置好路径的问题。然后我就直接在启动spark-shell的时候指定了spark-sql需要的驱动包,因为spark-shell启动的时候会启动spark-sql。错误日志和解决方法如下:

Caused by: org.datanucleus.store.rdbms.connectionpool.DatastoreDriverNotFoundException: The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH. Please check your CLASSPATH specification, and the name of the driver.

    at org.datanucleus.store.rdbms.connectionpool.AbstractConnectionPoolFactory.loadDriver(AbstractConnectionPoolFactory.java:58)

    at org.datanucleus.store.rdbms.connectionpool.DBCPConnectionPoolFactory.createConnectionPool(DBCPConnectionPoolFactory.java:50)

    at org.datanucleus.store.rdbms.ConnectionFactoryImpl.generateDataSources(ConnectionFactoryImpl.java:238)
    ... 127 more

解决方法:

   [root@hadoop0 bin]# ./spark-shell --driver-class-path /usr/local/spark/lib/mysql-connector-java-5.1.18-bin.jar
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  spark-sql