spark shell 启动出错问题

来源：互联网发布：the game awards知乎编辑：程序博客网时间：2024/05/29 08:04

错误描述：直接启动spark-shell，pia,出错了，之前一直是这样启动的啊，一点错也没有。心情不好的时候真的想一删了之，然后再下一个版本来用。可是想一想如果下载的也是这个样子，那我岂不是浪费时间，又做重复的事情，赔了夫人又折兵，虽然我没有夫人。。。。恩，还是静心看了看错误，忽然想起前段时间使用spark sql 从hive里面取数据来着，但是我的hive-site.xml和驱动包已经考到了对应的目录了，怎么还给我整这么一出，我估计是没有配置好路径的问题。然后我就直接在启动spark-shell的时候指定了spark-sql需要的驱动包，因为spark-shell启动的时候会启动spark-sql。错误日志和解决方法如下：

Caused by: org.datanucleus.store.rdbms.connectionpool.DatastoreDriverNotFoundException: The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH. Please check your CLASSPATH specification, and the name of the driver.
   at org.datanucleus.store.rdbms.connectionpool.AbstractConnectionPoolFactory.loadDriver(AbstractConnectionPoolFactory.java:58)
   at org.datanucleus.store.rdbms.connectionpool.DBCPConnectionPoolFactory.createConnectionPool(DBCPConnectionPoolFactory.java:50)
   at org.datanucleus.store.rdbms.ConnectionFactoryImpl.generateDataSources(ConnectionFactoryImpl.java:238)

... 127 more

解决方法：

[root@hadoop0 bin]# ./spark-shell --driver-class-path /usr/local/spark/lib/mysql-connector-java-5.1.18-bin.jar

0 0