Spark的Application和依赖的公共jar包单独存放

 在Spark做大数据分析的时候，我们需要将依赖的第三方jar包或者我们自己写的公共包单独放在不同的地方，这样可以保持有一份公共的jar包库，当有新的开发任务或者要部署到其其他服务器的时候，只要把这些jar包拷贝过去就行。    比如我在我的服务器上建立两个目录，一个是commonlib，一个是driverlib，我们可以将依赖的第三方jar包,比如mysql的驱动jar包放在commonlib文件夹下，可以将我们的Application的jar包放在driverlib下，提交任务的时候设置spark.executor.extraClassPath设置为commonlib，将spark.driver.extraClasspath设置为driverlib就可以了。