Idea 远程运行Spark程序及 javax.servlet.FilterRegistration 错误解决方法

来源:互联网 发布:淘宝客培训视频 编辑:程序博客网 时间:2024/05/16 11:59

      最近在学习Spark Streaming流式数据处理,在局域网内搭建了一个测试集群,每次在电脑上编译好之后再将Jar上传到Spark集群上运行。由于是使用无线网络,网络不太稳定,每次传输都得等好几分钟,有点受不了。于是想着在Idea中直接像调试本地程序一样运行Spark程序,记得之前在网上看到过有大神就是这么使用的,抱着试试的心理遍开始了装逼之旅。

     添加运行配置,如下图,默认是没有运行配置的,需要先添加,点击三角形,然后进入Edit Configurations...

    

    进来之后里面也是一片空白,如下图:


    点击左上角的 + ,在下拉列表中选择Application


    根据自己的实际情况填写配置项,Program arguments里面就是填写运行时需要传入到程序中的参数


    添加好后,就可以看到之前的配置项名称了,点击绿色的三角形就可以调试程序啦!


   不过,先别高兴的太早,运行的时候还是会报各种错误的,我就遇到了一个错误:

<pre style="margin-top: 0px; margin-bottom: 1em; padding: 5px; border: 0px; font-size: 13px; overflow: auto; width: auto; max-height: 600px; background-color: rgb(238, 238, 238); font-family: Consolas, Menlo, Monaco, 'Lucida Console', 'Liberation Mono', 'DejaVu Sans Mono', 'Bitstream Vera Sans Mono', 'Courier New', monospace, sans-serif; word-wrap: normal; color: rgb(34, 36, 38);"><code style="margin: 0px; padding: 0px; border: 0px; font-family: Consolas, Menlo, Monaco, 'Lucida Console', 'Liberation Mono', 'DejaVu Sans Mono', 'Bitstream Vera Sans Mono', 'Courier New', monospace, sans-serif; white-space: inherit;">java.lang.SecurityException: class "javax.servlet.FilterRegistration"'s signer information does not match signer information of other classes in the same package</code>

   其实之前我已经将程序打包好,并在集群上运行没有任何错误了,现在居然报错,一时不知所措。于是,开始各种搜索错误,在          stackoverflow(http://stackoverflow.com/questions/24463183/hbase-0-96-with-spark-v-1-0/27048490#27048490上也有人遇到了同样的错误,  并有人提出了解决方法,主要原因是一些javax.servlet包所导致的,需要将其排除掉。于是我也添加排除,如下图,加上后面的两个map即可:

   

   接着开始后面的调试,后期有错误再更新。

0 0
原创粉丝点击