Idea 远程运行Spark程序及 javax.servlet.FilterRegistration 错误解决方法
来源:互联网 发布:淘宝客培训视频 编辑:程序博客网 时间:2024/05/16 11:59
最近在学习Spark Streaming流式数据处理,在局域网内搭建了一个测试集群,每次在电脑上编译好之后再将Jar上传到Spark集群上运行。由于是使用无线网络,网络不太稳定,每次传输都得等好几分钟,有点受不了。于是想着在Idea中直接像调试本地程序一样运行Spark程序,记得之前在网上看到过有大神就是这么使用的,抱着试试的心理遍开始了装逼之旅。
添加运行配置,如下图,默认是没有运行配置的,需要先添加,点击三角形,然后进入Edit Configurations...
进来之后里面也是一片空白,如下图:
点击左上角的 + ,在下拉列表中选择Application
根据自己的实际情况填写配置项,Program arguments里面就是填写运行时需要传入到程序中的参数
添加好后,就可以看到之前的配置项名称了,点击绿色的三角形就可以调试程序啦!
不过,先别高兴的太早,运行的时候还是会报各种错误的,我就遇到了一个错误:
<pre style="margin-top: 0px; margin-bottom: 1em; padding: 5px; border: 0px; font-size: 13px; overflow: auto; width: auto; max-height: 600px; background-color: rgb(238, 238, 238); font-family: Consolas, Menlo, Monaco, 'Lucida Console', 'Liberation Mono', 'DejaVu Sans Mono', 'Bitstream Vera Sans Mono', 'Courier New', monospace, sans-serif; word-wrap: normal; color: rgb(34, 36, 38);"><code style="margin: 0px; padding: 0px; border: 0px; font-family: Consolas, Menlo, Monaco, 'Lucida Console', 'Liberation Mono', 'DejaVu Sans Mono', 'Bitstream Vera Sans Mono', 'Courier New', monospace, sans-serif; white-space: inherit;">java.lang.SecurityException: class "javax.servlet.FilterRegistration"'s signer information does not match signer information of other classes in the same package</code>其实之前我已经将程序打包好,并在集群上运行没有任何错误了,现在居然报错,一时不知所措。于是,开始各种搜索错误,在 stackoverflow(http://stackoverflow.com/questions/24463183/hbase-0-96-with-spark-v-1-0/27048490#27048490上也有人遇到了同样的错误, 并有人提出了解决方法,主要原因是一些javax.servlet包所导致的,需要将其排除掉。于是我也添加排除,如下图,加上后面的两个map即可:
接着开始后面的调试,后期有错误再更新。
0 0
- Idea 远程运行Spark程序及 javax.servlet.FilterRegistration 错误解决方法
- javax.servlet.FilterRegistration找不到该类错误
- Spark java.lang.NoClassDefFoundError: javax/servlet/FilterRegistration问题
- java.lang.SecurityException: class "javax.servlet.FilterRegistration"'
- IntelliJ Idea开发spark程序及运行
- 出现 javax.servlet.http.HttpServlet 错误的原因及解决方法
- 解决:Exception java.lang.SecurityException: class "javax.servlet.FilterRegistration"
- Exception java.lang.SecurityException: class "javax.servlet.FilterRegistration"
- IDEA编写Spark程序及手动Artifacts并运行
- 使用IDEA运行Spark程序
- IDEA创建servlet 找不到javax.servlet包的解决方法
- Spark程序运行常见错误解决方法以及优化
- Spark程序运行常见错误解决方法以及优化
- IntelliJ IDEA 出现" java: 程序包javax.servlet不存在、 java: 程序包javax.servlet.annotation"等错误
- 运行Servlet程序编译的时候找不到javax.servlet包
- Servlet程序运行过程及相关错误 404,405,500
- intelliji idea 基于maven运行spark程序
- 使用idea sbt运行spark程序
- Android service
- GPUImage使用
- MAC 查看本机保存的各个密码
- android技术
- <一> 第一个qt+sqlite3程序
- Idea 远程运行Spark程序及 javax.servlet.FilterRegistration 错误解决方法
- 如何测试硬件的稳定性和兼容性
- STL之迭代器实现
- Spring声明式事物
- Druid数据库连接池使用
- 如何用eclipse插件绘制ER图
- 使用Collections.addAll还是Arrays.asList生成List,当修改原始数据时,均会影响到List里的数据
- 文件描述符和文件流之间的转换
- STL之仿函数,配接器实现