关于hadoop找不到class的问题

来源:互联网 发布:js确认密码 编辑:程序博客网 时间:2024/05/25 19:57

很多人在用java做hadoop的工程时依赖了第三方的jar,但是hadoop上使用的是hdfs,也就是分布式管理,所提交的jar会分发到不同的节点上运行,也就是说,如果打的jar包中依赖的第三方jar没有一起打包进来,那么只有当前节点上是可以使用的(前提是第三方jar也放到了相应的位置),其他节点上就没法运行。

网上也有些解决方法,但是本人现在对hadoop了解的不够深入,采用笨拙的方法,将所有的jar打包进同一个jar,但是这样不便于维护。当然也可以将所依赖的第三方jar分发到所有的节点上,这样麻烦点。好的还在寻找中,希望有好解决方法的朋友分享下。

0 0