pyspark依赖第三方库

问题描述

想在集群中使用第三方库，不知道怎么上传相关的依赖关系。

参考办法

开始找到相关解决方法主要有两种：

• 一是通过virtualenv为每个程序创建互不干扰的虚拟环境来运行；
• 二是通过anaconda进行安装包和环境的管理。

相关教程：

• pyspark依赖部署
• 英文博客

但是上面的教程解决的都是driver（master）的环境问题，并没有解决worker（executer，slaver）的问题。而且对于实际情况，并不能保证打包环境和slave端的运行环境一致。

后来参考了Yarn的Pypark如何与Redis交互。

实际操作

情况介绍：服务器A中安装了需要依赖的package，服务器B中有相关代码，且通过

sc.addPyPath(path_to_hdfs)

添加了路径，但是执行后报错，错误描述大概是找不到 dict.txt文件，具体描述见这里。

尝试指定了dict路径后依然出错，后来将代码放到了服务器A上就可以正常运行了，貌似PYSPARK_PYTHON就解决了问题？用zip的方式jieba需要pkg_resources来解决上述出现的那个错误~但服务器B上也没有pkg_resources

就酱。。。