如何在mapreduce上使用第三方的Python库
来源:互联网 发布:mac开机按住com r 编辑:程序博客网 时间:2024/05/17 08:05
如何在mapreduce上使用第三方的Python库
streaming简单介绍
streaming就是将一些非java例如Python的文件放到mapreduce上执行,虽然效率可能不如原生的Java好,但是可以放心的写python脚本处理文件,而mapreduce只是一个辅助的工具,具体的使用可以参照官方文档
$HADOOP_HOME/bin/hadoop streaming -D mapred.job.priority='VERY_HIGH' -D mared.job.map.capacity=500 -D mapred.reduce.tasks=0 -D mapred.map.tasks=500 -input myInputDirs(你得HDFS路径) -output myOutputDir(你的HDFS路径) -mapper "python yourpythonfile.py" -reducer "python yourpythonfile.py" -file yourpythonfile.py(需要几个就添加几个-file) -cacheArchive "/xx/xx/xx/myvp.tar.gz#myvp"(此处是一个HDFS路径,稍后用到)
使用第三方库
需要使用第三方库如bs4,numpy等时,需要用到虚拟环境virtualenv
virtualenv的使用
安装
pip install virtualenv
新建虚拟环境
virtualenv myvp
使得虚拟环境的路径为相对路径
virtualenv --relocatable myvp
激活虚拟环境
source myvp/bin/activate
如果想退出,可以使用下面的命令
deactivate
激活后直接安装各种需要的包
pip install XXX
压缩环境包
tar -czf myvp.tar.gz myvp
在mapreduce上使用
在上面的脚本中可以看到使用了-catchArchive,但是路径是HDFS的路径,因此需要提前将本地的myvp.tai.gz包上传到HDFS上。
同时#后面的myvp是文件的文件夹,解压后还有一个myvp(因为压缩的时候把文件夹本身也压缩进去了),所有map中使用的时候的路径就是myvp/myvp/bin/…
在map的python脚本中加入如下的代码,会把第三方库加入到python 路径
import syssys.path.append("myvp/myvp/lib/python2.7")
这样就能使用到了这个文件夹底下的包,而不需要再map中使用source命令激活
0 0
- 如何在mapreduce上使用第三方的Python库
- Python入门:如何使用第三方库?
- python第三方库numpy的使用
- Python第三方库的安装使用
- Python上使用第三方STMP
- python第三方库numpy,scipy在windows平台上的安装
- python第三方库使用
- Python中如何使用pip安装第三方库
- Python下如何使用第三方函数库
- 如何在Eclipse中使用Android Studio里AAR格式的包&& Github上的第三方
- 如何在JNI工程中使用第三方库文件
- 如何在 Vue.js 中使用第三方库
- 如何在 Vue.js 中使用第三方库
- 在Visual Studio上编写自己的第三方库
- MapReduce程式如何调用第三方和本地库
- MapReduce程式如何调用第三方和本地库
- Mac上python安装第三方库
- 如何动态调试Python的第三方库
- Redis优化
- cookie、localStorage、sessionStorage
- 工作总结
- 路由基础(一)
- 第十章 vi 的使用
- 如何在mapreduce上使用第三方的Python库
- 第十章 vim 的额外功能
- 阿里云服务器配置java生产环境jdk1.7+tomcat7.0+mysql5.5(二)
- 通过源码分析String、StringBuffer和StringBuilder
- windows下redis安装教程
- 第十一章 认识 BASH 这个 Shell
- http 500状态码
- Spring注解配置说明(不定时更新)
- 2017sdut省赛选拔(1)--poj1631-(nlogn的最长上升子序列)