hadoop streaming 遇到的问题小结
来源:互联网 发布:工程预算软件下载 编辑:程序博客网 时间:2024/06/17 22:30
Hadoop Streaming 非常友好的一点是可以map 和reduce可以用python或者shell来写。狼厂的大boss在安装Hadoop的时候就说道一定要安装Hadoop streaming!于是开启了我Hadoop streaming 新世界的大门。
现在的我可以shell和python无缝切换写map和reduce啦,但也记录一下踩过的坑。
1. 查询bug问题:
我发现,如果map或者reduce有bug的话,hadoop streaming 在执行的时候并不会告诉你具体的内容,e.g 你的json读到了\n,list越界….. 这一点非常的不好,有时候本地模拟测试map reduce:
cat file1.txt file2.txt |python map.py |sort -k1,2 |awk -f reduce.awk
但有时候本地测试通过,真正在集群上跑了就报错:
Running a job using hadoop streaming and mrjob: PipeMapRed.waitOutputThreads(): subprocess failed with code 1
完全看不出问题来好吗,于是我最开始只有非常笨的用排除法debug代码….效率真的超级低…
2. map和reduce,如果用python写,需要在.py文件加入:
#!/usr/bin/python
3. 如果想对第一列和第二列排序,其中第一列相同时,第二列逆排序
-D mapred.output.key.comparator.class=org.apache.hadoop.mapred.lib.KeyFieldBasedComparator \-D mapred.text.key.comparator.options="-k1,1 -k2rn" \-k1,1表示对第一列到第一列正排序(即对第一列正排序)-k2rn 表示对第二列逆排序
4. hadoop streaming shell 中指定:cacheArchive 是将上传到hdfs上的jar包解压并分发到其他datanode节点
cd test tar –zcvf test.tar.gz * //本地打包时要进入目录test而不是在test的上层目录打包 hadoop fs –put test.tar.gz /user/hadoop/test/ 在shell里面加入: -cacheArchive hdfs://host:port/user/hadoop/test/test.tar.gz#test -mapper “./test/mapper.sh ./test/hello.txt” -reducer ./test/reducer.sh// -mapper选项指定为mapper程序及其运行参数,-reducer选项指定reducer程序
阅读全文
0 0
- hadoop streaming 遇到的问题小结
- hadoop的streaming学习小结
- hadoop streaming python 处理 lzo 文件遇到的问题
- Hadoop Streaming 获取mapreduce_map_input_file遇到的版本问题
- hadoop streaming python 处理 lzo 文件遇到的问题
- 初次使用 Hadoop Streaming 的过程(遇到各种各样的问题)
- hadoop遇到的问题
- Hadoop的Streaming学习
- Hadoop Streaming的使用
- 运行Hadoop遇到的问题
- hadoop遇到的问题记录
- hadoop遇到的一些问题
- 初步 HADOOP 遇到的问题
- hadoop 程序遇到的问题
- hadoop 遇到的问题记录
- 初学hadoop遇到的问题
- Hadoop开发遇到的问题
- hadoop 应用遇到的问题
- (算法)初级排序算法
- 购物车
- CS 300 Tree Antichain 构造,树,二分染色
- gomicro微服务系列之一
- How to Construct Basic Logic Gates from Nand Gate Using Bool Algebra
- hadoop streaming 遇到的问题小结
- 本地购物车实现
- 《利用栈实现含浮点数的算术表达式的计算》
- 自定义view,实现圆环进度
- 导出excel使用到excel公式或者函数时,遇到出现#N/A问题,
- Python的字符串
- Ubuntu安装Oracle java
- KRACK官网翻译
- 指针和引用的区别