Hadoop中的Streaming对linux的操作
来源:互联网 发布:c语言库函数是什么 编辑:程序博客网 时间:2024/06/06 09:47
如何使用Hadoop提供的Streaming,我们可以通过Linux中的命令来实验,比如查看一个文件中的数字统计可以使用下面的命令:
cat sample.txt | wc
其中sample.txt表示需要统计的文件,|表示管道,wc统计数据的命令
现在使用Streaming形式统计Hadoop中的sample.txt的数字。
1.把sample.txt上传到hadoop中,:hadoop dfs -put sample.txt /user/long1657/input
2.通过下面命令来运行命令:
hadoop jar hadoop/hadoop-0.20.2/contrib/streaming/hadoop-0.20.2-streaming.jar -input /user/long1657/input/sample.txt -output /user/long1657/outStream -mapper cat -reducer wc
通过查看可以hadoop中生成的结果可以查看具体的信息。
- Hadoop中的Streaming对linux的操作
- Hadoop的Streaming学习
- Hadoop Streaming的使用
- hadoop中的streaming和pipes
- spark streaming 中对DStream 的两个操作
- Spark Streaming中的操作函数
- Spark Streaming中的操作函数
- Hadoop Streaming的一些基本知识
- hadoop中Streaming的使用
- hadoop的streaming学习小结
- 【hadoop】Hadoop学习笔记(四):Hadoop中的streaming
- Hadoop[1] 对文件的操作(Java)
- java通过api对hadoop的操作
- Hadoop对hdfs操作的命令
- Hadoop Streaming
- Hadoop Streaming
- Hadoop Streaming
- Hadoop Streaming
- 如何才能做到网站高并发访问?
- Xcode使用入门
- delphi中窗体关闭事件FormCloseQuery与assigned函数的使用
- 关于cvScalar的那些事
- ads1.2 license ads1.2 安装许可证
- Hadoop中的Streaming对linux的操作
- HDU 4740 The Donkey of Gui Zhou (模拟)
- linux高编之ext2系统文件
- \wx
- Java基础中 多态 的理解
- Windows XP下的DOS命令中文释义全集
- 浅谈千万级PV/IP规模高性能高并发网站架构
- Android fill_parent和wrap_content分析 (转)
- 迷你空军中队(MiniSquadron) v1.25 全飞机解锁存档