Hadoop初级入门 MapReduce程序执行集群执行
来源:互联网 发布:wifi密码备份软件 编辑:程序博客网 时间:2024/05/01 05:00
一个Hadoop程序执行过程
- 把Map/Reduce程序打成Jar包,放在映射目录/test/zhu中
- 登录mcxl3,用zhu登录;
- cd /root/hadoop-0.19.1/
建立新的文件夹 bin/hadoop dfs -mkdir /user/root/zhu/input
或者hadoop fs -mkdir /user/root/zhu/input(bin/hadoop dfs与hadoop fs一致) - put过程---把要处理的文件New1.txt 放到刚刚建立的dfs文件夹里(这个过程每次实验时,只要数据发生变化都需要重新进行Put)
hadoop fs -put home/zhu/New1.txt /user/root/zhu/input - 执行wordcount的jar包(wordcount.jar放在mclx3的/home/zhu/下面)
bin/hadoop jar /home/zhu/wordcount.jar wordcount.wordcount /user/root/zhu/input /user/root/zhu/output - 查看输出结果前13行结果
hadoop fs -cat /user/root/zhu/output/part-00000| head -13
附一些有用的命令:
- 把dfs文件系统上的文件夹目录output1以及目录下的文件删除掉 -rmr
hadoop fs -rmr /user/root/zhu/output1 - 新建dfs文件系统上的文件夹目录input
hadoop fs -mkdir /user/root/zhu/input - 执行wordcount的jar包
bin/hadoop jar /home/zhu/wordcount.jar wordcount.wordcount /user/root/zhu/input /user/root/zhu/output - 查看输出结果前13行结果
hadoop fs -cat /user/root/zhu/output/part-00000| head -13 - 把HDFS上的文件复制为本地文件(注意命令的大小写)
hadoop fs -copyToLocal /user/root/zhu/output2 /home/zhu/ - 把HDFS上的文件复制到本地文件系统
hadoop fs -get /user/root/zhu/output2 /home/zhu/
- Hadoop初级入门 MapReduce程序执行集群执行
- Hadoop初级入门 MapReduce程序执行集群执行(续)
- Hadoop MapReduce 程序执行过程
- 【Python学习系列四】Python程序通过hadoop-streaming提交到Hadoop集群执行MapReduce
- hadoop 2.2.0 执行MapReduce程序
- Hadoop集群-MapReduce初级案例
- Hadoop集群MapReduce初级案例
- Hadoop集群MapReduce初级案例
- Hadoop集群 MapReduce初级案例
- hadoop mapreduce执行流程
- hadoop mapreduce执行流程
- windows下eclipse远程操作hadoop集群执行mapreduce
- Hadoop集群MapReduce初级案例(经典案例)
- hadoop如何执行自己编写的MapReduce程序
- 如何在百度云平台上执行Hadoop MapReduce程序
- hadoop如何执行自己编写的MapReduce程序
- Hadoop MapReduce执行流程详解
- Hadoop MapReduce执行过程详解
- javascript 正则实例
- static, const, reference and class object, as datamembers
- ubuntu9.04网络配置
- 实体关系模型
- 袜子上的Hello kitty
- Hadoop初级入门 MapReduce程序执行集群执行
- Cache工作原理-1
- android环境配置简述
- 改变自我,超越自我,勤奋是成长最快的方法;
- 封闭日记2010-06-20
- CString::Format()函数用法介绍
- Nine Patch PNG in Android!
- ghost XP 安装IIS
- 请指教jsp做小型网站