hadoop local、伪分布 模式

来源:互联网 发布:家具软件管理 编辑:程序博客网 时间:2024/06/06 17:33
local模式:
把安装包 解压到 /usr/local  下 
[hadoop@master local]$ sudo tar -zxvf hadoop-2.7.3.tar.gz 

创建一个软连接
[hadoop@master local]$ sudo ln -s hadoop-2.7.3 hadoop

增加环境变量
[hadoop@master local]$ vi ~/.bash_profile 
增加
export JAVA_HOME=/usr/
export HADOOP_HOME=/usr/local/hadoop
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
生效
[hadoop@master local]$ source ~/.bash_profile 

改变程序宿主
[hadoop@master local]$ sudo chown -R hadoop:hadoop hadoop-2.7.3

使用一个hadoop命令,效果等同于  ls /
[hadoop@master hadoop]$ hadoop fs -ls /


使用mapreduce 运行一个程序(统计一个文件中的 单词数)
[hadoop@master out]$ mkdir input
[hadoop@master out]$ vi input/test.txt
[hadoop@master out]$ hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar  wordcount ./input ./out

……

[hadoop@master out]$ cd out/
[hadoop@master out]$ cat part-r-00000 
21e     1
23      1
2f      1
adg     1
asdfs   1
by4hrthf        1
gdxzg   1






伪分布模式:
原创粉丝点击