Hadoop单机模式配置

1.在ubuntu下创建hadoop用户，并添加到系统用户：
（命令如下） sudo addgroup hadoop
sudo adduser --ingroup hadoop hadoop


2.给新添加的账户hadoop添加权限:打开/etc/sudoers文件，在root ALL=(ALL:ALL)  ALL下添加hadoop  ALL=(ALL:ALL)  ALL


3.配置java环境以及环境变量的配置。这里就不多说了。


4.SSH安装：安装ssh时先切换到hadoop用户。
（命令如下） su - hadoop
sudo apt-get install openssh-server


5.安装完毕后启动ssh服务（在hadoop用户下）
（命令如下） sudo /etc/init.d/ssh start
查看是否正确启动：ps -e |grep ssh


6.生成私钥和公钥：（命令） ssh-keygen -t rsa


（注：回车后会在~/.ssh/下生成两个文件：id_rsa和id_rsa.pub这两个文件是成对出现的前者为私钥，后者为公钥）
进入~/.ssh/目录下，将公钥id_rsa.pub追加到authorized_keys授权文件中，开始是没有authorized_keys文件的（authorized_keys 用于保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容）：
hadoop@ubuntu:~$ cat ~/.ssh/id_rsa.pub>> ~/.ssh/authorized_keys


7.使用命令exit可以进行退出


8.编辑系统目录下/etc/hosts文件，将127.0.0.1 改为自己的ip


9.安装hadoop-2.7.3
   将压缩文件解压到/usr/local下面  (命令)：sudo tar -xzf hadoop…….gz
   重命名文件名为hadoop   (命令)：sudo mv hadoop-2.7.3 hadoop  
   要确保所有的操作都是在用户hadoop下完成的，所以将该hadoop文件夹的属主用户设为hadoop。（命令）：hadoop@ruizg:/usr/local$sudo chown –R hadoop:hadoop hadoop 
   配置hadoop-env.sh文件(hadoop-env.sh文件在hadoop/etc/hadoop路径下面)（命令）：hadoop@ruizg:/usr/local$ sudo vi /usr/local/hadoop/etc/hadoop/hadoop-env.sh 
   在hadoop-env.sh中export JAVA_HOME后面添加以下信息(JAVA_HOME路径改为实际路径)：
export JAVA_HOME=/home/ruizg/software/java/jdk1.7.0_80  
export HADOOP_INSTALL=/usr/local/hadoop  
export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin  
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL  
export HADOOP_COMMON_HOME=$HADOOP_INSTALL  
export YARN_HOME=$HADOOP_INSTALL  
hadoop@ruizg:/usr/local/hadoop/etc/hadoop$source hadoop-env.sh  （保存生效）


 
   再到/etc/profile中添加HADOOP_INSTALL并修改PATH，结果为
export JAVA_HOME=/home/ruizg/software/java/jdk1.7.0_80  
export JRE_HOME=/home/ruizg/software/java/jdk1.7.0_80/jre  
export HADOOP_INSTALL=/usr/local/hadoop  
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib  
exportPATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_INSTALL/bin:$HADOOP_INSTALL/sbin 






10.保存后重启机器。
切换到hadoop用户，
运行命令  hadoop@ruizg:/usr/local/hadoop$ hadoop version  


如果看到如下hadoop版本信息则表示hadoop单机模式安装成功
[plain] view plain copy  在CODE上查看代码片派生到我的代码片
hadoop@ruizg:/usr/local/hadoop$ hadoop version  
Hadoop 2.7.3  
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r15ecc87ccf4a0228f35af08fc56de536e6ce657a  
Compiled by jenkins on 2015-06-29T06:04Z  
Compiled with protoc 2.5.0  
From source with checksum fc0a1a23fc1868e4d5ee7fa2b28a58a  
This command was run using/usr/local/hadoop/share/hadoop/common/hadoop-common-2.7.3.jar  

------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

11.安装成功后我们来运行一下Hadoop自带的例子wordcount。一个MapReduce框架用来统计文章单词出现次数的功能。首先在hadoop下新建input目录。命令如下：hadoop@ruizg:/usr/local/hadoop$ sudo mkdir input


12.将etc中的所有文件拷贝到input目录中。
命令如下： hadoop@ruizg：/usr/local/hadoop$ cp -r etc/* input


13.运行wordcount程序，并将结果保存到output（注意：这边不同版本的hadoop有所区别(有的mapreduce下没有bin目录，此时就要如下命令操作，反正就是随机应变，主要看那个例子的jar在那个目录下);还有注意取数据的路径为/usr/local/hadoop/input/hadoop）
命令如下：hadoop@ruizg:/usr/local/hadoop/share/hadoop/mapreduce$ hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /usr/local/hadoop/input/hadoop output
这是，命令行会冒出一大堆乱七八糟的东西


14.运行如下命令可以查看上面运行例子的结果(文件中所有的单词和频数都被统计出来了)
hadoop@ruizg：/usr/local/hadoop$cat output/*






这边单机配置的hadoop就已经完成！！！！！！！！！！！