hadoop 伪分布模式的搭建

安装JDK
java -version查看java version，ubuntu默认没装jdk,centos默认装openjdk,所以要是centos,先卸载openjdk在安装
sudo apt-get update 更新软件包信息
sudo apt-get install default-jdk 安装默认jdk
java -version 查看是否安装成功
update-alternatives --display java 查看安装路径，等会配置java_home /usr/lib/jvm/java-8-openjdk-amd64/jre/bin/java



设置SSH无密码登录
sudo apt-get install ssh  安装ssh
su hadoop   切换hadoop用户，也就是你当前用户
cd /home/hadoop
$ ssh-keygen -t rsa 一直回车，生成密钥
完成后，在home跟目录下会产生隐藏文件夹.ssh
$ cd .ssh
cp id_rsa.pub  authorized_keys（或者cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 将产生的密钥放到许可者文件中）
测试：
$ssh localhost




安装HADOOP
sudo tar -zxvf hadoop-2.7.3.tar.gz  解压hadoop
sudo mv hadoop-2.7.3 /usr/local/hadoop 移动到文件夹（用命令移动，这样子会自动删除hadoop-2.7.3这个文件夹，之后配置hadoop_home就不用多写一个文件夹路径）

sudo gedit ~/.bashrc   设置环境变量

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH

source ~/.bashrc   使环境变量立即生效


sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh  修改hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64  修改里面的javahome

sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml  修改core-site.xml
如果是分布式模式，localhost改为master.
<property>
   <name>fs.default.name</name>
   </value>hdfs://localhost:9000</value>
</property>


sudo gedit /usr/local/hadoop/etc/hadoop/yarn-site.xml  修改yarn-site.xml
如果是分布式模式，还需其他配置，本文是伪分布模式，即master和slave为同一台机子，适合初学者，以及编写代码练习
<property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
</property>
<property>
   <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
   <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>


sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml  修改hdfs-site.xml
如果是分布式模式，还需其他配置，本文是伪分布模式，即master和slave为同一台机子，适合初学者，以及编写代码练习
 <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/hadoop_data/hdfs/namenode</value>
 </property>
 <property>
        <name>dfs.replication</name>
        <value>3</value>
 </property>
 <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/hadoop_data/hdfs/datanode</value>
 </property>



复制模板文件 sudo cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml
sudo gedit /usr/local/hadoop/etc/hadoop/mapred-site.xml  编辑mapred-site.xml
 <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
 </property>



创建并格式HDfS目录
sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/namenode
sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode
sudo chown hduser:hduser -R /usr/local/hadoop 将hadoop目录的所有者权限更改为hduser
hadoop namenode -format 格式化namenode


启动hadoop
start-all.sh或者分别启动dfs和yarn(start-dfs.sh、start-yarn.sh)


jps查看进程
可以看到
4288 NodeManager
3120 ResourceManager
3650 NameNode
4025 SecondaryNameNode
4395 Jps
3820 DataNode