Linux-03搭建hadoop

最近一直在重新学Java，然后这边给了一个任务，将云平台的环境迁移，内部搭建一个。然后临时接手，就一个文档，然后写明各个主机的关系以及安装的软件，然后其他的全没了。然后我负责Linux下的hadoop以及zookeeper的搭建。 没尝试过，只得慢慢来了。
1. 搭建Hadoop伪分布式，只有一台主机 IP为192.168.8.20
1.1修改主机名和IP的映射关系
vim /etc/hosts

    192.168.8.20    hadoop  1.2 关闭防火墙     systemctl stop firewalld  --关闭防火墙     systemctl disable  firewalld  --禁止防火墙 1.3 设置主机名 

2.安装JDK
2.1上传
JDK1,8

2.2解压jdk    #创建文件夹    mkdir /usr/java    #解压    tar -zxvf XXX.tar.gz -C /usr/java/2.3将java添加到环境变量中    vim /etc/profile    #在文件最后添加    export JAVA_HOME=/usr/java/jdk1.7.0_55    export PATH=$PATH:$JAVA_HOME/bin    #刷新配置    source /etc/profile

3.安装Hadoop
3.1上传hadoop安装包

3.2解压hadoop安装包    mkdir /hadooop2.2    #解压到/cloud/目录下    tar -zxvf hadoop-2.2.0.tar.gz -C /hadoop2.2/3.3修改配置文件（5个）    第一个：hadoop-env.sh    #在27行修改    export JAVA_HOME=/usr/java/jdk1.7.0_55    第二个：core-site.xml    <configuration>        <!-- 指定HDFS老大（namenode）的通信地址 -->        <property>                <name>fs.defaultFS</name>                <value>hdfs://hadoop:9000</value>        </property>        <!-- 指定hadoop运行时产生文件的存储路径 -->        <property>                <name>hadoop.tmp.dir</name>                <value>/hadoop2.2/hadoop-2.2.0/tmp</value>        </property>    </configuration>    第三个：hdfs-site.xml    <configuration>        <!-- 设置hdfs副本数量 -->        <property>                <name>dfs.replication</name>                <value>1</value>        </property>    </configuration>    第四个：mapred-site.xml.template 需要重命名： mv mapred-site.xml.template mapred-site.xml    <configuration>        <!-- 通知框架MR使用YARN -->        <property>                <name>mapreduce.framework.name</name>                <value>yarn</value>        </property>    </configuration>    第五个：yarn-site.xml    <configuration>        <!-- reducer取数据的方式是mapreduce_shuffle -->        <property>            <name>yarn.nodemanager.aux-services</name>            <value>mapreduce_shuffle</value>        </property>         <property>                 <name>yarn.resourcemanager.hostname</name>                 <value>hadoop</value>           </property>    </configuration>3.4将hadoop添加到环境变量    vim /etc/profile    export JAVA_HOME=/usr/java/jdk1.7.0_55    export HADOOP_HOME=/hadoop2.2/hadoop-2.2.0    export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin  注意： 在linuxPath中：代表windows中的分号  刷新配置    source /etc/profile3.5格式化HDFS（namenode）第一次使用时要格式化    hadoop namenode -format3.6启动hadoop    先启动HDFS    sbin/start-dfs.sh    再启动YARN    sbin/start-yarn.sh3.7验证是否启动成功    使用jps命令验证    27408 NameNode    28218 Jps    27643 SecondaryNameNode    28066 NodeManager    27803 ResourceManager    27512 DataNode    http://192.168.1.44:50070  (HDFS管理界面)      默认进入：        http://hadoop:50070/dfshealth.html页面     将后缀修改成jsp：http://hadoop:50070/dfshealth.jsp 可看到HDFS里面的文件    在这个文件中添加linux主机名和IP的映射关系    C:\Windows\System32\drivers\etc\hosts    192.168.8.20    hadoop    http://192.168.8.20:8088 （MR管理界面）

4.配置ssh免登陆
生成ssh免登陆密钥
cd ~，进入到我的home目录
cd .ssh/

ssh-keygen -t rsa （四个回车）执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）将公钥拷贝到要免登陆的机器上cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys或ssh-copy-id -i localhost ssh-copy-id -i hadoop（免登录的主机）如果某台机器想要免登录于另一台机器，需要将自己的公钥发送给免登录的机器上，authorized-keys

ssh的过程 （此图片非原创）