Hadoop2.4.0伪分布安装步骤

来源：互联网发布：java 事物的特征编辑：程序博客网时间：2024/05/17 02:43

采用伪分布式模式：即hadoop将所有进程运行于同一台主机上，但此时Hadoop将使用分布式文件系统，而且各jobs也是由JobTracker服务管理的独立进程。同时，由于伪分布式的Hadoop集群只有一个节点，因此HDFS的块复制将限制为单个副本，其secondary-master和slave也都将运行于本地主机。此种模式除了并非真正意义的分布式之外，其程序执行逻辑完全类似于完全分布式，因此，常用于开发人员测试程序执行。

Hadoop伪分布安装步骤

【使用root用户登陆】

1.1 设置静态ip
   在centos桌面的右上角的电脑图标上,右击修改
   重启网卡,执行命令：service network restart
   验证：执行命令：ifconfig
1.2 修改主机名
   <01>修改当前会话中的主机名：执行命令：hostname hadoop
   <02>修改配置文件中的主机名,执行命令：vi /etc/sysconfig/network
       验证：重启一下,执行命令：roboot -h now
       查看主机名,执行命令：hostname
   <03>主机名和ip绑定
       执行命令：vi /etc/hosts
       增加一行内容：192.168.174.99 hadoop
       验证,执行命令：ping hadoop
1.3 关闭防火墙
   执行命令：service iptables stop
   验证,执行命令：service iptables status
1.4 关闭防火墙自动运行
   执行命令：chkconfig iptables off
   验证,执行命令：chkconfig --list | grep iptables
1.5 ssh(secure shell)的免密码登陆
   <01>产生秘钥,执行命令：ssh-keygen -t rsa
        位于~/.ssh 文件里面
   <02>
       执行命令：cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
       验证：ssh localhost
1.6 安装JDK
   <01>删除文件,执行命令rm -rf /usr/local/*
   <02>使用winscp把JDK文件从Windows复制到 ~/Downloads/文件夹下面
   <03>把JDK文件拷贝到/usr/local/文件夹下面
   <04>赋予文件的执行权限,执行命令：chmod u+x jdk-8u11-linux-i586.tar.gz
   <05>解压缩文件：执行命令：tar -zxvf   jdk-8u11-linux-i586.tar.gz
   <06>重新命名文件：mv jdk1.8.0_11 jdk-1.8
   <07>设置环境变量
        执行命令：vi /etc/profile
       增加两行内容：
                   export    JAVA_HOME=/usr/local/jdk-1.8
                   export PATH=.:$JAVA_HOME/bin:$PATH
                   保存退出
   <08>让该设置立即生效
       执行命令：source /etc/profile
   <09>验证，执行命令：java -version
1.7 安装Hadoop
   <01>使用winscp把JDK文件从Windows复制到 ~/Downloads/文件夹下面
   <02>把JDK文件拷贝到/usr/local/文件夹下面
   <03>赋予文件的执行权限,执行命令：chmod u+x hadoop-2.4.0-x64.tar.gz
   <05>解压缩文件：执行命令：tar -zxvf   hadoop-2.4.0-x64.tar.gz
   <06>设置环境变量
        执行命令：vi /etc/profile
       增加两行内容：
                   export    JAVA_HOME=/usr/local/jdk-1.8
                   export HADOOP_HOME=/usr/local/hadoop-2.4.0
                   export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
                   保存退出
   <07>让该设置立即生效
       执行命令：source /etc/profile
   <08>修改Hadoop的配置文件,位于$HADOOP_HOME/etc/hadoop文件夹下面
       修改4个配置文件：
                       hadoop-env.sh
                       core-site.xml
                       hdfs-site.xml
                       mapred-site.xml
                       yarn-site.xml
       {hadoop-env.sh}:
                       export JAVA_HOME=#JAVA_HOME
       {core-site.xml}:
                       <property>
                           <name>hadoop.tmp.dir</name>
                           <value>/usr/local/hadoop/tmp</value>
                           <description>hadoop 的运行临时文件的主目录</description>
                       </property>
                       <property>
                           <name>fs.default.name</name>
                           <value>hdfs://hadoop:9000</value>
                           <description>HDFS 的访问路径</description>
                       </property>
       {hdfs-site.xml}:
                   <configuration>
                       <property>
                           <name>dfs.replication</name>
                           <value>1</value>
                           <description>存储副本数</description>
                       </property>
                       <property>
                           <name>dfs.permissions</name>
                           <value>false</value>
                       </property>
                   </configuration>
       {mapred-site.xml}:
                   <configuration>
                       <property>
                           <name>mapred.job.tracker</name>
                           <value>hadoop:9001</value>
                           <description>change your hostname !</description>
                       </property>
                   </configuration>
       {yarn-site.xml}:
                   <configuration>
                   
                       <property>
                           <name>mapreduce.framework.name</name>
                           <value>yarn</value>
                       </property>
                       <property>
                           <name>yarn.nodemanager.aux-services</name>
                           <value>mapreduce_shuffle</value>
                       </property>
                   </configuration>

0 0