hadoop伪分布环境搭建

来源:互联网 发布:软件开发与设计 编辑:程序博客网 时间:2024/05/29 08:29
hadoop的伪分布(单节点)
 1、设置ip地址,可以在centos系统桌面中有个电脑图标,右击edit connections进行IP设置
  使用命令ifconfig验证,如果验证不过使用命令service network restart网络重启(或者重启系统)
 2、关闭防火墙chkconfig iptables off ,用chkconfig --list iptables验证
  service iptables stop 只是临时关闭防火墙,在重启系统后无效
 3、设置主机名 vi /etc/sysconfig/network文件中 ,设置hostname=xxxx
 4、设置主机名与ip映射关系,vi /etc/hosts文件中 
   加上 ip  主机名(主机名和ip之间有个空格)
 5、进行免密码登录,执行ssh-keygen -t rsa ,连续按下enter键3次
  然后执行ssh-copy-i -i 主机名,使用ssh命令ping 本机
 6、安装Java环境
  使用文件上传工具,把jdk-6u24-linux-i586.bin文件上传到Linux服务器上/usr/local/目录下
  执行tar -zxvf jdk-6u24-linux-i586.bin进行解压,如果没有执行权限,用chmod u+x jdk-6u24-linux-i586.bin赋予执行权限
  配置环境变量,执行vi /etc/profile ,添加export JAVA_HOME=/usr/local/jdk ,export PATH=.:$JAVA_HOME/bin:$PATH
  然后执行 source /etc/profile 命令,java -version命令验证
 7、安装hadoop环境
  使用文件上传工具,把hadoop-1.1.2.tar.gz文件上传到Linux服务器上 /usr/local/目录下
  执行tar -zxvf hadoop-1.1.2.tar.gz进行解压,如果没有执行权限,用chmod u+x hadoop-1.1.2.tar.gz赋予执行权限
  配置环境变量,执行 vi /etc/profile,添加export HADOOP_HOME=/usr/local/hadoop
  export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
  然后执行 source /etc/profile命令,
  然后修改hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml四个文件
  7.1 修改hadoop-env.sh文件
  添加 export JAVA_HOME=/usr/local/jdk/
  7.2 修改core-site.xm文件
  <configuration>
   <property>
       <name>fs.default.name</name>
       <value>hdfs://cluster11:9000</value>
   </property>
   <property>
       <name>hadoop.tmp.dir</name>
       <value>/usr/local/hadoop/tmp</value>
   </property>  
</configuration>
      7.3 修改hdfs-site.xml文件
<configuration>
   <property>
       <name>dfs.replication</name>
       <value>1</value>
   </property>
   <property>
       <name>dfs.permissions</name>
       <value>false</value>
   </property>
</configuration>
7.4 修改4.mapred-site.xml文件
<configuration>
   <property>
       <name>mapred.job.tracker</name>
       <value>cluster11:9001</value>
   </property>
</configuration>
 8、格式化hadoop
   bin/hdfs namenode -format
 9、执行start-all.sh启动脚本
 10、执行jps命令,可以看到5个进程
  jobtracker
  datanode
  tasktracker
  secondarynameNode
  nameNode











0 0