Hadoop集群搭建

一、Linux安装安装master照常安装，重新配置net连接，先选桥接模式初始化，再选net配置网络1）cd /etc/sysconfig/network-scripts/vim ifcfg-eth0 里面内容是EVICE="eth0"BOOTPROTO="dhcp"HWADDR="00:0C:29:E9:FF:BC"IPV6INIT="yes"NM_CONTROLLED="yes"ONBOOT="yes"TYPE="Ethernet"UUID="d7031a7a-8572-4588-b53d-1659a807d48a"dhcp 是动态主机配置协议，由服务器控制一段IP地址范围，客户机登录服务器时就可以自动获得服务器分配的IP地址和子网掩码把dhcp改为static修改为如下CE="eth0"BOOTPROTO="static"NM_CONTROLLED="yes"ONBOOT="yes"TYPE="Ethernet"IPADDR=192.168.146.10NETMASK=255.255.255.0GATEWAY=192.168.146.2DNS1=202.106.0.2重启网络服务[root@localhost Desktop]# /etc/init.d/network restart二、创建集群一个master主服务器，俩个子服务器slave1，slave2需要配置slave1，slave2 IPslave1配置网络[badou@localhost Desktop]$ cd /etc/sysconfig/network-scripts[root@localhost network-scripts]# vim ifcfg-eth0 DEVICE="eth0"BOOTPROTO="static"NM_CONTROLLED="yes"ONBOOT="yes"TYPE="Ethernet"IPADDR=192.168.146.11NETMASK=255.255.255.0GATEWAY=192.168.146.2DNS1=202.106.0.2[root@localhost network-scripts]# /etc/init.d/network restartslave2配置网络同slave1，只是修改IP地址为192.168.146.12由于复制master，所以slave1和slave2都需要重新装网卡三、共享目录[badou@localhost mnt]$ cd /mnt/hgfs/拷贝[root@localhost 虚拟机共享目录]# cp jdk-6u45-linux-x64.bin /usr/local/src运行[root@localhost src]# ./jdk-6u45-linux-x64.bin 配置环境变量[root@localhost src]# vim ~/.bashrc export JAVA_HOME=/usr/local/src/jdk1.6.0_45export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/libexport PATH=$PATH:$JAVA_HOME/binsource的作用是用来执行一个脚本 source a.sh 和直接执行 ./a.sh的区别： 调用./a.sh来执行shell是在一个子shell里运行的，所以执行后，结构并没有反应到父shell里，但是source不同它就是在本shell中执行的，所以可以看到结果。 比如你在一个脚本里export $KKK=111 ,如果你用./a.sh执行该脚本，执行完毕后，你运行 echo $KKK ,发现没有值，如果你用source来执行 ，然后再echo ,就会发现KKK=111。   如果path配置错误先查看echo $PATH再赋值export PATH=/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/home/badou/bin:/usr/local/src/jdk1.6.0_45/bin:/usr/local/src/jdk1.6.0_45/bin四、安装Hadoop集群tar命令用于对文件打包压缩或解压，格式为：“tar [选项] [文件]”。打包并压缩文件:“tar -czvf 压缩包名.tar.gz 文件名”解压并展开压缩包:“tar -xzvf 压缩包名.tar.gz”参数    作用    -c    创建压缩文件    -x    解开压缩文件    -t    查看压缩包内有那些文件    -z    用Gzip压缩或解压    -j    用bzip2压缩或解压    -v    显示压缩或解压的过程    -f    目标文件名    -p    保留原始的权限与属性    -P    使用绝对路径来压缩    -C    指定解压到的目录    解压缩[root@localhost src]# tar xzvf hadoop-1.2.1-bin.tar.gz 用于存放临时文件[root@localhost hadoop-1.2.1]# mkdir tmp    [root@localhost hadoop-1.2.1]# cd conf[root@localhost conf]# vim masters 修改为master[root@localhost conf]# vim slaves修改为slave1，slave2[root@localhost conf]# vim core-site.xml <configuration><!--指定临时目录的地址，路径-->           <property>                        <name>hadoop.tmp.dir</name>                        <value>/usr/local/src/hadoop-1.2.1/tmp</value>           </property>           <!---->           <property>                         <name>fs.default.name</name>                         <value>hdfs://192.168.146.10:9000</value>            </property></configuration>   [root@localhost conf]# vim mapred-site.xml                          <configuration>                   <property>                         <name>mapred.job.tracker</name>                         <value>http://192.168.146.10:9001</value>                     </property></configuration>[root@localhost conf]# vim hdfs-site.xml 数据在dfs中存储的副本数<configuration>                         <property>                            <name>dfs.replication</name>                            <value>3</value>                </property></configuration>[root@localhost conf]# vim hadoop-env.sh 配置Java路径export JAVA_HOME=/usr/local/src/jdk1.6.0_45ls -rlt-r：反向排序-t：列出文件按照最后修改时间（最新的在上面）-l：长格式显示总结：列出目录下面的文件或目录，按照修改时间反向排序（长格式显示）配置本地网络映射，配置DNS[root@localhost conf]# vim /etc/hosts192.168.146.10 master192.168.146.11 slave1192.168.146.12 slave2临时生效[root@localhost conf]# hostname master永久生效[root@localhost conf]# vim /etc/sysconfig/networkNETWORKING=yesHOSTNAME=master配置slive1，slive2远程拷贝递归拷贝[root@localhost src]# scp -rp hadoop-1.2.1 192.168.146.11:/usr/local/src/关闭防火墙[root@localhost src]# /etc/init.d/iptables stop检查是否关闭[root@localhost src]# iptables -L执行setenforce 0 表示关闭selinux防火墙。getenforce检查五、建立每台机器间互信[root@master badou]# ssh-keygen 不断回车进入隐藏目录[root@master badou]# cd ~/.ssh公钥文件拷贝[root@master .ssh]# cat id_rsa.pub > authorized_keys几台机器重复操作子机器的公钥复制到主机器的authorized_keys[root@master .ssh]# scp -rp authorized_keys slave2:~/.ssh/公钥三台机器都有验证[root@master .ssh]# ssh slave1六、启动集群[root@master src]# cd hadoop-1.2.1/bin第一次启动需要格式化[root@master bin]# ./hadoop namenode -format启动[root@master bin]# ./start-all.sh 查看进程是否有问题[root@master bin]# jps不懂[root@master bin]# ./hadoop fs -ls /往集群上传文件[root@master bin]# ./hadoop fs -put /etc/passwd /查看文件列表[root@master bin]# ./hadoop fs -ls /查看文件内容[root@master bin]# ./hadoop fs -cat /passwd