centos6 伪分布式模式安装hadoop

一、配置centos的内存为2g。网络连接方式为桥接。

进入centos后，配置网络连接，查看本机的ip为

打开centos中网络链接。配置ipv4。

然后重启网卡。命令service network restart

然后关闭防火墙，命令：service iptables stop

在cmd命令中ping一下刚才配置的网络，命令：ping 192.168.88.13

能ping通，证明centos中的网络配置成功
然后再SecureCRT中链接服务器，直接在其中操作。

禁用selinux，命令：vim /etc/sysconfig/selinux

修改hostname，命令：hostname hadoop
为防止关机或者重启后，hostname失效。然后在配置文件中修改hostname=hadoop
命令：vim /etc/sysconfig/network

修改hosts文件，本机ip 指向本机hostname。命令：vim /etc/hosts

然后重启服务器：reboot。

配置ssh免密码登录。生成密钥：ssh-keygen -t rsa

拷贝密钥到本机：ssh-copy-id 192.168.88.13

然后测试ssh登陆：ssh 192.168.88.13或者ssh hadoop

然后分别在home文件夹下。新建三个文件夹：tools，data，softwares。
先检查centos是否安装了jdk，java，若有，则卸载。
命令：rpm -qa | grep jdk
rpm -qa | grep java
卸载命令：yum -y remove java-1.6.0-openjdk-1.6.0.0-1.41.1.10.4.el6.x86_64


安装本地上传服务器的应用

然后就可以上传文件了。

将jdk放到/home/tools下面，并解压到softwares，重命名为jdk

查看jdk安装的路径，并在/etc/profile中配置JAVA_HOME的环境变量。
JAVA_HOME=/home/softwares/jdk


测试jdk是否安装成功。命令：java -version

添加用户：adduser zhaojw
设置密码：passwd zhaojw
修改/etc/sudoers为可写：chmod u+w /etc/sudoers
编辑文件sudoers加上：zhaojw ALL=(ALL) ALL


然后分别安装maven，findbugs，protouf

然后分别配置maven，findbugs的环境变量
然后再安装hadoop2.7
、

修改配置文件。使用nodepad++（先安装sftp插件）
连接centos服务器。

修改参照hadoop官方文档：http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-common/SingleCluster.html
修改hadoop.env.sh。导入jdk环境

修改core-site.xm

<property>    <name>fs.defaultFS</name>    <value>hdfs://hadoop:8020</value> <!--默认是9000-->  </property>  <property>    <name>hadoop.tmp.dir</name>    <value>/home/softwares/hadoop/data/tmp</value> <!--新建的-->  </property>

修改hdfs-site.xml

<property>    <name>dfs.replication</name>     <value>1</value>   </property>

修改mapred-site.xml

<property>        <name>mapreduce.framework.name</name>        <value>yarn</value>    </property>

修改yarn-site.xml

<property>        <name>yarn.nodemanager.aux-services</name>        <value>mapreduce_shuffle</value>    </property>

进入hadoop文件夹下
格式化namenode，命令：bin/hdfs namenode -format

格式化成功后，
启动dfs。命令：sbin/start-dfs.sh

验证dfs是否配置成功，命令：jps
启动

在浏览器中输入：http://192.168.88.13:50070可以查看hadoop的文件系统

启动yarn，命令：sbin/start-yarn.sh
在浏览器中输入：http://192.168.88.13：8088，可以查看hadoop上运行的mapreduce任务；

附：hadoop参数及值