hadoop伪分布式搭建

1，  新开虚拟机，安装操作系统。Centos6.5（或者用绿色版，解压到文件件，打开即可）

2，  改一下时间，时区对就行。

3，  查看基础状态（ifconfig查看ip地址，（随机分配的）。   Hostname（主机名）。  Service iptables status(防火墙状态)）。

4，  配置网络（host-only仅主机与虚拟机交互。）注意：仅主机模式，网卡VMnet1，网段192.168.150.0    NAT模式：VMnet8:192.168.25.0

Windows主机ip地址192.168.25.1（NET模式）

5，  配置虚拟机网络：小电脑-edit-edit eth0-ipv4-method改为manual（手动，原本为自动，每次都会重新分配ip地址。手动则固定）add，address为192.168.25.137（与VMware8为同一网段），netmask为255.255.255.0 gateway为192.168.25.1（为同一网段的1）

Centos设置改为NAT模式

6，  第二种方法：vim /etc/sysconfig/network-scripts/ifcfg-eth0

BOOTPROTO="static"  IPADDR=192.168.25.137 NETMASK=“255.255.255.0” GATEWAY=“192.168.25.1” DNS1=“8.8.8.8” DNS2=“8.8.4.4”

7，  修改主机名：vim /etc/sysconfig/network 改一下主机名 Hadoop

8，修改ip与主机对应关系 vim /etc/hosts

加192.168.25.137    Hadoop

8，  关闭防火墙 service iptables stop(暂时关闭)  chkconfig iptables –list(查看状态) chkconfig iptables off(关闭开机启动)

9，  重启 reboot

10，       重新查看状态

 

修改网络

此时输入命令，cd/etc/sysconfig/network-scripts/进入目录

修改网卡文件 viifcfg-eth0

 I 为修改，esc后：wq为保存退出

 

改为如图所示

然后重启网卡service network restart

 

 

11.安装jdk

远程连接-alt+p上传-创建文件夹export 之下有software，servers，data。上传

本系统是32位的 解压缩至servers中

配置环境变量。具体看hadoop搭建。

 

12安装hadoop

按hadoop搭建来

配置环境变量。

 

13，更改hadoop配置文件

4个

1.vimHadoop-env.sh  修改hadoop环境变量。依赖jdk  exportJAVA_HOME=/export/servers/jdk

 

2．Vim core-site.xml

<configuration>

       //用于指定namenode地址

        <property>

               <name>fs.defaultFS</name>

               <value>hdfs://192.168.25.138:9000</value>

        </property>

       //指定hadoop运行时产生文件的存放目录

        <property>

               <name>hadoop.tmp.dir</name>

               <value>/export/servers/hadoop/tmp</value>

        </property>

</configuration>

 

3.vimhdfs-site.xml

<configuration>

//指定HDFS保存数据副本数量

        <property>

               <name>dfs.replication</name>

                <value>1</value>

        </property>

</configuration>

 

4. mvmapred-site.xml.template mapred-site.xml 把模板改成xml

Vimmapred-site.xml

 

 

<configuration>

//告诉他mapreduce运行在yarn上

        <property>

               <name>mapreduce.framework.name</name>

                <value>yarn</value>

        </property>

</configuration>

 

5.yarn-site.xml

<configuration>

//nodemanager获取数据方式问shuffle

        <property>

               <name>yarn.nodemanager.aux-services</name>

               <value>mapreduce_shuffle</value>

        </property>

//指定yarn的老大是resourcemanager的地址。

        <property>

               <name>yarn.resourcemanager.hostname</name>

               <value>hadoop</value>

        </property>

 

</configuration>

 

13.格式化文件系统

hdfsnamenode -format  成功后生成刚才配置的数据存放文件夹。

 

14.启动hadoop

Hdfs，yarn

进sbin中。./start-all.sh 不停的yes，密码

 

Start-dfs.shstart-yarn.sh 分别启动。

 

15.jps查看试成功。

 

16.通过管理界面看

http://192.168.25.138:50070 hdfs

http://192.168.25.138:50030 mapreduce

 

exportJAVA_HOME=/export/servers/jdk

exportHADOOP_HOME=/export/servers/hadoop

exportPATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

环境变量配置

 

 

若namenode没启动。把data文件夹中的namenode删除。重新format

 

cd /export/servers/hadoop/sbin   进入sbin，命令库

cd /export/servers/hadoop/etc/hadoop 进入配置文件目录

ssh免密通信：

用于一台机器向另一台发送加密的shell指令，让他干活的。一般来说是要密码的。

Ssh192.168.25.138 mkdir /export/aaa    在另一台机器上建立文件夹。

 

配置免登陆：

1.cd.ssh/

2.ssh-keygen-t rsa 生成公钥，私钥

3.把公钥拷贝给自己cp id_rsa.pub authorized_keys

 

如果要一台等另一台免登陆。把公钥拷给它就行。注意：这是单向的。若要反过来。还要在生成公钥，在拷贝回去。自己免密自己也得拷贝。

hadoop:/export/servers/hadoop-2.6.1/sbin/slaves.sh: line 60: ssh: command not found

这是最小化安装引起的

yum -y install openssh-clients 下载个东西就好了。