hadoop学习笔记2 伪分布模式linux配置



hadoop结构图

伪分布式模式配置

 

1.关闭防火墙和禁用SELinux

service iptables stop

 

vim /etc/sysconfig/selinux设置SELINUX=disabled

2.设置静态ip地址

vim /etc/sysconfig/network-scripts/ifcfg-eth0

固定ip网络配置

 

Onboot = yes

Ipaddress=192.168.154.133

GATEWAY=192.168.154.2

 

 

3.修改hostname

hostnamehadoop-master

vi /etc/sysconfig/network

4.绑定ip与dns

vi /etc/hosts

 

本地dns配置：

##Hadoop 1.x

192.168.154.133hadoop-master Hadoop-master.dragon.org

192.168.154.134 hadoop-slave01hadoop-slave01.dragon.org

192.168.154.135hadoop-slave02 hadoop-slave02.dragon.log

 

 

5.设置ssh自动登录

 

 

SSH协议配置：

                                                

        

  

 

                                         SSH安全的认证协议

 

                                                                                                                           

                     进行通信：

                             NameNode向DataNode发送命令，让它存储某个文件或者读取某个文件的内容

 

进入普通用户jiao：sudo jiao

 

ssh-keygen -trsa(注意：ssh与-之间没有空格；t与ras之间是空格，不是-)

 

查看.ssh文件夹，设置权限为644

复制一份公钥，为私钥

Cd .ssh

cp ip_ras_pubauthorized_keys

ls -l看权限是644是正确的。不能大了，安全考虑

 

ssh localhost查看是否通过

ssh localhost    在.ssh目录下生成文件known_hosts

 

中途点yes保存用户名密码到known_hosts

 

 

ssh hadoop-mastar.dragon.org

 

more known_hosts查看

 

 

6.安装jdk

 

安装hadoop

解压：

tar -zxvf hadoop.tar.gz

设置环境变量：

vim /etc/profile追加

export HADOOP_HOME=/opt/modules/hadoop-xx-xx/

export path=.:$HADOOP_HOME/bin:$bin

exportHADOOP_HOME_WARN_SUPPRESS=1

 

设置生效

source/etc/profile

                                                                                                                        

修改config下的配置文件

hadoop-env.sh core-site.xml hdft-site.xml mapred-site.xml

 

配置hadoo-env.sh

添加jdk配置

export JAVA_HOME=/opt/modules/jdk1.8.0_121

 

配置core-site.xml

<configuration>

<property>

   <name>fs.default.name</name>

   <value>hdfs://hadoop-master.dragon.org:9000</value>

</property>

 

<property>

   <name>hadoop.temp.dir</name>

   <value>/opt/data/tmp</value>

</property>

</configuration>

 

配置hdfs-site.xml

<configuration> --设置hdfs副本数

<property>

   <name>dfs.replication</name>

   <value>1</value>

</property>

 

<property>

   <name>dfs.permissions</name>

   <value>false</value>

</property>

</configuration>

 

配置mapred.site.xml

 

 

<configuration> --设置hdfs副本数

<property>

   <name>mapred.job.tracker</name>

   <value>hadoop-master.dragon.org:9001</value>

</property>

</configuration>

 

 

TaskTracker与dataNode是从节点进程，配置在slaves文件中，默认localhost（从这里可以看出，hadoop默认的是伪分布式模式，实际上是在一台机器上）

配置为hadoop-master

                                                                            

SecondaryNameNode配置是在masters文件下。默认也是localhost；配置为hadoop-master

 

 

对nameNode进行格式化操作

进入hadoop的bin目录：

cd /opt/modules/hadoop-1.2.1/bin

执行hadoop namenode-format

 

启动dfs文件系统

start dfs

 

 

注意：ue要用root用户登录才能修改文件