hadoop 安装

准备软件

jdk-8u102-linux-x64.tar.gz

hadoop-2.5.2.tar.gz

Centos 6.5

配置主机名

vi /etc/sysconfig/network

HOSTNAME=master

host 绑定ip

vi /etc/hosts

192.168.1.254 master

上传文件

Xshell4->Xftp 上传 jdk，hadoop 安装文件

解压文件

$ tar -xzvf jdk-8u102-linux-x64.tar.gz

$ tar -xzvf hadoop-2.5.2.tar.gz

配置环境变量 编辑文件 .bash_profile 我的用户是z你们可以按照自己的用户目录指定

vi /home/z/.bash_profile

加入下面代码

export JAVA_HOME=/home/z/App/jdk/jdk1.8.0_102

export PATH=$JAVA_HOME/bin:$PATH

export HADOOP_HOME=/home/z/App/hadoop-2.5.2

export PATH=$HADOOP_HOME/bin:$PATH

保存 wq

source ~/.bash_profile

测试 java -version

输出版本正常

免秘钥登录

su z

输入密码

ssh-keygen -t rsa 一直回车

复制公钥文件

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

修改文件权限

chmod 600 ~/.ssh/authorized_keys

配置hadoop

hadoop-env.sh

core-site.xml

hdfs-site.xml

yarn-site..xml

mapred-site.xml

配置环境变量 hadoop-env.sh

转到 hadoop加压目录

cd /home/z/App/hadoop-2.5.2/etc/hadoop/

vi hadoop-env.sh

将 export JAVA_HOME=${JAVA_HOME} 替换成上面的jdk bin 目录

export JAVA_HOME=/home/z/App/jdk/jdk1.8.0_102

保存文件 :wq

配置核心组件 core-site.xml

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://master:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/z/App/hadoopData</value>

</property>

</configuration>

保存文件 :wq

配置文件系统 hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

保存文件 :wq

配置yarn-site.xml

vi yarn-site..xml

<configuration>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

保存文件 :wq

配置mapred-site.xml

vi mapred-site.xml

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

Test

启动hadoop

sbin/start-all.sh

查看通过浏览器查看

master:50070

停止hadooop

sbin/stop-all.sh

hadoop fs -ls #查看目录列表

上传到HDFS文件

hadoop fs -put 本地文件 /hdfs目录

问题：

1.出现 Call to master/192.168.1.254:9000 failed on connection exception

执行一下 hadoop namenode -format


更多信息 关注 精彩黑科技