hadoop 2.6.0 伪分布式搭建

一、准备

• 1.ubuntu 16.04的系统一台。
• 2.apache jdk
• 3.hadoop 2.6.0 的安装包

二、安装jdk

• 1.修改虚拟机的主机名

命名为：HadoopMaster
注意：重启虚拟机生效

sudo vim /etc/hostname 

• 2.修改虚拟机的hosts文件

sudo vim /etc/hosts

添加记录：虚拟机IP地址 HadoopMaster

• 3.安装apache的jdk

sudo add-apt-repository ppa:webupd8team/javasudo apt updatesudo apt install oracle-java7-installer

• 4.配置java环境变量

sudo vim ~/.bashrc

添加记录：export JAVA_HOME=jdk安装路径
通过以上方式安装的jdk的路径为：/usr/lib/jvm/java-7-oracle

source ~/.bashrc（使修改的配置文件生效）

三、安装hadoop 2.6.0

• 1.下载hadoop 2.6.0

wget http://apache.fayea.com/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz

• 2.解压hadoop 2.6.0

解压到/usr/local目录

sudo tar -zxvf hadoop-2.6.0.tar.gz -C /usr/local

重命名文件

sudo mv /usr/local/hadoop-2.6.0 /usr/local/hadoop

修改文件的所有者和所在组（假设系统中存在looc这样一个用户）

sudo chown -R looc:looc /usr/local/hadoop

查看hadoop的安装情况

/usr/local/hadoop/bin/hadoop

• 3.修改~/.bashrc

sudo vim ~/.bashrc

添加如下记录

export HADOOP_INSTALL=/usr/local/hadoopexport PATH=$PATH:$HADOOP_INSTALL/binexport PATH=$PATH:$HADOOP_INSTALL/sbinexport HADOOP_MAPRED_HOME=$HADOOP_INSTALLexport HADOOP_COMMON_HOME=$HADOOP_INSTALLexport HADOOP_HDFS_HOME=$HADOOP_INSTALLexport YARN_HOME=$HADOOP_INSTALL

source ~/.bashrc（使修改的配置文件生效）

• 4.验证：输入hdfs验证是否安装成功。（如果成功的话会有相应的提示）

• 5.创建hadoop需要的目录

sudo mkdir /home/hadoopsudo chown -R looc:looc /home/hadoopmkdir /home/hadoop/hadoop-2.6.0mkdir /home/hadoop/hadoop-2.6.0/tmpmkdir /home/hadoop/hadoop-2.6.0/dfsmkdir /home/hadoop/hadoop-2.6.0/dfs/namemkdir /home/hadoop/hadoop-2.6.0/dfs/data

• 6.修改配置文件（细心）

①

vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh

添加记录：export JAVA_HOME=jdk安装路径
通过以上方式安装的jdk的路径为：/usr/lib/jvm/java-7-oracle

②

vim /usr/local/hadoop/etc/hadoop/core-site.xml

添加如下记录

在<configuration></configuration>之间加入如下记录：<property>    <name>hadoop.tmp.dir</name>    <value>/home/hadoop/hadoop-2.6.0/tmp</value>    <description>Abase for other temporary directories</description></property><property>    <name>fs.default.name</name>    <value>hdfs://HadoopMaster:9000</value></property>

③

vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml

添加如下记录

在<configuration></configuration>之间加入如下记录：<property>    <name>dfs.name.dir</name>    <value>/home/hadoop/hadoop-2.6.0/dfs/name</value>    <description>Path on the local filesystem where the NameNode stores the namespace and transactions logs persistently.</description></property><property>    <name>dfs.data.dir</name>    <value>/home/hadoop/hadoop-2.6.0/dfs/data</value>    <description>Comma separated list of paths on the local filesystem of a DataNode where it should store its blocks.</description></property><property>    <name>dfs.replication</name>    <value>1</value></property><property>    <name>dfs.permissions</name>    <value>false</value></property>

④

vim /usr/local/hadoop/etc/hadoop/mapred-site.xml.template

添加如下记录

在<configuration></configuration>之间加入如下记录：<property>    <name>mapred.job.tracker</name>    <value>HadoopMaster:9001</value>    <description>Host or IP and port of JobTracker.</description></property>

复制

cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml

⑤

vim /usr/local/hadoop/etc/hadoop/slaves

删除文件中的记录并添加如下记录

HadoopMaster(此处搭建的是伪分布式，slave即master，master即slave，两者是同一个东西)

⑥

vim /usr/local/hadoop/etc/hadoop/masters

删除文件中的记录并添加如下记录

HadoopMaster(此处搭建的是伪分布式，slave即master，master即slave，两者是同一个东西)

• 7.格式化HDFS文件系统

cd /usr/local/hadoop && bin/hdfs namenode -format

• 8.启动hadoop集群和停止hadoop集群

/usr/local/hadoop/sbin/start-all.sh     //启动/usr/local/hadoop/sbin/stop-all.sh     //停止

• 9.在hadoop集群启动着的情况下执行jps指令查看输出，如果看见如下输出说明搭建成功。

JpsNameNodeSecondaryNameNodeDataNodeNodeManagerResourceManager

• 10.图形管理

当前IP地址：50070 —> 管理HDFS
当前IP地址：8088 —> 管理MapReduce

四、HDFS常用的指令

hadoop fs -mkdir /input/ -->在hadoop上创建文件夹hadoop fs -rmdir /input/ -->在hadoop上删除文件夹hadoop fs -ls / -->查看hadoop/目录下的文件hadoop fs -rm /test.txt -->删除test.txt文件hadoop fs -get /test.txt -->从hadoop下载test.txt文件到当前目录hadoop fs -put test.txt / --> 上传test.txt文件到hadoop/目录

Over