ubuntu 下安装hadoop 2.7.3安装

第一部分 配置环境变量

vi /etc/profile
export JAVA_HOME=/home/fanyu-pc/jdk1.8.0_121
export HADOOP_HOME=/home/fanyu-pc/hadoop-2.7.3
export JAVA_BIN=$JAVA_HOME/bin
export JAVA_LIB=$JAVA_HOME/lib
export CLASSPATH=.:$JAVA_LIB/tools.jar:$JAVA_LIB/dt.jar
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=.:$JAVA_BIN:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$PATH
#刷新配置
source     /etc/profile

第二部分 配置hadoop 的配置文件

配置文件目录 /home/fanyu-pc/hadoop-2.7.3/etc/hadoop
均写入configuration节点中。

  第一个：hadoop-env.sh
vim hadoop-env.sh
#第27行
export JAVA_HOME=/home/fanyu-pc/jdk1.8.0_121

第二个：core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://fanyupc-ThinkPad-Edge-E430:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/fanyu-pc/hadoop-2.7.3/tmp</value>
        </property>

</configuration>

第三个：hdfs-site.xml

<configuration>
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<property>
  <name>dfs.permissions</name>
  <value>false</value>
  <description>
    If "true", enable permission checking in HDFS.
    If "false", permission checking is turned off,
    but all other behavior is unchanged.
    Switching from one parameter value to the other does not change the mode,
    owner or group of files or directories.
  </description>
</property>
    <name>dfs.namenode.name.dir</name> 
    <value>file:/home/fanyu-pc/hadoop-2.7.3/tmp/dfs/name</value>
</property> 
<property> 
    <name>dfs.datanode.data.dir</name> 
    <value>file:/home/fanyu-pc/hadoop-2.7.3/tmp/dfs/data</value> 
</property> 
</configuration>

第四个:mapred-site.xml

<configuration>
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
        </property>

</configuration>

第五个:yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
<!-- 指定YARN的老大（ResourceManager）的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>fanyupc-ThinkPad-Edge-E430</value>
        </property>
<!-- reducer获取数据的方式 -->
        <property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
        </property>
</configuration>

第三部分：格式化namenode(注意均为小写)

hdfs namenode -format

第四部分:在本地安装ssh服务,并配置无密码认证方式。

第五部分:启动hadoop服务

start-all.sh

jps显示进程

3908 SecondaryNameNode
4852 RemoteMavenServer
3525 NameNode
3670 DataNode
4216 NodeManager
5929 Jps
4077 ResourceManager

通过浏览器可以正常打开http://fanyupc-thinkpad-edge-e430:8088/cluster页面。