Hadoop2安装-伪分布模式

一、安装前一定要安装ssh

二、修改配置文件

修改的文件都在/hadooplearn/hadoop-2.7.1/etc/hadoop下：

core-site.xml、hdfs-site.xml、yarn-site.xml.三个文件

配置文件的添加和修改都在<configuration></configuration> 中

1、core-site.xml

<configuration>
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://127.0.0.1:9000</value>
</property>
</configuration>

添加hdfs的指定URL路径，由于是伪分布模式，所以配置的本机IP，可为真实IP、localhost。

2、hdfs-site.xml

<configuration>
        <property>
                 <name>dfs.namenode.name.dir</name>
                 <value>file:/hadooplearn/hadoop-2.7.1/dfs/name</value>
        </property>


        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/hadooplearn/hadoop-2.7.1/dfs/data</value>
        </property>
</configuration>

主要是对namenode和datanode存储路径的设置。其实默认是存储在file://${hadoop.tmp.dir}/dfs/name和data 下的。所以这里也不需要配置的。但默认的是临时文件，重启就没有了，所以这里还是设置了专门的路径保存。

3、yarn-site.xml

<property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>

三、启动

启动的文件都是sbin下，bin下的都是命令。如果为了方便可以把这两个目录添加到环境变量中去，这样可以直接运行命令，而不是运行绝对路径。

切换到安装目录下

首先格式化namenode

bin/hdfs namenode -format

启动namenode和datanode

sbin/hadoop-daemon.sh start namenode

sbin/hadoop-daemon.sh start datanode

运行测试

jps

出现：

8431 Jps

8353 DataNode

8271 NameNode

证明启动成功，如果没有出现DataNode或者NameNode，证明启动没有成功，可以查看hadoop安装目录下的logs下的日志记录。

可以使用sbin/hadoop-daemon.sh stop datanode(datanode)来关闭。

启动Manage管理

sbin/yarn-daemon.sh start resourcemanager

sbin/yarn-daemon.sh start nodemanager

运行测试

jps

出现：

8353 DataNode

8271 NameNode

8676 Jps

8462 ResourceManager

8178 NodeManager

证明启动成功，同时也可以使用yarn-daemon.sh stop resourcemanager(nodemanager)来关闭。

如果没有单独配置yarn-site.xml中的yarn.resourcemanager.webapp.address，默认的端口8088 访问
http://127.0.0.1:8088/  就可以访问hadoop管理页面

如果没有单独配置 hdfs-site.xml中的dfs.namenode.http-address,默认端口50070
http://127.0.0.1:50070 就可以访问namenode节点信息。

四、运行实例

切换到安装目录，建立要上传到hadoop的两个文件test1.txt、test2.txt

把input目录中的文件拷贝到hdfs上，并保存在in目录中

bin/hadoop dfs -put input/ /in

其中/in中的/是hdfs下的目录，好像不加/不能上传。

参考

bin/hadoop dfs -ls /in

就可以查看in文件夹下的两个文件，同时也可以通过http://127.0.0.1:50070 查看节点下的文件。