hadoop入门二（伪分布式环境搭建）

Hadoop伪分布式环境搭建

1.配置一个节点的hdfs系统

 vi etc/hadoop/core-site.xml

2.新增hdfs文件系统节点

<property>    <name>fs.defaultFS</name>    <value>hdfs://hadoop.skedu.com:9000</value></property>

3.配置一个临时数据存放位置

$ mkdir data$ cd data$ mkdir tmp

4.同样的配置一下core-site.xml

<property>    <name>hadoop.tmp.dir</name>    <value>/opt/modules/hadoop-2.7.3/data/temp</value></property>

5.指定副本节点的数量
一般情况下，我们都是会有三个拷贝，这里为了节约资源，指定一个

 vi etc/hadoop/hdfs-site.xml <property>    <name>dfs.replication</name>    <value>1</value></property>

6.由于每次都要输入密码，这里噢诶之ssh无秘钥登录

$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys$ chmod 0600 ~/.ssh/authorized_keys

7.格式化HDFS系统

$ bin/hdfs namenode -format

8.启动hadoop的HDFS文件系统

 sbin/start-dfs.sh

9.查看服务是否正常

jps

如果能够看到namenode datanode secondarynamenode都显示正常，如下图：

---

这里谈一下我涉及到的坑：
hadoop启动时 datanode namenode启动失败

这个解决思路是对的，但是尝试了一下没有成功。
和上面的提示一样：

如果提示 文件夹没有 说明你没有格式话hdfs

如果是这种提示 就和参考博客中的是一样的了。

如果你的启动不成功，请参考：

1. 首先 查看是否有拼写错误
2. 在配置好临时目录以后 要启动hdfs格式化命令
3. 如果目录权限不够 请给你的用户添加权限
4. 注意，重新启动hdfs的时候，要先执行关闭命令

最后，配置伪分布式还是比较简单的，如果实在不行，就直接重新删除相关目录，在重新配置一下。有时候可以尝试重新启动一下机器。

---

这是后来看到的搭建的伪分布式的 看一下注意事项就好了
搭建hadoop伪分布式 的注意事项