hadoop伪分布式配置

1，下载并安装vmware、下载ubuntu-64位镜像。
2、新建虚拟机，步骤：

首先，选择“典型”，点击“下一步”

然后，

接着，

然后，

接着，

最后，点击“完成即可”。

3、设置虚拟机。
选择“虚拟机”->“设置”->”cd/dvd”，改为“使用iso镜像文件”。然后点击“确定”。

4、开启虚拟机，一直点继续即可。

5、安装增强工具

将vmwaretool.tar复制到桌面。

用鼠标解压vmwaretool.tar文件，再使用命令执行python文件：

sudo ./vmware-install.pl

一连串的回车。虚拟机增强工具安装完成。先关闭虚拟机。

6、添加共享文件夹

开启虚拟机。

7、安装JDK
将本地的jdk.tar包复制到linux下的“/下载/”目录。

进入到下载目录，使用如下命令解压：

tar -xzvf jdk-8u111-linux-x64.tar.gz

把解压后的文件移动到根目录的usr/soft/文件夹下

先创建soft文件夹：mkdir soft/再移动文件：sudo  mv  ~/下载/jdk1.8.0_111/  soft/

配置java_home和path路径：
进入根目录的/etc/目录

cd /etc/

打开environment文件，

nano  environment

然后加入JAVA_HOME和追加Path

JAVA_HOME=/usr/soft/jdk1.8.0_111（注意要大写）

在path后面追加/usr/soft/jdk1.8.0_111/bin
然后ctrl+o， 回车，ctrl+x退出即可。

然后使用命令让文档立即生效

source environment

最后测试jdk是否安装成功

java -version

如下图表示安装成功

8、安装hadoop
先将hadoop.tar复制到下载目录。

解压，并将解压后的文件移动到根目录的usr/soft/文件夹下

tar -xzvf  hadoop-3.0.0-alpha1.tar.gz sudo mv hadoop-3.0.0-alpha1 /usr/soft/

配置hadoop环境变量，在根目录中的etc/，
打开environment

sudo  gedit  environment

HADOOP_INSTALL=/usr/soft/hadoop-3.0.0-alpha1

在path后面追加/usr/soft/hadoop-3.0.0-alpha1/bin:/usr/soft/hadoop-3.0.0-alpha1/sbin

然后让它立即生效

source environment

重新启动客户机。。。
然后输入命令

hadoop version

如果出现hadoop的版本信息，则说明配置成功。

9、修改hadoop的配置文件
进入hadoop文件夹里的etc目录里面

cd   /usr/soft/hadoop-3.0.0-alpha1/etc/hadoop

复制hadoop文件夹为hadoop_presudo,

cp -R hadoop hadoop_presudo

分别修改core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml文件。

core-site.xml:

<configuration>    <property>       <name>fs.defaultFS</name>       <value>hdfs://localhost/</value>    </property></configuration>

hdfs-site.xml

<configuration>    <property>       <name>dfs.replication</name>       <value>1</value>        </property></configuration>

mapred-site.xml

<configuration>    <property>        <name>mapreduce.framework.name</name>        <value>yarn</value>    </property></configuration>

yarn-site.xml

<configuration>    <property>       <name>yarn.resourcemanager.hostname</name>       <value>localhost</value>    </property>     <property>       <name>yarn.nodemanager.aux-services</name>       <value>mapreduce_shuffle</value>    </property></configuration>

10、安装ssh

安装ssh服务

sudo  apt-get  install  ssh

生成ssh密钥

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

进入.shh文件夹里面，把公钥放入authorized_keys里面

cd ~/.sshcat id_rsa.pub >> authorized_keys

这时该隐藏文件夹下面多了些文件

登陆ssh：

ssh localhost

这时多了个known_hosts

使用exit断开连接

exit

记得每次登录最后都要退出

11、格式化namenode

hadoop namenode -formate

12、启动hadoop

start-dfs.sh --config $HADOOP_INSTALL/etc/hadoop_presudostart-yarn.sh --config $HADOOP_INSTALL/etc/hadoop_presudo

查看守护进程

jps

13、第一个hadoop程序
导出到jar包，复制到虚拟机里面
执行指令：

hadoop jar hadoopdemo.jar test/ out/

成功：