本地Hadoop学习环境搭建（win10 Linux子系统）

本文主要参考了慕课网中《Hadoop大数据平台架构与实践–基础篇》，并根据自己的情况改变了Linux环境，将配置过程记录下来，方便自己以后回顾O(∩_∩)O哈哈~

在win10系统中建立linux子系统

这里就不重复了，可以参考以下网址，非常全面http://www.jianshu.com/p/bc38ed12da1d
基本配置完成后（不用像文章中那样完全搞定，装完Linux，装上ssh就行），为了让自己熟悉远程管理Linux，在win10下打开子系统，然后用Xshell连接子系统

JDK安装

$ sudo apt-get install openjdk-8-jdk

配置环境变量

$ sudo vim /etc/profile#进入文件后添加，JAVA_HOME可能会有所不同，这里采用了默认安装export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/export JRE_HOME=$JAVA_HOME/jreexport CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATHexport PATH=$JAVA_HOME/lib:$JRE_HOME/lib:$PATH#使配置文件生效$ source /etc/profile

Hadoop安装配置

官方中文配置说明http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html#%E8%BF%90%E8%A1%8CHadoop%E9%9B%86%E7%BE%A4%E7%9A%84%E5%87%86%E5%A4%87%E5%B7%A5%E4%BD%9C

推荐使用国内的镜像下载Hadoop

$ sudo wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

#下载完成后移动压缩包至/opt/下$ mv hadoop-2.7.3.tar.gz /opt/#解压缩$ sudo tar -zxvf hadoop-2.7.3.tar.gz#修改配置$ cd /opt/hadoop-2.7.3/etc/hadoop

有四个文件需要配置
hadoop-env.sh

$ sudo vim hadoop-env.sh#修改其中JAVA_HOME使得与之前配置的JDK一致

core-site.xml

$ sudo vim core-site.xml#进入后修改成这样<configuration><property><name>hadoop.tmp.dir</name><value>/home/winxblast/hadoop</value></property><property><name>dfs.name.dir</name><value>/home/winxblast/hadoop/name</value></property><property><name>fs.default.name</name><value>hdfs://localhost:9000</value></property></configuration>

hdfs-site.xml

$ sudo vim hdfs-site.xml<configuration><property><!--the directory to save data存放数据文件的目录配置--><name>dfs.data.dir</name><value>/home/winxblast/hadoop/data</value></property></configuration>

mapred-site.xml

#配置任务调用器该如何访问,其中9001之前的是自己的主机名<configuration><property><name>mapred.job.tracker</name><value>localhost:9001</value></property></configuration>

再次修改环境变量，千万不要少了一点东西，比如path最后的“：”，不然就找不到hadoop命令了！！

#进入profile$ sudo vim /etc/profile#修改为以下状态export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64export JRE_HOME=$JAVA_HOME/jreexport HADOOP_HOME=/opt/hadoop-2.7.3export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATHexport PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH#退出后使之生效$ source /etc/profile

测试hadoop

#直接输入hadoop$ hadoop#会有一些关于程序的提示，就ok了

对namenode进行格式化

$ hadoop namenode -format

在/opt/hadoop-2.7.3目录下执行，试验时发现进入sbin目录运行start-all.sh会有不少错误···还是乖乖仔外面运行吧，要是第一次运行失败，可能会有很多hadoop进程运行着，要先stop-all.sh，再start-all.sh

执行之前最好sudo su提升权限

$ ./sbin/start-all.sh

最后

$ jsp#显示以下内容就对了，数字可以不一样9714 ResourceManager9860 NodeManager9928 Jps9178 NameNode9534 SecondaryNameNode