hadoop-2.5.2伪分布环境搭建

捣鼓了完全分布那么久，在工作中发现，目前只有在公司环境下才能在完全分布环境下正常工作。私底下在学校还是搭建个伪分布环境继续深入学习就行了！

http://www.aboutyun.com/thread-8142-1-1.html可参考链接来搭建！

由于先前安装完全分布式，已经安装好了jdk,ssh 这里不再重复，可参考完全分布文章！

安装ssh之后需要执行ssh-keygen -t rsa

cat~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

使用ssh localhost验证是否已设置成功

在将hadoop,jdk安装包拉入目的文件夹时，应用mv 命令好点，不知怎么说，否则后面会出现一系列权限问题！

还有一点就是所有压缩包最好都在所在位置先解压好，在剪切到目的文件。这样才不会出现错误，不知道为什么，除了好多问题在这些环节上，浪费了好多时间！

步骤一：

hadoop@slaver3:~$ sudo tar -zxvf hadoop-2.5.2.tar.gz 将其解压到文件中

务必执行下列语句，否则会出现后文的错误！

hadoop@slaver3:~$ sudo chown -R hadoop:hadoop /home/hadoop/hadoop-2.5.2

保证所有的操作都是在hadoop用户下进行的

步骤二：

hadoop@slaver3:~/hadoop-2.5.2$ cd etc/hadoop进入到etc/hadoop 文件中

hadoop@slaver3:~/hadoop-2.5.2/etc/hadoop$ sudo nano hadoop-env.sh 编辑hadoop-env.sh文件

找到export JAVA_HOME=${JAVA_HOME}进行修改

export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_51

export HADOOP_HOME=/home/hadoop/hadoop-2.5.2

export PATH=$PATH:/home/hadoop/hadoop-2.5.2/bin

执行

hadoop@slaver3:~$ source /home/hadoop/hadoop-2.5.2/etc/hadoop/hadoop-env.sh

之后在hadoop目录下新建一个文件

hadoop@slaver3:~/hadoop-2.5.2$ sudo mkdir tmp

hadoop@slaver3:~/hadoop-2.5.2$ sudo mkdir hdfs

hadoop@slaver3:~/hadoop-2.5.2$ sudo mkdir hdfs/name
hadoop@slaver3:~/hadoop-2.5.2$ sudo mkdir hdfs/data

然后再修改其他文件

修改core-site.xml

hadoop@slaver3:~/hadoop-2.5.2/etc/hadoop$ sudo nano core-site.xml

<configuration><property><name>fs.default.name</name><value>hdfs://localhost:9000</value></property>

<property><name>hadoop.tmp.dir</name><value>/home/hadoop/hadoop-2.5.2/tmp</value></property></configuration>

修改hdfs-site.

hadoop@slaver3:~/hadoop-2.5.2/etc/hadoop$ sudo nano hdfs-site.xmlxml

<configuration><property><name>dfs.replication</name><value>1</value></property>

<property><name>dfs.name.dir</name><value>/home/hadoop/hadoop-2.5.2/hdfs/name</value></property>

<property><name>dfs.data.dir</name><value>/home/hadoop/hadoop-2.5.2/hdfs/data</value></property></configuration>

修改mapred-site.xml

hadoop@slaver3:~/hadoop-2.5.2/etc/hadoop$ sudo cp mapred-site.xml.template mapred-site.xml先复制出这个文件,因为没有这个文件

hadoop@slaver3:~/hadoop-2.5.2/etc/hadoop$ sudo nano mapred-site.xml

<configuration><property><name>mapred.job.tracker</name><value>localhost:9001</value></property></configuration>

以上配置完之后还要配置环境变量，否则会出现命令符不能识别的错误！
hadoop@slaver3:~/hadoop-2.5.2/bin$ sudo nano /etc/environment

添加hadoop中bin路径和jdk路径

PATH="/home/hadoop/hadoop-2.5.2/bin:/usr/lib/jvm/jdk0.7.0_51/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games"

然后执行source  /etc/environment

执行sudo nano /etc/profile

exportJAVA_HOME=/usr/lib/jvm/jdk1.7.0_51

exportJRE_HOME=/usr/lib/jvm/jdk1.7.0_51/jre

exportCLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

exportPATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin

然后执行source /etc/profile

执行命令

hadoop@slaver3:~/hadoop-2.5.2$ bin/hadoop namenode -format

****************************************************************************

***************************************************************************************

之后启动hadoop

接着执行start-all.sh来启动所有服务，包括namenode,datanode，start-all.sh脚本用来装载守护进程

hadoop@slaver3:~/hadoop-2.5.2$ cd bin
hadoop@slaver3:~/hadoop-2.5.2/bin$ start-all.sh

出现这个错误

昨晚的问题还没解决，还是有问题。。

累了，先睡了！明天继续！