ubuntu下配置hadoop单机

本人菜鸟，一下纯属自己理解，有不妥之处还望高手指点。。。。。。


在搭建hadoop的时候看了很多的资料，但是完全看着资料搭建总是不成功，最后自己改了一下所以就记下来，免得以后忘了。


1，下载hadoop就不多说了，到apache官网下载就行了，www.hadoop.apache.org；//我下载的是1.03


2，将下载的文件移动到自己想要的目录，我的是放在/usr/local/hadoop；进入下载的文件所在目录，输入命令  sudo cp -r  hadoop-1.0.3.tar.gz   /usr/local/hadoop;


3，进入文件目录，cd  /usr/local/hadoop  解压文件  sudo tar xvzf  hadoop-1.0.3.tar.gz；


4，获得文件的读写权限  sudo chmod * -R；//这一步很重要，有可能直接导致以后的安装出错。在这再多说两句吧，下面所有文件的修改都要用当前用户，也就是不能通过获得root权限对文件进行修改，不然启动hadoop的时候会告诉你没有权限（当然，如果你想只通过root启动hadoop的话我也就不说啥了）。换句话说可以直接打开修改，比如直接gedit  ****，而不是sudo  gedit ****。


5.安装ssh，sudo apt-get install ssh ；


6.安装rsync ，sudo apt-get install rsync，（这个一般系统都自带了）；


7，让ssh无密码登录，ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa，


cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys ；（官网是dsa，这根据自己的系统可以先登录试试，ssh localhost ,看看是rsa还是dsa，如果是dsa使用命令


$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys）；


8，登录ssh，ssh localhost；


9，进入hadoop文件夹，修改配置文件conf/hadoop-env.sh （一下在ssh登录的情况下，并在hadoop（解压后的）目录下），


gedit  conf/hadoop-env.sh ；


导入JAVA_HOME的路径；例如  export  JAVA_HOME=/usr/local/java/jdk7；


10，修改conf/core-site.xml:


gedit  conf/core-site.xml；


<configuration>
     <property>
         <name>fs.default.name</name>
         <value>hdfs://localhost:9000</value>
     </property>
</configuration>


11，修改conf/hdfs-site.xml:


<configuration>
     <property>
         <name>dfs.replication</name>
         <value>1</value>
     </property>
</configuration>




12，修改conf/mapred-site.xml:


<configuration>
     <property>
         <name>mapred.job.tracker</name>
         <value>localhost:9001</value>
     </property>
</configuration>


13，格式namenode,


./bin/hadoop namenode -format;


14，启动hadoop


./bin/start-all.sh ;


15,测试，
NameNode - http://localhost:50070/ 
JobTracker - http://localhost:50030/ 
如果访问成功表示搭建成功。