hadoop学习系列1之在ubuntu12.04下搭建伪分布式Hadoop-1.1.1环境并安装eclipse

    一.hadoop-1.1.1伪分布环境搭建

    参考网络资料的说法，初学者先从伪分布学习起，所以本人首先是搭建伪分布式Hadoop环境，搭建一天下来算是搞定了，基本上都是参照网上的专业人士的博客比对着进行的，一步一步执行，不敢有任何跳跃，结果证明，即使是一步步进行，但是总也不能顺利一次性达到博主的效果，所以搭了一天，最后欣慰搞定的。由于是之前已经搭建好了，现在已经不可能写出自己每一步是如何进行的了，只能凭记忆把粗略流程写出来：

    1.新建用户和用户组：参考网上资料创建hadoop用户和用户组，后来因为我所有的操作都是在root进行的，所以很多配置的权限默认只给了root，所以后来hadoop环境划归到root下面了；

    2.安装jdk1.7：我首先检查了一下自己机器上已经默认安装了java open jdk了，考虑到不给后续留下重返功夫，所以按照网上建议，把jdk1.7安装上，此时一些路径配置需要注意谨防写错；

    3.安装ssh服务，建立ssh无密码登录本机；

    4.安装hadoop-1.1.1：首先在网上下载包，之后安装到指定目录，并配置好路径，（.bashrc）；

   5.配置伪分布式环境：进入hadoop-1.0.1/conf/目录下 编辑hadoop的配置文件，配置hadoop-env.sh，core-site.xml，hdfs-site.xml，mapred-site.xml，打开masters和slaves，填写localhost.

    6.Hadoop启动：格式化nfs，执行命令bin/start-all.sh,如果成功，则输入jps,我的机器启动过程显示为：

root@node3:~# cd /usr/hadoop-1.1.1
root@node3:/usr/hadoop-1.1.1# bin/start-all.sh
namenode running as process 5471. Stop it first.
root@localhost's password:
localhost: datanode running as process 5745. Stop it first.
root@localhost's password:
localhost: secondarynamenode running as process 6015. Stop it first.
jobtracker running as process 6108. Stop it first.
root@localhost's password:
localhost: tasktracker running as process 6385. Stop it first.
root@node3:/usr/hadoop-1.1.1# jps
12697 Jps
5471 NameNode
6015 SecondaryNameNode
5745 DataNode
6385 TaskTracker
8553
6108 JobTracker
不知道为什么我会出现7个，这是否是正确的显示呢？另外不是说无密码登录么？为什么我还是需要输入三次密码才能启动呢？求大侠指教

hadoop启动以后 就可以通过localhost:50030 访问jobtracker，通过localhost:50070 访问namenode；

    二.在Eclipse下安装hadoop-plugin插件

    1.先下载eclipse并解压安装包，我安装在与hadoop-1.1.1的同一个目录下；

    2.自己手动编译Hadoop-plugin插件，这段步骤走得真不顺利，到目前为止我自己手动已经编译过三遍了（按照网上大侠们的博客来进行安装的，也想过直接下载别人编译好的插件包，但是没有找到1.1.1版本的，所以决定自己动手，结果惨败，三次编译好之后删掉，删掉后重新编译，不成功再重复，来来回回很多次，心理真得难受啊，这个时候才觉得自己原来这般脆弱，以致于松散懒散了好几天），最终是编译成功了，看到大象了，兴奋了10多分钟，结果之后发现new hadoop location的对话框愣是弹不出来呢～其实也就给我判刑了，根本还没有成功手动编译插件，查找网上说可能是eclipse与该插件的版本不匹配原因所致，后来又参考一些论坛或博主们的讨论，说是插件中的classes不全面，需要把hadoop-core-1.1.1.jar包解压缩之后再手动放入到插件包中，结果照做了，大象图像没了～哭啊～

    至今为止，我卡死在这步了，急切地想请各位大虾们指点一二呀～（20130704）

2013年7月9日补充道：我编译成功了，大家有需要的，请参看我下一篇文章，里面有插件上传的附件地址供大家参考～

    略举一二供参考的资料，实际上参考的远不止这些：

http://www.haogongju.net/art/1965320--->Hadoop-1.0.4单机伪分布式环境搭建

http://blog.csdn.net/napoleongjc/article/details/8741125--->ubuntu12.04的eclipse下运行hadoop

http://www.haogongju.net/art/1848046--->eclipse安装hadoop插件及配置

http://f.dataguru.cn/thread-133463-1-1.html--->如何在eclipse中写下第一个Mapreduce程序

http://www.douban.com/group/topic/28746490/--->基于Eclipse的Hadoop开发环境配置方法、

http://blog.chinaunix.net/uid-23062171-id-3628841.html--->在eclipse中运行第一个mapreduce程序