hadoop配置

5月初的时候决定了解一下hadoop，做几个实验，期间各种奇葩问题，中间又断断续续有其他事情的干扰，今天终于做完了第一个wordcount的实验，简单总结遇到的问题和解决方法。

1 安装 linux

刚开始从系ftp下了一个已经配置好hadoop的redhat，用eclipse写程序，导出jar，再运行。感觉不方便，特别实在跑网上的一些例子的时候。

在上面装了CHD3，一直配置不好，各种问题，最终忍无可忍，果断放弃这个redhat。

下了一个新的redhat6.2，准备重新配置hadoop。虚拟机用的是virtualbox。

第一次装好系统，进入只有命令行，没有图形界面。网上一搜，发现可能是安装的时候没有点用图形界面安装，就是有一步要选择”desktop“选项。重新来过，还是没有图形界面，再检索，有意个同学说虚拟机的内存要大于700M，我虚拟机的内存分配的是512M，问题应该问题就在这里。重新分配内存安装，成功。

PS不是不想给虚拟机多分配一些内存，主机才2G啊。。

2 virtualbox增强功能安装

这里也奇葩！其实是很简单的事，按照网上的安装教程走完，重启虚拟机，进不去图形界面了！！！

好把，再次检索，感谢万能的google，应该是虚拟机和增强功能的版本太老，下最新的虚拟机和增强功能，安装成功！

3 yum配置

我安装的是商业版redhat，yum是要收费的，主演参考参考这篇博客

http://guotiegang55.blog.51cto.com/929937/1168745

配置yum。安装的时候注意操作系统的版本，我的redhat是32位的，所以要把安装文件URL路径中的x86_64改成i686

4 安装hadoop，安装过程见"hadoop in practice"第一章

要注意的是安装完成后首先格式化namenode。直接运行会有问题，namemode启动不了，这里

http://grokbase.com/t/cloudera/cdh-user/125p93ggmd/installation-issues-with-with-cdh3提供了解决办法：

1. Stop all Hadoop/Hadoop-related services.
2. Run the following fix-up commands:

$ sudo rm -rf /var/lib/hadoop-0.20/cache/hadoop/dfs
$ sudo mkdir -p /var/lib/hadoop-0.20/cache/hadoop/dfs/{name,data}
$ sudo chown hdfs:hdfs /var/lib/hadoop-0.20/cache/hadoop/dfs/{name,data}
$ sudo -u hdfs hadoop namenode -format

3. Start your services now, and even NN should start up fine.

好了，差不多就这些