ubuntu10.04+hadoop0.20.2平台配置（完全分布式模式）
来源：互联网 发布：域名不备案会怎么样 编辑：程序博客网 时间：2024/06/14 04:16
配置环境及有关工具：ubuntu10.04 、hadoop0.20.2 、 jdk1.6.0_29
我们的机器有三台，一台当作namenode、两台当作datanode：
namenode：IP:192.168.0.25、机器名：kiddenzj （这里的机器名要注意：机器名不能包含下划线“_”，一开始没注意后来找了半天才发现这个原因）
datanode：IP：192.168.0.8 、机器名：kiddenxcc
IP192.168.0.66、机器名： kiddenhw
集群里所有登陆的用户名和密码都要保持相同，我在这里创建了名为grid的用户，后面的步骤就是在这个用户下进行的。
配置步骤：
1）安装ssh
输入命令：
apt-get install ssh
2）SSH配置
SSH配置主要是为了实现在机器间执行指令时不再需要输入密码，在所有的机器上建立.ssh目录，这里我们建立在/home/grid下面：
mkdir .ssh然后在namenode机器上生成密钥对，执行：
ssh-keygen -t rsa然后一直按Enter键，就会按照默认选项生成密钥对保存在.ssh/id_rsa文件中。
继续执行如下命令，把密钥传递给每个datanode节点：
cd ~/.sshcp id_rsa.pub authorized_keysscp authorized_keys kiddenhw:/home/grid/.sshscp authorized_keys kiddenxcc:/home/grid/.ssh然后分别在每台datanode机器上执行如下命令，以改变authorized_keys文件的许可权限：
chmod 644 authorized_keys到此，从namenode发起的到其他datanode节点的SSH连接，就会只需在第一次登录是输入密码，以后则不再需要。
可以通过如下命令发起连接：
ssh kiddenhw
3）jdk的安装(namenode机和datanode机均按此安装)
下载jdk-6u29-linux-i586.bin,安装到/usr/java下，cd到usr/java下，
sudo chmod u+x jdk-6u29-linux-i586.binsudo ./jdk-6u29-linux-i586.bin
接下来要设置java的环境变量输入命令：
sudo gedit /etc/profile在文件的最后添加以下语句：
JAVA_HOME=/usr/java/jdk1.6.0_29export JRE_HOME=/usr/java/jdk1.6.0_29/jreexport CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATHexport PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
保存退出，然后执行source /etc/profile即可。
输入java -version 命令，出现如下信息就表示配置成功
java version "1.6.0_29"Java(TM) SE Runtime Environment (build 1.6.0_29-b11)Java HotSpot(TM) Server VM (build 20.4-b02, mixed mode)4）hadoop的安装配置(只是在namenode端安装配置，完成后namenode可以直接把配置好的hadoop发送到各个datanode端)
在这里，下载hadoop-0.20.2.tar.gz，然后解压到/home/grid/下即可，
在hadoop文的件夹下需要建立几个文件夹，如下：
（这里一开始没有创建，结果查看运行信息的时候，虽然datanode节点都有进程在运行，但livenodes节点依然为0）
mkdir tmpmkdir hdfsmkdir hdfs/namemkdir hdfs/data接下来需要修改hadoop的conf文件夹下的配置信息：
修改hadoop-env.sh，加入如下语句，使得hadoop能够找到java的路径。：
export JAVA_HOME=/usr/java/jdk1.6.0_2
修改core-site.xml，如下：
<configuration><property><name>fs.default.name</name><value>hdfs://kiddenzj:9000</value></property></configuration>
修改hdfs-site.xml，如下
<configuration><property><name>dfs.replication</name><value>1</value></property></configuration>
修改mapred-site.xml，如下：
<configuration><property><name>mapred.job.tracker</name><value>kiddenzj:9001</value></property></configuration>masters里写入作为namenode节点机器的名称，我们这里是：kiddenzj
slaves里写入作为datanode节点的机器名，这里是：kiddenhw和kiddenxcc
到此，hadoop的有关配置已经完成，namenode端通过如下命令把配置好的hadoop发送到各个datanode处：
scp -r hadoop-0.20.2 kiddenhw:/home/gridscp -r hadoop-0.20.2 kiddenxcc:/home/grid
5）修改每台机器上/etc下面的hosts文件，也就是写入所有的机器名和对应IP地址（包括namenode和datanode节点），我们这里修改后如下：
127.0.0.1localhost192.168.0.8 kiddenxcc192.168.0.25 kiddenzj192.168.0.66 kiddenhw6）
到此基本配置已经完成，在namenode端cd到hadoop文件夹下，格式化分布式文件系统：
bin/hadoop namenode -format
下面接着在namenode端启动hadoop进程：
bin/start-all.sh如果没有其它差错的话，hadoop可以正常启动，并能够看到如下结果：
在namenode端用jps命令查看启动情况，如下：
grid@kiddenzj:~/hadoop-0.20.2$ jpsxxxx Jpsxxxx Namenodexxxx Secondarynamenodexxxx JobTracker
在datanode端用jps查看启动情况，如下：
grid@kiddenhw:~/hadoop-0.20.2$ jpsxxxx Jpsxxxx DataNodexxxx TaskTracker
然后可以通过如下地址来查看集群运行状况：
http://kiddenzj:50030 http://kiddenzj:50070http://kiddenhw:50060
- ubuntu10.04+hadoop0.20.2平台配置（完全分布式模式）
- ubuntu10.04+hadoop0.20.2平台配置（完全分布式模式）
- Hadoop0.20.2 完全分布式安装和配置
- Hadoop0.20.203 完全分布式配置
- 在Ubuntu10.04上分布式部署Hadoop0.20.2
- hadoop0.20.2完全分布模式安装和配置
- Hadoop0.20.203.0+Hbase0.90.4完全分布式配置
- VMware8+ubuntu10.04+hadoop0.20.203配置实践细节说明
- Ubuntu11.04配置Hadoop0.20.2
- ubuntu hadoop完全分布式模式配置
- HBase安装配置之完全分布式模式
- hadoop0.20.2分布式缓存程序示例
- Hadoop0.20.2在Linux X64下的分布式配置和使用
- Hadoop 2.4.0完全分布式平台搭建、配置、安装
- ubuntu10.04配置 nginx + php-fpm 模式
- 配置hbase本地模式，伪分布模式和完全分布式
- hadoop0.20.2配置 in linux(ubuntu)
- CentOS6.3+eclipse+hadoop0.20.2配置
- jquery attr()方法
- Hibernate N+1 问题
- SWI-Prolog如何解析HTML页面？
- 桌面右键加入“用管理员权限运行命令行”DOS
- 华章IT图书书讯（2011年第11期）
- ubuntu10.04+hadoop0.20.2平台配置（完全分布式模式）
- 工作中碰到netcat的一个问题
- java发送邮件，正文图片，附件
- Linux下网络安全开发包之libpcap安装全过程
- [收集]计算程序的运行时间
- 腾讯董事局主席马化腾：创业要分三步走
- webdynpro GOS BDS 文档/附件 上传下载处理
- 管理员权限运行批处理的几种方法
- linux 统计指定进程内存使用情况到文件 脚本
