hadoop分布式集群搭建=两次的总结--包括挂载文件系统

软件园二期：

1 Linux apt-get 软件安装：http://www.cnblogs.com/haimingwey/archive/2012/04/16/2452892.html

2 .sh文件即shell文件（可直接运行的脚本文件）

3 centos 修改ip地址,物理地址，网关:http://blog.163.com/windy_dcm/blog/static/19989346201152832323632/

4 linux下大于2TB硬盘格式化及挂载,parted分大于2T的分区方法，parted使用步骤，linux GPT分区表 管理 自动挂载分区：http://hi.baidu.com/visual_art/item/350932debc9e96ec3cc2cb16

5 如何合理地给你的Linux分区:  http://wenku.baidu.com/view/4e28b1eb81c758f5f61f67fa.html

6 RPM命令 RPM软件包管理器英文原义：Redhat Package Manager 中文释义：RPM软件包管理器 ：http://baike.baidu.com/view/209700.htm

7 yum 命令： linux yum命令详解

 

8 write命令： write "用户名" 就可以传送信息

9 防火墙命令： 关闭防火墙： iptables -F  有时需要超级管理员权限

10 Secure Shell ： 打开ssh服务：services sshd start

11 reboot：重启；

 

科研楼二楼： ip地址172.16.14.1 172.16.14.100

1 Linux下Hadoop集群安装详细步骤

http://blog.csdn.net/liuyuanshijie/article/details/6722426

2 centos linux 下的jdk安装 jdk-6u26-linux-x64.bin

http://blog.csdn.net/baple/article/details/8255563

3 sshd服务安装及设置：http://www.2cto.com/os/201301/185506.html

4 centos jdk安装与设置：http://www.cnblogs.com/zhaoyx/articles/2475260.html
5 vi编辑器的保存，退出命令：wq

6 问题：ERROR namenode.NameNode: java.io.IOException: Cannot create directory /home/lab301/hadoop-1.0.4/tmp/dfs/name/current

　　http://forum.hadoop.tw/viewtopic.php?f=4&t=726

7 修改文件权限：

　　chmod -R a+w /home/lab301/hadoop-1.0.4/logs/  -R递归方式  a g o  a：本人 g同组 o 其它人 rWX  读 写 执行
　　chmod -R a+w /home/lab301/hadoop-1.0.4/tmp/

8 ssh修改是本机访问本机也无需密码：本机无密码：http://heipark.iteye.com/blog/1195267

9 hadoop集群上面的测试案例:测试案例：http://hi.baidu.com/hzd2712/item/98591754eb1e399008be1752

10 hadoop dfsadmin -report 报告相应的dataNode节点数

11 出现问题要对主机关掉防火墙： service iptables start

12 出现问题 文件没有删除hdfs tmp

13 配置第二网址：http://www.cnblogs.com/yhchuan/archive/2011/04/09/2010400.html

14 查看hdfs上面的文件内容  hdfs dfs  -cat ....文件名

15 验证nameNode dataNode jobtarck 等是否开启

16 验证 JPS方法 $

　　jps方法：  查看是否有master上是否启动了这三个进程namenode,secondnamenode,jobtrack,看slave1上是否tasktrack,datanode　　

　　WEB方法： 查看hdfs运行状态,可以通过web界面来访问http://192.168.1.1:50070/dfshealth.jsp;查看map-reduce信息 可以通过web界面来访问

　　 http://192.168.1.1:50030/jobtracker.jsp;下面是直接命令行看到的结果。 补充如果需要修改日志存储路径则需要在conf/Hadoop-env.sh文件中增加

　　export    Hadoop_LOG_DIR=/home/xxxx/xxxx即可

 

 

 

 

 

 

ssh:绝对有用：

本机：
master配置
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 644 ~/.ssh/authorized_keys
ssh localhost # 测试是否可以免密码访问本机
scp ~/.ssh/id_rsa.pub root@119.188.7.66:~/.ssh/master_id_rsa.pub
ssh-add   ~/.ssh/id_rsa 

 

slave1配置
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 644 ~/.ssh/authorized_keys
ssh localhost # 测试是否可以免密码访问本机
scp ~/.ssh/id_rsa.pub root@119.188.7.66:~/.ssh/slave1_id_rsa.pub
ssh-add   ~/.ssh/id_rsa

slave2配置
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 644 ~/.ssh/authorized_keys
ssh localhost # 测试是否可以免密码访问本机
scp ~/.ssh/id_rsa.pub root@119.188.7.66:~/.ssh/slave2_id_rsa.pub
ssh-add   ~/.ssh/id_rsa

最后分别：
master
cat ~/.ssh/slave1_id_rsa.pub >> ~/.ssh/authorized_keys
cat ~/.ssh/slave2_id_rsa.pub >> ~/.ssh/authorized_keys

slave1
cat ~/.ssh/main_id_rsa.pub >> ~/.ssh/authorized_keys
cat ~/.ssh/slave2_id_rsa.pub >> ~/.ssh/authorized_keys

slave2
cat ~/.ssh/main_id_rsa.pub >> ~/.ssh/authorized_keys
cat ~/.ssh/slave1_id_rsa.pub >> ~/.ssh/authorized_keys

最重要的先要看自己能不能无密码登入