程序博客网 > 汪小帆 复杂网络

hadoop 1.03 安装配置

来源：互联网 发布：汪小帆 复杂网络 编辑：程序博客网 时间：2024/04/25 18:59
环境：操作系统Centos 5.5 64-bit

三台节点，计划部署分配如下：

 ip                       主机名             用途

172.16.48.201 sg201 namenode 

172.16.48.202 sg202 datanode
172.16.48.203    sg203            datanode
三台节点的etc/hosts文件设置如下：

[plain] view plaincopy
  1. 172.16.48.203  sg203  
  2. 172.16.48.202  sg202  
  3. 172.16.48.201  sg201  

关闭三台节点的防火墙 service iptables stop

一、安装基础工具

1.三台节点上安装jdk并设置好环境变量：http://blog.csdn.net/chenxingzhen001/article/details/7732692

2.安装ssh服务

二、配置三台节点的ssh无密码登录

参考：http://blog.csdn.net/chenxingzhen001/article/details/7740357

三、安装并配置hadoop 1.0.3

1.在hadoop官网上下载hadoop-1.0.3.tar.gz,并解压在/opt目录下

cd /opt

tar zxf hadoop-1.0.3.tar.gz

2.修改hadoop-env.sh 配置

 export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_05   #设置JAVA_HOME

 export HADOOP_HOME_WARN_SUPPRESS=1          #取消环境变量$HADOOP_HOME过时的警告

3.配置环境变量

vi /etc/profile

[plain] view plaincopy
  1. JAVA_HOME=/usr/java/jdk1.7.0_05  
  2. ANT_HOME=/usr/local/apache-ant-1.8.3  
  3. HADOOP_HOME=/opt/hadoop-1.0.3  
  4. CLASSPATH=.:$JAVA_HOME/lib/tools.jar  
  5. PATH=$JAVA_HOME/bin:$ANT_HOME/bin:$HADOOP_HOME/bin:$PATH  
  6. export JAVA_HOME ANT_HOME HADOOP_HOME  CLASSPATH PATH  
让环境变量生效

source /etc/profile

4.设置conf/masters文件内容

[plain] view plaincopy
  1. vi conf/masters  
  2.   
  3. 172.16.48.201 # secondaryNameNode  
5.设置conf/slaves文件内容，指定slavesNodes

[plain] view plaincopy
  1. vi  /conf/slaves  
  2. 172.16.48.202  #datanode  
  3. 172.16.48.203  #datanode  
6.配置文件：conf/hdfs-site.xml

vim conf/hdfs-site.xml

[plain] view plaincopy
  1. <?xml version="1.0"?>  
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
  3.   
  4. <!-- Put site-specific property overrides in this file. -->  
  5.   
  6. <configuration>  
  7.     <property>  
  8.         <name>dfs.name.dir</name>  
  9.         <value>/opt/hadoop-1.0.3/name</value>  
  10.     </property>  
  11.   
  12.     <property>  
  13.         <name>dfs.data.dir</name>  
  14.         <value>/opt/hadoop-1.0.3/data</value>  
  15.     </property>  
  16.   
  17.     <property>  
  18.         <name>dfs.replication</name>  
  19.         <value>2</value>  
  20.     </property>  
  21.   
  22. </configuration>  
配置文件参数说明：
dfs.name.dir：NameNode上的本地文件路径，用于持久存储命名空间和日志信息文件等内容。该参数可以有多个值，值之间用逗号分割，表示文件映射关系信息将会被复制到每个目录中做冗余备份。

dfs.data.dir：DataNode上的本地文件路径，用于存放文件数据块。该参数可以有多个值，值之间用逗号分割，表示文件数据块将会被复制到每个目录中做冗余备份，通常配置为不同的设备

注意：这里的name、data目录不能预先创建，hadoop格式化时会自动创建，如果预先创建反而会有问题

dfs.replication：表示文件数据块要冗余备份的数量，默认值为3


7.配置文件：conf/mapred-site.xml

vim  conf/mapred-site.xm

[plain] view plaincopy
  1. <?xml version="1.0"?>  
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
  3.   
  4. <!-- Put site-specific property overrides in this file. -->  
  5.   
  6. <configuration>  
  7.     <property>  
  8.         <name>mapred.job.tracker</name>  
  9.         <value>172.16.48.201:9001</value>  
  10.     </property>  
  11. </configuration>  

配置文件参数说明：
mapred.job.tracker：JobTracker（任务分配管理）的主机（或者IP）和端口

mapred.local.dir：本地文件路径，用逗号分割的路径列表，是Map/Reduce临时数据存放的地方

8.配置文件：conf/core-site.xml

[plain] view plaincopy
  1. <?xml version="1.0"?>  
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
  3.   
  4. <!-- Put site-specific property overrides in this file. -->  
  5.   
  6. <configuration>  
  7.   <property>  
  8.       <name>fs.default.name</name>  
  9.       <value>hdfs://172.16.48.201:9000</value>  
  10.   </property>  
  11.   
  12.   <property>  
  13.      <name>fs.checkpoint.period</name>  
  14.      <value>3600</value>  
  15.   </property>  
  16.   
  17.   <property>  
  18.       <name>fs.checkpoint.size</name>  
  19.       <value>67108864</value>  
  20.   </property>   
  21.               
  22.   <property>  
  23.       <name>hadoop.tmp.dir</name>   
  24.       <value>/opt/hadoop-1.0.3/tmp</value>  
  25.   </property>  
  26. </configuration>  

9.将布署进行分发
使用scp命令,将弄好的hadoop-1.0.3文件夹复制一份，分发到各dataNode节点相同目录下：
scp -r /opt/hadoop-1.0.3 root@sg202:/opt/hadoop-1.0.3
scp -r /opt/hadoop-1.0.3 root@sg203:/opt/hadoop-1.0.3

四、启动hadoop
1.格式化一个新的分布式文件系统

[plain] view plaincopy
  1. [root@sg201 hadoop-1.0.3]# bin/hadoop namenode -format  
  2. 12/07/13 11:08:58 INFO namenode.NameNode: STARTUP_MSG:   
  3. /************************************************************  
  4. STARTUP_MSG: Starting NameNode  
  5. STARTUP_MSG:   host = sg201/127.0.0.1  
  6. STARTUP_MSG:   args = [-format]  
  7. STARTUP_MSG:   version = 1.0.3  
  8. STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.0 -r 1335192; compiled by   
  9.   
  10. 'hortonfo' on Tue May  8 20:31:25 UTC 2012  
  11. ************************************************************/  
  12. 12/07/13 11:08:59 INFO util.GSet: VM type       = 64-bit  
  13. 12/07/13 11:08:59 INFO util.GSet: 2% max memory = 17.77875 MB  
  14. 12/07/13 11:08:59 INFO util.GSet: capacity      = 2^21 = 2097152 entries  
  15. 12/07/13 11:08:59 INFO util.GSet: recommended=2097152, actual=2097152  
  16. 12/07/13 11:08:59 INFO namenode.FSNamesystem: fsOwner=root  
  17. 12/07/13 11:08:59 INFO namenode.FSNamesystem: supergroup=supergroup  
  18. 12/07/13 11:08:59 INFO namenode.FSNamesystem: isPermissionEnabled=true  
  19. 12/07/13 11:08:59 INFO namenode.FSNamesystem: dfs.block.invalidate.limit=100  
  20. 12/07/13 11:08:59 INFO namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s),   
  21.   
  22. accessTokenLifetime=0 min(s)  
  23. 12/07/13 11:08:59 INFO namenode.NameNode: Caching file names occuring more than 10 times   
  24. 12/07/13 11:09:00 INFO common.Storage: Image file of size 110 saved in 0 seconds.  
  25. 12/07/13 11:09:00 INFO common.Storage: Storage directory /opt/hadoop-1.0.3/name has been successfully formatted.  
  26. 12/07/13 11:09:00 INFO namenode.NameNode: SHUTDOWN_MSG:   
  27. /************************************************************  
  28. SHUTDOWN_MSG: Shutting down NameNode at sg201/127.0.0.1  
  29. ************************************************************/  

2.启动hdfs守护进程

[plain] view plaincopy
  1. [root@sg201 hadoop-1.0.3]# bin/start-dfs.sh  
  2. starting namenode, logging to /opt/hadoop-1.0.3/libexec/../logs/hadoop-root-namenode-sg201.out  
  3. 172.16.48.202: starting datanode, logging to /opt/hadoop-1.0.3/libexec/../logs/hadoop-root-datanode-sg202.out  
  4. 172.16.48.203: starting datanode, logging to /opt/hadoop-1.0.3/libexec/../logs/hadoop-root-datanode-sg203.out  
  5. root@172.16.48.201's password:   
  6. 172.16.48.201: starting secondarynamenode, logging to /opt/hadoop-1.0.3/libexec/../logs/hadoop-root-secondarynamenode-sg201.out  

3.启动mapreduce守护进程

[plain] view plaincopy
  1. [root@sg201 hadoop-1.0.3]# bin/start-mapred.sh  
  2. starting jobtracker, logging to /opt/hadoop-1.0.3/libexec/../logs/hadoop-root-jobtracker-sg201.out  
  3. 172.16.48.203: starting tasktracker, logging to /opt/hadoop-1.0.3/libexec/../logs/hadoop-root-tasktracker-sg203.out  
  4. 172.16.48.202: starting tasktracker, logging to /opt/hadoop-1.0.3/libexec/../logs/hadoop-root-tasktracker-sg202.out  

五、验证安装是否成功

使用jps命令查看启动的守护进程有哪些：

[plain] view plaincopy
  1. [root@sg201 conf]# jps  
  2. 12560 NameNode  
  3. 17688 Jps  
  4. 12861 JobTracker  
  5. 12755 SecondaryNameNode  
  6. 5855 MyEclipse  
  7.   
  8. [root@sg203 conf]# jps  
  9. 11732 DataNode  
  10. 14336 Jps  
  11. 11856 TaskTracker  

另外可通过浏览器访问：

NameNode            http://172.16.48.201:50070/

JobTracker           http://172.16.48.201:50030/


在namenode上查看集群状态

[plain] view plaincopy
  1. [root@sg201 conf]# hadoop dfsadmin -report  
  2. Configured Capacity: 1380625408000 (1.26 TB)  
  3. Present Capacity: 1174286331904 (1.07 TB)  
  4. DFS Remaining: 1174286249984 (1.07 TB)  
  5. DFS Used: 81920 (80 KB)  
  6. DFS Used%: 0%  
  7. Under replicated blocks: 0  
  8. Blocks with corrupt replicas: 0  
  9. Missing blocks: 0  
  10.   
  11. -------------------------------------------------  
  12. Datanodes available: 2 (2 total, 0 dead)  
  13.   
  14. Name: 172.16.48.203:50010  
  15. Decommission Status : Normal  
  16. Configured Capacity: 545281376256 (507.83 GB)  
  17. DFS Used: 40960 (40 KB)  
  18. Non DFS Used: 157135388672 (146.34 GB)  
  19. DFS Remaining: 388145946624(361.49 GB)  
  20. DFS Used%: 0%  
  21. DFS Remaining%: 71.18%  
  22. Last contact: Tue Jul 17 10:25:12 CST 2012  
  23.   
  24.   
  25. Name: 172.16.48.202:50010  
  26. Decommission Status : Normal  
  27. Configured Capacity: 835344031744 (777.97 GB)  
  28. DFS Used: 40960 (40 KB)  
  29. Non DFS Used: 49203687424 (45.82 GB)  
  30. DFS Remaining: 786140303360(732.15 GB)  
  31. DFS Used%: 0%  
  32. DFS Remaining%: 94.11%  
  33. Last contact: Tue Jul 17 10:25:14 CST 2012  

五、关闭hadoop

关闭hdfs守护进程

[plain] view plaincopy
  1. [root@sg201 hadoop-1.0.3]# bin/stop-dfs.sh  
  2. no namenode to stop  
  3. 172.16.48.203: no datanode to stop  
  4. 172.16.48.202: no datanode to stop  
  5. root@172.16.48.201's password:   
  6. 172.16.48.201: stopping secondarynamenode  
关闭mapreduce守护进程

[plain] view plaincopy
  1. [root@sg201 hadoop-1.0.3]# bin/stop-mapred.sh  
  2. stopping jobtracker  
  3. 172.16.48.203: no tasktracker to stop  
  4. 172.16.48.202: no tasktracker to stop  

汪小帆 复杂网络 汪小帆 复杂网络
原创粉丝点击
热门IT博客
wp软件下载wp软件下载
软件编程技术软件编程技术
网站在线客服系统源码
idea怎么关联源码
钢材软件
白乐桑 知乎
emule kad网络
音频剪辑 for mac
linux java控制面板
js地球仪效果
嵌入式linux内核移植
风暴英雄有mac版吗
淘宝上有招聘唇模的么
mac可以用草图大师吗
知乎周刊plus网盘
linux 启动service
淘宝中国造
《java开发实战经典》
半自动咖啡机 知乎
淘宝的卖家中心在哪
热门问题 老师的惩罚 人脸识别 我在镇武司摸鱼那些年 重生之率土为王 我在大康的咸鱼生活 盘龙之生命进化 天生仙种 凡人之先天五行 春回大明朝 姑娘不必设防，我是瞎子 广州番禺钟村 钟村招聘 钟杨 钟杨事迹 钟杨颁奖词 钟松 钟松简历 钟楼鼓楼 常州钟楼区 泉州钟楼 钟楼图片 钟楼爱人 海口钟楼 南通钟楼 保定钟楼 钟楼门票 钟楼酒店 钟楼小区 钟楼饭店 北京钟楼 钟楼旅游 钟楼面包 钟楼书店 钟楼夜景 钟楼照片 钟楼在哪 古城钟楼 西安钟楼门票 死亡细胞钟楼钥匙 西安北站到钟楼 西安钟楼鼓楼 西安钟楼附近商场 钟楼附近有什么好玩的 钟楼到大雁塔 西安钟楼附近有什么好玩的 钟楼属于哪个区 钟楼门票多少钱 钟楼附近美食 大钟楼附近的酒店 钟楼饭店住宿 钟楼到兵马俑

程序博客网，程序员的互联网技术博客家园。csdn论坛精品 msdn技术资料都在这里