Red Hat 5.2 Server 单机部署 Hadoop2.2.0 集群环境
来源:互联网 发布:asp个人业务网站源码 编辑:程序博客网 时间:2024/05/28 03:02
Red Hat 5.2 Server 单机部署 Hadoop2.2.0集群环境
1.准备工作:
先下载以下系统及软件:
虚拟机:Vmware 10.0.1
系统:[红帽企业.Linux.5].rhel-5.2-server-i386-dvd.iso
Jdk:jdk-7u60-linux-i586.rpm
Hadoop:hadoop-2.2.0.tar.gz
Apache:apache-tomcat-6.0.41.tar.gz
2.安装虚拟机及操作系统
如有不懂,请自行百度 !
注:为了方便,请先装好VmwareTools
虚拟机系统使用桥接模式,方便同宿主机局域网内的其它机器访问!
3.安装JDK
3.1检查JDK
检查Linux 系统上是否存在其它版本的JDK,如果有则先卸载旧版本的JKD。
检查命令:#java –version
删除命令:#yum remove java
3.2安装JDK1.7
3.2.1 将jdk-7u60-linux-i586.rpm放到虚拟机中。
使用命令将其放到/tmp。安装后以便删除!
默认jdk-7u60-linux-i586.rpm从宿主机复制到/root中。
使用命令:#cp jdk-7u60-linux-i586.rpm/tmp
进入tmp目录:#cd /tmp
3.2.2 RPM 包安装
提权命令:#chmod+x jdk-7u60-linux-i586.rpm
安装命令:#rpm –ivhjdk-7u60-linux-i586.rpm
3.2.3 JDK环境变量配置
使用vim编辑/etc/profile文件。Vim的使用,如若不懂,请自行百度!
在末行插入以下内容:
#This is a shell file forJava Environment
export JAVA_HOME=/usr/java/jdk1.7.0_60
export CLASSPATH=/usr/java/jdk1.7.0_60/lib
exportPATH=$JAVA_HOME/bin:$PATH
exportJRE_HOME=$JAVA_HOME/jre
exportCLASSPATH=./:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
3.2.4 验证JDK安装正确以否
3.2.4.1 使用命令 #source /etc/profile使文件生效
3.2.4.2 验证命令:# echo$JAVA_HOME
#echo $PATH
#echo $CLASSPATH
#java –version
3.2.5 删除tmp目录下的JDK安装包
命令:#rm –rfjdk-7u60-linux-i586.rpm
注:rm命令很危险,谨慎使用
4 安装Tomcat(非必要安装)
4. 1 将apache-tomcat-6.0.41.tar.gz放到虚拟机中
默认在/root 文件夹下
将文件移动到/usr/local文件夹中
移动命令:#mv apache-tomcat-6.0.41.tar.gz/usr/local
4.2 安装Tomcat
解压文件命令:#tar –zxvf apache-tomcat-6.0.41.tar.gz
更改解压文件夹名:#mv -f apache-tomcat-6.0.41 tomcat
4.3 启动Tomcat
进入./tomcat/bin目录,
执行:#./startup.sh
4.4 验证Tomcat
在浏览器中输入:http://localhost:8080
*4.5 关闭Tomcat
执行:#/usr/local/tomcat/bin/shutdown.sh
4.6 Tomcat的目录
/usr/local/tomcat
5 安装Hadoop
Hadoop版本:hadoop-2.2.0.tar.gz
解压包方式请查看Tomcat 安装4.1,4.2
注:将hadoop解压后的文件夹移到/opt中。即:/opt/hadoop/
5.1 配置Hadoop环境变量
使用vim编辑器编辑/etc/profile文件:
在末行添加以下内容:
#Sethadoop2.2.0 envuronment
exportHADOOP_HOME=/opt/hadoop
exportPATH=$PATH:$HADOOP_HOME/bin
exportPATH=$PATH:$HADOOP_HOME/sbin
命令:#source /etc/profile(生效更改后的文件)
5.2(重点)修改Hadoop 中的配置文件
位置在/opt/hadoop/etc/hadoop/
5.2.1 core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop/tmp</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
<final>true</final>
</property>
</configuration>
5.2.2 hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/hadoop/dfs/name</value>
<final>true</final>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/opt/hadoop/dfs/data</value>
<final>true</final>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
</configuration>
注:主要是对namenode 和 datanode 存储路径的设置。其实默认是存储在file://${hadoop.tmp.dir}/dfs/name和data 下的。所以这里也不需配置的。但默认的是临时文件,重启就没有了,所以我这里还是设置了专门的路径保存。
5.2.3 mapred-site.xml
(使用命令:#cp mapred-site.xml.template mapred-site.xml)
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>http://127.0.0.1:9001</value>
</property>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapred.system.dir</name>
<value>/opt/hadoop/mapred/system</value>
<final>true</final>
</property>
<property>
<name>mapred.local.dir</name>
<value>/opt/hadoop/mapred/local</value>
<final>true</final>
</property>
</configuration>
5.2.4 yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
5.2.5 hadoop-env.sh
修改export JAVA_HOME的值,改为:
export JAVA_HOME=/usr/java/jdk1.7.0_60
5.3 启动Hadoop
进入/opt/hadoop/bin目录中。
执行命令:#hdfs namenode –format
5.3.1创建hadoop_start.sh文件
命令:vim hadoop_start.sh
内容:
# Thisscript is made for start hadoop single node
hadoop-daemon.shstart namenode
hadoop-daemon.shstart datanode
yarn-daemon.shstart resourcemanager
yarn-daemon.shstart nodemanager
start-yarn.sh
给hadoop_start.sh文件添加权限:
命令:#chmod +x hadoop_start.sh
执行:#./hadoop_start.sh
在终端中如有以下提示:
Are you sure youwant to continue connecting (yes/no)?
选择yes
5.4 验证hadoop
在浏览器中输入localhost:8088,就会见到hadoop的管理界面
在浏览器中输入localhost:50070,就会见到hadoop的节点管理界面
- Red Hat 5.2 Server 单机部署 Hadoop2.2.0 集群环境
- Hadoop2.5.1 集群环境部署
- Hadoop2.0单机环境安装部署
- 基于docker1.7.03.1单机上部署hadoop2.7.3集群
- Spark集群(单机)环境部署
- hadoop2.7.1单机部署
- Red Hat Linux系统下SVN Server环境的构建
- Red Hat集群套件介绍
- Red Hat安装单机版mysql数据
- hadoop2.5.2集群环境搭建
- Hadoop2.5.2完全分布式集群部署步骤
- hadoop2.6.3 集群部署
- Linux环境Cassandra的单机及集群部署
- CentOS6.5环境部署Hadoop2.8.1集群(HA)
- hadoop2.4单机环境搭建
- hadoop2.x单机环境安装
- Red Hat Cluster Suite集群 Oracle数据库
- hadoop HA集群搭建(red hat)
- 泛型编程注意事项
- VBA 从oracle取数据
- 6-19笔记
- Data Matrix Font and Encoder条码控件能够以字体的形式来打印DataMatrix条形码
- 6-21笔记
- Red Hat 5.2 Server 单机部署 Hadoop2.2.0 集群环境
- 谨防理财类App漏洞,爱加密全力出击护安全
- 中关村GHOST_WIN7_SP1_X64稳定增强版
- 豌豆荚实现android连接pc方法
- Linux磁盘空间查看
- Calling startActivity() from outside of an Activity context requires the FLAG_ACTIVITY_NEW_TASK flag
- PandaBear
- 结构上的算法----字符串
- Linux推荐的 源列表--我目前使用教育网