大数据集群搭建之hadoop、tomcat、jdk等工具的安装(三)
来源:互联网 发布:中国云计算用户大会 编辑:程序博客网 时间:2024/05/22 03:29
本章就说下各种软件的安装和配置。
一、准备的资源:
1、tomcat(如用于在网页上查看HDFS的存储等)
地址:http://pan.baidu.com/s/1miC93ny
密码:52dd
2、jdk
地址:http://pan.baidu.com/s/1mhVWiM0
密码:fmn1
3、Hadoop(最好用centos6.5系统,否则配置时会出现各种BUG)
地址:http://pan.baidu.com/s/1qXXPUdm
密码:5zqe
二、安装配置过程
在安装这些软件之前,再介绍个比较好用的软件给大家
SecureCRT7.3.3 x64(SSH工具):http://pan.baidu.com/s/1gfzm7Fd
密码:5zy0
先说下这个软件,这个软件是安装在windows环境下,用于在Windows环境下通过SSH协议来控制Linux系统。
简单介绍下使用的过程:
打开软件按照下图进行操作
按照以上操作完毕后,你就可以在右边的命令行下来控制Linux,该软件支持命令行的命令粘贴等功能,详细的使可以自行百度。
接下来介绍各个软件的安装:
1、安装JDK
1.上传jdk-7u45-linux-x64.tar.gz到Linux上
2.解压jdk到/usr/local目录
tar -zxvf jdk-7u45-linux-x64.tar.gz -C /usr/local/
3.设置环境变量,在/etc/profile文件最后追加相关内容
vi /etc/profile
export JAVA_HOME=/usr/local/jdk1.7.0_45
export PATH=
4.刷新环境变量
source /etc/profile
5.测试java命令是否可用
java -version
2、安装Tomcat
1.上传apache-tomcat-7.0.68.tar.gz到Linux上
2.解压tomcat
tar -zxvf apache-tomcat-7.0.68.tar.gz -C /usr/local/
3.启动tomcat
/usr/local/apache-tomcat-7.0.68/bin/startup.sh
./startup.sh
4.查看tomcat进程是否启动
jps
5.查看tomcat进程端口
netstat -anpt | grep 2465
6.通过浏览器访问tomcat
http://192.168.0.101:8080/
3、安装hadoop
先上传hadoop的安装包到服务器上去/home/hadoop/
注意:hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop
伪分布式需要修改5个配置文件
3.1配置hadoop第一个:hadoop-env.shvim hadoop-env.sh#第27行export JAVA_HOME=/usr/java/jdk1.7.0_65
第二个:core-site.xml <!-- 指定HADOOP所使用的文件系统schema(URI),HDFS的老大(NameNode)的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://weekend-1206-01:9000</value> </property> <!-- 指定hadoop运行时产生文件的存储目录 --> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/hadoop-2.4.1/tmp</value> </property> 第三个:hdfs-site.xml <!-- 指定HDFS副本的数量 --> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.secondary.http.address</name> <value>192.168.1.152:50090</value> </property> 第四个:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml) mv mapred-site.xml.template mapred-site.xml vim mapred-site.xml <!-- 指定mr运行在yarn上 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> 第五个:yarn-site.xml <!-- 指定YARN的老大(ResourceManager)的地址 --> <property> <name>yarn.resourcemanager.hostname</name> <value>weekend-1206-01</value> </property> <!-- reducer获取数据的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> 3.2将hadoop添加到环境变量 vim /etc/proflie export JAVA_HOME=/usr/java/jdk1.7.0_65 export HADOOP_HOME=/itcast/hadoop-2.4.1 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin source /etc/profile 3.3格式化namenode(是对namenode进行初始化) hdfs namenode -format (hadoop namenode -format) 3.4启动hadoop 先启动HDFS sbin/start-dfs.sh 再启动YARN sbin/start-yarn.sh 3.5验证是否启动成功 使用jps命令验证 27408 NameNode 28218 Jps 27643 SecondaryNameNode 28066 NodeManager 27803 ResourceManager 27512 DataNode http://192.168.1.101:50070 (HDFS管理界面) http://192.168.1.101:8088 (MR管理界面)
在下面的章节中会介绍下HDFS的原理和基本操作等知识
- 大数据集群搭建之hadoop、tomcat、jdk等工具的安装(三)
- 大数据集群搭建之Linux的安装(一)
- 大数据系列之Hadoop----(1)集群搭建
- 【大数据】搭建简单的Hadoop集群
- 入门级Hadoop集群搭建详细教程(八):JDK、Tomcat的安装
- 大数据---hadoop集群搭建
- 【大数据】开发环境搭建(三):hadoop伪分布式集群环境搭建(下)
- Hadoop环境搭建(三、安装JDK)
- 大数据环境基础之Centos安装Haoop集群(5)安装hadoop集群
- 大数据教程(三) Hadoop集群分布式坏境搭建
- 大数据教程(三)—— Hadoop集群分布式坏境搭建
- 大数据教程(三)—— Hadoop集群分布式坏境搭建
- Hadoop环境搭建之JDK的安装
- (大数据之hadoop)hadoop1.0集群搭建
- (大数据之hadoop)hadoop2.2.0集群搭建
- (大数据之hadoop)hadoop2.4.1集群搭建
- 大数据之路-hadoop集群搭建-实操篇
- 从零开始搭建hadoop分布式集群环境:(二)安装JDK
- 组内相关系数(ICC)在重复测量数据中的解释
- 画重点,Java方法的参数到底是值传递还是引用传递?
- 1003. 我要通过!(20)
- java与c++内存分配异同
- 一些时序题计算
- 大数据集群搭建之hadoop、tomcat、jdk等工具的安装(三)
- (译) JSON-RPC 2.0 规范(中文版)
- qt学习中的一点总结
- Mybatis学习之查询
- 文章整理
- Myeclipse安装pydev版本匹配问题
- FreeType文字绘制笔记
- Struts框架相应用户请求的工作流程
- 值类型、引用类型、拆箱装箱