CetnOs6.7安装CDH5.4.1手记--Hadoop(1)
来源:互联网 发布:怎样做淘宝店铺推广 编辑:程序博客网 时间:2024/06/10 23:06
前几天因为项目需求,重新安装一遍CDH,这次的安装是基于CentOs Linux 6.7,一路安装完,难免再次碰到很多问题,随手记录上,供下次参考。
1、安装条件与软件准备
1-1)硬件配置:2台塔式小型服务器,配置不高,内容只有8G,硬盘1T;
1-2)软件:软件的匹配是个头痛的事情,由于CDH发行版本更新太快,归档的安装包(包括CM和CDH)版本也很多,我之前安装了好多个版本,都碰到问题,这次采用的是CM+CDH5.4.1的版本,并且采用离线安装(在线安装受限网络访问,太慢了),我准备的软件如下:
1-3)软件下载:
大有也可以根据自己 需要,自动到网上下载:
(a) CM下载地址:
http://archive-primary.cloudera.com/cm5/cm/5/
但这个地址已经不提供5.9.2以前的版本的压缩包了,我是提前就准备了压缩包。
(b)CDH下载地址:
http://archive.cloudera.com/cdh5/
这里根据自己的需要选择相应的版本下载,我这里准备了的是这3个文件件:
(c)JDK下载地址:
http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html
(d)Mysql connector下载地址:
http://dev.mysql.com/downloads/connector/j/
附:大家可以直接到我准备好的百度云盘上去下啊,但建议新手还是要对CM和CDH版本匹配顺问题,好好研究下!百度云盘地址:
(稍后上传,文件有点大)
2、安装前的系统配置
(注:所有的安装都用的root用户操作,但生产环境就不一定了)
2-1)配置主机名与ip地址对应关系,修改/etc/hosts文件,将节点ip也主机名对应(在所有节点上做同样的操作):
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4::1 localhost localhost.localdomain localhost6 localhost6.localdomain6192.168.0.152 hadoop1.oaec.com192.168.0.153 hadoop2.oaec.com
2-2)配置SSH名密钥登录(主要是在主节点上操作:hadoop1.oaec.com)
ssh-keygen -t rsa--直接回车ssh-copy-id hadoop1.oaec.com (将密钥拷贝到节点1)ssh-copy-id hadoop2.oaec.com (将密钥拷贝到节点2)
通过以下方式验证是否不需要输入密码:
2-3)关闭Linux系统防火墙和selinux
防火墙服务关闭与禁止自动重启:
service iptables stopchkconfig iptables off
关闭selinux:
编程文件:/etc/sysconfig/selinux:
将SELINUX=enforcing改成SELINUX=disabled
2-4)配置两个系统文件:
第一个文件:/etc/security/limits.conf,编辑它,将以下内容放到文件里(放在最后面):
root soft nproc 102400root hard nproc 163840root soft nofile 102400root hard nofile 655360root soft stack 102400
第二个文件:/etc/pam.d/login,编辑它,将下面这条放入文件:
session required pam_limits.so
2-5)JDK安装(虽然在安装CDH的时候会安装JDK,还是提前配置一下好);先检查Linux系统是否有opdnjdk,如果有,将这它删掉:
查询到有openjdk:
rpm -qa|grep openjdkjava-1.8.0-openjdk-1.8.0.45-35.b13.el6.x86_64java-1.6.0-openjdk-devel-1.6.0.35-1.13.7.1.el6_6.x86_64java-1.7.0-openjdk-devel-1.7.0.79-2.5.5.4.el6.x86_64java-1.6.0-openjdk-javadoc-1.6.0.35-1.13.7.1.el6_6.x86_64java-1.7.0-openjdk-1.7.0.79-2.5.5.4.el6.x86_64java-1.8.0-openjdk-headless-1.8.0.45-35.b13.el6.x86_64java-1.8.0-openjdk-devel-1.8.0.45-35.b13.el6.x86_64java-1.6.0-openjdk-1.6.0.35-1.13.7.1.el6_6.x86_64
删除openjdk:
rpm -e --nodeps java-1.6.0-openjdkrpm -e --nodeps java-1.7.0-openjdkrpm -e --nodeps java-1.8.0-openjdkrpm -e --nodeps ldapjdk-4.18-6.el6.x86_64rpm -e --nodeps java-1.8.0-openjdk-develrpm -e --nodeps java-1.7.0-openjdk-develrpm -e --nodeps java-1.6.0-openjdk-javadocrpm -e --nodeps java-1.8.0-openjdk-headlessrpm -e --nodeps java-1.6.0-openjdk-devel
安装准备了的jdk:
安装完后,会在/usr/java/目录下自动目录:
2-6)必须安装的几个系统包
yum -y install psmiscyum -y install libxsltyum -y install screenyum -y install telnet
- CetnOs6.7安装CDH5.4.1手记--Hadoop(1)
- hadoop cdh5安装
- hadoop cdh5单机安装
- cm cdh5 hadoop安装
- apache hadoop-2.6.0-CDH5.4.1 安装笔记
- Centos6.7 + CDH5.4.5 HADOOP 集群环境离线安装
- cent0S 7 安装 cdh5.13 笔记之四: 配置 hadoop
- Hadoop+Mahout安装手记
- hadoop集群安装手记
- CentOS 安装 Hadoop 手记
- CDH5.0安装【1】
- Hadoop CDH5 手动安装伪分布式模式
- CDH5.3.3安装(hadoop集群)
- Hadoop-2.5.0-cdh5.3.2 HA 安装
- Hadoop-2.5.0-cdh5.3.2 HA 安装
- Hadoop安装与启动(CDH5.6)
- CDH5.4.7安装分布式Hadoop集群
- cent0S 7 安装 cdh5.13 笔记之三: 安装 hadoop-hdfs
- # Ridge Regression and Bayesian Regression 学习笔记
- Spark On YARN启动流程源码分析
- 微信公众号支付详细步骤(整理)
- 奇怪,,为什么会有这么简单的错误,,初次使用腾讯云服务器创建网站
- 如何用button触发fileupload控件的click事件
- CetnOs6.7安装CDH5.4.1手记--Hadoop(1)
- python中OS模块的常用命令
- 160
- Ubuntu下搭建简单的nginx文件服务器
- hdu 1982 Kaitou Kid
- 当点击一个View时,显示下面隐藏的一个View(折叠的动画效果)
- State模式
- 测试SDL配置是否正确
- [Vue.js启航]——多组件应用构建