离线安装CDH5集群及相关软件

离线安装CDH5集群及相关软件

一、CDH的三种安装方法

官方共给出了3中安装方式：

第一种方法：必须要求所有机器都能连网。这种方法的最大弊端就是安装过程中，总是因为网络超时，导致安装失败。

第二种方法：需要下载很多包。

第三种方法：对系统侵入性最小,最大优点可实现全离线安装，而且重装什么的都非常方便。后期的集群统一包升级也非常好。所以，选择离线安装。

相关包的下载可以在Cloudera的官网上下载即可。需要下载的软件及包，如下：CDH5.0、Hbase0.96.1.1、Hive0.12.0、Pig0.12.0、zookeeper3.4.5、CDH-5.0.0-1.cdh5.0.0.p0.47-el6.parcel、CDH-5.0.0-1.cdh5.0.0.p0.47-el6.parcel.sha1、manifest.json、mysql和mysql-connector-java-5.1.33-bin.jar。

 

二、选择CDH原因

CDH (Cloudera's Distribution,including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。

Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件，对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大简化。

三、系统环境

·      环境： VBox虚拟机

·      操作系统：凝思4.2 x64内存4G。

注意：如果内存低于2G，安装过程中直接卡死了；因为，CDH的所有组件全部安装会占用很多内存。

·      Cloudera Manager：5.0.0

·      CDH: 5.0.0

注意 ：安装CDH5与CDH4的是不同的，在安装CDH4的时候还需要下载IMPALA、Cloudera Search(SOLR)；但是CDH5中将他们包含在一起了，所以只需要下载一个CDH5的包就可以了。

ip地址

hostname

描述信息

192.168.1.101

n1namenode

Namenode节点

192.168.1.102

n2mysql

CM，管理节点

192.168.1.103

n3

节点1

192.168.1.104

n4

节点2

192.168.1.105

n5

节点3

192.168.1.106

n6

节点4

注意：在上面的六个节点中安装CDH和CM之前，要先安装好凝思操作系统（国产OS），并配置好网络和硬件等。

四、安装

1、准备工作：系统环境搭建

注意：以下操作均用root用户操作。

1.     配置网络(所有节点)

修改hostname，即修改主机名：

vi/etc/sysconfig/network 

NETWORKING=yes
HOSTNAME=n1namenode

重启网络服务：service network restart 

 

修改IP与主机名的映射关系（所有节点）：

vi/etc/hosts 

192.168.1.101   n1namenode
192.168.1.102   n2mysql
192.168.1.103   n3

192.168.1.104   n4
192.168.1.105   n5
192.168.1.106   n6

注意： 这里需要将每台机器的ip及主机名对应关系都写进去，本机的也要写进去，否则启动Agent的时候会提示hostname解析错误。

 

2.配置信任关系（所有节点）

打通SSH，设置ssh无密码登陆：配置主节点到所有子节点的无密码登录

1）、在主节点上执行：

ssh-keygen-t rsa 

注意：默认一路回车，生成无密码的密钥对。

2）、将公钥添加到认证文件中： 

cat~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 

3）、设置authorized_keys的访问权限： 

chmod600 ~/.ssh/authorized_keys 。

4）、拷贝到所有的子节点：scp文件到所有datenode节点

scp~/.ssh/authorized_keys root@n2:~/.ssh/

测试：在主节点上登录子节点，例如ssh n2，正常情况下，不需要密码就能直接登陆进去了。

 

注意：需要在另外几台子节点上创建 .ssh 文件夹，否则在拷贝的过程中会报错scp: /root/.ssh/authorized_keys: No such file or directory

3.安装Java（所有节点）

注意：操作系统如果自带了JDK，最好是卸载了以后重新安装JDK7。

去Oracle的官网下载jdk的rpm安装包，并使用 rpm -ivh包名 安装之。

由于是rpm包并不需要我们来配置环境变量，我们只需要配置一个全局的JAVA_HOME变量即可，执行命令：

echo"JAVA_HOME=/usr/java/latest/" >> /etc/profile

4.安装配置MySql（cm管理节点）

Hive需要使用一个关系数据库作为Metastore数据库，使用hive自带的嵌入式数据库debby存在性能问题；所以，需要在n2mysql节点上安装一个mysql数据库，创建数据库 hive数据库。有关mysql的安装具体过程以及配置参数，这里不过多介绍了：

1）、安装mysql： yum install mysql-server 

2）、设置mysql开机启动： chkconfig mysqld on 

3）、启动mysql服务： servicemysqld start 

4）、设置root的初试密码： mysqladmin -u root password 'mysql' 。

5）、登录mysql并创建以下数据库：mysqlmysql -uroot -pmysql

#hive
create database hive DEFAULT CHARSET utf8 COLLATEutf8_general_ci;
#activity monitor
create database amon DEFAULT CHARSET utf8 COLLATEutf8_general_ci;

6）、给root用户授权：

#授权root用户在主节点拥有所有数据库的访问权限
grant all privileges on *.* to 'root'@'n2mysql'identifiedby 'xxxx'with grant option;
flush privileges;

5.关闭防火墙和SELinux（所有节点）

注意：需要在所有的节点上执行，因为涉及到的端口太多了，临时关闭防火墙是为了安装起来更方便，安装完毕后可以根据需要设置防火墙策略，保证集群安全。

1）、关闭防火墙：

serviceiptables stop（临时关闭） 
chkconfig iptables off （重启后生效）

2）、关闭SELINUX:

setenforce0 （临时生效） 
vi /etc/selinux/config

SELINUX=disabled（重启后永久生效）

6.配置NTP服务(所有节点)

说明：集群中所有主机必须保持时间同步，如果时间相差较大会引起各种问题。 具体思路如下：master节点作为ntp服务器与外界对时中心同步时间，随后对所有datanode节点提供时间同步服务。所有datanode节点以master节点为基础同步时间。

1）、所有节点安装相关组件： yuminstall ntp 。

2）、配置开机启动： chkconfigntpd on 

3）、检查是否设置成功： chkconfig--list ntpd 

注意：其中2-5为on状态就代表成功。

4）、主节点配置

在配置之前，先使用ntpdate手动同步一下时间，免得本机与对时中心时间差距太大，使得ntpd不能正常同步。这里选用65.55.56.206作为对时中心, ntpdate-u 65.55.56.206 。

ntp服务只有一个配置文件，配置好了就OK。 这里只给出有用的配置，不需要的配置都用#注掉：

driftfile/var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
restrict default nomodify notrap
server 65.55.56.206 prefer
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys

启动服务，执行如下命令： service ntpd start

检查是否成功：用ntpstat查看同步状态，出现以下状态代表启动成功

synchronisedto NTP server () at stratum2
time correct to within 74 ms
polling server every 128s

如果出现异常请等待几分钟，一般等待5-10分钟才能同步。

5）、配置ntp客户端（所有datanode节点）

driftfile/var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
restrict default kod nomodify notrap nopeer noquery
restrict -6default kod nomodify notrap nopeer noquery
#这里是主节点的主机名或者ip
server n1namenode
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys

手动同步一下时间： ntpdate -u n1namenode (主节点ntp服务器)

注意：这里可能出现同步失败的情况，请不要着急，一般是本地的ntp服务器还没有正常启动，一般需要等待5-10分钟才可以正常同步。

启动服务： service ntpd start

因为是连接内网，这次启动等待的时间会比master节点快一些，但是也需要耐心等待一会儿。

2、安装Cloudera ManagerServer 和Agent

1、主节点解压安装：cloudera manager的目录默认位置在/opt下

解压： tar xzvf cloudera-manager*.tar.gz –C /opt 

注意：将解压后的cm和cloudera目录放到/opt目录下。

2、为Cloudera Manager 5建立数据库

1）、首先需要去MySql的官网下载JDBC驱动， http://dev.mysql.com/downloads/connector/j/ 

2）、解压后把mysql-connector-java-5.1.33-bin.jar放到/opt/cm-5.0.0/share/cmf/lib/中。

3）、在主节点初始化CM5的数据库：

/opt/cm-5.0.0/share/cmf/schema/scm_prepare_database.shmysql cm -hlocalhost -uroot -pxxxx--scm-hostlocalhost scm scm scm

3、Agent配置

1）、修改/opt/cm-5.0.0/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名。

2）、同步Agent到其他节点

scp-r /opt/cm-5.0.0 root@n2mysql:/opt/

…

3）、在所有节点创建cloudera-scm用户

useradd--system --home=/opt/cm-5.0.0/run/cloudera-scm-server/ --no-create-home--shell=/bin/false --comment "ClouderaSCM User" cloudera-scm

4、准备Parcels，用以安装CDH5和其他软件

将CHD5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中（parcel-repo需要手动创建）。

相关的文件如下：

CDH-5.0.0-1.cdh5.0.0.p0.47-el6.parcel

CDH-5.0.0-1.cdh5.0.0.p0.47-el6.parcel.sha1

manifest.json

最后将CDH-5.0.0-1.cdh5.0.0.p0.47-el6.parcel.sha1

，重命名为CDH-5.0.0-1.cdh5.0.0.p0.47-el6.parcel.sha1

.sha

注意：否则，系统会重新下载CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel文件。

5、相关启动脚本

启动服务端：/opt/cm-5.0.0/etc/init.d/cloudera-scm-server start 

启动Agent服务：/opt/cm-5.0.0/etc/init.d/cloudera-scm-agent start 

注意：start为启动参数，stop为停止参数，restart为重启参数。

3、CDH5和其他软件的安装配置

1、启动Cloudera Manager Server和Agent，并登陆

都启动以后，就可以进行CDH5的安装配置了；这时可以通过浏览器访问主节点的7180端口测试一下了（由于CM Server的启动需要花点时间，这里可能要等待一会才能访问），默认的用户名和密码均为admin。

2、登录后选择Cloudera Express

登录以后可以看到：有免费版的ClouderaExpress 和收费版的Cloudera Enterprise（可以试用60天）；这时候根据自己的需要去选择，基本上免费版的就可以够用的了。

注意：免费版本的CM5已经没有原来50个节点数量的限制了。

3、列出了可供选择的安装包列表

4、启动Agent节点：为CDH集群指定主机

各个Agent节点正常启动后，输入 192.168.1.[103-106]，根据自已网络情况进行调整，然后点击搜索。可以在当前管理的主机列表中看到对应的节点，选择要安装的节点，点继续。

5、进入添加主机向导：确定Parcel包的配置

使用parcel安装方式，parcel下载路径不用修改。选择CDH的安装包，并确定本地Parcel包配置无误，直接点继续就可以了。

 

6、CM的自动分配

注意：不需要java加密，保留默认值。输入root的密码，所有节点的root密码是一致的，同时安装的数据默认为10。

如果配置本地Parcel包无误，那么CDH包的下载，应该是瞬间就完成了，然后就是耐心等待分配过程就行了，大约10多分钟吧，取决于内网网速。

注意：如果在进行节点CM管理程序安装过程中出现问题，请检查主机名和IP的配置是否正确。

7、安装主机完成，服务器检查

会对主机进行检查，有个 swappness需要调整，如果是真实服务器，请将 swappness修改为0，尽量不使用交换分区。

注意：可能会遇到以下问题

Cloudera建议将 /proc/sys/vm/swappiness设置为 0。当前设置为 60。使用sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。您可以继续进行安装，但可能会遇到问题，Cloudera Manager 报告您的主机由于交换运行状况不佳。以下主机受到影响：

通过 echo 0 > /proc/sys/vm/swappiness 即可解决。

8、选择安装服务：

一般是选择所有服务进行安装，但是，也可以自定义安装的服务；同时，也可以根据自己的需要选择服务，例如：核心Hadoop或含spark的内核等。

9、服务配置

一般情况下保持默认的节点角色配置就可以了（ClouderaManager会根据机器的配置自动进行配置，如果需要特殊调整，自行进行设置就可以了）：

10、设置数据库

选择自定义数据库，填写连接信息，包括：数据库的主机名、数据库类型、用户和密码，并点击测试连接按钮进行测试。

11、设置集群的审查页面：

注意：这里最好都是保持默认配置。

12、添加服务：保留默认值

注意，这里安装Hive的时候可能会报错，因为我们使用了MySql作为hive的元数据存储，hive默认没有带mysql的驱动。

通过以下命令拷贝一个即可：最好是提前拷贝好

cp/opt/cm-5.0.0/share/cmf/lib/mysql-connector-java-5.1.33-bin.jar /opt/cloudera/parcels/CDH-5.1.3-1.cdh5.1.3.p0.12/lib/hive/lib/

 

注意：首次启动服务的时间比较长，服务的安装过程大约半小时可以完成。

13、查看集群的当前状况

安装完成后，就可以进入集群界面看一下集群的当前状况了。

注意：这里可能会出现 无法发出查询：对 ServiceMonitor 的请求超时 的错误提示，如果各个组件安装没有问题，一般是因为服务器比较卡导致的，过一会刷新一下页面就好了。

14、测试

在集群的一台机器上执行以下模拟Pi的示例程序：

sudo-u hdfs hadoop jar/opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi10100

执行过程需要花一定的时间，通过YARN的后台也可以看到MapReduce的执行状态：

MapReduce执行过程中终端的输出如下：

Numberof Maps  = 10
Samples per Map = 100
Wrote input for Map #0
Wrote input for Map #1
Wrote input for Map #2
Wrote input for Map #3
Wrote input for Map #4
Wrote input for Map #5
Wrote input for Map #6
Wrote input for Map #7
Wrote input for Map #8
Wrote input for Map #9
Starting Job
14/03/1301:15:34 INFO client.RMProxy: Connecting to ResourceManager at n1namenode/192.168.1.101:8032
14/03/1301:15:36 INFO input.FileInputFormat: Total input paths to process: 10
14/03/1301:15:37 INFO mapreduce.JobSubmitter: number of splits:10
14/03/1301:15:39 INFO mapreduce.JobSubmitter: Submitting tokens forjob: job_1413132307582_0001
14/03/1301:15:40 INFO impl.YarnClientImpl: Submitted applicationapplication_1413132307582_0001
14/03/1301:15:40 INFO mapreduce.Job: The url to track the job: http://n1:8088/proxy/application_1413132307582_0001/
14/03/1301:15:40 INFO mapreduce.Job: Running job: job_1413132307582_0001
14/03/1301:17:13 INFO mapreduce.Job: Job job_1413132307582_0001 runningin uber mode : false
14/03/1301:17:13 INFO mapreduce.Job: map 0% reduce0%
14/03/1301:18:02 INFO mapreduce.Job: map 10% reduce0%
14/03/1301:18:25 INFO mapreduce.Job: map 20% reduce0%
14/03/1301:18:35 INFO mapreduce.Job: map 30% reduce0%
14/03/1301:18:45 INFO mapreduce.Job: map 40% reduce0%
14/03/1301:18:53 INFO mapreduce.Job: map 50% reduce0%
14/03/1301:19:01 INFO mapreduce.Job: map 60% reduce0%
14/03/1301:19:09 INFO mapreduce.Job: map 70% reduce0%
14/03/1301:19:17 INFO mapreduce.Job: map 80% reduce0%
14/03/1301:19:25 INFO mapreduce.Job: map 90% reduce0%
14/03/1301:19:33 INFO mapreduce.Job: map 100% reduce0%
14/03/1301:19:51 INFO mapreduce.Job: map 100% reduce100%
14/03/1301:19:53 INFO mapreduce.Job: Job job_1413132307582_0001 completedsuccessfully
14/03/1301:19:56 INFO mapreduce.Job: Counters: 49
  File System Counters
    FILE: Number of bytes read=91
    FILE: Number of bytes written=1027765
    FILE: Number of readoperations=0
    FILE: Number of large readoperations=0
    FILE: Number of writeoperations=0
    HDFS: Number of bytes read=2560
    HDFS: Number of bytes written=215
    HDFS: Number of readoperations=43
    HDFS: Number of large readoperations=0
    HDFS: Number of writeoperations=3
  Job Counters
    Launched map tasks=10
    Launched reduce tasks=1
    Data-local map tasks=10
    Total time spent by all mapsin occupied slots (ms)=118215
    Total time spent by allreduces in occupied slots (ms)=11894
    Total time spent by all maptasks (ms)=118215
    Total time spent by all reducetasks (ms)=11894
    Total vcore-seconds taken by all maptasks=118215
    Total vcore-seconds taken by allreduce tasks=11894
    Total megabyte-seconds taken by all maptasks=121052160
    Total megabyte-seconds taken by allreduce tasks=12179456
  Map-Reduce Framework
    Map input records=10
    Map output records=20
    Map output bytes=180
    Map output materialized bytes=340
    Input split bytes=1380
    Combine input records=0
    Combine output records=0
    Reduce input groups=2
    Reduce shuffle bytes=340
    Reduce input records=20
    Reduce output records=0
    Spilled Records=40
    Shuffled Maps =10
    Failed Shuffles=0
    Merged Map outputs=10
    GC time elapsed (ms)=1269
    CPU time spent (ms)=9530
    Physical memory (bytes) snapshot=3792773120
    Virtual memory (bytes) snapshot=16157274112
    Total committed heap usage (bytes)=2856624128
  Shuffle Errors
    BAD_ID=0
    CONNECTION=0
    IO_ERROR=0
    WRONG_LENGTH=0
    WRONG_MAP=0
    WRONG_REDUCE=0
  File Input Format Counters
    Bytes Read=1180
  File Output Format Counters
    Bytes Written=97
Job Finished in 262.659 seconds
Estimated value of Pi is 3.14800000000000000000