CDH QuickStart VM基本使用

1.1 准备工作

1.       下载虚拟机镜像包。

下载地址：https://www.cloudera.com/downloads/quickstart_vms/5-12.html

后面步骤中使用的是VMWare的虚拟机镜像文件cloudera-quickstart-vm-5.12.0-0-vmware.zip。

2.       将虚拟机镜像文件压缩包解压得到cloudera-quickstart-vm-5.12.0-0-vmware文件夹。

3.       进入解压文件夹，单击cloudera-quickstart-vm-5.12.0-0-vmware.vmx，使用VMWare打开该虚拟机。

官网给的推荐配置是2cores、8G内存，建议在启动前先修改虚拟机配置。如果已经启动的虚拟机，则可以停止虚拟机后，删除本地的镜像文件（主要不要从VMware中删除，而是直接删除本地文件），然后重新解压一遍到上次删除的文件位置。此时，再修改VMware中的虚拟机配置，再启动即可。

1.1 cloudera-quickstart-vm的使用

1.1.1 用户说明

Ø  该镜像的OS用户包括root/cloudera和cloudera/cloudera。

Ø  Hue UI的用户名和密码是cloudera/cloudera。

Ø  如果还有其它用户，那么用户名和密码都应该是cloudera/cloudera，比如Cloudera Manager。

1.1.2 运行环境

启动后的VM截图如下所示：

Ø  虚拟机启动后，大数据的所有组件都是启动状态，可以在root账号下通过jsp命令查看已启动的服务。

[root@quickstart ~]# jps3914 RunJar2407 DataNode2301 QuorumPeerMain2916 JobHistoryServer14388 HMaster3677 RESTServer10994 jar4015 RunJar3015 NodeManager5355 Bootstrap2496 JournalNode4589 HistoryServer2734 SecondaryNameNode14679 HRegionServer2865 Bootstrap3264 ResourceManager4552 Bootstrap24905 Jps5580 5547 Bootstrap5615 2602 NameNode8762 jar

Ø  Web环境查看。

打开VM自带的Firefox浏览器，通过收藏夹可以快速访问各个组件Web页面。

说明：可以把收藏夹导出成html的格式，并导入到宿主机的Firefox中，并在宿主机的hosts文件中添加一下主机名和ip的对应关系，然后就可以在宿主机中进行访问了。

Ø  查看服务状态

[root@quickstart ~]# service --status-all...........................Flume NG agent is not running                              [FAILED]Hadoop datanode is running                                 [  OK  ]Hadoop journalnode is running                              [  OK  ]Hadoop namenode is running                                 [  OK  ]...........................

如果有失败的服务，可以通过chkconfig –list命令查看具体的服务名，然后再通过service <service_name> start命令启动该服务

Ø  查看所有服务

[root@quickstart ~]# chkconfig --listflume-ng-agent 0:off1:off2:off3:off4:off5:off6:offhadoop-hdfs-datanode0:off1:off2:off3:on4:on5:on6:offhadoop-hdfs-journalnode0:off1:off2:off3:on4:on5:on6:off

Ø  启动失败的服务

[root@quickstart ~]# service flume-ng-agent start 

1.1.3 Clouera Manager

虚拟机启动后ClouderManager是未启动的，可以通过在root用户下通过/home/cloudera/cloudera-manager--force  --express命令启动。但是启动过程中会先停止所有已启动的服务。这个对虚拟机的配置要求比较高，Cloudera Manager可以正常启动，但是通过其WEB启动其它大数据组件的时候，资源不足的话会导致启动失败。