CDH遇到问题点滴记录

关于CDH和ClouderaManager

CDH (Cloudera's Distribution,including Apache Hadoop)，是hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的ApacheHadoop构建，并集成了很多补丁，可直接用于生产环境。

 

Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件，对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大简化。

Ubuntu安装cdh集群：启动server节点出错，可以查看/opt/cloudera-manager/cm-5.6.0/log里的日志，或者/var/log/cloudera-scm-server/下面的日志。

 

安装步骤：

http://blog.csdn.net/blackkey2008/article/details/50763097

http://www.jianshu.com/p/57179e03795f

http://wiki.ubuntu.org.cn/%E5%88%A9%E7%94%A8Cloudera%E5%AE%9E%E7%8E%B0Hadoop

 

卸载oracle-j2sdk1.7方法

查看 dpkg --list | grep -i jdk

sudo apt-get remove oracle-j2sdk1.6

或者sudo apt-get remove oracle-*

安装主节点master：

1.     修改文件sudo vi/etc/network/interfaces，将默认生成的

auto eth0

iface eth0 inet dhcp

改为：

2.  重启网卡，使配置生效：

sudo service networking restart

3.  运行ifconfig -a查看网络配置信息。 

4.  通过ping -c2 www.baidu.com测试能否正常访问外网。若不能，可sudo reboot重启节点试试。

5.  配置完成后，可在其他主机，通过Xshell连接master节点。 

6.  关闭防火墙

sudo ufw disable

配置hosts文件 

以master节点为例 要求所有的节点主机之间都是通过host互信的，编辑所有节点主机的/etc/hosts文件，配置完成后在每台主机上ping通其他主机名。 

注：slave节点配置方法类似

配置ubuntu的更新源 

①备份源列表

1.  sudo cp /etc/apt/sources.list /etc/apt/sources.list_backup

②选择一个更新源，修改配置文件sudo vi /etc/apt/sources.list，添加新的源，国内推荐使用阿里源：

1.  deb http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse

2.  deb http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse

3.  deb http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse

4.  deb http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse

5.  deb http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse

6.  deb-src http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse

7.  deb-src http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse

8.  deb-src http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse

9.  deb-src http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse

10.deb-src http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse

更新系统

①更新系统

1.  sudo apt update

2.  sudo apt upgrade

3.  sudo apt dist-upgrade

4.  sudo apt autoremove

jdk的安装 apt-get-o Dpkg::Options::=--force-confdef -o Dpkg::Options::=--force-confold -yinstall oracle-j2sdk1.6 

 

参考：http://blog.csdn.net/u012348345/article/details/51451455

172.18.25.5和159.226.178.106做的改动：安装ntp  修改了配置文件/etc/ntp.conf  修改 server  Ubuntubp-001