欢迎使用CSDN-markdown编辑器

参考图文教程http://blog.csdn.net/qq_23660243/article/details/60870527
配置同步时间服务器部分不是很确定

配置网卡
ip add
vi /etc/sysconfig/network-scripts/ifcfg-eno16777736
BOOTPROTO=static
IPADDR=192.168.190.13
GATEWAY=192.168.190.2
DNS=192.168.190.2
NETMASK=255.255.255.0
ONBOOT=yes

更改DNS vi /etc/resolv.conf
正常里面是空的，加入：
nameserver 8.8.8.8
nameserver 8.8.4.4
保存退出，然后重启网络然后尝试

重启网络 systemctl restart network
ping测试连接内外网

更改主机名字 vi /etc/hostname
查看当前主机名 hostname

修改hosts文件vi /etc/hosts
增加
192.168.190.11 cdh01
192.168.190.12 cdh02
192.168.190.13 cdh03
192.168.190.14 cdh04

给cdh用户添加无密码使用sudo命令的权限
vi /etc/sudoers
cdh ALL=(ALL) NOPASSWD: ALL

wget安装
yum install wget
pstree安装
yum install psmisc
SSH安装
yum install ssh
/etc/init.d/sshd start
vi /etc/ssh/sshd.config
rz安装
yum install lrzsz -y

NFS Gateway服务需要安装rpcbind:
yum install rpcbind

更改yum源为阿里源
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
yum makecache
yum update

卸载本机自带的openJDK
rpm -qa | grep java
rpm -e –nodeps java-1.8.0-openjdk-1.8.0.121-0.b13.el7_3.x86_64
java -version
安装Oracle 下载的JDK
(rmp -ivh jdk-8u111-linux-x64.rpm)

tar zxvf jdk-8u111-linux-x64.tar.gz
mkdir /usr/java
mv jdk1.8.0_111/ /usr/java
chown -Rv root:root java
alternatives –install /usr/bin/java java /usr/java/jdk1.8.0_111/bin/java 1600
alternatives –install /usr/bin/javac javac /usr/java/jdk1.8.0_111/bin/javac 1600
检查
alternatives –config java
java -version
alternatives –config javac
javac -version

查询服务开机启动状态
systemctl list-unit-files
查看所有active服务
systemctl list-units –type=service

（开启防火墙22端口
iptables -I INPUT -p tcp –dport 22 -j ACCEPT）
关闭防火墙
systemctl stop firewalld.service
关闭开机自动启动
systemctl disable firewalld.service

关闭SELinux，否则ssh连接会要密码
查看SELinux状态
/usr/sbin/sestatus -v
临时关闭（不用重启机器）：
setenforce 0 ##设置SELinux成为permissive模式 setenforce 1 设置SELinux 成为enforcing模式
修改配置文件需要重启机器：
vim /etc/selinux/config
SELINUX=disabled

配置SSH：A将公钥发给B，不是说让B来访问A，而是A就可以访问B了。B不能在.ssh文件夹下的authorized_keys保留A的公钥，如保存就是把自己让给别人来访问

以cdh用户登录系统
mkdir /home/cdh/.ssh
ssh-keygen -t rsa （注意：ssh与-keygen之间没有空格）一路回车即可。
cd ~/.ssh
id_rsa(私匙),和id_rsa.pub(公匙)

cp id_rsa.pub authorized_keys
把Master上面的authorized_keys文件复制到Slave机器的/home/cdh/.ssh/文件下面
scp authorized_keys cdh@cdh02:~/.ssh
修改.ssh目录的权限以及authorized_keys 的权限(这个必须修改，要不然还是需要密码,所有机器上)
sudo chmod 644 ~/.ssh/authorized_keys
sudo chmod 700 ~/.ssh
正常情况下,到这个地方就可以SSH无密码登录了
输入ssh cdh02 进行测试。

ntpdate手动同步一下时间
ntpdate -u 0.cn.pool.ntp.org

---

*此同步时间部分存疑***

---

Chrony设置(也可使用NTP)
yum install chrony
sudo vi /etc/chrony.conf
systemctl enable chronyd.service

找到并修改下面的内容为自己的IP段，下面的IP为允许访问的IP

allow 10/8
allow 192.168/16
allow 172.16/12

server 1.cn.pool.ntp.org
server 1.asia.pool.ntp.org
server 0.asia.pool.ntp.org
重启chrony服务即可

sudo systemctl restart chronyd.service

其它节点同步时间，只需要将“server”项修改为上面的时间服务器即可
server 192.168.190.11

运行chronyc命令来修改设置
accheck - 检查NTP访问是否对特定主机可用
activity - 该命令会显示有多少NTP源在线/离线
settime - 手动设置守护进程时间
tracking - 显示系统时间信息

查看时间同步源：chronyc sources -v
查看时间同步源状态：chronyc sourcestats -v

NTP设置(也可使用chrony)
现在centOS用Chrony替代了NTP进行时钟与时钟服务器（NTP）同步，它由两个程序组成：chronyd和chronyc。按道理说用Chrony好，若想用NTP则要先卸载chrony。
systemctl stop chronyd.service
yum install ntp
systemctl enable ntpd.service

vi /etc/ntpd.conf
driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
restrict default nomodify notrap
server 1.cn.pool.ntp.org prefer
server 1.asia.pool.ntp.org
server 0.asia.pool.ntp.org
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys

systemctl start ntpd.service
ntpstat
如果出现异常请等待几分钟，一般等待5-10分钟才能同步。
ntpq -p
ntpdc -np

配置ntp客户端（所有子节点）
ntpdate -u 0.cn.pool.ntp.org

driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
restrict default kod nomodify notrap nopeer noquery
restrict -6 default kod nomodify notrap nopeer noquery

#这里是主节点的主机名或者ip

server cdh01
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys

启动服务：systemctl start ntpd.service
这里可能出现同步失败的情况，请不要着急，一般是本地的ntp服务器还没有正常启动，一般需要等待5-10分钟才可以正常同步。

---

*此同步时间部分存疑***

---

在所有机器上创建用户cloudera-scm:
useradd –system –home-dir /opt/cm-5.11.0/run/cloudera-scm-server/ –no-create-home –shell=/bin/false –comment “Cloudera SCM User” cloudera-scm
mkdir /var/lib/cloudera-scm-server
chown cloudera-scm:cloudera-scm /var/lib/cloudera-scm-server

Cloudera Manager(CM) 解压缩放到/opt/目录下
tar zxvf cloudera-manager-centos7-cm5.11.0_x86_64.tar.gz /opt
mv cm-5.11.0/ /opt
mv cloudera /opt

修改cm-5.11.0的拥有者
chown -Rv cdh:cdh /opt/cm-5.11.0
要注意修改：
chown -Rv cloudera-scm:cloudera-scm /opt/cloudera

要在所有的机器上配置主机的名字为cdh01：
vim /opt/cm-5.11.0/etc/cloudera-scm-agent/config.ini

安装配置MYSQL
wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm
rpm -ivh mysql-community-release-el7-5.noarch.rpm
yum update
安装mysql-server：
yum install mysql-server
设置mysql开机启动：
systemctl enable mysqld.service
systemctl start mysqld
mysqladmin -u root password ‘dugoohoo’

/root/.mysql_secret

出现如下异常：
FATAL ERROR: please install the following Perl modules before executing /usr/bin/mysql_install_db:
Data::Dumper
解决方案：
]# yum install -y perl-Module-Install.noarch

为cloudera manager建立数据库
wget https://cdn.mysql.com//Downloads/Connector-J/mysql-connector-java-5.1.42.tar.gz
tar zxvf mysql-connector-java-5.1.42.tar.gz
cd mysql-connector-java-5.1.42
chown cdh:cdh mysql-connector-java-5.1.42-bin.jar

cp mysql-connector-java-5.1.42-bin.jar /opt/cm-5.11.0/share/cmf/lib/
解压并把文件传给子节点
scp mysql-connector-java-5.1.42-bin.jar cdh02:/opt/cm-5.11.0/share/cmf/lib/
用自带的脚本自动创建数据库:cm
/opt/cm-5.11.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -pdugoohoo –scm-host localhost scm dugoohoo
其中-pdugoohoo是数据库的root用户密码，而后面的scm dugoohoo是新的用户scm的密码。
检查数据库是否有该库
mysql -uroot -pdugoohoo
show databases;
use cm;
show tables;
授权远程连接
GRANT ALL PRIVILEGES ON . TO ‘scm’@’%’ IDENTIFIED BY ‘dugoohoo’ WITH GRANT OPTION;
flush privileges;
select host,user from mysql.user;

把CDH相关文件打包放入/opt/cloudera/parcel-repo/目录下（只是主机如此操作）：
我们在下载CDH的时候会有相对应的sha文件，我们这里是：
CDH-5.11.0-1.cdh5.11.0.p0.34-el7.parcel.sha1
我们需要重命名该文件为：
CDH-5.11.0-1.cdh5.11.0.p0.34-el7.parcel.sha
manifest.json最好也拷贝上，可以再打开或者用sha1sum对比下

mv CDH-5.10.0-1.cdh5.10.0.p0.41-el7.parcel /opt/cloudera/parcel-repo/
注意修改文件夹的拥有者
chown -Rv cloudera-scm:cloudera-scm /opt/cloudera

Cloudera 建议将 /proc/sys/vm/swappiness 设置为最大值 10。当前设置为 30。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf，以在重启后保存该设置。您可以继续进行安装，但 Cloudera Manager 可能会报告您的主机由于交换而运行状况不良。以下主机将受到影响：

echo 0 > /proc/sys/vm/swappiness

已启用透明大页面压缩，可能会导致重大性能问题。请运行“echo never > /sys/kernel/mm/transparent_hugepage/defrag”和“echo never > /sys/kernel/mm/transparent_hugepage/enabled”以禁用此设置，然后将同一命令添加到 /etc/rc.local 等初始化脚本中，以便在系统重启时予以设置。以下主机将受到影响:
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo ‘echo never > /sys/kernel/mm/transparent_hugepage/defrag’ >> /etc/rc.local
echo ‘echo never > /sys/kernel/mm/transparent_hugepage/enabled’ >> /etc/rc.local

在cdh01上启动server:
/opt/cm-5.11.0/etc/init.d/cloudera-scm-server start
所有机器上启动agent：
/opt/cm-5.11.0/etc/init.d/cloudera-scm-agent start

netstat -ntlp | grep 7180
netstat -ntlp | fgrep 7180

server启动时间可能久一点，我们在浏览器查看：
http://192.168.190.11:7180
后台可查看server或者agent日志
tail -f /opt/cm-5.11.0/log/cloudera-scm-server/cloudera-scm-server.log
tail -f /opt/cm-5.11.0/log/cloudera-scm-agent/cloudera-scm-agent.log

NFS 有可能启不起来, 查看日志显示：

No portmap or rpcbind service is running on this host. Please start portmap or rpcbind service before attempting to start the NFS Gateway role on this host.
　　　　
需要安装rpcbind:
yum install rpcbind