Cloudstack 安装记录

来源：互联网发布：养生软件下载编辑：程序博客网时间：2024/05/23 10:33

一.条件要求

1.硬件支持虚拟化，并在BIOS中开启（Inter-VT设为 Enable）.

2.Centos 6.5 x86_64

3.环境中的每台主机均为静态IP地址。

4.cloudstack安装版本为4.4.1

二.本文章的硬件资源以及基本参数配置如下

1.服务器配置：12T硬盘、96G内存、e52620v2、4块网卡，共6台机器。

2.此环境中4台kvm计算节点+主存储（Gluster），1台管理节点+Mysql，一台NFS辅存储。

3.首先主机名以及对应的ip详情

kvm200　　br0：192.168.30.200 　　br1：10.10.0.200　　br2：10.11.0.200　　br3：10.12.0.200
kvm201　　br0：192.168.30.201 　　br1：10.10.0.201　　br2：10.11.0.201　　br3：10.12.0.201
kvm202　　br0：192.168.30.202 　　br1：10.10.0.202　　br2：10.11.0.202　　br3：10.12.0.202
manage　　br0：192.168.30.203 　　br1：10.10.0.203　　br2：10.11.0.203　　br3：10.12.0.203
kvm204　　br0：192.168.30.204 　　br1：10.10.0.204　　br2：10.11.0.204　　br3：10.12.0.204　
nfs205　　 br0：192.168.30.205 　　br1：10.10.0.205　　br2：10.11.0.205　　br3：10.12.0.205

4.进行下一步之前，每台主机需要 yum upgrade ！！！

三.主机名、网络配置、SELinux

1.主机名：需要修改三处位置，分别是/etc/sysconfig/network、/etc/hosts、/etc/idmapd.conf

[root@kvm200 ~]# vi /etc/sysconfig/networkNETWORKING=yesHOSTNAME=kvm200.test.com

[root@kvm200 ~]# vi /etc/hosts127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4::1         localhost localhost.localdomain localhost6 localhost6.localdomain610.10.0.200 kvm200.test.com

[root@kvm200 ~]# vi /etc/idmapd.conf [General]#Verbosity = 0# The following should be set to the local NFSv4 domain name# The default is the host's DNS domain name.Domain = test.com

[root@kvm200 ~]# hostname kvm200.test.comkvm200.test.com

[root@kvm200 ~]# hostname --fqdnkvm200.test.com

如果--fqdn能得到完整域名，即表示主机配置成功。

2.网卡桥接：进入 /etc/sysconfig/network-scripts 目录中，先依次复制系统网卡为对应的cloudbr0、1、2、3，如下

[root@kvm200 network-scripts]# cp ifcfg-eth0 ifcfg-cloudbr0[root@kvm200 network-scripts]# cp ifcfg-eth1 ifcfg-cloudbr1[root@kvm200 network-scripts]# cp ifcfg-eth2 ifcfg-cloudbr2[root@kvm200 network-scripts]# cp ifcfg-eth3 ifcfg-cloudbr3

先修改ifcfg-eth*,

[root@kvm200 network-scripts]# vi ifcfg-eth0DEVICE="eth0"BOOTPROTO="static"ONBOOT="yes"TYPE="Ethernet"BRIDGE="cloudbr0"[root@kvm200 network-scripts]# vi ifcfg-eth1DEVICE="eth1"BOOTPROTO="static"ONBOOT="yes"TYPE="Ethernet"BRIDGE="cloudbr1"[root@kvm200 network-scripts]# vi ifcfg-eth2DEVICE="eth2"BOOTPROTO="static"ONBOOT="yes"TYPE="Ethernet"BRIDGE="cloudbr2"[root@kvm200 network-scripts]# vi ifcfg-eth3DEVICE="eth3"BOOTPROTO="static"ONBOOT="yes"TYPE="Ethernet"BRIDGE="cloudbr3"

再修改对应的桥接网卡ifcfg-cloudbr*

[root@kvm200 network-scripts]# vi ifcfg-cloudbr0DEVICE="cloudbr0"BOOTPROTO="static"ONBOOT="yes"TYPE="Bridge"IPADDR=192.168.30.200NETMASK=255.255.255.0GATEWAY=192.168.30.1DNS1=114.114.114.114DNS2=8.8.8.8[root@kvm200 network-scripts]# vi ifcfg-cloudbr1DEVICE=cloudbr1TYPE=BridgeONBOOT=yesBOOTPROTO=staticIPADDR=10.10.0.200NETMASK=255.255.0.0[root@kvm200 network-scripts]# vi ifcfg-cloudbr2DEVICE=cloudbr2TYPE=BridgeONBOOT=yesBOOTPROTO=staticIPADDR=10.11.0.200NETMASK=255.255.0.0[root@kvm200 network-scripts]# vi ifcfg-cloudbr3DEVICE=cloudbr3TYPE=BridgeONBOOT=yesBOOTPROTO=staticIPADDR=10.12.0.200NETMASK=255.255.0.0

3.关闭SELinux

[root@kvm200 network-scripts]# vi /etc/sysconfig/selinux# This file controls the state of SELinux on the system.# SELINUX= can take one of these three values:#       enforcing - SELinux security policy is enforced.#       permissive - SELinux prints warnings instead of enforcing.#       disabled - SELinux is fully disabled.SELINUX=disabled　　　　#将此处设置为permissive或者disable都是可以的。# SELINUXTYPE= type of policy in use. Possible values are:#       targeted - Only targeted network daemons are protected.#       strict - Full SELinux protection.SELINUXTYPE=targeted

[root@kvm200 network-scripts]# setenforce 0     #立即生效

其余5台同样道理，按照主机对应详情配置主机名、桥接网卡

记得重启网卡哟，另外想要主机名立即生效的话，可以Ctrl + D 注销即可。

四.NTP服务器

如果你的server可以连网，并且可以同步时间，这个步骤可以忽略。如果是本地的环境，那则需要有一台NTP服务器，用来同步主机间的时间。

此处将kvm200设置为NTP服务器

[root@kvm200 network-scripts]# vi /etc/ntp.conf# Permit all access over the loopback interface.  This could# be tightened as well, but to do so would effect some of# the administrative functions.restrict 127.0.0.1restrict -6 ::1restrict 0.0.0.0 mask 0.0.0.0  nomodify notrap  noquery  restrict 192.168.166.0 mask 255.255.255.0 nomodify# Hosts on local network are less restricted.#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap# Use public servers from the pool.ntp.org project.# Please consider joining the pool (http://www.pool.ntp.org/join.html).server 0.centos.pool.ntp.org iburstserver 1.centos.pool.ntp.org iburstserver 2.centos.pool.ntp.org iburstserver 3.centos.pool.ntp.org iburstserver 210.72.145.44 preferserver  127.127.1.0fudge   127.127.1.0 stratum 8#图中红色部分的字体是新添加的。保存后重启ntp服务[root@kvm200 ~]# service ntpd restartShutting down ntpd:                                        [  OK  ]Starting ntpd:                                             [  OK  ]

其余5台机器全为客户端，以kvm201为例。修改配置文件并手动同步：

[root@kvm201 ~]# vi /etc/ntp.conf......# Use public servers from the pool.ntp.org project.# Please consider joining the pool (http://www.pool.ntp.org/join.html).#server 0.centos.pool.ntp.org iburst#server 1.centos.pool.ntp.org iburst#server 2.centos.pool.ntp.org iburst#server 3.centos.pool.ntp.org iburst192.168.30.200 iburst　　　　#此处为ntp服务器的IP地址，要求能通信。如果不能通信则是服务器的iptables问题，后续我们将开放iptables端口。[root@kvm201 ~]# service ntpd restartShutting down ntpd:                                        [  OK  ]Starting ntpd:                                             [  OK  ][root@kvm201 ~]# ntpdate -u 192.168.30.200　　#手动同步时间，或者等待系统自动同步也可，但等待时间可能较长，同步机制可谷歌NTP服务器介绍

NTP服务器搭建完成后。基本的环境配置已经完成。下面就是存储服务器的安装了（存储分为主存储和辅存储，在此主存储我们用Gluster群集、辅存储用NFS）

五.IPtables防火墙设置以及修改挂载文件和创建挂载文件夹

1.修改每台防火墙设置为

[root@kvm200 ~]# iptables -I INPUT 1 -s 10.10.0.0/16 -j ACCEPT[root@kvm200 ~]# iptables -I INPUT 1 -s 10.11.0.0/16 -j ACCEPT[root@kvm200 ~]# iptables -I INPUT 1 -s 10.12.0.0/16 -j ACCEPT[root@kvm200 ~]# iptables -I INPUT 1 -s 192.168.30.0/24 -j ACCEPT[root@kvm200 ~]# service iptables save[root@kvm200 ~]# service iptables restart

2.修改挂载文件：/etc/fstab 在此文件中最后添加两行（此处建设时已规划好，在后续就使用此文件夹来挂载存储系统）

[root@kvm200 ~]# vi /etc/fstab10.12.0.204:/secondary  /icq1                   nfs         　　 defaults        0 010.12.0.200:/Mian       /primary                glusterfs       defaults,_netdev       0 0

3.在每台机器上都创建相同的文件夹（供挂载使用，icq1是辅存储挂载目录、primary是gluster的挂载目录，如第2步所示）

[root@kvm200 ~]# mkdir /icq1 /primary

六.存储服务器

1.主存储

搭建Gluster服务器之前，我们先配置Gluster源，之后去下载安装包。

[root@kvm200 ~]# cd /etc/yum.repos.d/[root@kvm200 yum.repos.d]# wget http://download.gluster.org/pub/gluster/glusterfs/3.7/LATEST/EPEL.repo/glusterfs-epel.repo[root@kvm200 yum.repos.d]# cd ~[root@kvm200 ~]# wget http://download.fedora.redhat.com/pub/epel/6/x86_64/epel-release-6-5.noarch.rpm[root@kvm200 ~]# rpm -ivh epel-release-latest-6.noarch.rpm[root@kvm200 ~]# yum -y install glusterfs-server

安装完成之后，下面安装其它4台客户端：（注意：其它三台也需要先安装下面的才可以继续进行去。主要安装：glusterfs glusterfs-server glusterfs-fuse三个软件包）

[root@kvm201 ~]# cd /etc/yum.repos.d/[root@kvm201 yum.repos.d]# wget -P http://download.gluster.org/pub/gluster/glusterfs/3.7/LATEST/EPEL.repo/glusterfs-epel.repo[root@kvm201 yum.repos.d]# cd ~[root@kvm201 ~]# wget ftp://ftp.pbone.net/mirror/dl.iuscommunity.org/pub/ius/stable/CentOS/6/x86_64/epel-release-6-5.noarch.rpm[root@kvm201 ~]# rpm -ivh epel-release-6-8.noarch.rpm[root@kvm201 ~]# yum install glusterfs glusterfs-fuse glusterfs-server

上面的步骤做完后，我们回到kvm200机器上，将它们（200、201、202、203）加入gluster节点，并创建存储卷：

[root@kvm200 ~]# gluster peer probe 10.12.0.201[root@kvm200 ~]# gluster peer probe 10.12.0.202[root@kvm200 ~]# gluster peer probe 10.12.0.203[root@kvm200 ~]# gluster peer probe 10.12.0.204[root@kvm200 ~]# gluster volume create Mian stripe 2 10.12.0.200:/storage 10.12.0.201:/storage 10.12.0.202:/storage 10.12.0.203:/storage force[root@kvm200 ~]# gluster volume start Mian

（如果加节点时报错，可能跟防火墙有关，请检查各个主机的防火墙设置。）
查看状态：

[root@kvm200 ~]# gluster volume statusStatus of volume: MianGluster process                             TCP Port  RDMA Port  Online  Pid------------------------------------------------------------------------------Brick 10.12.0.200:/storage                  49152     0          Y       3512 Brick 10.12.0.201:/storage                  49152     0          Y       3417 Brick 10.12.0.202:/storage                  49152     0          Y       3460 Brick 10.12.0.203:/storage                  49152     0          Y       3428  Task Status of Volume Mian------------------------------------------------------------------------------There are no active volume tasks[root@kvm200 ~]# gluster peer statusNumber of Peers: 4Hostname: 10.12.0.204Uuid: 23194295-4168-46d5-a0b3-8f06766c58b4State: Peer in Cluster (Connected)Hostname: 10.12.0.202Uuid: de10fd85-7b85-4f28-970b-339977a0bcf6State: Peer in Cluster (Connected)Hostname: 10.12.0.201Uuid: 0cd18fe2-62dd-457a-9365-a7c2c1c5c4b2State: Peer in Cluster (Connected)Hostname: 10.12.0.203Uuid: d160b7c3-89de-4169-b04d-bb18712d75c5State: Peer in Cluster (Connected)

2.辅存储（NFS）

　辅存储安装在kvm204上面，进入到204的系统内：（安装nfs，创建secondary共享目录，并修改NFS配置文件）

[root@kvm204 ~]# yum install nfs-utils[root@kvm204 ~]# mkdir /secondary[root@kvm204 ~]# vi /etc/exports/secondary *(rw,async,no_root_squash,no_subtree_check)[root@kvm204 ~]# vi /etc/sysconfig/nfs　　LOCKD_TCPPORT=32803LOCKD_UDPPORT=32769MOUNTD_PORT=892RQUOTAD_PORT=875STATD_PORT=662STATD_OUTGOING_PORT=2020

重启服务：

[root@kvm204 ~]# service rpcbind restartStopping rpcbind:                                          [  OK  ]Starting rpcbind:                                          [  OK  ][root@kvm204 ~]# service nfs restartShutting down NFS daemon:                                  [  OK  ]Shutting down NFS mountd:                                  [  OK  ]Shutting down NFS quotas:                                  [  OK  ]Shutting down RPC idmapd:                                  [  OK  ]Starting NFS services:                                     [  OK  ]Starting NFS quotas:                                       [  OK  ]Starting NFS mountd:                                       [  OK  ]Starting NFS daemon:                                       [  OK  ]Starting RPC idmapd:                                       [  OK  ]

3.客户端挂载文件系统

　　以上步骤如果没有出错的话，现在就是客户端挂载了，挂载完成之后我们就可以进行最重要的一步，既安装cloudstack。以下挂载命令需在每台机器上执行：

[root@kvm200 ~]# mount -a[root@kvm200 ~]# mount/dev/mapper/vg1-lv1_root on / type ext4 (rw)proc on /proc type proc (rw)sysfs on /sys type sysfs (rw)devpts on /dev/pts type devpts (rw,gid=5,mode=620)tmpfs on /dev/shm type tmpfs (rw)/dev/sda1 on /boot type ext4 (rw)none on /proc/sys/fs/binfmt_misc type binfmt_misc (rw)sunrpc on /var/lib/nfs/rpc_pipefs type rpc_pipefs (rw)10.12.0.200:/Mian on /primary type fuse.glusterfs (rw,default_permissions,allow_other,max_read=131072)10.12.0.204:/secondary on /icq1 type nfs (rw,vers=4,addr=10.12.0.204,clientaddr=10.12.0.200)nfsd on /proc/fs/nfsd type nfsd (rw)

七.安装cloudstack

1.进入到192.168.30.203上面。安装cloudstack-management + mysql

先安装mysql

[root@management ~]# yum -y install mysql-server

修改mysql配置文件（红色部分为添加的配置文件）

[root@management ~]# vi /etc/my.cnf[mysqld]datadir=/var/lib/mysqlsocket=/var/lib/mysql/mysql.sockuser=mysql# Disabling symbolic-links is recommended to prevent assorted security riskssymbolic-links=0innodb_rollback_on_timeout=1innodb_lock_wait_timeout=600max_connections=350log-bin=mysql-binbinlog-format = 'ROW'

修改完成后，重启mysql

[root@management ~]# service mysqld restartStopping mysqld:                                           [  OK  ]Starting mysqld:                                           [  OK  ]

接着安装management

　　首先，本环境下载的全是rpm包（在root目录下），为了统一固定版本。所以后续操作都是本地安装，除了少量的依赖包会从网络上下载，如果你去下载cloudstack-repo源，放在/etc/yum.repos.d/文件夹下，也可以安装特定的版本。

root@management ~]# yum localinstall cloudstack-cli-4.4.1-NONOSS_3.el6.x86_64.rpm cloudstack-management-4.4.1-NONOSS_3.el6.x86_64.rpm cloudstack-awsapi-4.4.1-NONOSS_3.el6.x86_64.rpm cloudstack-common-4.4.1-NONOSS_3.el6.x86_64.rpm cloudstack-usage-4.4.1-NONOSS_3.el6.x86_64.rpm

安装程序执行完成后，需初始化数据库，通过如下命令和选项完成：（此处注意，如果你的mysql有密码，下面命令的最后处需这样写'--deploy-as=root:密码',否则插入数据库会失败。）

root@management ~]# cloudstack-setup-databases cloud:password@localhost --deploy-as=root

数据库创建后，最后一步是配置管理服务器，执行如下命令：

[root@management ~]# cloudstack-setup-management

现在来上传系统虚拟机模板（创建系统VM时必须的，注意：此模板需要和自己的cloudstack版本相对应，不可随意）
以下文字引自官方：
CloudStack通过一系列系统虚拟机提供功能，如访问虚拟机控制台，如提供各类网络服务，以及管理辅助存储的中的各类资源。该步骤会获取系统虚拟机模板，用于云平台引导后系统虚拟机的部署。
然后需要下载系统虚拟机模板，并把这些模板部署于刚才创建的辅助存储中；管理服务器包含一个脚本可以正确的操作这些系统虚拟机模板：

root@management ~]# /usr/share/cloudstack-common/scripts/storage/secondary/cloud-install-sys-tmplt -m /icq1 -f /root/systemvm64template-4.4.1-7-kvm.qcow2.bz2 -h kvm -F

里面有些参数需要说明一下：-m 是挂载的辅存储目录位置，-f 是系统虚拟机模板的路径（此处我已放到root目录下），-h 是表示我们的虚拟化管理类型是kvm，-F 我也不知道这个参数
管理节点至此我们安装完毕。下面进行计算节点的安装。

2.安装cloudstack-agent 计算节点

先安装1台kvm（192.168.30.200）已经下载好rpm包，直接yum安装

root@kvm200 ~]# yum localinstall cloudstack-agent-4.4.1-NONOSS_3.el6.x86_64.rpm cloudstack-common-4.4.1-NONOSS_3.el6.x86_64.rpm

安装完成，我们进行配置KVM（修改3处：/etc/libvirt/qemu.conf、/etc/libvirt/libvirtd.conf、/etc/libvirt/libvirtd.conf）
为了实现动态迁移，libvirt需要监听使用非加密的TCP连接。还需要关闭libvirts尝试使用组播DNS进行广播。这些都是在 /etc/libvirt/libvirtd.conf文件中进行配置。
16509端口是libvirtd监听端口。

[root@kvm200 ~]# vi /etc/libvirt/qemu.conf vnc_listen="0.0.0.0"[root@kvm200 ~]# vi /etc/libvirt/libvirtd.conflisten_tls = 0listen_tcp = 1tcp_port = "16059"auth_tcp = "none"mdns_adv = 0[root@kvm200 ~]# /etc/sysconfig/libvirtdLIBVIRTD_ARGS="--listen"

题外话：当管理节点添加此主机时，这个tcp_port = "16059"会自动变成16509，还有 LIBVIRTD_ARGS="-1"，这些都是cloudstack改变的。无须再手动改它！！
上面kvm的参数修改完毕后，我们把libvirtd重启一下

[root@kvm200 ~]# service libvirtd restart

至此，我们的所有在系统内要安装的软件以及修改配置文件工作已经完成，现在就可以登陆cloudstack的web界面进行配置区域、添加主机等操作了。

八.Web界面的操作及安装

1.先登录界面：浏览器访问 http:10.10.0.203:8080/client后，先点击”我已熟悉安装”，别用向导安装，因为我们的区域类型是高级！

2.进去之后，点击全局设置，修改三个参数（secstorage.allowed.internal.sites、management.network.cidr、host），值在下面

sites：10.10.0.0/16

host：10.10.0.203 （这个是管理节点的ip）

cidr：10.10.0.0/16 （这个是管理主机以及存储的网段。）

将上面3个全局参数修改完毕后，需要重启cloudstack-management使修改生效

[root@management ~]# /etc/init.d/cloudstack-management restart

此时重启需要等待一分钟左右，再次访问web站点，进行下一步的操作。

3.配置区域（点击基础架构-->区域‘查看全部'-->添加区域-->高级--Next）

名称：Zone1
公共DNS1：114.114.114.114
内部DNS1: 8.8.8.8
虚拟机管理程序：KVM
NExt

2.配置物理网络

管理和公用：cloudbr1
来宾：cloudbr2
存储：cloudbr3

注意：以上填写的是单独流量的走向。管理和公用共用一个网络br1（10.10.0.0/16），来宾单独一个网络br2（10.11.0.0/16），存储单独一个网络br3（10.12.0.0./16）.

3.公共通信

网关：10.14.0.1
掩码：255.255.0.0
起始IP：10.14.0.200
截至IP：10.14.200.200

4.提供点

名称：P
网关：10.10.0.1
掩码：255.255.0.0
起始IP10.10.0.230
截至IP:10.10.200.200

5.来宾通信

VLAN：2-4

6.存储通信

网关：10.12.0.1
掩码：255.255.0.0
起始IP：10.12.0.230
截至IP：10.12.200.200

7.群集

群集名称:C

8.主机

主机名称：10.10.0.200
用户名：root
密码：***

9.主存储

名称：Pri
协议：SharedMountPoint
路径：/primary

10.辅存储

提供程序：NFS
服务器：10.12.0.204
路径：/secondary
Next 启动

11.启动区域

　　提示：区域已准备就绪，可随时启动；请继续执行下一步骤。点击Launch zone 。至此cloudstack搭建完成。如果出现无法添加主机或者网络或者存储时，请去看日志！请去看日志！请去看日志！

　　重要的事情说三遍哈。

鉴于官方文档简单明了（坑你没得说）辛苦码字3小时作此文章，可能有遗漏之处，还请提出，如果转载，还请注明源地址！

参考：http://docs.cloudstack.apache.org/projects/cloudstack-installation/en/4.5/choosing_deployment_architecture.html

文章源于：http://www.cnblogs.com/hanyifeng/p/4739923.html

0 0