linux集群高可用--crm

---

（一）高可用集群介绍(入门)http://blog.csdn.net/tjiyu/article/details/52643096

---

• 高可用集群的概念（非常重要，需要重点理解）

①：什么是高可用集群
    高可用集群（High Availability Cluster，简称HA Cluster），是指以减少服务中断时间为目的的服务器集群技术。它通过保护用户的业务程序对外不间断提供的服务，把因为软件、硬件、人为造成的故障对业务的影响降低到最小程度。总而言之就是保证公司业务7x24小时不宕机
②：高可用集群的衡量标准
    通常用平均无故障时间(MTTF：mean time to failure)来度量系统的可靠性,用平均故障维修时间（MTTR：Mean Time Between Failures）来度量系统的可维护性。于是可用性被定义为：HA=MTTF/(MTTF+MTTR)*100%。
    基本可用性        2个9    99%      年度宕机时间：87.6小时
    较高可用性        3个9    99.9%    年度宕机时间：8.8小时
    具有故障自动恢复   4个9    99.99%   年度宕机时间：53分钟
    极高可用性        5个9    99.999%  年度宕机时间：5分钟
③：高可用集群实现原理
    高可用集群主要实现自动侦测(Auto-Detect)故障、自动切换/故障转移(FailOver)和自动恢复(FailBack)。
    1：自动侦测、故障检查：通过集群各节点间通过心跳信息判断节点是否出现故障
    2：当有节点（一个或多个）和另外节点互相接收不到对方心跳信息时，如何决定哪一部分节点是正常运行的，而哪一部分是出现故障需要隔离的呢？
        这时候通过法定票数（quorum）决定，即当有节点故障时，节点间投票决定哪个节点是有问题的，票数大于半数为合法,每个节点可以设置其票数，当一个节点能和另一个节点保持心跳信息，该节点就获取得了另一个节点的票数，该节点获得的所有票数就是法定票数，如果其法定票数大于集群中票数的总和的一半，那么该节点就是正常节点，反之为故障节点
④：什么是RA（Resource Agent）?
    资源代理层，简单的说就是能够集群资源进行管理的脚本，如启动start，停止stop、重启restart和查询状态信息status等操作的脚本。由各个节点的LRM本地资源管理器负责运行
    有四类资源代理：（安装crmsh后，可以使用ra classes查看）
    1、Legacy heartbeat（heatbeat v1版本的资源管理)；
    2、LSB（Linux Standard Base），主要是/etc/init.d/*目录下的脚本
    3、OCF（Open Cluster Famework），比LSB更专业，更加通用,除了上面的四种操作，还包含monitor、validate-all等集群操作，OCF 的规范在http://www.opencf.org/cgi-bin/viewcvs.cgi/specs/ra/resource-agent-api.txt?rev=HEAD。
    4、STONITH：实现节点隔离

• HA解决方案分类

1：vrrp协议：keepalived
2：OpenAIS提供一种集群模式解决方案：heartbeat，corosync，CMAN（RHCS：红帽集群管理套件）

• 集群的工作模式详解

    message layer，消息层的作用是传递集群内部节点之间的信息，如果有节点宕机，此节点宕机的信息将会立即被crm集群资源管理器捕获，crm决定宕机节点上运行的服务将有哪个节点代为运行，然而必须通知crm，通过crm在调用RA（RA是一系列启动或关闭服务的脚本），实现资源在集群节点的迁移过程

• 红帽5、红帽6、红帽7 高可用解决方案的组合程序

红帽6：corosync 版本1 + pacemaker + pcs或crmsh
      corosync 版本1 + cman + pacemaker
红帽7：corosync + pacemaker(pacemaker作为crm运行) + pcs/crmsh
    corosync是用于高可用环境中的提供Massage layer，它位于高可用集群架构中的底层（Message Layer），扮演着为各节点之间提供心跳信息传递的管理者
    pacemaker是一个开源的高可用资源管理器(cluster resource manager)，位于HA集群架构中资源管理、资源代理(RA)这个层次，它不能提供底层心跳信息传递的功能，它要想与对方节点通信需要借助底层的心跳传递服务corosync来实现，将信息通告给对方。通常它与corosync的结合方式有两种：①：pacemaker作为corosync的插件运行，②：pacemaker作为独立的守护进程运行

（二）配置高可用集群(环境)

集群中节点必须满足一下基本条件

1：集群中的节点必须实现时间同步

2：能够通过/etc/hosts进行主机名解析

3：基于ssh免密码通信

---

• 集群环境准备

1：环境介绍：首先搭建两个节点的集群，node1（192.168.43.10）和 node2（192.168.43.11）
2：三个节点：192.168.43.9（node0时间同步服务器），192.168.43.10（node1），192.168.43.11(node2)

• 集群配置步骤
• node0，node1，node2上配置/etc/hosts文件，实现主机名解析（首先要设置好主机名hostnamectl）

192.168.43.9  node0
192.168.43.10 node1
192.168.43.11 node2

• 配置ssh免密码登入（在node0上操作）（为了避免ssh登入是需要输入yes，可以笨办法可以先在各个节点上使用ssh先登入其他的节点）

 ssh-keygen -t rsa -P ""
 cd .ssh
 mv id_rsa.pub authorized_keys
 rm -f known_hosts 
 cd ../
 scp -rp .ssh/ node1:/root/
 scp -rp .ssh/ node2:/root/

• node0，node1，node2上配置时间同步服务器

1：在node0上安装配置chrony服务，同步国内互联网时间服务器的时间
yum install -y chrony
2：编辑配置文件/etc/chrony.conf
修改默认的centos时间同步服务器地址为国内时间同步服务器地址，且允许192.168.43.0/24网段的主机同步时间
server s1a.time.edu.cn iburst
server s1b.time.edu.cn iburst
server s1c.time.edu.cn iburst
server s1d.time.edu.cn iburst
allow 192.168.43.0/24
3：启动chrony
systemctl enable chronyd.service
systemctl start chronyd.service
4：在node1和node2上分别安装chrony，且修改配置文件/etc/chrony.conf，将时间同步指向node0节点
yum install -y chrony
server node0 iburst（配置文件里面修改）
systemctl enable chronyd.service
systemctl start chronyd.service
5：node1，node2验证时间同步
[root@node1 ~]# chronyc sources 
210 Number of sources = 1
MS Name/IP address         Stratum Poll Reach LastRx Last sample               
===============================================================================
^* node0                         3   6    17     6  -5684ns[-1595ns] +/-  401ms

（三）高可用集群(服务配置)

pacemaker提供的管理程序有：(rpm -ql pacemaker)

/usr/libexec/pacemaker/cib(集群信息中心 cluster infomation base) 
/usr/libexec/pacemaker/crmd(集群管理器) 
/usr/libexec/pacemaker/lrmd(本地管理器)

---

• 在node1和node2节点安装corosync、pacemaker

安装pacemaker( corosync将会被作为依赖安装)
yum install -y pacemaker

• 在node1上操作

cd /etc/corosync/
cp corosync.conf.example corosync.conf

• 关于/etc/corosync/corosync.conf配置文件的介绍

1：totem { }：设置节点间的通信方式，通信协议，加密，通信的多播地址，且至少需要定义一个interface{}接口用来传递集群心跳信息
2：loggin { }：设置格式，存储路径，记录的级别
3：quorum { }: 设置投票信息
4：nodelist { }：设置节点个数

• 由于在message layer层传递心跳信息需要加密，因此先必须生成加密文件

corosync-keygen

• 编辑配置文件/etc/corosync/corosync.conf，修改配置文件（man corosync.conf 查看配置选项）

totem { 
    version: 2 # 指定版本号 
    cluster_name: uplookingcluster # 指定集群名称 
    crypto_cipher: aes256 # 指定对称加密算法
    crypto_hash: sha1 # 指定单向加密算法 
    interface { 
        ringnumber: 0 # 指定心跳信息传递的环路id 
        bindnetaddr: 192.168.43.0 # 指定环路中的网络地址 
        mcastaddr: 239.255.1.1 # 指定心跳信息通过多播的方式传递的IP通道 
        mcastport: 5405 # 指定多播的端口 
        ttl: 1 # 指定多播报文信息的生命周期 
    } 
} 
logging { 
    fileline: off 
    to_stderr: no 
    to_logfile: yes # 指定开启日志文件 
    logfile: /var/log/cluster/corosync.log # 指定日志文件保存的位置 
    to_syslog: no # 指定不使用系统日志保存日志信息 
    debug: off 
    timestamp: on 
    logger_subsys { # 指定启用仲裁机制 
        subsys: QUORUM 
        debug: off 
    } 
} 
quorum { # 指定仲裁机制是corosync投票系统 
    provider: corosync_votequorum 
} 
nodelist { # 指定节点列表
    node { 
        ring0_addr: 192.168.43.10
        nodeid: 1 
    } 
    node { 
        ring0_addr: 192.168.43.11
        nodeid: 2 
    } 
}

• 将corosync.conf配置文件和生成的authkey文件复制到node2节点，注意authkey文件的权限必须是400才能启动corosync

scp authkey corosync.conf node2:/etc/corosync/

• 在node1和node2上分别启动corosync

systemctl enable corosync.service
systemctl start corosync.service

• 在node1和node2上分别启动pacemaker

systemctl enable pacemaker.service
systemctl start pacemaker.service

• 在node1节点上查看，当前集群中谁是DC（DC：Designated Coordinator 指定的协调员 负责管理集群的事务信息）

crm_mon 

• 在node1和node2上配置crmsh的yum仓库，此仓库的RPM包有openSUSE提供，将这个network:ha-clustering:Stable.repo文件直接下载到本地并且命名为crmsh.repo

wget -O /etc/yum.repos.d/crmsh.repo http://download.opensuse.org/repositories/network:/ha-clustering:/Stable/CentOS_CentOS-7/network:ha-clustering:Stable.repo 

• 在node1和node2上通过yum安装crmsh

yum repolist
yum install -y crmsh

• 在此可以使用crm命令进入交互式接口，实现对集群的管理操作

（四）高可用集群(crmsh详解)http://www.it165.net/admin/html/201404/2869.html

crmsh是pacemaker的命令行接口工具，执行help命令，可以查看shell接口所有的一级命令和二级命令，使用cd 可以切换到二级子命令的目录中去，可以执行二级子命令

在集群中的资源有四类：primitive主资源、group组资源、clone克隆资源、ms/master主从资源

在集群中的约束有三种：

①：location位置约束：资源间的依赖/互斥性，定义资源是否运行在同一节点上。score，正值表示要运行在同一节点上，负值则不可。 
②：colocation排列约束：每个节点都有一个score值，正值则倾向于本节点，负值倾向于其他节点，所有节点score比较，倾向于最大值的节点。 
③：order顺序约束：定义资源执行动作的次序，例如vip应先配置，httpd服务后配置。特殊的score值，-inf 负无穷，inf 正无穷。

---

• 查看命令帮助（非常重要的命令用中文注释了）

crm(live)# help
Help overview for crmsh
Available topics:
        Overview       Help overview for crmsh
        Topics         Available topics
        Description    Program description
        CommandLine    Command line options
        Introduction   Introduction
        Interface      User interface
        Completion     Tab completion
        Shorthand      Shorthand syntax
        Features       Features
        Shadows        Shadow CIB usage
        Checks         Configuration semantic checks
        Templates      Configuration templates
        Testing        Resource testing
        Security       Access Control Lists (ACL)
        Resourcesets   Syntax: Resource sets
        AttributeListReferences Syntax: Attribute list references
        AttributeReferences Syntax: Attribute references
        RuleExpressions Syntax: Rule expressions
        Reference      Command reference
Available commands:
        cd             切换命令层级，例如 cd cluster：切换到cluster二级命令
        help           查看帮助
        ls             列出命令层级和命令
        quit           退出
        report         报告
        status         查看集群状态，可以有参数 help status 可以查看
        up             回到上一个命令层级
        verify         验证集群状态
        assist/        Configuration assistant 配置集群代理
                template       Create template for primitives
                weak-bond      Create a weak bond between resources
        cib/           CIB shadow management
                cibstatus      CIB status management and editing
                commit         Copy a shadow CIB to the cluster
                delete         Delete a shadow CIB
                diff           Diff between the shadow CIB and the live CIB
                import         Import a CIB or PE input file to a shadow
                list           List all shadow CIBs
                new            Create a new shadow CIB
                reset          Copy live cib to a shadow CIB
                use            Change working CIB
        cibstatus/     CIB status management and editing
                load           Load the CIB status section
                node           Change node status
                op             Edit outcome of a resource operation
                origin         Display origin of the CIB status section
                quorum         Set the quorum
                run            Run policy engine
                save           Save the CIB status section
                show           Show CIB status section
                simulate       Simulate cluster transition
                ticket         Manage tickets
        cluster/       Cluster setup and management （重要）
                add            给集群添加节点
                copy           拷贝文件到另外一个集群的节点
                diff           Diff file across cluster
                geo_init       Configure cluster as geo cluster
                geo_init_arbitrator Initialize node as geo cluster arbitrator
                geo_join       Join cluster to existing geo cluster
                health         集群的健康状态检查
                init           初始化集群
                join           加入到已经存在的集群
                remove         从集群中移除一个节点
                run            在所有集群节点执行一条命令
                start          启动集群服务
                status         集群状态检查
                stop           停止集群服务
                wait_for_startup Wait for cluster to start
        configure/     CIB configuration cib 集群配置（很重要，最重要的命令用中文注释了）
                acl_target     Define target access rights
                alert          Event-driven alerts
                cib            CIB shadow management
                cibstatus      CIB status management and editing
                clone          定义克隆资源
                colocation     设置排列约束
                commit         Commit the changes to the CIB
                default-timeouts Set timeouts for operations to minimums from the meta-data
                delete         Delete CIB objects
                edit           编辑集群配置文件，cib文件
                erase          Erase the CIB
                fencing_topology Node fencing order
                filter         Filter CIB objects
                get_property   Get property value
                graph          Generate a directed graph
                group          定义组资源
                load           Import the CIB from a file
                location       设置位置约束
                modgroup       Modify group
                monitor        Add monitor operation to a primitive
                ms             定义主从资源
                node           Define a cluster node
                op_defaults    Set resource operations defaults
                order          设置顺序约束
                primitive      定义主资源
                property       设置集群的属性
                ptest          Show cluster actions if changes were committed
                refresh        Refresh from CIB
                rename         Rename a CIB object
                role           Define role access rights
                rsc_defaults   Set resource defaults
                rsc_template   Define a resource template
                rsc_ticket     Resources ticket dependency
                rsctest        Test resources as currently configured
                save           Save the CIB to a file
                schema         Set or display current CIB RNG schema
                set            Set an attribute value
                show           Display CIB objects
                tag            Define resource tags
                template       Edit and import a configuration from a template
                upgrade        Upgrade the CIB
                user           Define user access rights
                validate-all   Help for command validate-all
                validate_all   Call agent validate-all for resource
                verify         Verify the CIB with crm_verify
                xml            Raw xml
        corosync/      Corosync management Corosync的管理
                add-node       Add a corosync node
                del-node       Remove a corosync node
                diff           Diffs the corosync configuration
                edit           Edit the corosync configuration
                get            Get a corosync configuration value
                log            Show the corosync log file
                pull           Pulls the corosync configuration
                push           Push the corosync configuration
                reload         Reload the corosync configuration
                set            Set a corosync configuration value
                show           Display the corosync configuration
                status         Display the corosync status
        history/       Cluster history 设置集群的历史信息
                detail         Set the level of detail shown
                diff           Cluster states/transitions difference
                events         Show events in log
                exclude        Exclude log messages
                graph          Generate a directed graph from the PE file
                info           Cluster information summary
                latest         Show latest news from the cluster
                limit          Limit timeframe to be examined
                log            Log content
                node           Node events
                peinputs       List or get PE input files
                refresh        Refresh live report
                resource       Resource events
                session        Manage history sessions
                setnodes       Set the list of cluster nodes
                show           Show status or configuration of the PE input file
                source         Set source to be examined
                transition     Show transition
                transitions    List transitions
                wdiff          Cluster states/transitions difference
        maintenance/   Maintenance mode commands 维护模式的命令
                action         Invoke a resource action
                off            Disable maintenance mode
                on             Enable maintenance mode
        node/          Node management 节点管理（很重要）
                attribute      管理、查看节点属性
                clearstate     Clear node state
                delete         删除节点
                fence          Fence 一个节点
                maintenance    Put node into maintenance mode
                online         让节点上线, 例如：node online node2
                ready          Put node into ready mode
                server         Show node hostname or server address
                show           查看集群中的节点
                standby        让一个节点standy，例如：node standby node1
                status         查看集群中节点的状态
                status-attr    管理集群中节点的属性
                utilization    Manage utilization attributes
        options/       User preferences 
                add-quotes     Add quotes around parameters containing spaces
                check-frequency When to perform semantic check
                check-mode     How to treat semantic errors
                colorscheme    Set colors for output
                editor         Set preferred editor program
                manage-children How to handle children resource attributes
                output         Set output type
                pager          Set preferred pager program
                reset          Reset user preferences to factory defaults
                save           Save the user preferences to the rc file
                set            Set the value of a given option
                show           Show current user preference
                skill-level    Set skill level
                sort-elements  Sort CIB elements
                user           Set the cluster user
                wait           Synchronous operation
        ra/            资源代理管理操作（很重要）
                classes        列出资源类别和提供者，例如：ra classes
                info           查看脚本的使用方法，例如：ra info IPaddr2
                list           列出一个类别中有多少可用的资源代理，例如：ra list lsb 或 ra list ocf
                providers      查看特定资源代理有哪个提供者提供，例如：ra providers  IPaddr2
                validate       Validate parameters for RA
        resource/      Resource management 资源管理（重要）
                ban            Ban a resource from a node
                cleanup        Cleanup resource status
                clear          Clear any relocation constraint
                constraints    Show constraints affecting a resource
                demote         Demote a master-slave resource
                failcount      Manage failcounts
                locate         Show the location of resources
                maintenance    Enable/disable per-resource maintenance mode
                manage         Put a resource into managed mode
                meta           Manage a meta attribute
                move           将某个资源迁移到哪个节点上去
                operations     Show active resource operations
                param          Manage a parameter of a resource
                promote        Promote a master-slave resource
                refresh        Refresh CIB from the LRM status
                reprobe        Probe for resources not started by the CRM
                restart        Restart resources
                scores         Display resource scores
                secret         Manage sensitive parameters
                start          Start resources
                status         Show status of resources
                stop           Stop resources
                trace          Start RA tracing
                unmanage       Put a resource into unmanaged mode
                untrace        Stop RA tracing
                utilization    Manage a utilization attribute
        script/        Cluster script management
                json           JSON API for cluster scripts
                list           List available scripts
                run            Run the script
                show           Describe the script
                verify         Verify the script
        site/          GEO clustering site support
                ticket         Manage site tickets
        template/      Edit and import a configuration from a template
                apply          Process and apply the current configuration to the current CIB
                delete         Delete a configuration
                edit           Edit a configuration
                list           List configurations/templates
                load           Load a configuration
                new            Create a new configuration from templates
                show           Show the processed configuration

（五）搭建高可用集群演示（入门级别）

温馨提示①：使用crmsh配置集群有两种方式，最好使用第一种方式配置集群

第一种方式：进入crm的shell接口，使用命令进行配置，例如：cluster status

第二种方式：不进入crm的shell接口，直接在linux的shell接口输入：crm cluster status

温馨提示②：使用crmsh配置corosync + pacemaker 高可用集群的时候，在集群中任意的节点都可以，因为集群的任意节点都可以都到集群内部的配置信息

温馨提醒③：集群中的任何服务型资源，例如httpd，MySQL等都需要在节点上先安装，且开机自启，如果没有开机自启，crmsh将无法管理资源

---

• 实例演示：配置一个高可用的httpd服务

分析所需的资源：
    1：vip
    2：httpd
    3：NFS（因为不同的httpd节点需要有相同的静态页面）
分析启动次序：
分析资源代理
    vip：IPaddr(ifconfig命令实现)、IPaddr2(ip命令实现)
    httpd：systemd, ocf格式的apache
    NFS：Filesystem

• 什么是stonith设备

    Stonith 即shoot the other node in the head使Heartbeat软件包的一部分，该组件允许系统自动地复位一个失败的服务器使用连接到一个健康的服务器的遥远电源设备。Stonith设备是一种能够自动关闭电源来响应软件命令的设备

• 由于无法模拟生成环境中的stonith设备，因此需要先禁用stonith设备，且配置完毕之后必须要提交（温馨提示：使用vsphpere也可以虚拟出stonish设备）

[root@node1 ~]# crm
crm(live)# configure  property stonith-enabled=false
crm(live)# commit 

• 1：配置vip资源

在configure二级命令接口处配置vip资源
# 定义vip主资源，vip为资源的名称，ocf为资源类型，IPaddr为ocf资源类型下的IPaddr资源，ip、nic、cidr_netmask为IPaddr资源的参数。如果需要查看某个资源的定义，可以使用命令 ra info IPaddr 查看
primitive vip ocf:IPaddr params ip=192.168.43.100 nic=enp0s3 cidr_netmask=24
# 查看配置信息
show 
# 提交配置，让配置生效，
commit 

• 再配置了IP资源后，此资源由于没有配置倾向性，因此一般会在当前所配置的节点上生效，在node1节点上配置的资源会在node1节点上生效

# 可以使用ip命令查看虚拟IP , 也可以使用crm status查看集群中的资源所在位置
[root@node1 ~]# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN 
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: enp0s3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 08:00:27:df:0a:f1 brd ff:ff:ff:ff:ff:ff
    inet 192.168.43.10/24 brd 192.168.43.255 scope global enp0s3
       valid_lft forever preferred_lft forever
    # 刚刚配置的vip在这里
    inet 192.168.43.100/24 brd 192.168.43.255 scope global secondary enp0s3
       valid_lft forever preferred_lft forever
# 如果让node1节点成为备用节点，那么vip将会漂移到其他节点上
[root@node1 ~]# crm node standy
# 再次在node1节点查看vip，发现已经没有了
[root@node1 ~]# ip addr 
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN 
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: enp0s3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 08:00:27:df:0a:f1 brd ff:ff:ff:ff:ff:ff
    inet 192.168.43.10/24 brd 192.168.43.255 scope global enp0s3
       valid_lft forever preferred_lft forever
[root@node1 ~]# 
# 在node2节点查看vip，发现vip已经漂移到node2节点上了
[root@node2 ~]# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN 
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: enp0s3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 08:00:27:20:46:0a brd ff:ff:ff:ff:ff:ff
    inet 192.168.43.11/24 brd 192.168.43.255 scope global enp0s3
       valid_lft forever preferred_lft forever
    inet 192.168.43.100/24 brd 192.168.43.255 scope global secondary enp0s3
       valid_lft forever preferred_lft forever
# 重新让node1上线，在node1节点上，发现vip并没有重新漂移至node1节点，因为，vip资源没有设置倾向性
[root@node1 ~]# crm node online
# 将 vip资源迁移到node1上 ，再使用ip addr 发现vip 资源已经在node1上了
[root@node1 ~]# crm resource move vip node1
INFO: Move constraint created for vip to node1

• 2：配置httpd资源

1：在configure二级命令接口处配置httpd资源，在配置之前需要在各个节点安装上httpd，且开机自启，且为了测试，给node1节点和node2节点使用两个不同的测试首页
yum install -y httpd
systemctl enable httpd.service
2：在node1 和 node2 分别查看，是否有systemd类型的httpd资源，如果有说明可以使用httpd资源代理
[root@node1 ~]# crm ra list systemd | grep httpd
httpd                             hypervkvpd                        hypervvssd                        ip6tables                         iptables
3：可以查看一下httpd资源代理的使用帮助
crm ra info systemd:httpd
4：定义主资源httpd
[root@node2 ~]# crm configure primitive httpd systemd:httpd
[root@node2 ~]# crm configure commit
5：查看资源配置情况
crm verify
6：查看下资源分布情况，发现vip运行在node1上, 而httpd运行在node2上，因此需要手动迁移资源的分布
[root@node2 ~]# crm status
crm(live)resource# move httpd node1
7：再次查看一下，资源的分布情况，此时vip、httpd资源都运行在node1之上了，使用浏览器可以访问到httpd提供的服务
[root@node2 ~]# crm verify
8：为了避免手动迁移资源，因此可以将必须运行在一起的primitive资源绑定到一个group资源里面
crm(live)# configure group webservice vip httpd
INFO: modified location:cli-prefer-vip from vip to webservice
INFO: modified location:cli-prefer-httpd from httpd to webservice
9：查看集群配置的cib文件
crm(live)# configure show 
10：让node1成为备用节点，此时资源已经全部迁移到node2节点
crm(live)# node standy 
11：再让node1节点上线，迁移group资源到node1节点
crm(live)resource# move webservice node1
12：可以直接编辑cib文件，配置集群资源信息
crm configure edit

• 3：配置NFS资源（重新启动一个虚拟机192.168.43.12，节点主机名为NFS）
• 在NFS节点上配置

1：在NFS节点安装nfs-utils
yum install -y nfs-utils
2：创建共享目录
mkdir /data/
3：编辑配置文件/etc/exports（这里使用了选择no_root_squash不压缩root权限，但是NFS一定不要添加这个选项，如果客户端要实现读写访问，必须给/data目录设置文件系统级别的访问权限）
/data  192.168.0.0/16(rw, no_root_squash)
4：启动nfs
systemctl start nfs.service
exportfs -r

• 在node1节点上配置

0：在node1上查看NFS节点的挂载情况
showmount -e 192.168.43.13
1：查看资源代理Filesystem的使用帮助
crm ra info ocf:Filesystem
2：直接在node1的crm接口中配置NFS资源
crm(live)configure# primitive nfs ocf:Filesystem parameters device="192.168.43.13:/data" directory="/var/www/html" fstype=nfs
3：检查且提交
crm(live)configure# verify
crm(live)configure# commit
4：查看集群中的资源分布
crm(live)# status
5：将nfs资源添加到webservice组中，但是首先需要将webservice组删除，再创建，且资源启动顺序为：vip nfs httpd 
crm(live)configure# delete webservice
crm(live)configure# group webservice vip nfs httpd 
6：检查语法，并且提交
crm(live)configure# verify
crm(live)configure# commit
7：再次查看集群状态
crm(live)# status
8：让node1处于备用状态
crm(live)# node standy
9：再次查看集群状态
crm(live)# status
10：其实也可以定义资源约束，例如设置vip对node2节点的倾向性为100，资源默认的倾向性为0，vip_node2为名称
crm(live)configure# delete webservice
crm(live)configure# location vip_node2 vip 100:  node2
11：同样可以配置组资源对节点的倾向性
crm(live)configure# group webservice vip nfs httpd
crm(live)configure# location webservice_node1 webservice 100: node1
12：也可以使用colocation定义资源对资源的倾向性，vip_with_httpd是名称，inf:表示无穷大，vip资源在httpd资源的后面，说明：vip运行在哪个节点httpd就运行在哪个节点
crm(live)configure# colocation vip_with_httpd inf: httpd vip
13：也可以定义顺序约束，httpd_after_vip为约束名，mandatory:表示强制，表示vip必须在httpd资源前启动
crm(live)configure# order httpd_after_vip mandatory: vip httpd
14：虽然可以定义约束，但是最好将资源绑定在一个组里面，再定义组的约束

• 4：配置资源集群监控

# 如果此时的高可用集群的环境是 vip nfs httpd 都运行在node1，如果在node1停止httpd
[root@node1 ~]# systemctl stop httpd
# 再使用netstat -lntup查看的时候，httpd是不会自动启动的，因此在定义资源的同时需要定义监控，先停止httpd资源
crm(live)# resource stop httpd
# 编辑cib文件，删除所有的关于httpd资源的信息，因为httpd资源需要重新定义
crm(live)# cofigure edit
# 重新定义httpd资源，超时时长建议为100s
crm(live)configure# primitive httpd systemd:httpd op start timeout=100s op stop timeout=100s op monitor interval=15s timeout=100s
# 校验
crm(live)configure# verify
# 在编辑cib文件
crm(live)configure# edit
# 将新创建的资源添加至webservice资源组中，修改cib文件即可
# 提交
crm(live)configure# commit
# 查看资源在节点的发布情况，发现httpd资源运行在node1节点上
[root@node2 ~]# crm status
# 在node1上停止httpd资源，看看是否httpd资源会自动重启，查看发现确实自动重启
systemctl stop httpd

• 总结高可用集群解决方案

对于中小型业务模型而言，一般会有web服务、MySQL服务、邮件服务等等，一般这些服务都直接跑在物理服务器上，因此corosync + pacemaker 将会是很好的选择

• 实战作业：搭建lamp或lnmp高可用集群

要求：架构如上图所示，存储使用NFS共享存储，且NFS实现部分或keepalived高可用

（六）共享存储解决方案

简单介绍Raid：磁盘阵列（记得在淘宝、京东让大家看看什么是磁盘阵列，以及如何使用）

Raid一般有三种：一是外接式磁盘阵列柜（大型服务器，可以在淘宝、京东上购买）、二是内接式磁盘阵列卡（单台服务器），三是利用软件来仿真（一般不使用）

常见的raid解决方案：

• RAID0：使其特别适用于对性能要求较高，而对数据安全不太在乎的领域，但是不提供数据冗余，因此一旦用户数据损坏，损坏的数据将无法得到恢复

• RAID1：RAID 1的每一个磁盘都具有一个对应的镜像盘，系统可以从一组镜像盘中的任何一个磁盘读取数据，安全性高，但是空间只有磁盘容量总和的一半

• RAID10：raid10是综合raid0特性和raid1特性的解决方案，但是也具有raid0和raid1的共同缺陷

• RAID5：RAID 5 或 RAID 6 是一种存储性能、数据安全和存储成本兼顾的存储解决方案，没有完全使用RAID 1镜像理念，而是使用了"奇偶校验信息"来作为数据恢复的方式。RAID 5不对存储的数据进行备份，而是把数据和相对应的奇偶校验信息存储到组成RAID5的各个磁盘上，当RAID5的一个磁盘数据发生损坏后，利用剩下的数据和相应的奇偶校验信息去恢复被损坏的数据即可，图中的Ap、Bp、Cp、Dp就是"奇偶校验信息" 
特别提醒：RAID5允许坏一块磁盘，RAID6允许坏两块块磁盘

• 磁盘整列RAID小总结

    现在市场上买的新的机架式服务器一般都是2U最为常见，且每一台服务器内部都自带磁盘阵列卡，且默认是RAID5。因此单台服务器无需购买外挂式的raid

---

• 存储解决方案分类

• 1：集中式存储解决方案

①DAS：直接附加存储（适合单台服务器）
    1：DAS指的是什么：指将存储设备通过SCSI接口或光纤通道直接连接到一台计算机上
    2：DAS的适用哪些环境：
        a：服务器在地理分布上很分散，通过SAN或NAS在它们之间进行互连非常困难时。
        b：存储系统必须被直接连接到应用服务器上时;
        c：只有单台服务器，存储设备无需与其他服务器共享。
    3：代表作：IDE接口磁盘, SATA接口磁盘 , SCSI接口磁盘 , SAS接口磁盘，USB接口磁盘
②NAS：网络附加储存(文件系统级别)
    1：NAS指的是什么：一种专门的文件系统级别的储存解决方案，NAS存储系统通常由一个以上的硬盘提供，通常会把它们组成RAID（磁盘阵列）来提供服务
    2：NAS只适合应用在较小的网络或者局域网内，当多台客户端访问NAS文件系统时，NAS的性能大大的下降，最终不能满足用户的需求。NAS后期的扩容成本高，一般的NAS没有高可用配置，但是能够自动实现锁机制
    3：代表作品：NFS、Samba
③SAN：存储区域网络（block 块级别）
    1：SAN指的是什么：SAN存储通过光纤交换机将磁盘空间分配给不同的服务器，服务器通过以太网对外提供服务
    2：SAN存储使用光纤网络进行传输，并且独立于应用网络，可以提供非常高的带宽，数据的传输基于块协议，无需对数据进行处理，直接进行传送，因此性能最好，另外光纤线路可以提供远距离的高带宽链路，可以实现数据中心的异地灾备应用，但是部署成本较高。因此SAN存储多应用于企业级的存储部署中，各个节点之间必须使用集群文件系统（GFS2）实现共享锁机制
    3：代表作品：FC SAN、IP SAN

• 分布式存储分类

1：GlusterFS
2：Ceph（内核级关系存储）
3：MogileFS（海量图片共享存储）
4：HDFS（Hadoop）
5：TFS（淘宝开源）
6：CFS（腾讯）

（七）DRBD 详解

跨主机的块设备镜像系统，工作在内核中完成

drbd工作原理：客户端发起一个写操作的系统调用给文件系统，写请求再到达内核缓冲区，最到达DRBD模块，此时drbd会复制写入磁盘的数据，且进行两步操作，第一步操作是调用磁盘驱动，将数据写入本地的磁盘设备，第二部是通过网卡设备将数据发送给备用节点，备用节点的网卡接受到数据之后，将数据再发送给drbd模块，DRBD模块再调用磁盘驱动将数据写入磁盘。这就实现了数据写入的高可用

高可用集群都需要时间同步、主机名相互通信、ssh免密码登入（node1、node2两个节点已经ok）

---

• 安装DRBD(在node1，node2上都需要安装)

1：配置yum仓库
vi /etc/yum.repos.d/drbd.repo
[network_drbd]
name=drbd
baseurl=http://elrepo.org/linux/elrepo/el7/x86_64/
gpgcheck=0
enabled=1
2：安装drbd内核模块、DRBD管理工具
yum install -y drbd84-utils kmod-drbd84
3：给node1、node2添加一个虚拟磁盘，且分区5G
[root@node2 ~]# fdisk -l
   设备 Boot      Start         End      Blocks   Id  System
/dev/sdb1            2048    41945087    20971520   83  Linux
4：编辑/etc/drbd.d/global_common.conf文件，修改如下配置即可
global {
        # 指定不被DRBD官方纳入调研对象
        usage-count no;
        # 指定udev策略
        udev-always-use-vnr; # treat implicit the same as explicit volumes
}
common {
        handlers {
        }
        startup {
        }
        options {
        }
        disk {
                # 指定磁盘io出现错误的时候,拆除磁盘
                on-io-error detach;
        }
        net {
                # 指定数据在drbd节点通信时,使用的加密算法
                cram-hmac-alg "sha1";
                # 指定密钥
                shared-secret "UzcHlMYSw5o";
        }
        # 指定drbd节点通信时,所使用的带宽
        syncer {  
                rate 1000M; 
        }
}
5：编辑/etc/drbd.d/mariadb.res，创建drbd的工作方式，已经使用的资源
resource mysql {
        # 指定drbd存储设备名称
        device /dev/drbd0;
        # 指定实际的drbd使用的磁盘分区
        disk /dev/sdb1;
        # 指定元数据存放值磁盘上
        meta-disk internal;
        # 指定主节点
        on node1 {
        address 192.168.43.10:7789;
        }
        # 指定从节点
        on node2 {
        address 192.168.43.11:7789;
        }
}
6：将node1的配置文件拷贝一份到node2 
scp -pr /etc/drbd.d/global_common.conf /etc/drbd.d/mariadb.res node2:/etc/drbd.d/
7：在node1和node2上分别执行资源初始化（如果数据资源初始化不成功，可以尝试重启系统）
drbdadm create-md mysql
8：在node1和node2上启动DRBD
systemctl start drbd.service 
9：查看节点同步情况
drbd-overview
10：让node1成为主节点 ，开始同步
drbdadm primary --force mysql
11：再次查看node1和node2节点数据同步情况
drbd-overview
12：等待同步完成之后，可以在node1节点直接在/dev/drbd0上创建文件系统，且挂载
mkfs -t ext4 /dev/drbd0
mount /dev/drbd0 /mnt
13：向/mnt目录拷贝文件，卸载挂载点，让后将node1切换为从节点
cp /etc/fstab /mnt
umount /dev/drbd0
drbdadm secondary mysql
14：在node2上执行命令，让node2为主, 挂载/mnt，查看是否在/mnt目录下存在/etc/fstab
drbdadm primary mysql
mount /dev/drbd0 /mnt

• 高可用Mariadb + DRBD

需求分析：配置一个Mariadb的高可用集群，且Mariadb的数据目录由DRBD存储提供
1：分别在node1、node2中停止DRBD服务
systemctl stop drbd.service
2：如果想将drbd作为集群中的资源，那么drbd将不能开机自启，分别在node1、node2中让drbd禁止开机自启，
systemctl disable drbd.service
3：查看资源代理，这里的linbit为drbd代理的提供者
crm(live)ra# list ocf linbit
drbd  
4：查看ocf中drbd代理的使用帮助
crm(live)ra# info ocf:drbd
5：定义drbd在集群中的组资源
primitive storage ocf:drbd params drbd_resource=mysql op monitor role=Master interval=15s timeout=20s op monitor role=Slave interval=10s timeout=20s
6：将drbd资源设置为主从模式
ms drbd_storage storage meta clone-max=2 clone-node-max=1 master-max=1 master-node-max=1