Ceph 0.80 ubuntu14.04 多节点手动搭建

之前写了快速搭建ceph的过程，在使用过程中有很多bug，比如……我关不掉ceph，删不掉osd节点等等等等。。。

不知道是我哪里出错了，总之感觉不太好，所以快速搭建给我的感觉就是体验一下ceph到底是个什么东西，生产环境里用不了。

这里记录一下我手动搭建的过程。

搭建环境：Ubuntu14.04

Ceph版本，0.80

虚拟机搭建，任然是四个节点（mon节点做mds）:

         mona 172.16.4.10

         osda  172.16.4.12

         osdb  172.16.4.13

         osdc  172.16.4.14

（注：ceph里的节点是可以“一机多用”的，每台机器都可以担任所有角色，但是不推荐）

前面的步骤和快速搭建差不多

修改主机名：

         #vi /etc/hostname (默认user改成mona, osda, osdb, osdc)

设置各节点的hosts文件

         #vi /etc/hosts

把默认的127.0.1.1 user 修改成 127.0.1.1 mon(osda,osdb,osdc)

同时添加以下：

172.16.4.10 mona

172.16.4.12 osda

172.16.4.13 osdb

172.16.4.14 osdc

获得ssh-keygen，几个节点相互复制，保证能够无密码访问

         #ssh-keygen

复制密匙到各个节点：

# ssh-copy-id root@mona

# ssh-copy-id root@osda

# ssh-copy-id root@osdb

# ssh-copy-id root@osdc

         所有节点重复以上步骤。

检验是否可以相互无密码访问

         在mona节点输入#ssh osda, #ssh osdb, #ssh osdc

以此类推。

完成后在每个节点上安装依赖库：

#sudo apt-get install autotools-devautoconf automake cdbs gcc g++ git libboost-dev libedit-dev libssl-dev libtoollibfcgi libfcgi-dev libfuse-dev linux-kernel-headers libcrypto++-devlibcrypto++ libexpat1-dev pkg-config

# sudo apt-get install uuid-devlibkeyutils-dev libgoogle-perftools-dev libatomic-ops-dev libaio-devlibgdata-common libgdata13 libsnappy-dev libleveldb-dev

  

此环境下可以直接安装ceph库

        #apt-get update && apt-get install ceph ceph-common ceph-mds

结束后 #ceph –v 可查看ceph版本(0.80.1)

这里开始就和快速搭建不同了，此处需要手动配置ceph配置文件  #vi /etc/ceph/ceph.conf

[global]
        max open files = 131072
        #For version 0.55 and beyond, you must explicitly enable
        #or disable authentication with "auth" entries in [global].
        auth cluster required = none
        auth service required = none
        auth client required = none

[osd]
        osd journal size = 1000
        #The following assumes ext4 filesystem.
        filestore xattr use omap = true
        osd mkfs type = xfs
        osd mkfs options xfs = -f   #default for xfs is "-f"
        osd mount options xfs = rw,noatime # default mount option is"rw,noatime"


[mon.a]
        host = mona
        mon addr = 172.16.4.10:6789


[osd.0]
        host = osda
        devs = /dev/loop0
#      由于机器原因，我没有另外添加硬盘给osd挂载，用的loop设备。

#      最好把挂载目录放到别的硬盘里，具体如何操作在下文介绍。

#      如果用的其他设备，那么就相应更改，比如：devs=/dev/vdb1，下同。

[osd.1]
        host = osdb
        devs = /dev/loop0


[osd.2]
        host = osdc
        devs = /dev/loop0


[mds.a]
        host = mona

在每个节点上建文件夹：

# mkdir /var/lib/ceph/osd/ceph-0

# mkdir /var/lib/ceph/osd/ceph-1

# mkdir /var/lib/ceph/osd/ceph-2

# mkdir /var/lib/ceph/mon/ceph-a

# mkdir /var/lib/ceph/mds/ceph-a

osd的硬盘这里有几种情况：

No.1:有其他硬盘

对硬盘进行分区  # fdisk /dev/vdb

使分区生效  # partprobe

对分区进行格式化 # mkfs.xfs /dev/vdb1

挂载 # mount /dev/vdb1 /var/lib/ceph/osd/ceph-0

对另一块硬盘进行分区 #

No.2:没有其他硬盘，主硬盘还有足够空间。

df 查看自己的磁盘情况

分区 # fdisk /dev/vda  

然后选择 n，接下来根据需要的大小分配（不在乎的话就一直回车）

此时让分区立马生效，执行 # partprobe

格式化分区 # mkfs.xfs /dev/vda1 

挂载  # mount /dev/vda1 /var/lib/ceph/osd/ceph-0

No.2:没有别的硬盘，主硬盘也没有空间了（好惨，我就是这种情况）

300G的硬盘全都被划分成主分区，没有足够空间挂载osd。

执行 # dd if=/dev/zero of=/ceph.disk bs=2M count=100000 

(在主硬盘中创建一个200G的文件ceph.disk，把它当磁盘用，时间会比较长，需要耐心等待，可以去吃个饭看个电影什么的~）

完成后可以在根目录下看到这个文件

更改一个文件# vi /etc/rc.local增加如下一行 losetup /dev/loop0 /ceph.disk

# reboot

格式化  # mkfs.xfs /dev/loop0

挂载  # mount /dev/loop0 /var/lib/ceph/osd/ceph-0

# df 可以查看挂在情况，如图

每个osd节点都需要进行如上操作。

基本的配置就算完成了。然后我们初始化一下整个集群

# mkcephfs -a -c /etc/ceph/ceph.conf -k /etc/ceph/keyring.admin

启动ceph

# /etc/init.d/ceph -a start 

这里可能出现 osd dosen‘t exit 的错误

执行如下命令（有几个osd就执行几次）

# ceph osd create

然后再次启动ceph

# service ceph -a start（和上面的命令是一样的作用）

执行健康检查

# ceph health

如果有 unclean 和 unactive 的pg

执行如下命令

# ceph pg dump_stuck stale

# ceph pg dump_stuck inactive
# ceph pg dump_stuck unclean

ceph会完成自动修复。稍等一会儿再检查一次

# ceph health

得到 HEALTH_OK

 大功告成~

有什么问题欢迎留言探讨~

a