centos7安装ceph-jewel

来源：互联网发布：零基础学化妆知乎编辑：程序博客网时间：2024/06/04 01:17

前期准备：

1.ceph用户配置—每个节点上执行

ceph-deploy配置集群时以ceph用户的权限进行

新建用户：

useradd ceph

passwd ceph

密码：87##IGsef

增加ceph的sudo权限

echo "ceph ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/ceph

sudo chmod 0440 /etc/sudoers.d/ceph

2.ssh免密码登陆—每个节点

yum install openssh-server -y

su - ceph

ssh-keygen 生成密钥

将密钥复制到要登陆的服务器

ssh-copy-id "-p $port" ceph@ceph01

ssh-copy-id "-p $port" ceph@ceph02

ssh-copy-id "-p $port" ceph@ceph03

ssh-copy-id "-p $port" ceph@ceph04

3、格式化挂载磁盘

fdisk /dev/sdb

mkfs.xfs /dev/sdb

创建挂载点

mkdir /opt/ceph-sdb

mount /dev/sdb1 /opt/ceph-sdb

把目录的所有者改成ceph,否则配置集群过程中后出错

chown -R ceph.ceph /opt/ceph-sdb

4、 NTP同步时间

yum install ntpdate -y

ntpdate timeserver

加入到crontab中，执行间隔不可过长

ceph安装：

1.yum源

设置好yum源，前提得看好ceph版本所支持的系统版本。默认情况下centos6已经不被最新版本支持。这里使用最新版本ceph-jewel，

[ceph]

name=Ceph packages for $basearch

baseurl=https://download.ceph.com/rpm-jewel/el7/$basearch

enabled=1

priority=2

gpgcheck=1

type=rpm-md

gpgkey=https://download.ceph.com/keys/release.asc

[ceph-noarch]

name=Ceph noarch packages

baseurl=https://download.ceph.com/rpm-jewel/el7/noarch

enabled=1

priority=2

gpgcheck=1

type=rpm-md

gpgkey=https://download.ceph.com/keys/release.asc

[ceph-source]

name=Ceph source packages

baseurl=https://download.ceph.com/rpm-jewel/el7/SRPMS

enabled=0

priority=2

gpgcheck=1

type=rpm-md

gpgkey=https://download.ceph.com/keys/release.asc

上面内容保存到ceph.repo中

2.安装ceph软件：

不要使用ceph-deploy安装节点，容易出错。

yum install ceph-deploy -y

yum -y install epel-release

yum -y install ceph ceph-radosgw

配置集群：

功能： mon一个集群建议有3个点

osd 存储单元，最少两个

mds cephfs功能所必须的组件，官方建议每个集群有一个，但最新版本对cephfs方面有所增加，两个以上的mds可以实现自动切换，同时只有一个active状态，其他处于standby，active发生故障后，standby自动将状态切换成acitve。

1.新建一个集群

ceph-deploy new ceph01 ceph02 ceph03 ceph04

2.在节点上开启监控服务

ceph-deploy mon create ceph01 ceph02 ceph03 ceph04

3.收集所有节点的key

ceph-deploy gatherkeys ceph01 ceph02 eph03 ceph04

4.增加osd节点

初始化：

ceph-deploy osd prepare ceph01:/opt/ceph-sdb ceph02:/opt/ceph-sdb ceph03:/opt/ceph-sdb ceph04:/opt/ceph-sdb

激活：

ceph-deploy osd activate ceph01:/opt/ceph-sdb ceph02:/opt/ceph-sdb ceph03:/opt/ceph-sdb ceph04:/opt/ceph-sdb

5.增加mds节点，cephfs必须的节点，创建两个，active--standby模式

ceph-deploy mds create ceph01 ceph02

创建元数据，必须执行

ceph osd pool create data 192 192

sudo ceph osd tree

sudo ceph osd pool create data 192 192

sudo ceph osd pool create metadata 192 192

sudo ceph fs new cephfs metadata data

客户端使用

把ceph集群的ceph.conf和ceph.client.admin.keyring复制到客户端的/etc/ceph目录下

1.cephfs模式挂载

mkdir /mnt/testceph/

mount -t ceph ceph01:6789:/ /mnt/testceph/

2.使用rdb块挂载

centos7.2 内核支持rbd，但是官方不建议使用。这里为了简单，不对内核作任何操作。

创建一个镜像

echo "rbd_default_features = 3" >> /etc/ceph/ceph.conf #否则在3.10的内核下会报错，因为新版的一些特性3.10内核不支持

rbd create rbdtest --size 40960

rbd map rbdtest --name client.admin

mkfs.xfs /dev/rbd0

挂载

mkdir /mnt/rbdtest

mount /dev/rbd0 /mnt/rbdtest/

有一个问题，不同的客户端在挂载同一个块的时候文件不能实时同步。本身不支持这个功能，umount && mount后会显示mount前块上所有的文件，一旦远端发生变化，仍然无法实时同步。实现这个功能只能是使用cephfs模式。

常用管理命令

1.集群状态

ceph -s 查看ceph状态

ceph -w 持续观察集群变动类似于tail -f 的功能

ceph osd stat osd状态

ceph osd tree osd树

ceph mon stat mon状态

ceph mds stat mds状态

2.osd故障操作

摘掉osd的命令如下，版本不同下面命令可能会有细微差异

osd_id=`ceph osd tree | grep down | grep osd | awk '{print $3}' | awk -F . '{print$2}'`

ceph osd rm ${osd_id}

ceph osd crush rm osd.${osd_id}

ceph auth del osd.${osd_id}

mkfs.xfs -f -i size=512 /dev/sd${i}1

mount -a

chown -R ceph:ceph ${hostname}:/opt/ceph-sdb

su - ceph

ceph-deploy --overwrite-conf osd prepare ${hostname}:/opt/ceph-sdb

ceph-deploy --overwrite-conf osd activate ${hostname}:/opt/ceph-sdb

3.rbd块的操作

rbd create img_name -s img_size ####创建

rbd map img_name ##映射

rbd ls 查看ceph默认资源池rbd里面的镜像

rbd info xxx.img 查看xxx.img的具体的具体信息

rbd rm xxx.img 删除xxx.img

rbd cp aaa.img bbb.img 拷贝镜像aaa.img为bbb.img

rbd rename aaa.img bbb.img 重命名aaa.img为bbb.img

rbd import aaa.img 将本地的aaa.img导入ceph集群中

rbd export aaa.img 将ceph集群中aaa.img导出到本地

0 0