Cappella分布式文件系统安装文档

---

mds内核版本：2.6.18（测试可行）/2.6.27（未测试）
osd内核版本：2.6.18（测试可行）/2.6.27（测试可行）
client内核版本：2.6.27（测试可行）

---

1.依赖文件安装

依赖文件安装在mds和osd服务器上

• 安装BerkeleyDB4.7版本以上 BerkeleyDB4.7安装文件位于OSD目录下的related_softwares目录中

#tar -zxvf db-4.7.25.tar.gz#cd db-4.7.25#cd build_unix#../dist/configure#make#make install#\cp /usr/local/BerkeleyDB.4.7/lib/* /lib#\cp /usr/local/BerkeleyDB.4.7/lib/* /lib64#\cp /usr/local/BerkeleyDB.4.7/lib/* /usr/lib #\cp /usr/local/BerkeleyDB.4.7/lib/* /usr/lib64#\cp /usr/local/BerkeleyDB.4.7/include/* /usr/include

或者直接运行安装脚本：

#sh db47_install.sh

• 安装tirpc

tirpc位于OSD目录下的tirpc_lib/libtirpc-mt中

安装过程如下：

#chmod +x configure#./configure#make#make install#ldconfig

或者直接执行脚本

#sh tirpc_install.sh

这里ldconfig可能会遇到一个问题

ldconfig: /lib/libdb-4.7.so is not a symbolic link

解决办法：

#mv /lib/libdb-4.7.so /lib/libdb-4.so.7#ln -s /lib/libdb-4.7.so /lib/libdb-4.so.7

• 安装rpcbind

rpcbind位于OSD目录下的tirpc_lib/ rpcbind-0.2.0中

安装过程如下：

#chmod +x configure#./configure#make#make install#mv /sbin/portmap /sbin/portmap.sav#ln -s /usr/bin/rpcbind /sbin/portmap#mv /usr/sbin/rpcinfo /usr/sbin/rpcinfo.sav#ln -s /usr/bin/rpcinfo /usr/sbin/rpcinfo

或者直接运行脚本

#sh rpcbind_install.sh

如果出现错误可能是由于内核版本太高安装成功以后，需要启动portmap服务

#service portmap start

依赖环境配置完成

2. MDS安装

• 修改配置文件config/mds_cluster_info.txt
  第一行表示Berkeley数据库的路径
  第二行代表mds多少秒检查一次osd列表是否更新
  第三行代表本台服务器的mds编号
  第四行代表mds服务器的ip地址，然后是端口号（目前端口号可以任意设置，只要不与本机其他已用端口发生冲突即可）
  往后可以继续添加mds
  例如：

/400 192.168.2.183 11000

• 进入mds可执行文件的目录，输入./mds，如果mds可执行文件不存在，可通过make和make install生成可执行文件
• 此时mds服务器会提示是否是首次使用，如果是，输入y，至此mds服务器启动完成
• 如果本次启动想要继续使用上次启动时保留的元数据信息，则在命令行中输入./mds，并在是否是首次使用的提示后选择n
• 如果不想保留上层启动中保存的元数据信息，则首先在命令行中输入

#rm -rf /CAP_MDS

删除之前保留的元数据信息；然后再在输入./mds启动mds服务器，并在提示是否是首次启动mds服务器中选择’y’，至此启动完成

3.OSD安装

• 查看机器单进程能打开的文件上限命令

ulimit -n

• 如果不是40960，打开/etc/pam.d/login，添加

session required /lib/security/pam_limit.so

• 打开/etc/security/limits.conf，在结尾添加

 * - nofile 40960

• 重启reboot
• 修改OSD配置文件/etc/osd_conf/osd.conf
  配置文档编写规则
  行号 内容
  1 OSD数据存放目录
  2 用于传输的网络适配器名称
  3 所归属的MDS的IP
  4 向MDS发送心跳信息的时间间隔（单位为秒）
  例如：

/osdib0192.168.2.18330

第1行代表该OSD数据存放目录为/OSD；
第2行代表用于传输的网络适配器名称为ib0；
第3行代表所归属的MDS的IP为192.168.1.106
第4行代表该OSD每隔30秒向所归属的MDS发送心跳信息

• 进入OSD可执行文件所在的目录
• 直接运行

#sh osd_start.sh 

遇到没有权限，使用chmod命令对相应文件添加可执行权限
如果是第一次启动，输入y，将会删除osd目录下的所有文件
否则输入n，将会保留osd目录下的文

4.client安装

• 进入capfs客户端文件夹，运行make clean命令对上次编译产生的文件进行删除
• 修改Kbuild的内容，vi Kbuild。将第一行中的文件路径修改成为当前文件路径
• 输入make命令，进行编译，这时ls将会发现在当前文件夹中出现有一个capfs.ko的文件，此文件即为生成的capfs模块
• insmod capfs.ko，将capfs模块加入到linux系统中，然后运行lsmod命令会发现模块列表中多了capfs一项
• 建立一个用于挂载的文件夹，mkdir mountdir
• 将mds的根目录挂载到本地文件夹的mountdir上。其中192.168.2.183是mds服务器的ip地址，rsize、wsize分别指定的是读写块大小

mount –t capfs –o rsize=256 –o wsize=256 –o uid=10 192.168.2.183:/ mountdir

至此整个Cappella分布式文件系统安装完成