Tokyo Cabinet / Tokyo Tyrant 安装手记

官方网站，查看最新到版本

http://fallabs.com/

 

Tokyo Cabinet : lightweight database library 简称 TC，感觉就是MYSQL到各自存储引擎：MYISAM，INNODB

Tokyo Cabinet的数据库类型
TCHDB 哈希数据库
TCBDB B+Tree数据库
TCFDB 定长数据库
TCTDB 表格数据库
TCMDB 内存哈希数据库
TCNDB 内存B+Tree数据库

 

具体介绍查看张宴老师的博客http://blog.s135.com/post/362/

 

Tokyo Tyrant : lightweight database server 简称TT，和腾讯的TT不一样的。TT是一个DBM，和我们熟悉的MSSQL,MySQL一样是一个数据库管理系统，现在常用的关系型数据库管理系统（RDBM），TT应该算的上是现在火热的NoSQL的一员，类似的DBM很多谷歌一下你就知道了。

 

Tokyo Tyrant 也有缺点：在32位操作系统下，作为 Tokyo Tyrant 后端存储的 Tokyo Cabinet 数据库单个文件不能超过2G，而64位操作系统则不受这一限制。所以，如果使用 Tokyo Tyrant，推荐在64位CPU、操作系统上安装运行。

 

我测试机安装的CentOS 5.5f 32位系统，分了10个端口启动，希望散列后可以存储20G到数据，测试中ing。

下载了CentOS 5.5f x86 64的系统，准备安装了测试一下。

 

一、安装
　　1、首先编译安装tokyocabinet数据库

wget http://www.1978th.net/tokyocabinet/tokyocabinet-1.4.46.tar.gz
tar zxvf tokyocabinet-1.4.46.tar.gz
cd tokyocabinet-1.4.46/
./configure
#注：在32位Linux操作系统上编译Tokyo cabinet，请使用./configure --enable-off64代替./configure，可以使数据库文件突破2GB的限制。
#./configure --enable-off64
make
make install
cd ../

　　2、然后编译安装tokyotyrant

wget http://www.1978th.net/tokyotyrant/tokyotyrant-1.1.41.tar.gz
tar zxvf tokyotyrant-1.1.41.tar.gz
cd tokyotyrant-1.1.41/
./configure
make
make install
cd ../

 

---

　　二、配置
　　1、创建tokyotyrant数据文件存放目录

mkdir -p /ttserver/

　　2、启动tokyotyrant的主进程（ttserver）
　　(1)、单机模式

ulimit -SHn 51200
ttserver -host 127.0.0.1 -port 11211 -thnum 8 -dmn -pid /ttserver/ttserver.pid -log /ttserver/ttserver.log -le -ulog /ttserver/ -ulim 128m -sid 1 -rts /ttserver/ttserver.rts /ttserver/database.tcb#lmemb=1024#nmemb=2048#bnum=10000000

 

TCHDB哈希数据库的优化
 如果存储的.tch“数据库文件大小”<=“MMAP内存大小”,TCHDB哈希数据库是个不错的选择。
 TCHDB查找速度非常快,但是对内存的要求相对较高。
 实例:Tokyo Tyrant 的哈希数据库,优化参数如下,bnum设置为2000万条,xmsiz设置为1GB:
 ttserver -host 192.168.1.1 -port 11211 -thnum 4 -dmn -pid /ttserver/ttserver.pid -log /ttserver/ttserver.log -le -ulog /ttserver/ -ulim 128m -sid 1 -rts /ttserver/ttserver.rts /ttserver/database.tch#bnum=20000000#xmsiz=1073741824

 

TCBDB B+Tree数据库的优化
lmemb 用于指定被缓存的页级节点数
nmemb 用于指定被缓存的非页级节点数,通常为页级节点数的两倍
bnum 用于指定bucket array的数量。bnum的数量应该大于存储总记录数的1/128。
TCBDB(查找的时间复杂度为“O(log n)”)虽然速度比TCHDB(查找的时间复杂度为“O(1)”)慢一些,但是,它对内存的依赖度要比TCHDB小得多,随着数据量增大,写入速度也稳定,适合存储大量数据。
如果存储8GB的数据, TCBDB只使用了160M的内存缓存,而TCHDB则需要设置8GB xmsiz内存才能保证速度。
实例:Tokyo Tyrant 的B+Tree数据库,优化参数如下:
ttserver -host 10.19.1.195 -port 11211 -thnum 4 -dmn -pid /ttserver/ttserver.pid -log /ttserver/ttserver.log -le -ulog /ttserver/ -ulim 128m -sid 195 -rts /ttserver/ttserver.rts /ttserver/database.tcb#lmemb=1024#nmemb=2048#bnum=20000000

 

　　(2)、双机互为主辅模式
　　服务器192.168.1.91：

ulimit -SHn 51200
ttserver -host 192.168.1.91 -port 11211 -thnum 8 -dmn -pid /ttserver/ttserver.pid -log /ttserver/ttserver.log -le -ulog /ttserver/ -ulim 128m -sid 91 -mhost 192.168.1.92 -mport 11211 -rts /ttserver/ttserver.rts /ttserver/database.tcb#lmemb=1024#nmemb=2048#bnum=10000000

　　服务器192.168.1.92：

ulimit -SHn 51200
ttserver -host 192.168.1.92 -port 11211 -thnum 8 -dmn -pid /ttserver/ttserver.pid -log /ttserver/ttserver.log -le -ulog /ttserver/ -ulim 128m -sid 92 -mhost 192.168.1.91 -mport 11211 -rts /ttserver/ttserver.rts /ttserver/database.tcb#lmemb=1024#nmemb=2048#bnum=10000000

　　(3)、参数说明
　　ttserver [-host name] [-port num] [-thnum num] [-tout num] [-dmn] [-pid path] [-log path] [-ld|-le] [-ulog path] [-ulim num] [-uas] [-sid num] [-mhost name] [-mport num] [-rts path] [dbname]

　　-host name : 指定需要绑定的服务器域名或IP地址。默认绑定这台服务器上的所有IP地址。
　　-port num : 指定需要绑定的端口号。默认端口号为1978
　　-thnum num : 指定线程数。默认为8个线程。
　　-tout num : 指定每个会话的超时时间（单位为秒）。默认永不超时。
　　-dmn : 以守护进程方式运行。
　　-pid path : 输出进程ID到指定文件（这里指定文件名）。
　　-log path : 输出日志信息到指定文件（这里指定文件名）。
　　-ld : 在日志文件中还记录DEBUG调试信息。
　　-le : 在日志文件中仅记录错误信息。
　　-ulog path : 指定同步日志文件存放路径（这里指定目录名）。
　　-ulim num : 指定每个同步日志文件的大小（例如128m）。
　　-uas : 使用异步IO记录更新日志（使用此项会减少磁盘IO消耗，但是数据会先放在内存中，不会立即写入磁盘，如果重启服务器或ttserver进程被kill掉，将导致部分数据丢失。一般情况下不建议使用）。
　　-sid num : 指定服务器ID号（当使用主辅模式时，每台ttserver需要不同的ID号）
　　-mhost name : 指定主辅同步模式下，主服务器的域名或IP地址。
　　-mport num : 指定主辅同步模式下，主服务器的端口号。
　　-rts path : 指定用来存放同步时间戳的文件名。

　　如果使用的是哈希数据库，可以指定参数“#bnum=xxx”来提高性能。它可以指定bucket存储桶的数量。例如指定“#bnum=1000000”，就可以将最新最热的100万条记录缓存在内存中：

ttserver -host 127.0.0.1 -port 11211 -thnum 8 -dmn -pid /ttserver/ttserver.pid -log /ttserver/ttserver.log -le -ulog /ttserver/ -ulim 128m -sid 1 -rts /ttserver/ttserver.rts /ttserver/database.tch#bnum=1000000

　　如果大量的客户端访问ttserver，请确保文件描述符够用。许多服务器的默认文件描述符为1024，可以在启动ttserver前使用ulimit命令提高这项值。例如：

ulimit -SHn 51200

　　3、停止tokyotyrant（ttserver）

ps -ef | grep ttserver

　　找到ttserver的进程号并kill，例如：

kill -TERM 10000