程序博客网 > 编程求圆的周长和面积

轻量级持久存储系统 MemcacheDB

来源：互联网 发布：编程求圆的周长和面积 编辑：程序博客网 时间：2024/06/05 01:46

轻量级持久存储系统 MemcacheDB（转载）

(2010-10-18 13:18:07)
转载▼
标签：

代码

复制

默认

守护进程

主从

it

 
注:memcached可能简称mc，memcachedb可能简称mcdb
一、memcachedb是什么
mcdb是一款分布式键值持久存储系统，由新浪开源。mcdb基于mc协议，所以可以使用mc客户端直接使用，存储引擎方面使用BerkeleyDB，支持主从复制模式。

二、memcachedb的应用场景
首先，我们从基本的数据存储的角度看mysql、memcached、memcachedb的区别和特点，当然它们肯定不只这点区别。

mc因为是非持久存储的，所以它的定位就是缓存。
而mcdb不是用来做缓存的，它是和mysql同个层次的东西。不一样的是，mcdb性能要比mysql高，而mysql检索功能比mcdb强。如果非要从缓存的角度看的话，那mc就是缓解mysql读压力，而mcdb则是缓解mysql写压力。
mcdb适合应用的场景：
1.浏览/点击/等统计，也可以局部代替mysql的count函数
2.标志，例如，JE的“我在干什么”功能
3.频繁写的地方，访客列表、评论之类的
之前，我写过的feed设计最大特点是使用mcdb来分散写压力，对sns来说动态产生太频繁了，全部写进mysql压力太大了，毕竟读/写1K和100K性能不是一样的，一台mcdb和一台mysql的成本不一样啊。。
虽然mcdb的方式比较简单，但是应用场合还是很丰富的，使用新产品要发散思维，充分发挥想象力～
不过重要的数据还是不建议使用，感觉还不是很放心。

三、安装
安装MemcacheDB之前需要安装Libevent和Berkeley Db
1.先安装libevent
下载地址： http://www.monkey.org/~provos/libevent/
Java代码 复制代码
  1. tar zxvf libevent-1.4.9-stable.tar.gz   
  2. cd libevent-1.4.9-stable   
  3. ./configure   
  4. make   
  5. make install  
tar zxvf libevent-1.4.9-stable.tar.gzcd libevent-1.4.9-stable./configuremakemake install

2.安装Berkeley Db
下载地址：http://www.oracle.com/technology/software/products/berkeley-db/index.html
Java代码 复制代码
  1. tar xvzf db-4.7.25.tar.gz  
  2. cd db-4.7.25/  
  3. cd build_unix/  
  4. ../dist/configure  
  5. make   
  6. make install  
tar xvzf db-4.7.25.tar.gzcd db-4.7.25/cd build_unix/../dist/configuremakemake install

安装完后，编辑/etc/ld.so.conf把
Java代码 复制代码
  1. usr/local/lib  
  2. /usr/local/BerkeleyDB.4.7/lib  
usr/local/lib/usr/local/BerkeleyDB.4.7/lib

3.安装memcachedb
下载地址：http://code.google.com/p/memcachedb/downloads/list
Java代码 复制代码
  1. tar xvzf memcachedb-1.2.0.tar.gz  
  2. cd memcachedb-X.Y.Z  
  3. ./configure --enable-threads  
  4. make   
  5. make install  
tar xvzf memcachedb-1.2.0.tar.gzcd memcachedb-X.Y.Z./configure --enable-threadsmakemake install

4.创建数据保存点
Java代码 复制代码
  1. mkdir /data/21201 -p  
  2. chown -R willko:wheel  
mkdir /data/21201 -pchown -R willko:wheel


四、使用
1.单机模式
Java代码 复制代码
  1. memcachedb -u willko -p 21201 -d -r -H /data/21201/ -v >/data/21201.log 2>&1  
memcachedb -u willko -p 21201 -d -r -H /data/21201/ -v >/data/21201.log 2>&1

2.主从模式
Java代码 复制代码
  1. memcachedb -p 21210 -d -r -u willko -H /data/21210_m -N -R 127.0.0.1:31210 -M   
  2. 主服务器，用31210来同步数据  
  3.   
  4. memcachedb -p 21211 -d -r -u willko -H /data/21211_from_local_21210 -N -R 127.0.0.1:31211 -O 127.0.0.1:31210 -S  
  5. 从服务器，主从模式-R是必须设置的。  
memcachedb -p 21210 -d -r -u willko -H /data/21210_m -N -R 127.0.0.1:31210 -M主服务器，用31210来同步数据memcachedb -p 21211 -d -r -u willko -H /data/21211_from_local_21210 -N -R 127.0.0.1:31211 -O 127.0.0.1:31210 -S从服务器，主从模式-R是必须设置的。

测试是否同步
Java代码 复制代码
  1. [root@srv willko]# telnet 127.0.0.1 21210  
  2. Trying 127.0.0.1...  
  3. Connected to 127.0.0.1.  
  4. Escape character is '^]'.  
  5. set yy 0 0 4  
  6. yyyy   
  7. STORED   
  8. get yy  
  9. VALUE yy 0 4  
  10. yyyy   
  11. END  
[root@srv willko]# telnet 127.0.0.1 21210Trying 127.0.0.1...Connected to 127.0.0.1.Escape character is '^]'.set yy 0 0 4yyyySTOREDget yyVALUE yy 0 4yyyyEND

Java代码 复制代码
  1. [root@srv willko]# telnet 127.0.0.1 21211  
  2. Trying 127.0.0.1...  
  3. Connected to 127.0.0.1.  
  4. Escape character is '^]'.  
  5. get yy  
  6. VALUE yy 0 4  
  7. yyyy   
  8. END  
[root@srv willko]# telnet 127.0.0.1 21211Trying 127.0.0.1...Connected to 127.0.0.1.Escape character is '^]'.get yyVALUE yy 0 4yyyyEND

3.FYI:参数说明
Java代码 复制代码
  1. memcachedb 1.2.0  
  2. -p <num>      TCP监听端口，默认是 21201  
  3. -U <num>      UDP监听端口，默认是 0，也就是关闭。  
  4. -s <file>     使用socket通讯，参数是设置unix socket的路径，此通讯方式只能本地使用  
  5. -a <mask>     unix socket文件的权限，默认是 0700  
  6. -l <ip_addr>  监听地址，默认是 INDRR_ANY  
  7. -d            以守护进程方式运行  
  8. -r            maximize core file limit  
  9. -u <username> 以<username>启动，只有root才能使用，因为memcachedb不允许以root启动  
  10. -c <num>      max simultaneous connections, default is 1024  
  11. -b <num>      item size smaller than <num> will use fast memory alloc, default is 512B  
  12. -v            打印错误和警告信息  
  13. -vv           打印整个交互过程  
  14. -h            print this help and exit  
  15. -i            print license info  
  16. -P <file>     进程PID保存路径，只能在守护进程方式下使用  
  17. -t <num>      线程数，默认是4  
  18. --------------------BerkeleyDB Options-------------------------------  
  19. -m <num>      in-memmory cache size of BerkeleyDB in megabytes, default is 64MB  
  20. -A <num>      underlying page size in bytes, default is 4096, (512B ~ 64KB, power-of-two)  
  21. -f <file>     数据文件名, 默认是 'data.db'  
  22. -H <dir>      数据保存目录，默认是 '/data1/memcachedb'  
  23. -B <db_type>  数据结构类型,有 'btree' 和 'hash'两种. 默认是 'btree'  
  24. -L <num>      log buffer size in kbytes, default is 32KB  
  25. -C <num>      每隔多少秒checkpoint, 设置为0将实时写入硬盘, 默认是5分钟  
  26. -T <num>      do memp_trickle every <num> seconds, 0 for disable, default is 30 seconds  
  27. -e <num>      percent of the pages in the cache that should be clean, default is 60%  
  28. -D <num>      do deadlock detecting every <num> millisecond, 0 for disable, default is 100ms  
  29. -N            设置 DB_TXN_NOSYNC 标志来改善性能，但是牺牲事务的持久性。默认为 关闭  
  30. --------------------Replication Options-------------------------------  
  31. -R            主服务器提供同步数据的地址和端口，主从模式必须设置  
  32. -O            从服务器同步源地址和端口  
  33. -M/-S         以主或从服务器启动  
  34. -n            允许从服务器数量, 默认是2台  
  35. -----------------------------------------------------------------------  
memcachedb 1.2.0-p <num>      TCP监听端口，默认是 21201-U <num>      UDP监听端口，默认是 0，也就是关闭。-s <file>     使用socket通讯，参数是设置unix socket的路径，此通讯方式只能本地使用-a <mask>     unix socket文件的权限，默认是 0700-l <ip_addr>  监听地址，默认是 INDRR_ANY-d            以守护进程方式运行-r            maximize core file limit-u <username> 以<username>启动，只有root才能使用，因为memcachedb不允许以root启动-c <num>      max simultaneous connections, default is 1024-b <num>      item size smaller than <num> will use fast memory alloc, default is 512B-v            打印错误和警告信息-vv           打印整个交互过程-h            print this help and exit-i            print license info-P <file>     进程PID保存路径，只能在守护进程方式下使用-t <num>      线程数，默认是4--------------------BerkeleyDB Options--------------------------------m <num>      in-memmory cache size of BerkeleyDB in megabytes, default is 64MB-A <num>      underlying page size in bytes, default is 4096, (512B ~ 64KB, power-of-two)-f <file>     数据文件名, 默认是 'data.db'-H <dir>      数据保存目录，默认是 '/data1/memcachedb'-B <db_type>  数据结构类型,有 'btree' 和 'hash'两种. 默认是 'btree'-L <num>      log buffer size in kbytes, default is 32KB-C <num>      每隔多少秒checkpoint, 设置为0将实时写入硬盘, 默认是5分钟-T <num>      do memp_trickle every <num> seconds, 0 for disable, default is 30 seconds-e <num>      percent of the pages in the cache that should be clean, default is 60%-D <num>      do deadlock detecting every <num> millisecond, 0 for disable, default is 100ms-N            设置 DB_TXN_NOSYNC 标志来改善性能，但是牺牲事务的持久性。默认为 关闭--------------------Replication Options--------------------------------R            主服务器提供同步数据的地址和端口，主从模式必须设置-O            从服务器同步源地址和端口-M/-S         以主或从服务器启动-n            允许从服务器数量, 默认是2台-----------------------------------------------------------------------

关于-C和-N选项涉及到数据完整性，会在下面会说明一下

五、备份和恢复
1.热备份
因为memcachedb是基于bdb的，所以可以用bdb自带的热备份工具备份
Java代码 复制代码
  1. [root@srv willko]# /usr/local/BerkeleyDB.4.7/bin/db_hotbackup -h /data/21201/ -b ./bak/  
  2. -h是数据的目录   
  3. -b是备份的目录  
[root@srv willko]# /usr/local/BerkeleyDB.4.7/bin/db_hotbackup -h /data/21201/ -b ./bak/-h是数据的目录-b是备份的目录

恢复的话，启动memcacedb的数据目录设置成备份目录就可以了

2.单机模式crash恢复
bdb的事务处理和很多事物引擎相似，都是先写日志，数据先保存在内存。所以crash以后，可以通过日志来恢复。启动memcachedb的时候，可以使用-C选项来设置checkpoint的间隔时间，如果设置得太长，恢复时间越长。
Java代码 复制代码
  1. /usr/local/BerkeleyDB.4.7/bin/db_recover -cf -h /data/21201/  
  2. -h是你的数据目录  
/usr/local/BerkeleyDB.4.7/bin/db_recover -cf -h /data/21201/-h是你的数据目录

模拟crash
Java代码 复制代码
  1. [root@srv willko]# memcachedb -u willko -p 21201 -d -r -H /data/21201/ -v >/data/21201.log 2>&1  -P /data/21201/21201.pid  
  2. [root@srv willko]# telnet localhost 21201  
  3. Trying 127.0.0.1...  
  4. Connected to localhost.  
  5. Escape character is '^]'.  
  6. set t 0 0 4   
  7. hhhh       #设置键为t，值为hhhh的  
  8. STORED   
  9. get t  
  10. VALUE t 0 4  
  11. hhhh   
  12. END   
  13. quit   
  14. Connection closed by foreign host.  
  15. [root@srv willko]# kill -9 `cat /data/21201/21201.pid ` #用-9来模拟crash  
  16. [root@srv willko]# /usr/local/BerkeleyDB.4.7/bin/db_recover -cf -h /data/21201/    
  17. recovery 100% complete  
  18. [root@srv willko]# memcachedb -u willko -p 21201 -d -r -H /data/21201/ -v >/data/21201.log 2>&1  -P /data/21201/21201.pid  
  19. [root@srv willko]# telnet localhost 21201  
  20. Trying 127.0.0.1...  
  21. Connected to localhost.  
  22. Escape character is '^]'.  
  23. get t  
  24. VALUE t 0 4  
  25. hhhh #还可以获得crash前设置的值  
  26. END   
  27. quit   
  28. Connection closed by foreign host.  
  29. [root@srv willko]#   
[root@srv willko]# memcachedb -u willko -p 21201 -d -r -H /data/21201/ -v >/data/21201.log 2>&1  -P /data/21201/21201.pid[root@srv willko]# telnet localhost 21201Trying 127.0.0.1...Connected to localhost.Escape character is '^]'.set t 0 0 4hhhh       #设置键为t，值为hhhh的STOREDget tVALUE t 0 4hhhhENDquitConnection closed by foreign host.[root@srv willko]# kill -9 `cat /data/21201/21201.pid ` #用-9来模拟crash[root@srv willko]# /usr/local/BerkeleyDB.4.7/bin/db_recover -cf -h /data/21201/recovery 100% complete[root@srv willko]# memcachedb -u willko -p 21201 -d -r -H /data/21201/ -v >/data/21201.log 2>&1  -P /data/21201/21201.pid[root@srv willko]# telnet localhost 21201Trying 127.0.0.1...Connected to localhost.Escape character is '^]'.get tVALUE t 0 4hhhh #还可以获得crash前设置的值ENDquitConnection closed by foreign host.[root@srv willko]#


3.主从模式的crash恢复
主从模式下可以考虑启用-N选项来提高性能，如果不是用-N，日志是实时写到硬盘，这也是为什么crash以后可以通过日志恢复的原因。
但是如果使用-N来提高性能是有代价的，也就是日志不实时写硬盘，那crash以后无法保证完全恢复，没写入硬盘的数据无法通过日志恢复。但是如果你做了主从模式，那就无需担心，因为当事务提交以后，会马上同步到slave。
也就是说使用-N选项后，crash后通过slave来恢复。
编程求圆的周长和面积 编程求圆的周长和面积
原创粉丝点击
热门IT博客
网络歌手哪个最红网络歌手哪个最红
apache默认网站目录apache默认网站目录
微信解封软件安卓版
模板支撑计算软件
mac如何翻墙上youtube
淘宝成就的品牌
小区平面图制作软件
郑州网络维修
手机mac地址怎么改
淘宝口红代购
c语言n个整数排序
印尼军事实力知乎
excel两列找出相同数据
java zabbix api链接
淘宝宝贝图片大小
手机斗鱼刷人气软件
智能遥控器软件
冈仁波齐影评 知乎
百度统计 数据
虚拟歌姬姐姐.软件
热门问题 老师的惩罚 人脸识别 我在镇武司摸鱼那些年 重生之率土为王 我在大康的咸鱼生活 盘龙之生命进化 天生仙种 凡人之先天五行 春回大明朝 姑娘不必设防，我是瞎子 自动化组装流水线 流水线输送设备 滚筒流水线设备 啤酒生产流水线 流水线安装 定做流水线 工业流水线设备 流水线流水线 纸箱生产流水线 铝材流水线 电镀流水线 铝合金流水线 流水线工厂 自动化流水线设计 隧道炉流水线 自动化输送流水线 手机生产流水线 悬挂流水线 流水线生产商 线束生产流水线 纸板生产流水线 流水线自动化 装配流水线设计 流水线报价 电子装配流水线 工业生产流水线 物流分拣流水线 流水线作业 非标流水线 转弯流水线 馒头生产流水线 小电机装配流水线 电池生产流水线 工厂生产流水线 装配自动流水线 动力滚筒流水线 全自动喷漆流水线 涂装流水线设备 喷漆流水线设备 电动车生产流水线 流水线称重机

程序博客网，程序员的互联网技术博客家园。csdn论坛精品 msdn技术资料都在这里