新浪发起的UNIX开源软件项目

原贴:http://blog.s135.com/read.php?320

新浪发起的UNIX开源软件项目

大 | 中 | 小

[ 2008-1-10 08:45 | by 张宴 ]

　　Memcachedb

　　协议：New BSD License
　　作者：stvchu, gary.caokai, forever.sky81
　　团队：新浪互动社区事业部──博客产品
　　网址：http://code.google.com/p/memcachedb/

　　Memcachedb = memcache + Berkeley DB

　　Memcachedb是一款支持高并发的分布式持久存储系统，对任何原有memcached客户端来讲，它仍旧是个memcached，但是，它的数据是可以持久存储的。
　　前端：memcached的网络层
　　后端：Berkeley DB存储

　　写速度：从本地服务器通过memcache客户端（libmemcache） set 2亿条16字节长的key，10字节长的Value的记录，耗时16572秒，平均速度12000条记录/秒。
　　读速度：从本地服务器通过memcache客户端（libmemcache） get 100万条16字节长的key，10字节长的Value的记录，耗时103秒，平均速度10000条记录/秒。

　　• 支持的memcache命令
　　get, set, add, replace
　　incr, decr
　　delete
　　stats
　　flush_all

　　• 私有命令
　　db_checkpoint, db_archive
　　db_ismaster, db_whoismaster (for replication)

　　编译及安装方法：
　　http://blog.csdn.net/simonlsy/archive/2008/01/07/2027940.aspx

　　

---

　　ncache

　　协议：New BSD License
　　作者：shinepf, shuiyang
　　团队：新浪互动社区事业部──博客产品
　　网址：http://code.google.com/p/ncache/

　　ncache是一款基于nginx的缓存系统，比Squid更快更高效。

　　01
　　

　　02
　　

　　03
　　

　　04
　　

　　05
　　

　　06
　　

　　07
　　

　　08
　　

　　09
　　

　　10
　　

　　以上图片来自PPT：http://ncache.googlecode.com/files/ncache.ppt

Tags: linux , cache , nginx , tcp , memcached , memcachedb , ncache , epoll

纯粹技术 | 评论(11) | 引用(0) | 阅读(439)

引用地址：
注意： 该地址仅在今日23:59:59之前有效

乐百氏

2008-1-10 11:26

memcachedb，关注它比较长时间了，总体感觉：鸡肋
ncache有意思，不过，bug不少。
希望实现其rfc2616关于cache部分的描述。支持Expire等。

#####################
-----------------Build dir /tmp/data-------------------------------


/bin/chown: 参数太少
请尝试执行‘/bin/chown --help’来获取更多信息。

-----------------Build dir cachedir-------------------------------

./mkdir_ngx_cache.sh: line 36: [: too many arguments
/bin/chown: 参数太少
请尝试执行‘/bin/chown --help’来获取更多信息。

乐百氏

2008-1-10 11:48

ncache貌似还不能缓存。

如下情况还是不能被缓存阿。已经包含了：（Cache-Control: max-age=8640000）
HTTP/1.1 200 OK
Server: nginx/0.5.34
Date: Thu, 10 Jan 2008 03:54:26 GMT
Content-Type: text/html
Connection: keep-alive
ID: 12345678
Set-Cookie: 1234555
Cache-Control: max-age=8640000
Content-Length: 217

代码罐头

2008-1-10 12:53

想不到新浪里面还是有很多前瞻性的开发项目.
能有这样的团队真的很不错.
可以写自己喜欢的代码和做很多实验.
看来有了前进的目标了.
项目除了在GOOGLE CODE上开.
有没有放到SF上?
那里能得到更多协助.

lizongbo

2008-1-10 18:34

我曾经打算拿java版的 Berkeley DB 和apache mina 来做java版的memched ,不过还没动手实现.

新浪有的缓存用的所谓的 CachePower,把 squid改了名字,却连 X-Squid-Error 都没改,显得不厚道!

比如:http://218.30.66.101/


Generated Thu, 10 Jan 2008 10:34:00 GMT by xa-176.sina.com.cn (CachePower/1.3.1.dev)


HTTP/1.x 403 Forbidden
Server: CachePower/1.3.1.dev
Mime-Version: 1.0
Date: Thu, 10 Jan 2008 10:34:00 GMT
Content-Type: text/html
Content-Length: 1063
Expires: Thu, 10 Jan 2008 10:34:00 GMT
X-Squid-Error: ERR_ACCESS_DENIED 0
X-Cache: MISS from xa-176.sina.com.cn
Connection: close

代码罐头

2008-1-10 22:03

JAVA的话性能可以满足么?
这种底层程序.本来就很讲求性能吧
好的程序甚至需要调整内核性能来满足应用的性能.
改名字只是表面
一样没有改反馈信息也是表面
很多东西.比如内部性能.只有开发人员才知道了

非狐外传

2008-1-11 00:54

ncache不知道和varnishd比有什么特色

outrace

2008-1-12 09:06

楼主最好可以给一个ncache的配置例子。
http://code.google.com/p/ncache/wiki/HowToUseNCache
这个上面没有完整的配置信息（比如fcgi的配置）

然后给一个ncache和varnish的性能比较看看。
hooo。谢谢

freeway

2008-1-16 09:34

memcachedb的客户端怎么没有？是不是就用memcached的客户端就可以访问memcachedb的服务？请问是这样吗？

张宴 回复于 2008-1-16 09:38

是的。所有memcached的客户端都可以访问memcachedb

sofire

2008-1-17 23:15

memcachedb 最大的应用是用来做点击数的存储。

pangfan

2008-1-18 00:28

谢谢大家对NCACHE的关心,在这里也非常感谢楼主的关注!
回复 outrace :NCACHE本身不支持FCGI,本来NGINX是支持的，不过我们只提取NGINX的核心模块,有很多功能都去掉了.varnish我们之前做过测试,效果并不好,尤其是跑了一段时间之后性能急剧下降,而且它是一种纯内存CACHE,相比来说NCACHE目前的版本还不具备内存CACHE功能,等NCACHE的内存CACHE功能出来后,我们会进行一个比较详细的生产环境测试和比较,谢谢

回复 乐百氏: 谢谢你提出了这个BUG,SIMON同学已经根据你的描述修改了这个SH文件,谢谢. 目前新的版本中NCACHE已经将MAX-AGE自动转为了分钟,最大支持65535分钟的缓存过期时间,超过的就全都按这个时间来计算, 8640000(100天不过期) 是不是大了点?不用这么设置吧?我们公司最大设置才30天左右,够用就好~.ncache 确实不支持RFC的很多描述,因为我们本来就是想让它成为一个完全定制的,精简的小系统,这也是我们为什么更快的原因之一,谢谢

乐百氏

2008-1-18 11:17

to：pangfan
谢谢，诚恳的答复