Memcache 详解

来源:互联网 发布:第二梦软件下载 编辑:程序博客网 时间:2024/05/23 15:39
原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://freeloda.blog.51cto.com/2033581/1289806

大纲

一、memcached 是什么

二、memcached 特点

三、memcached 协议

四、memcached 基于libevent的事件处理

五、memcached 内置内存存储方式

六、memcached 过期方式

七、memcached 不互相通信的分布式

八、memcached 支持的平台

九、memcached 安装与配置

十、memcached 使用详解

注,操作系统 CentOS 6.4 x86_64,博文中所用到的软件请到这里下载:http://yunpan.cn/QXheiWttcavn2


一、memcached 是什么

       Memcached是一款开源、高性能、分布式内存对象缓存系统,可应用各种需要缓存的场景,其主要目的是通过降低对Database的访问来加速web应用程序。它是一个基于内存的“键值对”存储,用于存储数据库调用、API调用或页面引用结果的直接数据,如字符串、对象等。

Memcached是以LiveJournal旗下Danga Interactive 公司的Brad Fitzpatric 为首开发的一款软件。现在已成为mixi、hatena、Facebook、Vox、LiveJournal等众多服务中提高Web应用扩展性的重要因素。

       许多Web应用都将数据保存到RDBMS(关系型数据库管理系统)中,应用服务器从中读取数据并在浏览器中显示。 但随着数据量的增大、访问的集中,就会出现RDBMS的负担加重、数据库响应恶化、 网站显示延迟等重大影响。

       这时就该memcached大显身手了。memcached是高性能的分布式内存缓存服务器。 一般的使用目的是,通过缓存数据库查询结果,减少数据库访问次数,以提高动态Web应用的速度、 提高可扩展性。如下图,

m1

二、memcached 特点

Memcached是一款开发工具,它既不是一个代码加速器,也不是数据库中间件。其设计哲学思想主要反映在如下方面:

  • 简单key/value存储:服务器不关心数据本身的意义及结构,只要是可序列化数据即可。存储项由“键、过期时间、可选的标志及数据”四个部分组成;

  • 功能的实现一半依赖于客户端,一半基于服务器端:客户负责发送存储项至服务器端、从服务端获取数据以及无法连接至服务器时采用相应的动作;服务端负责接收、存储数据,并负责数据项的超时过期;

  • 各服务器间彼此无视:不在服务器间进行数据同步;

  • O(1)的执行效率

  • 清理超期数据:默认情况下,Memcached是一个LRU缓存,同时,它按事先预订的时长清理超期数据;但事实上,memcached不会删除任何已缓存数据,只是在其过期之后不再为客户所见;而且,memcached也不会真正按期限清理缓存,而仅是当get命令到达时检查其时长;

三、memcached 协议

       Memcached的服务器客户端通信并不使用复杂的XML等格式, 而使用简单的基于文本行的协议(新版本支持二进制传输协议)。因此,通过telnet 也能在memcached上保存数据、取得数据。下面是一个简单的例子,

1
2
3
4
5
6
7
8
9
10
11
[root@memcache ~]# telnet 192.168.18.201 11211 
Trying 192.168.18.201...  
Connected to 192.168.18.201.  
Escape character is'^]'.  
add mykey 0 10 5 (增加数据)  
hello (数据)  
STORED
get mykey (获取数据) 
VALUE mykey 0 5  
hello (数据)  
END

协议文档位于memcached的源代码内,也可以参考以下的memcached wiki,http://code.google.com/p/memcached/wiki/NewProtocols

四、memcached 基于libevent的事件处理

       libevent是个程序库,它将Linux的epoll、BSD类操作系统的kqueue等事件处理功能封装成统一的接口。即使对服务器的连接数增加,也能发挥O(1)的性能。memcached使用这个libevent库,因此能在Linux、BSD、Solaris等操作系统上发挥其高性能。 关于事件处理这里就不再详细介绍,可以参考libevent官方文档与The C10K Problem。

  • http://libevent.org/

  • http://www.kegel.com/c10k.html

五、memcached 内置内存存储方式

       为了提高性能,memcached中保存的数据都存储在memcached内置的内存存储空间中。由于数据仅存在于内存中,因此重启memcached、重启操作系统会导致全部数据消失。另外,内容容量达到指定值之后,就基于LRU(Least Recently Used)算法自动删除不使用的缓存。memcached本身是为缓存而设计的服务器,因此并没有过多考虑数据的永久性问题。

1.数据存储方式:Slab Allocation    
结构图如下:    
memcached
       Slab Allocator的基本原理是按照预先规定的大小,将分配的内存分割成特定长度的块(chunk),并把尺寸相同的块分成组,以完全解决内存碎片问题。但由于分配的是特定长度的内存,因此无法有效利用分配的内存。比如将100字节的数据缓存到128字节的chunk中,剩余的28字节就浪费了。

2.Slab Allocator 相关术语

  • Page:分配给Slab的内存空间,默认是1MB。分配给Slab之后根据slab的大小切分成chunk。

  • Chunk:用于缓存记录的内存空间。

  • Slab Class:特定大小的chunk的组。

  • memcached根据收到的数据的大小,选择最适合数据大小的slab。

  • memcached中保存着slab内空闲chunk的列表,根据该列表选择chunk,然后将数据缓存于其中。

3.在Slab中缓存记录的原理

       下面说明memcached如何针对客户端发送的数据选择slab并缓存到chunk中。memcached根据收到的数据的大小,选择最适合数据大小的slab。 memcached中保存着slab内空闲chunk的列表,根据该列表选择chunk, 然后将数据缓存于其中。如下图,

m2

实际上,Slab Allocator也是有利也有弊。下面介绍一下它的缺点。

4.Slab Allocator的缺点

       Slab Allocator解决了当初的内存碎片问题,但新的机制也给memcached带来了新的问题。这个问题就是,由于分配的是特定长度的内存,因此无法有效利用分配的内存。 例如,将100字节的数据缓存到128字节的chunk中,剩余的28字节就浪费了。如下图,

m3

       对于该问题目前还没有完美的解决方案,但在文档中记载了比较有效的解决方案。就是说,如果预先知道客户端发送的数据的公用大小,或者仅缓存大小相同的数据的情况下, 只要使用适合数据大小的组的列表,就可以减少浪费。但是很遗憾,现在还不能进行任何调优,只能期待以后的版本了。 但是,我们可以调节slab class的大小的差别。 接下来说明growth factor(增长系数)选项。

5.使用Growth Factor进行调优

       memcached在启动时指定 Growth Factor因子(通过 -f 选项), 就可以在某种程度上控制slab之间的差异。默认值为1.25。 但是,在该选项出现之前,这个因子曾经固定为2,称为“powers of 2”策略。

让我们用以前的设置,以verbose模式启动memcached试试看:

1
[root@memcache ~]# memcached -f 2 -vv

下面是启动后的verbose输出:

1
2
3
4
5
6
7
8
9
10
11
12
13
slab class   1: chunk size    128 perslab  8192
slab class   2: chunk size    256 perslab  4096
slab class   3: chunk size    512 perslab  2048
slab class   4: chunk size   1024 perslab  1024
slab class   5: chunk size   2048 perslab   512
slab class   6: chunk size   4096 perslab   256
slab class   7: chunk size   8192 perslab   128
slab class   8: chunk size  16384 perslab    64
slab class   9: chunk size  32768 perslab    32
slab class  10: chunk size  65536 perslab    16
slab class  11: chunk size 131072 perslab     8
slab class  12: chunk size 262144 perslab     4
slab class  13: chunk size 524288 perslab     2

       可见,从128字节的组开始,组的大小依次增大为原来的2倍。 这样设置的问题是,slab之间的差别比较大,有些情况下就相当浪费内存。 因此,为尽量减少内存浪费,追加了growth factor这个选项。来看看现在的默认设置(f=1.25)时的输出:

1
2
3
4
5
6
7
8
9
10
slab class   1: chunk size     88 perslab 11915
slab class   2: chunk size    112 perslab  9362
slab class   3: chunk size    144 perslab  7281
slab class   4: chunk size    184 perslab  5698
slab class   5: chunk size    232 perslab  4519
slab class   6: chunk size    296 perslab  3542
slab class   7: chunk size    376 perslab  2788
slab class   8: chunk size    472 perslab  2221
slab class   9: chunk size    592 perslab  1771
slab class  10: chunk size    744 perslab  1409

       可见,组间差距比因子为2时小得多,更适合缓存几百字节的记录。 从上面的输出结果来看,可能会觉得有些计算误差, 这些误差是为了保持字节数的对齐而故意设置的。将memcached引入产品,或是直接使用默认值进行部署时, 最好是重新计算一下数据的预期平均长度,调整growth factor, 以获得最恰当的设置。内存是珍贵的资源,浪费就太可惜了。

六、memcached 过期方式

数据过期方式:Lazy Expiration + LRU

1.Lazy Expiration

       memcached内部不会监视记录是否过期,而是在get时查看记录的时间戳,检查记录是否过期。这种技术被称为lazy(惰性)expiration。因此,memcached不会在过期监视上耗费CPU时间。

2.LRU

       memcached会优先使用已超时的记录的空间,但即使如此,也会发生追加新记录时空间不足的情况,此时就要使用名为 Least Recently Used(LRU)机制来分配空间。当memcached的内存空间不足时(无法从slab class 获取到新的空间时),就从最近未被使用的记录中搜索,并将其空间分配给新的记录。

七、memcached 不互相通信的分布式

       memcached尽管是“分布式”缓存服务器,但服务器端并没有分布式功能。 各个memcached不会互相通信以共享信息。那么,怎样进行分布式呢? 这完全取决于客户端的实现。如下图,

wps_clip_image-32481

八、memcached 支持的平台

memcached支持许多平台

  • Linux

  • FreeBSD

  • Solaris (memcached 1.2.5以上版本)

  • Mac OS X

另外也能安装在Windows上。

九、memcached 安装与配置

1.安装libevent

注,在上文中提到memcached是基于libevent进行事件处理的,所以我们得先安装libevent。

1
2
3
4
[root@memcache src]# tar xf libevent-2.0.21-stable.tar.gz
[root@memcache src]# cd libevent-2.0.21-stable
[root@memcache libevent-2.0.21-stable]# ./configure --prefix=/usr/local/libevent
[root@memcache libevent-2.0.21-stable]# make && make install

2.安装memcached

1
2
3
4
[root@memcache src]# tar xf memcached-1.4.15.tar.gz
[root@memcache src]# cd memcached-1.4.15
[root@memcache memcached-1.4.15]# ./configure --prefix=/usr/local/memcached --with-libevent=/usr/local/libevent
[root@memcache memcached-1.4.15]# make && make install

3.配置环境变量

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
[root@memcache ~]# vim /etc/profile.d/memcache.sh 
[root@memcache ~]# cat /etc/profile.d/memcache.sh  
export PATH=$PATH:/usr/local/memcached/bin/  
[root@memcache ~]# source /etc/profile  
[root@memcache ~]# memcached -h  
memcached 1.4.15  
-p <num>      TCP port number to listen on (default: 11211)  
-U <num>      UDP port number to listen on (default: 11211, 0 is off)  
-s <file>     UNIX socket path to listen on (disables network support)  
-a <mask>     access maskfor UNIX socket,in octal (default: 0700)  
-l <addr>     interface to listen on (default: INADDR_ANY, all addresses)  
              <addr> may be specified as host:port. If you don't specify  
              a port number, the value you specified with -p or -U is  
              used. You may specify multiple addresses separated by comma  
              or by using -l multipletimes  
-d            run as a daemon  
-r            maximize corefile limit  
-u <username> assume identity of <username> (only when run as root)  
-m <num>      max memory to usefor items in megabytes (default: 64 MB)  
-M            return error on memory exhausted (rather than removing items)  
-c <num>      max simultaneous connections (default: 1024)  
-k            lock down all paged memory.  Note that there is a  
              limit on how much memory you may lock.  Trying to  
              allocatemore than that would fail, so be sure you  
              setthe limit correctly forthe user you started  
              the daemon with (notfor -u <username> user;  
              under sh this isdone with 'ulimit -S -l NUM_KB').  
-v           verbose (print errors/warningswhile in event loop)  
-vv           very verbose (also print client commands/reponses)  
-vvv          extremely verbose (also print internal state transitions)  
-h            print this help andexit  
-i            print memcached and libevent license  
-P <file>     save PIDin <file>, only used with -d option  
-f <factor>   chunk size growth factor (default: 1.25)  
-n <bytes>    minimum space allocatedfor key+value+flags (default: 48)  
-L            Try to use large memory pages (ifavailable). Increasing  
              the memory page size could reduce the number of TLB misses  
              and improve the performance. In order to get large pages  
              from the OS, memcached will allocate the total item-cache  
              inone large chunk.  
-D <char>     Use <char> as the delimiter between key prefixes and IDs.  
              This is usedfor per-prefix stats reporting. The default is  
              ":"(colon). If this option is specified, stats collection  
              is turned on automatically;if not, then it may be turned on  
              by sending the"stats detail on" command to the server.  
-t <num>      number of threads to use (default: 4)  
-R            Maximum number of requests per event, limits the number of  
              requests processfor a given connection to prevent  
              starvation (default: 20)  
-C            Disable use of CAS  
-b            Set the backlog queue limit (default: 1024)  
-B            Binding protocol - one of ascii, binary, or auto (default)  
-I            Override the size of each slab page. Adjusts max item size  
              (default: 1mb, min: 1k, max: 128m)  
-o            Comma separated list of extended or experimental options  
              - (EXPERIMENTAL) maxconns_fast: immediately close new  
                connectionsif over maxconns limit  
              - hashpower: An integer multiplierfor how large thehash  
                table should be. Can be grown at runtimeif not big enough.  
                Set this based on"STAT hash_power_level" before a  
                restart.

4.memcached 启动选项

1
[root@memcache ~]# memcached -h
  • -p TCP监听端口 (default: 11211)

  • -U UDP 监听端口 (default: 11211, 0 is off)

  • -s UNIX socket监听路径,不支持网络

  • -a UNIX socket访问掩码, 八进制 (default: 0700)

  • -l 监听的服务器IP地址 (default: all addresses)

  • -d 启动一个守护进程

  • -r 最大限度利用核心文件限制

  • -u 运行memcached用户

  • -m 最大的内存使用 (default: 64 MB)

  • -M 内存耗尽返回错误

  • -c 最大并发连接 (default: 1024)

  • -k 锁定所有分页内存

  • -v 输出警告和错误信息

  • -vv 同时打印客户端请求和返回信息

  • -vvv 打印内部状态转换信息

  • -i 打印memcached 和 libevent 版本信息

  • -P 设置保存pid文件, only used with -d option

  • -f 块大小增长倍数 (default: 1.25)

  • -n key+value+flags最小分配空间(default: 48)

  • -L 如何有效,尝试使用大内存页。增加内存页大小可以减少失误的TLB数量,提高性能。

  • -D 指定key和IDs的分隔符 default is “:” (colon). 如果指定此选项,统计信息收集自动开启;

  • -t 使用的线程数量 (default: 4)

  • -R 每个事件的最大请求数 (default: 20)

  • -C 禁止使用 CAS

  • -b 设置积压队列数限制 (default: 1024)、

  • -B 绑定协议 – one of ascii, binary, or auto (default)

  • -I 分配给每个slab页(default: 1mb, min: 1k, max: 128m)

  • -o 配置额外选项

5.启动memcached

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
[root@memcache ~]# memcached -d -m 500 -u root -l 192.168.18.201 -c 256 -P /tmp/memcached.pid -vvv 
slab class   1: chunk size        96 perslab   10922  
slab class   2: chunk size       120 perslab    8738  
slab class   3: chunk size       152 perslab    6898  
slab class   4: chunk size       192 perslab    5461  
slab class   5: chunk size       240 perslab    4369  
slab class   6: chunk size       304 perslab    3449  
slab class   7: chunk size       384 perslab    2730  
slab class   8: chunk size       480 perslab    2184  
slab class   9: chunk size       600 perslab    1747  
slab class  10: chunk size       752 perslab    1394  
slab class  11: chunk size       944 perslab    1110  
slab class  12: chunk size      1184 perslab     885  
slab class  13: chunk size      1480 perslab     708  
slab class  14: chunk size      1856 perslab     564  
slab class  15: chunk size      2320 perslab     451  
slab class  16: chunk size      2904 perslab     361  
slab class  17: chunk size      3632 perslab     288  
slab class  18: chunk size      4544 perslab     230  
slab class  19: chunk size      5680 perslab     184  
slab class  20: chunk size      7104 perslab     147  
slab class  21: chunk size      8880 perslab     118  
slab class  22: chunk size     11104 perslab      94  
slab class  23: chunk size     13880 perslab      75  
slab class  24: chunk size     17352 perslab      60  
slab class  25: chunk size     21696 perslab      48  
slab class  26: chunk size     27120 perslab      38  
slab class  27: chunk size     33904 perslab      30  
slab class  28: chunk size     42384 perslab      24  
slab class  29: chunk size     52984 perslab      19  
slab class  30: chunk size     66232 perslab      15  
slab class  31: chunk size     82792 perslab      12  
slab class  32: chunk size    103496 perslab      10  
slab class  33: chunk size    129376 perslab       8  
slab class  34: chunk size    161720 perslab       6  
slab class  35: chunk size    202152 perslab       5  
slab class  36: chunk size    252696 perslab       4  
slab class  37: chunk size    315872 perslab       3  
slab class  38: chunk size    394840 perslab       2  
[root@memcache ~]# slab class  39: chunk size    493552 perslab       2  
slab class  40: chunk size    616944 perslab       1  
slab class  41: chunk size    771184 perslab       1  
slab class  42: chunk size   1048576 perslab       1  
<26 server listening (auto-negotiate)  
<27 send buffer was 229376, now 268435456  
<27 server listening (udp)  
<27 server listening (udp)  
<27 server listening (udp)  
<27 server listening (udp)

注,默认使用11211端口,root用户,最大使用500M内存,256个并发连接,输出详细信息,以守护进程方式运行。从输出信息可看出memcached分配内存的过程。

6.查看一下启动端口

1
2
3
4
5
6
7
8
9
10
11
12
13
[root@memcache ~]# netstat -ntulp 
Active Internet connections (only servers)  
Proto Recv-Q Send-Q Local Address               Foreign Address             State       PID/Programname
tcp        0      0 192.168.18.201:11211        0.0.0.0:*                   LISTEN      8086/memcached   
tcp        0      0 0.0.0.0:22                  0.0.0.0:*                   LISTEN      1026/sshd        
tcp        0      0 127.0.0.1:25                0.0.0.0:*                   LISTEN      1103/master      
tcp        0      0 127.0.0.1:6010              0.0.0.0:*                   LISTEN      1137/sshd        
tcp        0      0 127.0.0.1:6011              0.0.0.0:*                   LISTEN      8044/sshd        
tcp        0      0 :::22                       :::*                        LISTEN      1026/sshd        
tcp        0      0 ::1:25                      :::*                        LISTEN      1103/master      
tcp        0      0 ::1:6010                    :::*                        LISTEN      1137/sshd        
tcp        0      0 ::1:6011                    :::*                        LISTEN      8044/sshd        
udp        0      0 192.168.18.201:11211        0.0.0.0:*                               8086/memcached

注,大家可以看到,memcached已启动,监听在11211端口上。

7.登录测试一下

(1).安装telnet测试工具

1
[root@memcache ~]# yum install -y telnet

(2).测试

1
2
3
4
[root@memcache ~]# telnet 192.168.18.201 11211 
Trying 192.168.18.201...  
Connected to 192.168.18.201.  
Escape character is'^]'.

注,登录成功。下面我们add命令,保存一个数据。用get命令查看一下。

(3).add 命令

用法:add keyname flag  timeout  datasize

案例:

1
2
3
4
5
6
7
[root@memcache ~]# telnet 192.168.18.201 11211 
Trying 192.168.18.201...  
Connected to 192.168.18.201.  
Escape character is'^]'.  
add mykey 0 10 5
hello  
STORED

(4).get 命令

用法:get keyname

案例:

1
2
3
4
get mykey 
VALUE mykey 0 5  
hello  
END

注,好了测试成功。大家有没有发现,每次启动都要输入那么长的命令是不是很不方便,下面我们为memcached提供SysV的startup脚本。

8.提供SysV的startup脚本

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
[root@memcache ~]# vim /etc/init.d/memcached 
#!/bin/bash  
#  
# Init file for memcached  
#  
# chkconfig: - 86 14  
# description: Distributed memory caching daemon  
#  
# processname: memcached  
# config: /etc/sysconfig/memcached
. /etc/rc.d/init.d/functions
## Default variables 
PORT="11211"  
USER="nobody"  
MAXCONN="1024"  
CACHESIZE="64"  
OPTIONS=""
RETVAL=0 
prog="/usr/local/memcached/bin/memcached"  
desc="Distributed memory caching"  
lockfile="/var/lock/subsys/memcached"
start() { 
        echo-n $"Starting $desc (memcached): "  
        daemon $prog -d -p $PORT -u $USER -c $MAXCONN -m $CACHESIZE  $OPTIONS  
        RETVAL=$?  
        echo  
        [ $RETVAL -eq0 ] && touch $lockfile  
        return$RETVAL  
}
stop() { 
        echo-n $"Shutting down $desc (memcached): "  
        killproc $prog  
        RETVAL=$?  
        echo  
        [ $RETVAL -eq0 ] && rm -f $lockfile  
        return$RETVAL  
}
restart() { 
        stop  
        start  
}
reload() { 
        echo-n $"Reloading $desc ($prog): "  
        killproc $prog -HUP  
        RETVAL=$?  
        echo  
        return$RETVAL  
}
case "$1" in 
  start)  
        start  
        ;;  
  stop)  
        stop  
        ;;  
  restart)  
        restart  
        ;;  
  condrestart)  
        [ -e $lockfile ] && restart  
        RETVAL=$?  
        ;;    
  reload)  
        reload  
        ;;  
  status)  
        status $prog  
        RETVAL=$?  
        ;;  
   *)  
        echo$"Usage: $0 {start|stop|restart|condrestart|status}"  
        RETVAL=1  
esac

9.增加执行权限

1
[root@memcache ~]# chmod +x /etc/init.d/memcached

10.加入服务列表并设置开机自启动

1
2
3
4
[root@memcache ~]# chkconfig --add memcached 
[root@memcache ~]# chkconfig memcached on  
[root@memcache ~]# chkconfig memcached --list  
memcached          0:关闭    1:关闭    2:启用    3:启用    4:启用    5:启用    6:关闭

11.杀死所有memcached进程并重新启动memcached

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
[root@memcache ~]# killall memcached
[root@memcache ~]# service memcached start 
Starting Distributed memory caching (memcached):           [确定]
[root@memcache ~]# netstat -ntulp 
Active Internet connections (only servers)  
Proto Recv-Q Send-Q Local Address               Foreign Address             State       PID/Programname
tcp        0      0 0.0.0.0:11211               0.0.0.0:*                   LISTEN      8251/memcached   
tcp        0      0 0.0.0.0:22                  0.0.0.0:*                   LISTEN      1026/sshd        
tcp        0      0 127.0.0.1:25                0.0.0.0:*                   LISTEN      1103/master      
tcp        0      0 127.0.0.1:6010              0.0.0.0:*                   LISTEN      1137/sshd        
tcp        0      0 127.0.0.1:6011              0.0.0.0:*                   LISTEN      8044/sshd        
tcp        0      0 :::11211                    :::*                        LISTEN      8251/memcached   
tcp        0      0 :::22                       :::*                        LISTEN      1026/sshd        
tcp        0      0 ::1:25                      :::*                        LISTEN      1103/master      
tcp        0      0 ::1:6010                    :::*                        LISTEN      1137/sshd        
tcp        0      0 ::1:6011                    :::*                        LISTEN      8044/sshd        
udp        0      0 0.0.0.0:11211               0.0.0.0:*                               8251/memcached   
udp        0      0 :::11211                    :::*                                    8251/memcached

注,启动成功。还有点得说明,由于memcached的内存大小是手动设置的,有的时候需要随时去修改它,总不能每次都去修改memcached脚本吧,所以下面我们为memcached提供配置文件。

12.为memcached脚本提供配置文件

1
2
3
4
5
6
[root@memcache ~]# vim /etc/sysconfig/memcached
PORT="11211" 
USER="nobody"  
MAXCONN="1024"  
CACHESIZE="128"  
OPTIONS=""

注,这里我们将内存大小改为了128M,方便我们测试对比。

13.修改SysV的startup脚本载入配置文件

m4

注,[ -f /etc/sysconfig/memcached ] && . /etc/sysconfig/memcached,加入这一行就行,我们先判断一下是否是文件,若是载入。

14.测试一下

(1).查看一下memcached内存大小

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
[root@memcache ~]# telnet 192.168.18.201 11211 
Trying 192.168.18.201...  
Connected to 192.168.18.201.  
Escape character is'^]'.  
stats  
STAT pid 8251  
STAT uptime 852  
STAT time1378284537  
STAT version 1.4.15  
STAT libevent 2.0.21-stable  
STAT pointer_size 64  
STAT rusage_user 0.032994  
STAT rusage_system 0.033994  
STAT curr_connections 10  
STAT total_connections 11  
STAT connection_structures 11  
STAT reserved_fds 20  
STAT cmd_get 0  
STAT cmd_set 0  
STAT cmd_flush 0  
STAT cmd_touch 0  
STAT get_hits 0  
STAT get_misses 0  
STAT delete_misses 0  
STAT delete_hits 0  
STAT incr_misses 0  
STAT incr_hits 0  
STAT decr_misses 0  
STAT decr_hits 0  
STAT cas_misses 0  
STAT cas_hits 0  
STAT cas_badval 0  
STAT touch_hits 0  
STAT touch_misses 0  
STAT auth_cmds 0  
STAT auth_errors 0  
STAT bytes_read 7  
STAT bytes_written 0  
STAT limit_maxbytes 67108864#大家可以看到,现在的内存限制是64M  
STAT accepting_conns 1  
STAT listen_disabled_num 0  
STAT threads 4  
STAT conn_yields 0  
STAT hash_power_level 16  
STAT hash_bytes 524288  
STAT hash_is_expanding 0  
STAT bytes 0  
STAT curr_items 0  
STAT total_items 0  
STAT expired_unfetched 0  
STAT evicted_unfetched 0  
STAT evictions 0  
STAT reclaimed 0  
END

(2).重新启动一下memcached

1
2
3
[root@memcache ~]# service memcached restart 
Shutting down Distributed memory caching (memcached):      [确定]  
Starting Distributed memory caching (memcached):           [确定]

(3).我们再次查看一下内存大小

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
[root@memcache ~]# telnet 192.168.18.201 11211 
Trying 192.168.18.201...  
Connected to 192.168.18.201.  
Escape character is'^]'.  
stats  
STAT pid 8279 #进程ID 
STAT uptime 8000 #服务器运行秒数 
STAT time1378284623 #服务器当前unix时间戳 
STAT version 1.4.15#服务器版本 
STAT libevent 2.0.21-stable#libevent版本号 
STAT pointer_size 64#操作系统指针大小(这台服务器是64位的) 
STAT rusage_user 0.000999#进程累计用户时间 
STAT rusage_system 0.003999#进程累计系统时间 
STAT curr_connections 10#当前打开连接数 
STAT total_connections 11#曾打开的连接总数 
STAT connection_structures 11#服务器分配的连接结构数 
STAT reserved_fds 20#内部使用的FD数 
STAT cmd_get 0 #执行get命令总数 
STAT cmd_set 0 #执行set命令总数 
STAT cmd_flush 0#执行flush命令总数 
STAT cmd_touch 0#执行touch命令总数 
STAT get_hits 0 #get命中次数 
STAT get_misses 0#get未命中次数 
STAT delete_misses 0#delete未命中次数 
STAT delete_hits 0#delete命中次数 
STAT incr_misses 0#incr未命中次数 
STAT incr_hits 0#incr命中次数 
STAT decr_misses 0#decr未命中次数 
STAT decr_hits 0#decr命中次数 
STAT cas_misses 0#cas未命中次数 
STAT cas_hits 0 #cas命中次数 
STAT cas_badval 0#使用擦拭次数 
STAT touch_hits 0#touch命中次数 
STAT touch_misses 0#touch未命中次数 
STAT auth_cmds 0#认证处理的次数  
STAT auth_errors 0#认证失败次数 
STAT bytes_read 7#读取字节总数 
STAT bytes_written 0#写入字节总数 
STAT limit_maxbytes 134217728#现在的内存大小为128M  
STAT accepting_conns 1#目前接受的新接数 
STAT listen_disabled_num 0#失效的监听数 
STAT threads 4 #当前线程数 
STAT conn_yields 0#连接操作主支放弃数目 
STAT hash_power_level 16#hash等级 
STAT hash_bytes 524288#当前hash表等级 
STAT hash_is_expanding 0#hash表扩展大小 
STAT bytes 0 #当前存储占用的字节数 
STAT curr_items 0#当前存储数据总数 
STAT total_items 0#启动以来存储的数据总数 
STAT expired_unfetched 0#已过期但未获取的对象数目 
STAT evicted_unfetched 0#已驱逐但未获取的对象数目 
STAT evictions 0#LRU释放的对象数目 
STAT reclaimed 0#用已过期的数据条目来存储新数据的数目 
END

注,大家可以看到,现在的内存大小为128M,说明我们配置文件修改成功。好了,到这里memcached的安装与配置到这里就基本完成了,下面我们来说一下memcached的具体使用。

十、memcached 使用详解

1.memcached 基本命令

注,当memcached 启动后,用于对memcached管理的数据和本身运行状态相关的命令。

Command

Description

Example

get

Reads a value

get mykey

set

Set a key unconditionally

set mykey 0 60 5

add

Add a new key

add newkey 0 60 5

replace

Overwrite existing key

replace key 0 60 5

append

Append data to existing key

append key 0 60 15

prepend

Prepend data to existing key

prepend key 0 60 15

incr

Increments numerical key value by given number

mykey 存放的应当是数字 才能增加和减少

incr mykey 2

decr

Decrements numerical key value by given number

mykey 存放的应当是数字 才能增加和减少

decr mykey 5

delete

Deletes an existing key

delete mykey

flush_all

Invalidate specific items immediately

Invalidate all items in n seconds

flush_all

flush_all 900

stats

Prints general statistics

Prints memory statistics

Prints memory statistics

Print higher level allocation statistics



Resets statistics

stats

stats slabs

stats malloc

stats items

stats detail

stats sizes

stats reset

version

Prints server version.

version

verbosity

Increases log level

verbosity

quit

Terminate telnet session

quit

2.memcached 存储命令的格式

格式:

<command name> <key> <flags> <exptime> <bytes><data block>

参数说明:

  • <command name> 操作命令:set/add/replace……

  • <key> 缓存的键值

  • <flags> 客户机使用它存储关于键值对的额外信息

  • <exptime> 缓存过期时间 单位为秒 0 表示永远存储

  • <bytes> 缓存值的字节数

  • <data block> 数据块

3.memcached 常用命令

(1).增加值命令

说明:无论如何都添加或更新的set 命令 (值不存在则添加,存在则更新)  set 设置后可以用get命令获取值,也可以使用delete命令删除该值。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
[root@memcache ~]# telnet 192.168.18.201 11211
Trying 192.168.18.201...
Connected to 192.168.18.201.
Escape character is'^]'.
set mykey 0 0 3
100
STORED
get mykey
VALUE mykey 0 3
100
END
delete mykey
DELETED
get mykey
END

说明:只有数据不存在时添加值的add命令。

1
2
3
4
5
6
7
8
9
10
[root@memcache ~]# telnet 192.168.18.201 11211
Trying 192.168.18.201...
Connected to 192.168.18.201.
Escape character is'^]'.
add mykey 0 0 4 #第一次添加成功
test
STORED
add mykey 0 0 4 #第二次添加失败
test
NOT_STORED

说明:只有数据存在时替换的replace命令。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
[root@memcache ~]# telnet 192.168.18.201 11211
Trying 192.168.18.201...
Connected to 192.168.18.201.
Escape character is'^]'.
replace testkey 0 0 2#元素不存在替换失败
11
NOT_STORED
add testkey 0 0 2
22
STORED
get testkey
VALUE testkey 0 2
22
END
replace testkey 0 0 3#元素存在替换成功
100
STORED
get testkey
VALUE testkey 0 3
100
END

(2).删除命令 delete

1
2
3
4
5
6
7
8
get mykey
VALUE mykey 0 3
100
END
delete mykey
DELETED
get mykey
END

(3).读取命令

说明:get 命令 获取一个键或多个键的值 多个键以空格分开。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
[root@memcache ~]# telnet 192.168.18.201 11211
Trying 192.168.18.201...
Connected to 192.168.18.201.
Escape character is'^]'.
set mykey 0 0 2
10
STORED
set testkey 0 0 2
20
STORED
get mykey testkey
VALUE mykey 0 2
10
VALUE testkey 0 2
20
END

说明:gets 命令比get返回的值多一个数字,用来判断数据是否发生过改变。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
[root@memcache ~]# telnet 192.168.18.201 11211
Trying 192.168.18.201...
Connected to 192.168.18.201.
Escape character is'^]'.
set mykey 0 0 2
10
STORED
set testkey 0 0 2
20
STORED
get mykey testkey
VALUE mykey 0 2
10
VALUE testkey 0 2
20
END
gets mykey testkey
VALUE mykey 0 2 5
10
VALUE testkey 0 2 6
20
END
set testkey 0 0 2
30
STORED
gets mykey testkey
VALUE mykey 0 2 5
10
VALUE testkey 0 2 7
30
END

说明:cas 的意思是 check and set 的意思,只有当最后一个参数gets获取的那个用来判断数据发生改变的那个值相同时才会存储成功,否则返回 exists。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
[root@memcache ~]# telnet 192.168.18.201 11211
Trying 192.168.18.201...
Connected to 192.168.18.201.
Escape character is'^]'.
gets mykey
VALUE mykey 0 2 5
10
END
cas mykey 0 0 2 6
50
EXISTS
cas mykey 0 0 2 5              
50
STORED
gets mykey
VALUE mykey 0 2 8
50
END

说明:自曾(incr) 自减(decr)命令。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
[root@memcache ~]# telnet 192.168.18.201 11211
Trying 192.168.18.201...
Connected to 192.168.18.201.
Escape character is'^]'.
set age 0 0 2
10
STORED
get age
VALUE age 0 2
10
END
incr age 2
12
incr age 2
14
get age
VALUE age 0 2
14
END
decr age 1
13
get age
VALUE age 0 2
13
END

(4).状态命令

说明:stats 显示memcachd状态。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
[root@memcache ~]# telnet 192.168.18.201 11211
Trying 192.168.18.201...
Connected to 192.168.18.201.
Escape character is'^]'.
stats
STAT pid 8279 #进程ID
STAT uptime 8000 #服务器运行秒数
STAT time1378284623 #服务器当前unix时间戳
STAT version 1.4.15#服务器版本
STAT libevent 2.0.21-stable#libevent版本号
STAT pointer_size 64#操作系统指针大小(这台服务器是64位的)
STAT rusage_user 0.000999#进程累计用户时间
STAT rusage_system 0.003999#进程累计系统时间
STAT curr_connections 10#当前打开连接数
STAT total_connections 11#曾打开的连接总数
STAT connection_structures 11#服务器分配的连接结构数
STAT reserved_fds 20#内部使用的FD数
STAT cmd_get 0 #执行get命令总数
STAT cmd_set 0 #执行set命令总数
STAT cmd_flush 0#执行flush命令总数
STAT cmd_touch 0#执行touch命令总数
STAT get_hits 0 #get命中次数
STAT get_misses 0#get未命中次数
STAT delete_misses 0#delete未命中次数
STAT delete_hits 0#delete命中次数
STAT incr_misses 0#incr未命中次数
STAT incr_hits 0#incr命中次数
STAT decr_misses 0#decr未命中次数
STAT decr_hits 0#decr命中次数
STAT cas_misses 0#cas未命中次数
STAT cas_hits 0 #cas命中次数
STAT cas_badval 0#使用擦拭次数
STAT touch_hits 0#touch命中次数
STAT touch_misses 0#touch未命中次数
STAT auth_cmds 0#认证处理的次数
STAT auth_errors 0#认证失败次数
STAT bytes_read 7#读取字节总数
STAT bytes_written 0#写入字节总数
STAT limit_maxbytes 134217728#现在的内存大小为128M
STAT accepting_conns 1#目前接受的新接数
STAT listen_disabled_num 0#失效的监听数
STAT threads 4 #当前线程数
STAT conn_yields 0#连接操作主支放弃数目
STAT hash_power_level 16#hash等级
STAT hash_bytes 524288#当前hash表等级
STAT hash_is_expanding 0#hash表扩展大小
STAT bytes 0 #当前存储占用的字节数
STAT curr_items 0#当前存储数据总数
STAT total_items 0#启动以来存储的数据总数
STAT expired_unfetched 0#已过期但未获取的对象数目
STAT evicted_unfetched 0#已驱逐但未获取的对象数目
STAT evictions 0#LRU释放的对象数目
STAT reclaimed 0#用已过期的数据条目来存储新数据的数目
END

说明 :flush_all 清空所有项目。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
[root@memcache ~]# telnet 192.168.18.201 11211
Trying 192.168.18.201...
Connected to 192.168.18.201.
Escape character is'^]'.
set mykey 0 0 2
10
STORED
set age 0 0 2
20
STORED
get mykey age
VALUE mykey 0 2
10
VALUE age 0 2
20
END
flush_all
OK
get mykey age
END

说明:后续追加append和prepend前面插入命令。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
[root@memcache ~]# telnet 192.168.18.201 11211
Trying 192.168.18.201...
Connected to 192.168.18.201.
Escape character is'^]'.
set age 0 0 2
13
STORED
get age
VALUE age 0 2
13
END
append age 0 0 6
111111
STORED
get age
VALUE age 0 8
13111111
END
prepend age 0 0 6
111111
STORED
get age
VALUE age 0 14
11111113111111
END

4.总结

flush_all 实际上没有立即释放项目所占用的内存,而是在随后陆续有新的项目被储存时执行(这是由memcached的懒惰检测和删除机制决定的)。flush_all 效果是它导致所有更新时间早于 flush_all 所设定时间的项目,在被执行取回命令时命令被忽略。memecached还有其他命令 ,这里只是平时我们工作中经常用到的一些,在这里总结一下,与大家分享。好了,这一篇博文就到这里结束了,在下一篇博文中我们主要讲解,memcached的应用案例详解。最后想说,希望大家有所收获,^_^……

0 0
原创粉丝点击