redis入门

NoSQL介绍（1）

• NoSQL(NoSQL = Not Only SQL )，意即“不仅仅是SQL”，是一项全新的数据库革命性运动，早期就有人提出，发展至2009年趋势越发高涨。NoSQL的拥护者们提倡运用非关系型的数据存储，相对于铺天盖地的关系型数据库运用，这一概念无疑是一种全新的思维的注入。
  
  
• NoSQL，泛指非关系型的数据库。随着互联网web2.0网站的兴起，传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。
  
  
• NoSQL是以key-value形式存储，它不一定遵循传统数据库的一些基本要求，比如说遵循SQL标准、ACID属性、表结构等等。相比传统数据库，叫它分布式数据管理系统更贴切，数据存储被简化更灵活，重点被放在了分布式数据管理上。
  
  
• 几种主流的NoSQL数据库
  – BigTable
  – Hbase
  – Redis
  – MongoDB

Redis介绍（1）

• Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。从2010年3月15日起，Redis的开发工作由VMware主持。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)和zset(有序集合)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，并且这些操作都是原子性的。在此基础上，redis支持各种不同方式的排序。与memcacheed一样，为了保证效率，数据都是缓存到内存中，区别是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了master-slave(主从)同步。

• 相比memcached的优势：
  –value类型更丰富
  –数据操作方法更多
  –可将内存数据持久化到硬盘

Redis介绍（2）

• Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。从2010年3月15日起，Redis的开发工作由VMware主持。

• Redis能运行在大多数POSIX(Linux, *BSD, OS X 和Solaris等)系统上，官方没有支持Windows的版本。目前最新的版本是2.8.14，这个版本主要是修复了一个2.2.7版本中遍历方式优化带来的一个bug。

• 和普通的Key-Value结构不同，Redis的Key支持灵活的数据结构，除了strings，还有hashes、lists、 sets 和sorted sets等结构。正是这些灵活的数据结构，丰富了Redis的应用场景，能满足更多业务上的灵活存储需求。

• Redis的数据都保存在内存中，而且底层实现上是自己写了epoll event loop部分，而没有采用开源的libevent等通用框架，所以读写效率很高。为了实现数据的持久化，Redis支持定期刷新(可通过配置实现)或写日志的方式来保存数据到磁盘。

Redis介绍（3）

• 提供的API语言包括：C、C++、C#、Clojure、Common Lisp、Erlang、Haskell、Java、Javascript、Lua、Objective-C、Perl、PHP、Python、Ruby、Scala、Go、Tcl。

Redis的应用场景

• 目前全球最大的Redis用户腾讯微博、新浪微博，在新浪有200多台物理机，400多个端口运行着Redis，有+5G的数据在redis上来为微博用户提供服务。另外Redis常用的功能还有：
  (1)、取最新N个数据的操作
  (2)、排行榜应用，取TOP N操作
  (3)、需要精准设定过期时间的应用
  (4)、计数器应用
  (5)、Uniq操作，获取某段时间所有数据排重值
  (6)、实时系统，反垃圾系统
  (7)、Pub/Sub构建实时消息系统
  (8)、构建队列系统
  (9)、缓存

• 

Redis的安装与部署

• 

• 步骤一：编译安装
  下载redis-2.8.13.tar.gz到任意目录

tar -xvf redis-2.8.13.tar.gz，比如/usr/local/redis-2.8.13mv redis-2.8.13 rediscd  /usr/local/redis make    make install

拷贝文件

cp redis.conf /etc/ 这个文件时redis启动的配置文件cp redis-benchmark redis-cli redis-server /usr/bin/

这个倒是很有用，这样就不用再执行时加上./了，而且可以在任何地方执行。
注意事项：linux版本为32位，使用#make CFLAGS=”-march=i686”

• 步骤二：启动Redis服务

cd src/./redis-server ../redis.conf 

Redis服务器默认端口号：6379
启动前修改redis.conf的daemonize yes –守护进程启动

• 步骤三：测试是否安装成功

客户端连接 #./redis-cli -h IP -p Port本机客户端操作#./redis-cli192.168.126.128:6379> set name haobaoOK192.168.126.128:6379> get name"haobao"

• 步骤四：关闭Redis

./redis-cli shutdownredis服务关闭后，缓存数据会自动dump到硬盘上，硬盘地址为redis.conf中的配置项dbfilename dump.rdb所设定强制备份数据到磁盘，使用如下命令：redis-cli save 或者 redis-cli -p 6380 save（指定端口）

Redis配置文件介绍

使用配置文件启动：src/redis-server redis.conf
主要配置项：
Redis支持很多的参数，但都有默认值。
　　●daemonize:
　　默认情况下，redis不是在后台运行的，如果需要在后台运行，把该项的值更改为yes。
　　●pidfile
　　当Redis在后台运行的时候，Redis默认会把pid文件放在/var/run/redis.pid，你可以配置到其他地址。当运行多个redis服务时，需要指定不同的pid文件和端口。
　　●bind
　　指定Redis只接收来自于该IP地址的请求，如果不进行设置，那么将处理所有请求，在生产环境中最好设置该项。
　　●port
　　监听端口，默认为6379。
　　●timeout
　　设置客户端连接时的超时时间，单位为秒。当客户端在这段时间内没有发出任何指令，那么关闭该连接。
　　●loglevel
　　log等级分为4级，debug, verbose, notice, 和warning。生产环境下一般开启notice。
　　●logfile
　　配置log文件地址，默认使用标准输出，即打印在命令行终端的窗口上。
　　●databases
　　设置数据库的个数，可以使用SELECT 命令来切换数据库。默认使用的数据库是0。
●save
　　设置Redis进行数据库镜像的频率。
　　if(在60秒之内有10000个keys发生变化时){
　　进行镜像备份
　　}else if(在300秒之内有10个keys发生了变化){
　　进行镜像备份
　　}else if(在900秒之内有1个keys发生了变化){
　　进行镜像备份
　　}
●rdbcompression
　　在进行镜像备份时，是否进行压缩。
●dbfilename
　　镜像备份文件的文件名。
●dir
　　数据库镜像备份的文件放置的路径。这里的路径跟文件名要分开配置是因为Redis在进行备份时，先会将当前数据库的状态写入到一个临时文件中，等备份完成时，再把该该临时文件替换为上面所指定的文件，而这里的临时文件和上面所配置的备份文件都会放在这个指定的路径当中。
●slaveof
　　设置该数据库为其他数据库的从数据库。
●masterauth
　　当主数据库连接需要密码验证时，在这里指定。
　　
●requirepass
　　设置客户端连接后进行任何其他指定前需要使用的密码。警告：因为redis速度相当快，所以在一台比较好的服务器下，一个外部的用户可以在一秒钟进行150K次的密码尝试，这意味着你需要指定非常非常强大的密码来防止暴力破解。
●maxclients
　　限制同时连接的客户数量。当连接数超过这个值时，redis将不再接收其他连接请求，客户端尝试连接时将收到error信息。
●maxmemory
　　设置redis能够使用的最大内存。当内存满了的时候，如果还接收到set命令，redis将先尝试剔除设置过expire信息的key，而不管该key的过期时间还没有到达。在删除时，将按照过期时间进行删除，最早将要被过期的key将最先被删除。如果带有expire信息的key都删光了，那么将返回错误。这样，redis将不再接收写请求，只接收get请求。maxmemory的设置比较适合于把redis当作于类似memcached的缓存来使用。
●appendonly
　　默认情况下，redis会在后台异步的把数据库镜像备份到磁盘，但是该备份是非常耗时的，而且备份也不能很频繁，如果发生诸如拉闸限电、拔插头等状况，那么将造成比较大范围的数据丢失。所以redis提供了另外一种更加高效的数据库备份及灾难恢复方式。开启append only模式之后，redis会把所接收到的每一次写操作请求都追加到appendonly.aof文件中，当redis重新启动时，会从该文件恢复出之前的状态。但是这样会造成appendonly.aof文件过大，所以redis还支持了BGREWRITEAOF指令，对appendonly.aof进行重新整理。所以我认为推荐生产环境下的做法为关闭镜像，开启appendonly.aof，同时可以选择在访问较少的时间每天对appendonly.aof进行重写一次。
●appendfsync
　　设置对appendonly.aof文件进行同步的频率。always表示每次有写操作都进行同步，everysec表示对写操作进行累积，每秒同步一次。这个需要根据实际业务场景进行配置。
●vm-enabled
　　是否开启虚拟内存支持。因为redis是一个内存数据库，而且当内存满的时候，无法接收新的写请求，所以在redis 2.0中，提供了虚拟内存的支持。但是需要注意的是，redis中，所有的key都会放在内存中，在内存不够时，只会把value值放入交换区。这样保证了虽然使用虚拟内存，但性能基本不受影响，同时，你需要注意的是你要把vm-max-memory设置到足够来放下你的所有的key。
●vm-swap-file
　　设置虚拟内存的交换文件路径。
　　●vm-max-memory
　　这里设置开启虚拟内存之后，redis将使用的最大物理内存的大小。默认为0，redis将把他所有的能放到交换文件的都放到交换文件中，以尽量少的使用物理内存。在生产环境下，需要根据实际情况设置该值，最好不要使用默认的0。
　　●vm-page-size
　　设置虚拟内存的页大小，如果你的value值比较大，比如说你要在value中放置博客、新闻之类的所有文章内容，就设大一点，如果要放置的都是很小的内容，那就设小一点。
　　●vm-pages
　　设置交换文件的总的page数量，需要注意的是，page table信息会放在物理内存中，每8个page就会占据RAM中的1个byte。总的虚拟内存大小 = vm-page-size * vm-pages。
●vm-max-threads
　　设置VM IO同时使用的线程数量。因为在进行内存交换时，对数据有编码和解码的过程，所以尽管IO设备在硬件上本上不能支持很多的并发读写，但是还是如果你所保存的vlaue值比较大，将该值设大一些，还是能够提升性能的。
　　●glueoutputbuf
　　把小的输出缓存放在一起，以便能够在一个TCP packet中为客户端发送多个响应，具体原理和真实效果我不是很清楚。所以根据注释，你不是很确定的时候就设置成yes。
　　●hash-max-zipmap-entries
　　在redis 2.0中引入了hash数据结构。当hash中包含超过指定元素个数并且最大的元素没有超过临界时，hash将以一种特殊的编码方式(大大减少内存使用)来存储，这里可以设置这两个临界值。
　　●activerehashing
　　开启之后，redis将在每100毫秒时使用1毫秒的CPU时间来对redis的hash表进行重新hash，可以降低内存的使用。当你的使用场景中，有非常严格的实时性需要，不能够接受Redis时不时的对请求有2毫秒的延迟的话，把这项配置为no。如果没有这么严格的实时性要求，可以设置为yes，以便能够尽可能快的释放内存。

Redis集群搭建

1. 下载redis。官网下载3.0.0以上版本版本，之前2.几的版本不支持集群模式
2. 上传服务器，解压，编译

tar -zxvf redis-3.0.0-rc2.tar.gz mv redis-3.0.0-rc2.tar.gz redis3.0cd /usr/local/redis3.0make MALLOC=libcmake install

1. 创建集群需要的目录

mkdir -p /usr/local/clustercd /usr/local/clustermkdir 7000mkdir 7001mkdir 7002mkdir 7003mkdir 7004mkdir 7005

1. 修改配置文件redis.conf

cp /usr/local/redis3.0/redis.conf  /usr.local/clustervi redis.conf##修改配置文件中的下面选项port 7000daemonize yescluster-enabled yescluster-config-file nodes.confcluster-node-timeout 5000appendonly yes##修改完redis.conf配置文件中的这些配置项之后把这个配置文件分别拷贝到7000/7001/7002/7003/7004/7005目录下面cp /usr/local/cluster/redis.conf /usr/local/cluster/7000cp /usr/local/cluster/redis.conf /usr/local/cluster/7001cp /usr/local/cluster/redis.conf /usr/local/cluster/7002cp /usr/local/cluster/redis.conf /usr/local/cluster/7003cp /usr/local/cluster/redis.conf /usr/local/cluster/7004cp /usr/local/cluster/redis.conf /usr/local/cluster/7005

注意：拷贝完成之后要修改7001/7002/7003/7004/7005目录下面redis.conf文件中的port参数，分别改为对应的文件夹的名称
5. 分别启动这6个redis实例

cd /usr/local/cluster/7000redis-server redis.confcd /usr/local/cluster/7001redis-server redis.confcd /usr/local/cluster/7002redis-server redis.confcd /usr/local/cluster/7003redis-server redis.confcd /usr/local/cluster/7004redis-server redis.confcd /usr/local/cluster/7005redis-server redis.conf

1. 启动之后使用命令查看redis的启动情况

ps -ef|grep redis

1. 执行redis的创建集群命令创建集群

cd /usr/local/redis3.0/src./redis-trib.rb  create --replicas 1 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005