Codis 一个分布式的 Redis 解决方案
来源:互联网 发布:模拟钢琴软件中文版 编辑:程序博客网 时间:2024/05/29 04:48
Codis源码地址:https://github.com/wandoulabs/codis
关于Codis组件可以参考:https://github.com/wandoulabs/codis/blob/master/doc/tutorial_zh.md
今天分享的这篇文章纯属个人的一些理解和使用的一些心得体会,如果错误也请朋友指出。
更重要的是为了认识一些正在使用或将要使用Codis的朋友有或多或少的帮助。
关于Codis的整体架构和功能介绍官方文档给的在详细不过了,所以我也不想在画蛇添足。
由于当前使用的是AWS的ec2主机,所以默认当前用户是ec2-user,而非root用户。
1、安装基础Go环境,所有节点均安装.
#sudoyum-yinstallgccgcc-c++makegitwgetgo#sudovim/etc/profile.d/go.shexportGOPATH=/opt/mygoexportPATH=$GOPATH/bin:$JAVA_HOME/bin:$PATH#source/etc/profile
2、安装Codis,除ZooKeeper节点外其余节点均正常安装.
#sudomkdir/opt/mygo#sudochown-Rec2-user.ec2-user/opt/mygo/#goget-u-dgithub.com/wandoulabs/codis#cd/opt/mygo/src/github.com/wandoulabs/codis/#make#makegotest
3、安装ZooKeeper,仅需要在此节点安装.
#yum-yinstalljava-1.8.0#wgethttps://www.apache.org/dist/zookeeper/zookeeper-3.4.7/zookeeper-3.4.7.tar.gz#tar-zxfzookeeper-3.4.7.tar.gz-C/opt#cd/opt/zookeeper-3.4.7#cpconf/zoo_sample.cfgconf/zoo.cfg#mkdir/data/{zookeeper,logs}-p#sudovimconf/zoo.cfgdataLogDir=/data/logsdataDir=/data/zookeeperserver.1=localhost:2888:3888#vim/data/zookeeper/myid1#vim/etc/profile.d/zookeeper.shPATH=$PATH:/opt/zookeeper-3.4.7/bin#source/etc/profile#sudo/opt/zookeeper-3.4.7/bin/zkServer.shstartconf/zoo.cfg#netstat-alnut|grep2181#nc-vlocalhost2181#zkServer.shstatus#查看ZooKeeper的角色(leader|follower|standalone)#zkCli.sh-server127.0.0.1:2181ls/create/Testhellozkget/Testset/Testhellozookeeperget/Testdelete/Testget/Testquit
4、启动codis-redis服务.仅需要在redis节点.
#sudomkdir/etc/redis#cd/opt/mygo/src/github.com/wandoulabs/codis#sudo./bin/codis-server/etc/redis/redis.conf#sudonetstat-tnlp|grepcodis-se
5、在dashbaord节点上操作.
1>配置dashboard服务#cd/opt/mygo/src/github.com/wandoulabs/codis/#mkdir/etc/codis#cpconfig.ini/etc/codis/codis-config.ini#vimvim/etc/codis/codis-config.inizk=172.31.16.33:2181product=cn_release_codisdashboard_addr=localhost:18087proxy_id=proxy_1proto=tcp42>启动dashboard服务#cd/opt/mygo/src/github.com/wandoulabs/codis/#./bin/codis-config-c/etc/codis/codis-config.inidashboard3>初始化slots(该命令会在zookeeper上创建slot相关信息)#cd/opt/mygo/src/github.com/wandoulabs/codis/#./bin/codis-config-c/etc/codis/codis-config.inislotinit4>强制格式化slot#./bin/codis-config-c/etc/codis/codis-config.inislotinit
6、添加codis-group-redis
> 添加第一组codis
#./bin/codis-config-c/etc/codis/codis-config.iniserveradd1172.31.51.119:6379master#./bin/codis-config-c/etc/codis/codis-config.iniserveradd1172.31.51.125:6379slave
> 添加第二组codis
#./bin/codis-config-c/etc/codis/codis-config.iniserveradd2172.31.51.126:6379master#./bin/codis-config-c/etc/codis/codis-config.iniserveradd2172.31.51.124:6379slave
> 开启分片
#./bin/codis-config-c/etc/codis/codis-config.inislotrange-set05111online#./bin/codis-config-c/etc/codis/codis-config.inislotrange-set51210232online
> 扩容,在线添加新分片
#./bin/codis-config-ccodis-config.iniserveradd3192.168.10.131:6381master#./bin/codis-config-ccodis-config.iniserveradd3192.168.10.132:6381slave#./bin/codis-config-ccodis-config.inislotmigrate2565113
7、启动codis-proxy服务.
比如线上有两个Codis-proxy服务.
#cd/opt/mygo/src/github.com/wandoulabs/codis/#mkdir/etc/codis#cpconfig.ini/etc/codis/codis-proxy.ini#vim/etc/codis/codis-proxy.inizk=172.31.51.123:2181product=cn_release_codisdashboard_addr=172.31.51.120:18087proxy_id=proxy_1proto=tcp4#./bin/codis-proxy-c/etc/codis/codis-proxy.ini-L/var/log/codis_proxy.log--cpu=1--addr=172.31.51.122:19000--http-addr=172.31.51.122:11000#cd/opt/mygo/src/github.com/wandoulabs/codis/#mkdir/etc/codis#cpconfig.ini/etc/codis/codis-proxy.ini#vim/etc/codis/codis-proxy.inizk=172.31.51.123:2181product=cn_release_codisdashboard_addr=172.31.51.120:18087proxy_id=proxy_2proto=tcp4#./bin/codis-proxy-c/etc/codis/codis-proxy.ini-L/var/log/codis_proxy.log--cpu=1--addr=172.31.51.121:19000--http-addr=172.31.51.121:11000
8、dashboard监控页面
http://:18087/admin/
9、移除分片流程
---假设将分片3移除---1.设置codis-proxy为offline状态../bin/codis-config-ccodis-config.iniproxyofflineproxy_12.迁移分片3上的数据到分片1./bin/codis-config-ccodis-config.inislotmigrate25651113.彻底移除分片3./bin/codis-config-ccodis-config.iniserverremove-group3
10、codis-server的HA
#exportGOPATH=/opt/mygo#gogetgithub.com/ngaut/codis-ha#cp/opt/mygo/bin/codis-ha/opt/mygo/src/github.com/wandoulabs/codis/bin/#cd/opt/mygo/src/github.com/wandoulabs/codis/#./bin/codis-ha-codis-config="localhost:18087"-log-level="info"-productName="cn_release_codis"
遇到的问题以及解决办法,也希望这部分对朋友有用。
(1)
2015/12/1116:49:10dashboard.go:160:[INFO]dashboardlisteningonaddr::180872015/12/1116:49:10dashboard.go:234:[PANIC]createzknodefailed[error]:dashboardalreadyexists:{"addr":"172.31.16.30:18087","pid":7762}
解决办法:
这种问题是由于使用了kill -9导致了dashboard服务异常终止,而退出服务的时候没有在zk上清除自已的信息,所以就出现了这种问题。
所以我们在停止codis集群的任何服务的时候都不要轻易使用kill -9,可以使用kill.
如果使用kill,那么服务在终止的时候也会自动的到zk上清除自已的信息,下次再启动的时候会立刻注册。
临时性的解决办法就是:
# rmr /zk/codis/db_codis_proxy_test/dashboard
(2)
dashboard提供的api接口
http://debugAddr/setloglevel?level=debug
http://debugAddr/debug/vars #主要是获取ops信息的还可以设置日志级别
浏览器访问proxy的debug_addr对应地址/debug/vars路径,可以看到每个proxy的qps信息。
(3)
codis-proxy的服务日志中产生的信息解释。
quit : client主动发的quit指令
EOF : 连接直接断开了,就是proxy从client的tcp读的时候遇到EOF了
codis每次主动关闭client的连接都会打log的,一般来说主要可能有:
非法操作、该请求连的底层redis挂了、这个session很久没请求触发了proxy这边的清理逻辑。
第三个可能更大些,看时间是6点多,是不是你们的访问量不大?
session_max_timeout=1800
如果30分钟内没有任何ops 那么codis就主动关闭这个连接。
嗯,主要是有人反馈说他们的环境下有时候client主动关了连接但是proxy这边没收到close的消息,导致proxy这边最后积累了一大堆连接把资源吃满了
(4)
NaN GB
因为redis配置文件中没有设置内存maxmemory参数
(5)
codis中所有的读写操作都是在redis-master上执行的,redis-slave只负责数据的冗余,当master出现down之后 可以进行master和slave的切换。
(6)******
在codis集群中product是用来区分是否为同一个集群的。所以如果是同一个集群,那么dashboard和codis-proxy中的product要设置的一样。否则就面临的下面这个问题
zk: node does not exist
codis-proxy配置文件中的proxy_id 是用来区分同一个集群下的不同成员,所以这个参数要唯一。
(7)
codis-ha只负责在master挂掉的时候自动选择一个slave提升为master,但没有把剩余的slave重新挂在新的master上,而且也没有确保选择的slave是最优的
(8)
Too many open files
在用python多线程对redis进行压力测试的时候,压力超过4000的时候就出现这种问题。
2台codis-proxy支持并发2-3w没有太大的问题。
(9)
dashboard服务即使停止也不会影响app通过codis-proxy正常的访问redis服务。
但是会影响codis-ha服务,则主备不会自动切换啦.
意思也就是dashboard服务如果停止,那么app还是可以正常访问redis的,但是codis-ha会终止运行期。
(10)
同一个group中可以实现redis数据的主从复制,但是不同的group中无法实现。
如果同一个group中所有的master和slave都挂掉了,那么数据就丢失了,但是你如果还查询挂掉的group中的key就会提示错误。并且那个key也就会占用啦。
所有的写操作codis-proxy就不会发送到挂掉的group上去了。
(11)
同一个Group中的codis-server 实例下,多个slave 是否会分担master的读请求?
codis的设计理念是更注重一致性,redis的主从同步不是强一致的,因此codis不支持读写分离
(12)
一个集群中只能有一个dashboard服务出于运行状态,可以有多个 但是同时只能有一个服务出于running状态。
如果正在使用Codis的朋友,那么肯定也会遇到这样一个问题,就是关于dashboard的登录认证问题。在这里我做了一个基于nginx的用户登录认证,配置如下。
当时我在做这个登录认证的时候,也花了2~3小时才解决,不是因为多么复杂,是因为dashboard很多都是基于api来获取数据的,如果少了配置中rewrite重定向那么就会只显示页面 而获取不到数据。切记
下一篇Codis文章补充部分:
Codis集群中每个角色服务强烈建议成server式的服务启动脚本,这个我已经完成了,但是还是需要调整。
关于Dashboard服务的监控,我认为更多的是Redis主从,这个我也会在下篇讲解遇到Redis的坑。
由于dashboard没有友好的登录认证机制,建议关闭dashboard服务,而另外开发一个可查看但是没有权限操作的可视化界面。
- Codis 一个分布式的 Redis 解决方案
- redis的分布式解决方案--codis
- redis的分布式解决方案--codis
- Codis——分布式Redis服务的解决方案
- 基于Codis的Redis分布式缓存实现
- Redis 集群解决方案 Codis
- Redis集群解决方案codis
- 分布式缓存Redis+codis集群
- centos7-codis安装部署,解决redis分布式的方案
- redis的分布式解决方式--codis (转)
- Ping CAP CTO、Codis作者谈redis分布式解决方案和分布式KV存储
- Ping CAP CTO、Codis作者谈redis分布式解决方案和分布式KV存储
- 在Centos上搭建Codis的Redis 集群解决方案
- [REDIS]: Codis作者黄东旭细说分布式Redis架构设计和踩过的那些坑
- 豌豆夹Redis解决方案Codis安装使用
- 豌豆夹Redis解决方案Codis安装使用
- Spark生态系统解析及基于Redis的开源分布式服务Codis
- Spark生态系统解析及基于Redis的开源分布式服务Codis
- 对象间的联动——观察者模式(二)
- java线程中run和start方法的区别
- 移动距离
- python七彩数码管绘制
- mybatis 优点
- Codis 一个分布式的 Redis 解决方案
- MySQL中char、varchar和text的区别
- 训练总结 12.3
- Android 创建文件
- hdoj-2570迷瘴(贪心,数学)
- v4l2(video for Linux)学习资料
- 《Thinking in Java》对继承的介绍
- map函数应用
- C++ 中sort 函数及 cmp 自定义规则的使用