程序博客网 > 淘宝上的假冒伪劣食品

用cobar搭建分布式数据库 .

来源：互联网 发布：淘宝上的假冒伪劣食品 编辑：程序博客网 时间：2024/05/23 00:06

周末针对最新的项目需求进行cobar的搭建并针对实际状况做了demo演示

一、需求

1、大数据量，邮件发送记录需要记录，一年可能累计4亿的数据

2、需要按照邮箱进行邮件发送明细的查询以及发送记录的查询


二、问题

1、单库分表分区已经解决不了存储以及查询问题

2、只能进行一致性hash的策略进行数据存储以及查询，放弃了一些便利性查询统计


三、实施方案，数据库采用mysql，使用cobar针对分区库和主库进行整合

整合步骤如图，看不清可以下载附件看


四、相关配置文件以及工具文件如下

1、操作指南：edm-cobar操作指南.txt

[html] view plaincopyprint?
  1. 1、mysql -h192.168.20.65 -uroot -p1q2w3e -P8066  
  2. 2、show databases;  
  3. 3、use edm;  
  4. 4、show tables;  
  5.   
  6.   
  7.   
  8. note:  
  9. 1、cobar server作为代理，安装在20.65上，并且以root/1q2w3e为口令，8066为服务端口提供了数据库代理服务  
  10. 具体路径/usr/local/cobar***  
  11. 2、我们的数据库可以以这个代理服务器为访问端口，按照email这个字符串进行水平的hash路由到各个水平节点上  
  12. 3、对于不需要水平拆分的表，我们也可以直接通过20.65提供的这个edm服务访问  
  13.   
  14. warning：  
  15. 1、直接用sqlyog软件访问这个代理数据库可能会报错，因为获取数据问题。不过我们可以直接通过cmd来查询。  
  16. 2、我们的数据校验，可以通过直接访问各个节点进行数据校验  
  17.    


2、实施策略图片：EDM分布式数据库策略之Cobar.jpeg


3、cobar的相关配置文件：rule.xml,schema.xml,server.xml

[html] view plaincopyprint?
  1. <?xml version="1.0" encoding="UTF-8"?>  
  2. <!--  
  3.  - Copyright 1999-2012 Alibaba Group.  
  4.  -    
  5.  - Licensed under the Apache License, Version 2.0 (the "License");  
  6.  - you may not use this file except in compliance with the License.  
  7.  - You may obtain a copy of the License at  
  8.  -    
  9.  -      http://www.apache.org/licenses/LICENSE-2.0  
  10.  -    
  11.  - Unless required by applicable law or agreed to in writing, software  
  12.  - distributed under the License is distributed on an "AS IS" BASIS,  
  13.  - WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.  
  14.  - See the License for the specific language governing permissions and  
  15.  - limitations under the License.  
  16. -->  
  17. <!DOCTYPE cobar:schema SYSTEM "schema.dtd">  
  18. <cobar:schema xmlns:cobar="http://cobar.alibaba.com/">  
  19.   
  20.   <!-- schema定义 -->  
  21.   <schema name="edm" dataNode="dnEdm">  
  22.     <table name="email_info" dataNode="dn_shardx$0-7,dn_shardy$0-7" rule="email_rule" />  
  23.     <table name="email_info_detail" dataNode="dn_shardx$0-7,dn_shardy$0-7" rule="email_rule" />  
  24.   </schema>  
  25.   
  26.   <!-- 数据节点定义，数据节点由数据源和其他一些参数组织而成。-->  
  27.   <dataNode name="dnEdm">  
  28.     <property name="dataSource">  
  29.       <dataSourceRef>db_edmx[0]</dataSourceRef>  
  30.     </property>  
  31.   </dataNode>  
  32.   
  33.   <dataNode name="dn_shardx">  
  34.     <property name="dataSource">  
  35.       <dataSourceRef>db_edmx$1-8</dataSourceRef>  
  36.     </property>  
  37.   </dataNode>  
  38.   
  39.   <dataNode name="dn_shardy">  
  40.     <property name="dataSource">  
  41.       <dataSourceRef>db_edmy$0-7</dataSourceRef>  
  42.     </property>  
  43.   </dataNode>  
  44.   
  45.   <!-- 数据源定义，数据源是一个具体的后端数据连接的表示。-->  
  46.   <dataSource name="db_edmx" type="mysql">  
  47.     <property name="location">  
  48.       <!--edm  总库-->  
  49.       <location>192.168.20.182:3306/edm_hd</location>  
  50.   
  51.       <location>192.168.20.182:3306/edmshard$1-8</location>  
  52.   
  53.     </property>  
  54.     <property name="user">root</property>  
  55.     <property name="password">your_password</property>  
  56.     <property name="sqlMode">STRICT_TRANS_TABLES</property>  
  57.   </dataSource>  
  58.   
  59.   <dataSource name="db_edmy" type="mysql">  
  60.     <property name="location">  
  61.       <location>192.168.119.158:3306/edmshard$9-16</location>  
  62.     </property>  
  63.     <property name="user">root</property>  
  64.     <property name="password">your_password</property>  
  65.     <property name="sqlMode">STRICT_TRANS_TABLES</property>  
  66.   </dataSource>  
  67. </cobar:schema>  

[html] view plaincopyprint?
  1. <!DOCTYPE cobar:rule SYSTEM "rule.dtd">  
  2. <cobar:rule xmlns:cobar="http://cobar.alibaba.com/">  
  3.   
  4.   <!-- 路由规则定义，定义什么表，什么字段，采用什么路由算法 -->  
  5.   <tableRule name="email_rule">  
  6.     <rule>  
  7.       <columns>email</columns>  
  8.       <algorithm><![CDATA[ efunc(${email}) ]]></algorithm>  
  9.     </rule>  
  10.   </tableRule>  
  11.   
  12.   <!-- 路由函数定义 -->  
  13.   <function name="efunc" class="com.alibaba.cobar.route.function.PartitionByString">  
  14.     <property name="partitionCount">16</property>  
  15.     <property name="partitionLength">64</property>  
  16.   </function>  
  17.   
  18. </cobar:rule>  

[html] view plaincopyprint?
  1. <?xml version="1.0" encoding="UTF-8"?>  
  2. <!--  
  3.  - Copyright 1999-2012 Alibaba Group.  
  4.  -    
  5.  - Licensed under the Apache License, Version 2.0 (the "License");  
  6.  - you may not use this file except in compliance with the License.  
  7.  - You may obtain a copy of the License at  
  8.  -    
  9.  -      http://www.apache.org/licenses/LICENSE-2.0  
  10.  -    
  11.  - Unless required by applicable law or agreed to in writing, software  
  12.  - distributed under the License is distributed on an "AS IS" BASIS,  
  13.  - WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.  
  14.  - See the License for the specific language governing permissions and  
  15.  - limitations under the License.  
  16. -->  
  17. <!DOCTYPE cobar:server SYSTEM "server.dtd">  
  18. <cobar:server xmlns:cobar="http://cobar.alibaba.com/">  
  19.     
  20.   <!-- 系统参数定义，服务端口、管理端口，处理器个数、线程池等。 -->  
  21.   <!--  
  22.   <system>  
  23.     <property name="serverPort">8066</property>  
  24.     <property name="managerPort">9066</property>  
  25.     <property name="initExecutor">16</property>  
  26.     <property name="timerExecutor">4</property>  
  27.     <property name="managerExecutor">4</property>  
  28.     <property name="processors">4</property>  
  29.     <property name="processorHandler">8</property>  
  30.     <property name="processorExecutor">8</property>  
  31.     <property name="clusterHeartbeatUser">_HEARTBEAT_USER_</property>  
  32.     <property name="clusterHeartbeatPass">_HEARTBEAT_PASS_</property>  
  33.   </system>  
  34.   -->  
  35.   
  36.   <!-- 用户访问定义，用户名、密码、schema等信息。 -->  
  37.   <user name="root">  
  38.     <property name="password">1q2w3e</property>  
  39.     <property name="schemas">edm</property>  
  40.   </user>  
  41.   <!--  
  42.   <user name="root">  
  43.     <property name="password"></property>  
  44.   </user>  
  45.   -->  
  46.   
  47.   <!-- 集群列表定义，指定集群节点的主机和权重，用于集群间的心跳和客户端负载均衡。 -->  
  48.   <!--   
  49.   <cluster>  
  50.     <node name="cobar1">  
  51.       <property name="host">127.0.0.1</property>  
  52.       <property name="weight">1</property>  
  53.     </node>  
  54.   </cluster>  
  55.    -->  
  56.      
  57.   <!-- 隔离区定义，可以限定某个主机上只允许某个用户登录。 -->  
  58.   <!--  
  59.   <quarantine>  
  60.     <host name="1.2.3.4">  
  61.       <property name="user">test</property>  
  62.     </host>  
  63.   </quarantine>  
  64.   -->  
  65.   
  66. </cobar:server>  


4、测试数据文件：edm_demo.sql



5、生成测试sql的java类：GenShardSql.java  你可以自己生成测试数据以及测试库了

package com.gen.sql;public class GenShardSql {/** * @param args */public static void main(String[] args) {// TODO Auto-generated method stub//通过cobar进行数据展示String a="use edm;";System.out.println(a);System.out.println("/**==================================================**/");GenShardSql gss=new GenShardSql();//清理主库以及分区库gss.clearDate();System.out.println("/**==================================================**/");//给主库增加数据gss.println_edm_hd(100);System.out.println("/**==================================================**/");//给分区库增加数据gss.println_email_info(100);System.out.println("/**==================================================**/");gss.println_email_info_detail(100);System.out.println("/**==================================================**/");//修改数据gss.modifyEmailData(1, 16, 88888);//初始化分区库gss.initdb(1, 16);}public void clearDate(){//清理主库String del="delete from edm_users;";System.out.println(del);//清理分区库del="delete from email_info;";System.out.println(del);//清理分区库del="delete from email_info_detail;";System.out.println(del);}public void println_email_info(int num){String a="";for(int i=0;i<num;i++){a="insert  into email_info(email,num,note) values (\'hdedm"+i+"@hc360.com\',"+i+",\'aa\');";System.out.println(a);}}public void println_email_info_detail(int num){String b="";for(int i=0;i<num;i++){b="insert  into email_info_detail(email,num_a,num_b) values ('hdedm"+i+"@hc360.com',"+i+","+-i+");";System.out.println(b);}}public void println_edm_hd(int num){String a="use edm;";System.out.println(a);String b="";for(int i=0;i<num;i++){ b="insert into edm_users(name,email,password,grouptype,dateline) values (\'edm_hd"+i+"\',\'edm_hd"+i+"@hc360.com\',\'psw"+i+"\',\'1\',UNIX_TIMESTAMP(CURRENT_TIMESTAMP));"; System.out.println(b);}}/**初始化分区DB*/public void initdb(int start,int end){for(int i=start;i<=end;i++){String create="create database if not exists `edmshard"+i+"`;";String use="USE `edmshard"+i+"`;";String drop1="DROP TABLE IF EXISTS `email_info`;";String c_t1="CREATE TABLE `email_info` (  `email` varchar(300) CHARACTER SET utf8 DEFAULT NULL, `num` int(10) DEFAULT NULL,  `note` varchar(500) CHARACTER SET utf8 DEFAULT NULL,`create_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP) ENGINE=MyISAM DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci;";String drop2="DROP TABLE IF EXISTS `email_info_detail`;";String c_t2="CREATE TABLE `email_info_detail` (  `email` varchar(300) COLLATE utf8_unicode_ci DEFAULT NULL,  `num_a` int(10) DEFAULT 0,  `num_b` int(10) DEFAULT 0,  `create_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP) ENGINE=MyISAM DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci;";System.out.println(create);System.out.println(use);System.out.println(drop1);System.out.println(c_t1);System.out.println(drop2);System.out.println(c_t2);System.out.println("/**==================================================**/");}}/** * 根据邮箱更改某个分区的数据 * */public void modifyEmailData(int start,int end,int val){String ms="";for(int i=start;i<end;i++){ms="update email_info ei set ei.num="+val+", ei.create_time=now() where ei.email=\'hdedm"+i+"@hc360.com\';";System.out.println(ms);}System.out.println("/**==================================================**/");for(int i=start;i<end;i++){ms="update email_info_detail eid set eid.num_a="+val+", eid.create_time=now() where eid.email=\'hdedm"+i+"@hc360.com\';";System.out.println(ms);}System.out.println("/**==================================================**/");} }

0 0
淘宝上的假冒伪劣食品 淘宝上的假冒伪劣食品
原创粉丝点击
热门IT博客
python编写登录界面python编写登录界面
陕西省大数据集团招聘陕西省大数据集团招聘
怎么做淘宝网
桃园机场免税店mac
python怎样图形界面
做网络博客代理赚钱吗
php程序员适合女生吗
apache html
淘宝编辑宝贝教程视频
php 整数减小数
玫瑰人生电影知乎
黄子华 知乎
2016年网络交易额
淘宝买鞋哪家店好
张思然淘宝店名字
怎么查淘宝账号权重
fc2视频域名2016
淘宝假货凭证
横屏软件下载
淘宝号怎样会被冻结
热门问题 老师的惩罚 人脸识别 我在镇武司摸鱼那些年 重生之率土为王 我在大康的咸鱼生活 盘龙之生命进化 天生仙种 凡人之先天五行 春回大明朝 姑娘不必设防，我是瞎子 陨石的拼音 陨石鉴定网 中国陨石吧 陨石吧 图片陨石 陨石作用 陨石的图片 陨石读音 陨石特征 陨石之恋 陨石之约 陨石价钱 假陨石图片 中国陨石 陨石的特征 陨石浩劫 石陨石 石陨石特征 陨石的作用 陨石网 石陨石鉴定 陨石市场价 石陨石 价格 陨石市场 陨石陨石 陨石怎么卖 红陨石 陨石天降 陨石剑 陨石交流会 陨石种类 陨石价值 吉林陨石博物馆 吉林市陨石博物馆介绍 1976年陨石坠落预示什么 陨石或坠落吉林aa 东北陨石坠落 陨石的特征和鉴别方法 月亮陨石图片价格大全图 黑玻璃陨石价格 火星陨石的特征图片

程序博客网，程序员的互联网技术博客家园。csdn论坛精品 msdn技术资料都在这里