Java使用starling分布式消息队列异步处理事务

介绍:
   Starling是一个支持MemCache协议的轻量级持久化服务器。Starling是让创建网络访问队列或者多个队列异常简单，也就是说多点和多台机器间的异步工作进程。它是著名微博客网站Twitter开发用来处理大量的队列消息，以及保持服务的响应。Starling已经在生产环境中使用，不仅是Twitter在使用，FiveRuns同样在使用。FiveRuns甚至还根据自己的应用做了改进 ，他们认为网站速度快了很多.
   这是一个支持memcache协议的轻量级持久化服务器，因此使用php/perl/ruby/java等多种客户端都没问题，可以将较慢的处理逻辑通过消息队列放在后台处理，同时也支持多点分布式处理。
   由于starling是目前twitter在生产环境中运行的，经过实践检验过，稳定性应该不成问题。

 

安装:
   1.安装linux下的开发工具包,最好使用red hat的添加删除程序安装.
 (1)在可视化窗口下载打开"添加删除程序",找到"开发->开发工具"打钩,更新.插入 对应的linux安装盘.
   2.安装ruby和ruby gem
 (1)安装钱的准备
 检查系统是否已经安装了 ruby，
 #rpm -qa | egrep '(ruby)|(irb)'
 如果已安装，而且不是你所要的版本，则需要先卸载她，如，
 #rpm -e ruby-docs-1.8.1-7.EL4.2 /
 ruby-1.8.1-7.EL4.2 /
 irb-1.8.1-7.EL4.2 /
 ruby-libs-1.8.1-7.EL4.2 /
 ruby-mode-1.8.1-7.EL4.2 /
 ruby-tcltk-1.8.1-7.EL4.2 /
 ruby-devel-1.8.1-7.EL4.2

 (2)安装 Ruby
 假设 Ruby 安装到 /usr/local/ruby
 #mkdir /usr/local/ruby
 #tar -zxvf ruby-1.8.4.tar.gz
 #cd ruby-1.8.4
 #./configure --prefix=/usr/local/ruby
 #make
 #make install

 (3)设置路径
 #vi /etc/profile
 在该文件中加入，
 RUBY_HOME=/usr/local/ruby
 PATH=$PATH:$RUBY_HOME/bin
 export RUBY_HOME PATH

 (4)检查是否安装成功
 重新登录，
 #ruby -v
 如果能显示 ruby 的版本信息（ruby 1.8.4 (2005-12-24) [i686-linux]），则说明已安装成功。

 (5)安装 Ruby Gems
 #tar -zxvf rubygems-0.9.0.tgz
 #cd rubygems-0.9.0
 #ruby setup.rb

 (6)检查是否安装成功
 #gem -v
 如果能显示 gem 的版本信息（0.9.0），则说明已安装成功。
   3.安装和运行 Starling
 (1)输入gem install memcache-client starling命令,自动安装starling.
 (2)输入#starling --help检查是否安装成功,输出帮助信息及安装成功.
 (3)启动Starling
 #starling -h 0.0.0.0 -d -p 22122
 #netstat –lnp

编写Java客户端程序:
   java客户端将使用,XMemcached作为memcache的client.  XMemcached是一个基于java nio的memcached客户端。具有速度快,支持分布式访问多个memcached服务的特点.
  1.下载XMemcached http://xmemcached.googlecode.com/files/xmemcached-1.2.0-stable-include-dependencies.zip
  2.把下载的zip解压,把里面的jar包都加到一个java项目的classpath中,还需要额外增加一个log4j的包,不然会报错.
  3.写一个放数据和一个取出数据的类
=============放数据============================
public class SetQueueTest {

 /**
  * @param args
  * @throws Exception
  */
 public static void main(String[] args) throws Exception {
  // TODO Auto-generated method stub
  //连接starling
    //XMemcachedClient是线程安全的，可以被多线程使用  
    XMemcachedClient client= new XMemcachedClient("192.168.4.243", 22122);
    while(true){
   //存储操作  
     if (!client.set("hello", 0, "dennis"+System.currentTimeMillis())){  
          System.err.println("set error");  
     }
     else{
      System.out.println("ok");
     }
     Thread.sleep(2);
    }
 }

}

=============取数据==================
public class GetQueueTest {

 public static void main(String[] args) throws Exception {
  // TODO Auto-generated method stub
  //连接starling
    //XMemcachedClient是线程安全的，可以被多线程使用  
    XMemcachedClient client= new XMemcachedClient("192.168.4.243", 22122);
  //存储操作
    while(true){
     String name=(String)client.get("hello");
    //如果队列中已经没有数据了,休息一下再试
     if(name==null){
      Thread.sleep(5);
      continue;
     }
     System.out.println(name);
   
    }
 }

}

性能测试

这是别人用php测试的结果,仅供参考.

测试条件:

key的长度16B
value的长度100B,
8个并发写入进程
每个进程插入10,000条记录
平均每个进程花了7秒完成写入操作，那么照这样计算：

10000 * 8 / 7 = 每秒写入11428次