mondrian使用测试

     mondrian是一个OLAP引擎，和OLTP不同的是，OLAP是建立在物理表以上的一个逻辑模型，称为一个立方体，这个立方体的建立是通过指定可选的维度和度量，每一个维度有一个维度表，维度有层次信息。OLAP的查找是通过一种MDX表中实现的，类似于OLTP的sql语法，MDX有自己的语法，不过它只规范了查询语句，因为OLAP中不会对数据进行修改，因此OLAP执行的过程中有两个方面，首先就是对模型的定义，在mondrian中，逻辑模型的定义是通过xml的方式交给mondrian解析的，对于这个模型的查询是通过MDX格式的语句完成的，下面通过一个实例调用mondrian接口看一下mondrian的使用。

package mondrianTest;import java.io.PrintWriter;import mondrian.olap.Connection;import mondrian.olap.DriverManager;import mondrian.olap.Query;import mondrian.olap.Result;public class TestMDX {public void testQuery(){       Connection connection = DriverManager.getConnection("Provider=mondrian;" +             "Jdbc=jdbc:mysql://10.241.20.157:3306/foodmart?user=root&password=root;" +            "Catalog=C:\\Users\\Administrator\\Desktop\\nrtp\\FoodMart.xml;",           null, false);       Query query = connection.parseQuery("select {[Measures].[业务量]} on columns from MsgBusi");       Result result = connection.execute(query);       PrintWriter pw = new PrintWriter(System.out);       result.print(pw);       pw.flush();   }   public static void main(String[] args) {       TestMDX a =  new TestMDX();       System.out.println("调用mondrian api进行查询");       a.testQuery();   }}

这段代码是自己从网上down下来的，要想运行它需要加一些执行过程中需要的jar包，至少需要以下几个包：

接着运行出现如下错误：

Exception in thread "main" mondrian.olap.MondrianException: Mondrian Error:Internal error: while parsing catalog C:\Users\Administrator\Desktop\nrtp\FoodMart.xmlat mondrian.resource.MondrianResource$_Def0.ex(MondrianResource.java:755)at mondrian.olap.Util.newInternal(Util.java:1083)at mondrian.olap.Util.newError(Util.java:1099)at mondrian.rolap.RolapSchema.load(RolapSchema.java:303)at mondrian.rolap.RolapSchema.<init>(RolapSchema.java:213)at mondrian.rolap.RolapSchema.<init>(RolapSchema.java:76)at mondrian.rolap.RolapSchema$Pool.get(RolapSchema.java:835)at mondrian.rolap.RolapSchema$Pool.get(RolapSchema.java:657)at mondrian.rolap.RolapConnection.<init>(RolapConnection.java:148)at mondrian.rolap.RolapConnection.<init>(RolapConnection.java:79)at mondrian.olap.DriverManager.getConnection(DriverManager.java:122)at mondrian.olap.DriverManager.getConnection(DriverManager.java:87)at mondrian.olap.DriverManager.getConnection(DriverManager.java:55)at mondrianTest.TestMDX.testQuery(TestMDX.java:13)at mondrianTest.TestMDX.main(TestMDX.java:41)Caused by: org.eigenbase.xom.XOMException: In Schema: In Cube: In Measure: In MeasureExpression: In SQL: Value 'infobright' of attribute 'dialect' has illegal value 'infobright'.  Legal values: {generic, access, db2, derby, firebird, hsqldb, mssql, mysql, oracle, postgres, sybase, teradata, ingres, luciddb}at mondrian.olap.MondrianDef$Schema.<init>(MondrianDef.java:134)at mondrian.rolap.RolapSchema.load(RolapSchema.java:289)... 11 more

这一步是解析模式定义的xml文件出现了错误，根据提示，查看了一下infobright是什么发现它也是一种数据仓库的解决方案，可能当前版本的mondrian不支持它，所以将出现他的xml标签都注释掉算了，反正我们这里只使用mysql（要确保mysql的连接驱动的jar包已经加入到工程的classpath下），不关心其他的。

接着再次运行出现如下错误：

Exception in thread "main" com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failureThe last packet sent successfully to the server was 0 milliseconds ago. The driver has not received any packets from the server.at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)at sun.reflect.NativeConstructorAccessorImpl.newInstance(Unknown Source)at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(Unknown Source)at java.lang.reflect.Constructor.newInstance(Unknown Source)at com.mysql.jdbc.Util.handleNewInstance(Util.java:408)at com.mysql.jdbc.SQLError.createCommunicationsException(SQLError.java:1137)at com.mysql.jdbc.MysqlIO.<init>(MysqlIO.java:355)at com.mysql.jdbc.ConnectionImpl.coreConnect(ConnectionImpl.java:2490)at com.mysql.jdbc.ConnectionImpl.connectOneTryOnly(ConnectionImpl.java:2527)at com.mysql.jdbc.ConnectionImpl.createNewIO(ConnectionImpl.java:2309)at com.mysql.jdbc.ConnectionImpl.<init>(ConnectionImpl.java:834)at com.mysql.jdbc.JDBC4Connection.<init>(JDBC4Connection.java:46)at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)at sun.reflect.NativeConstructorAccessorImpl.newInstance(Unknown Source)at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(Unknown Source)at java.lang.reflect.Constructor.newInstance(Unknown Source)at com.mysql.jdbc.Util.handleNewInstance(Util.java:408)at com.mysql.jdbc.ConnectionImpl.getInstance(ConnectionImpl.java:419)at com.mysql.jdbc.NonRegisteringDriver.connect(NonRegisteringDriver.java:344)at java.sql.DriverManager.getConnection(Unknown Source)at java.sql.DriverManager.getConnection(Unknown Source)at mondrianTest.TestMysql.main(TestMysql.java:17)Caused by: java.net.ConnectException: Connection refused: connectat java.net.DualStackPlainSocketImpl.connect0(Native Method)at java.net.DualStackPlainSocketImpl.socketConnect(Unknown Source)at java.net.AbstractPlainSocketImpl.doConnect(Unknown Source)at java.net.AbstractPlainSocketImpl.connectToAddress(Unknown Source)at java.net.AbstractPlainSocketImpl.connect(Unknown Source)at java.net.PlainSocketImpl.connect(Unknown Source)at java.net.SocksSocketImpl.connect(Unknown Source)at java.net.Socket.connect(Unknown Source)at java.net.Socket.connect(Unknown Source)at java.net.Socket.<init>(Unknown Source)at java.net.Socket.<init>(Unknown Source)at com.mysql.jdbc.StandardSocketFactory.connect(StandardSocketFactory.java:258)at com.mysql.jdbc.MysqlIO.<init>(MysqlIO.java:305)... 15 more

这个错误从堆栈上看是connect引起的，通过http://stackoverflow.com/questions/2983248/com-mysql-jdbc-exceptions-jdbc4-communicationsexception-communications-link-fai的解析发现时由于没连上服务器导致的，但是明明服务器的3306端口已经打开了啊，而且在服务器上使用mysql客户端就可以连接上去啊。这是怎么回事，使用tcpdump抓包发现每一次SYN请求都会被服务器无情的回复RST报文，这说明该端口确实没有打开，使用netstat查看该端口发现的确：

原来服务器只接收本地的连接，怪不得我在windows上一直连不上呢，解决的方法就是修改mysql的配置文件my.conf，把其中的bind-address从原来的127.0.0.1修改为0.0.0.0，这样就可以从远程连接到mysql了。

接着重新运行又出现这样的错误：

Exception in thread "main" mondrian.olap.MondrianException: Mondrian Error:Failed to parse query 'select {[Measures].[业务量]} on columns from MsgBusi'at mondrian.resource.MondrianResource$_Def0.ex(MondrianResource.java:755)at mondrian.olap.ConnectionBase.parseQuery(ConnectionBase.java:77)at mondrian.olap.ConnectionBase.parseQuery(ConnectionBase.java:59)at mondrianTest.TestMDX.testQuery(TestMDX.java:18)at mondrianTest.TestMDX.main(TestMDX.java:37)Caused by: mondrian.olap.MondrianException: Mondrian Error:Error while parsing MDX statement 'select {[Measures].[业务量]} on columns from MsgBusi'at mondrian.resource.MondrianResource$_Def0.ex(MondrianResource.java:755)at mondrian.olap.Parser.parseInternal(Parser.java:760)at mondrian.olap.ConnectionBase.parseQuery(ConnectionBase.java:74)... 3 moreCaused by: mondrian.olap.MondrianException: Mondrian Error:MDX cube 'MsgBusi' not found or not processedat mondrian.resource.MondrianResource$_Def0.ex(MondrianResource.java:752)at mondrian.rolap.RolapSchema.lookupCube(RolapSchema.java:1067)at mondrian.olap.Query.<init>(Query.java:187)at mondrian.olap.Parser.makeQuery(Parser.java:851)at mondrian.olap.CUP$Parser$actions.CUP$Parser$do_action(Parser.java:1700)at mondrian.olap.Parser.do_action(Parser.java:685)at java_cup.runtime.lr_parser.parse(lr_parser.java:569)at mondrian.olap.Parser.parseInternal(Parser.java:755)... 4 more

这个是查询MDX中出现的错误了，这说明前面的连接mysql，解析xml文件的操作都执行成功了，根据错误提示发现MsgBusi不存在，查看xml文件发现这个MsgBusi的确不存在，这才想起来，原来down下来的代码和我用的逻辑模型的定义不是同一个，我这里用的是mondrian提供的一个示例foodmart，所以我应该用我这里的逻辑模型定义的立方体和维度等进行查询。所以需要修改一下MDX语句，经过多次测试之后发现这样的语句能够在当前的配置中跑出结果：SELECT  { [Measures].[Unit Sales] } on columns,{ [Time].[Year].[1997] } on rows FROM Sales  WHERE ([Customers].[State Province].[CA])，跑出的结果如下：

Axis #0:{[Customers].[USA].[CA]}Axis #1:{[Measures].[Unit Sales]}Axis #2:{[Time].[1997]}Row #0: 74,748

但是我发现mondrian的版本很多，当前最新的版本已经是4.0版本的了，而能够刚才使用的版本还是2.x版本的，然后发现在较新的版本中都在使用olap4j这样的接口进行访问，这个接口类似于jdbc访问数据库引擎，是一个java的接口规范，用于访问ROLAP引擎，使用mdx语句，于是就换成当前最新的稳定版本3.9进行测试，换了之后发现出错了：

Exception in thread "main" java.lang.NoSuchMethodError: mondrian.resource.MondrianResource.getThreadOrDefaultLocale()Ljava/util/Locale;at mondrian.resource.MondrianResource.instance(MondrianResource.java:29)at mondrian.rolap.aggmatcher.AggTableManager.<clinit>(AggTableManager.java:54)at mondrian.rolap.RolapSchema.<init>(RolapSchema.java:194)at mondrian.rolap.RolapSchema.<init>(RolapSchema.java:216)at mondrian.rolap.RolapSchemaPool.get(RolapSchemaPool.java:214)at mondrian.rolap.RolapSchemaPool.get(RolapSchemaPool.java:66)at mondrian.rolap.RolapConnection.<init>(RolapConnection.java:160)at mondrian.rolap.RolapConnection.<init>(RolapConnection.java:90)at mondrian.olap.DriverManager.getConnection(DriverManager.java:112)at mondrian.olap.DriverManager.getConnection(DriverManager.java:68)at mondrian.olap.DriverManager.getConnection(DriverManager.java:50)at mondrianTest.TestMDX.testQuery(TestMDX.java:13)at mondrianTest.TestMDX.main(TestMDX.java:38)

妈的，找不到这个函数，真是奇怪了，这个包也存在，包里面也有这个类，为什么偏偏就没有这个函数呢？！这就是java比较烦人的地方，在C/C++里面编译期间必须能够找到所有的函数定义，虽然有些函数的实现没有找到，在装载的时候也会首先进行动态链接，而不会在执行的时候再进行，但是JAVA这种只有在使用的时候再进行load的方式就很可能出现这种动态的错误，例如找不到class、找不到method等等，这个问题查了半天也没有能够找出错误，最后是在没有办法了采取最后的方法：查看源码。幸亏有grepCode这样的网站，真的是让查看java源代码方便了不知道多少个数量级，俗话说：源码在手，了无秘密。有了源码，什么问题都不在是问题了，在grepcode中查找mondrian.resource.MondrianResource这个类，发现在mondrian中只有3.6.7之前的版本才有，所以又不得不切换回3.6.x版本，这里我用的是3.6.1版本，换了jar包之后发现这个错误还是存在，好吧，看下代码吧。

     在代码中，的确是MondrianResource的instance方法中（29）行调用了getThreadOrDefaultLocale函数，而在当前的类中没有定义这个函数，那么它一定是继承另外一个类，在父类中实现的，果然，它继承的是org.eigenbase.resgen.ShadowResourceBundle类，再查看一下这个类，我擦，在codegrep上根本搜不到这个类的源码，这时候请教google吧，搜出来这个网页：http://www.java2s.com/Code/Jar/e/Downloadeigenbaseresgenjar.htm，我勒个咔擦，我之前下载的eigenbase-resgen.jar文件不就是在这里下载的吗？！而这个jar包中分明有org.eigenbase.resgen.ShadowResourceBundle类啊（要不然我的代码编译都不会通过的），一切又绕回来了，这时候该怎么办？

     这时候我想起来了，既然mondrian自己能够编译通过，顺利执行，那么无论是在mondrian的maven依赖包中，还是在saifu中都应该有这个包的依赖，而且这个包应该就是可以使用的，而之前的eigenbase-resgen.jar不能使用可能是因为版本问题，查看了mondrian的pom.xml文件，发现它使用的是如下的版本：

<dependency>      <groupId>eigenbase</groupId>      <artifactId>eigenbase-resgen</artifactId>      <version>1.3.1</version>    </dependency>

查看了saiku的pom.xml文件，它使用的是如下的版本：

<dependency>               <groupId>eigenbase</groupId>                <artifactId>eigenbase-resgen</artifactId>                <version>1.3.0.11873</version> </dependency> 

虽然这两个版本不一样，但是我想应该任何一个都可以吧，于是下了1.3.1版本的，将之前的jar包换了一下之后测试一下，OK了，得到了同样的结果。

虽然得到了相同的结果，但是这里还是使用mondrian之前的execute接口来执行MDX语句的，而不是通过olap4j的方式，代码中可以看到execute接口已经被抛弃了，查看mondrian文档看到这样的注释：

Deprecated. This method is deprecated and will be removed in mondrian-4.0. It operates by internally creating a statement. Better to use olap4j and explicitly create a statement.

这里说这个接口将在mondrian 4.0以后被移除了，建议使用olap4j接口创建statement的方式代替，于是又在网上搜到一片mondrian教程（http://alenzhai.iteye.com/blog/2158953），这里使用的就是olap4j的方式访问的，把代码copy下来之后进行修改，保持connection的参数和mdx语句不变，运行过之后能够得到相同的结果，只不过这种访问方式更加规范。附上源代码：

package mondrianTest;import java.io.PrintWriter;import java.sql.Connection;import java.sql.DriverManager;import java.sql.SQLException;import org.olap4j.Cell;import org.olap4j.CellSet;import org.olap4j.OlapConnection;import org.olap4j.OlapException;import org.olap4j.OlapStatement;import org.olap4j.OlapWrapper;import org.olap4j.Position;import org.olap4j.metadata.Member;public class Olap4jTest {/** * 获取连接Olap的连接 * @param url  连接Olap的URL * @return * @throws ClassNotFoundException * @throws SQLException */public static OlapConnection getConnection(String url) throws ClassNotFoundException, SQLException{Class.forName("mondrian.olap4j.MondrianOlap4jDriver");Connection connection = DriverManager.getConnection(url);OlapConnection olapConnection = connection.unwrap(OlapConnection.class);return olapConnection;}/** * 获取查询的结构结果集 * @param mdx  mdx查询语句 * @param conn Olap连接 * @return * @throws OlapException */public static CellSet getResultSet(String mdx,OlapConnection conn) throws OlapException{OlapStatement statement = conn.createStatement();CellSet cellSet = statement.executeOlapQuery(mdx);return cellSet;} public void testQuery(){  OlapConnection connection = null;try {connection = getConnection("jdbc:mondrian:" +         "Jdbc=jdbc:mysql://10.241.20.157:3306/foodmart?user=root&password=root;" +        "Catalog=C:\\Users\\Administrator\\Desktop\\nrtp\\FoodMart.xml;");} catch (ClassNotFoundException e1) {// TODO Auto-generated catch blocke1.printStackTrace();} catch (SQLException e1) {// TODO Auto-generated catch blocke1.printStackTrace();}        String query = "SELECT  { [Measures].[Unit Sales] } on columns,{ [Time].[Year].[1997] } on rows FROM Sales  WHERE ([Customers].[State Province].[CA])";        //获取查询结果          CellSet cs = null;try {cs = getResultSet(query, connection);} catch (OlapException e) {// TODO Auto-generated catch blocke.printStackTrace();}         PrintWriter pw = new PrintWriter(System.out);        //处理返回数据if(cs.getAxes().size()>1){for (Position row : cs.getAxes().get(1)) {    for (Position column : cs.getAxes().get(0)) {        for (Member member : row.getMembers()) {            System.out.println("rows:"+member.getUniqueName());        }        for (Member member : column.getMembers()) {            System.out.println("columns:"+member.getUniqueName());        }        final Cell cell = cs.getCell(column, row);        System.out.println("values:"+cell.getValue());        System.out.println();    }    }}else{for(Position column:cs.getAxes().get(0)){for(Member member:column.getMembers()){System.out.println("columns:"+member.getUniqueName());}Cell cell=cs.getCell(column);System.out.print("values:"+cell.getValue());System.out.println();}}}    public static void main(String[] args) {    Olap4jTest a =  new Olap4jTest();        System.out.println("调用mondrian api进行查询");        a.testQuery();    }}

执行的输出结果如下：

rows:[Time].[1997]columns:[Measures].[Unit Sales]values:74748.0

最后看一下使用的jar包的信息：

ok，测试完成了。虽然过程很曲折，但是也学到了一些新知识，这里只是对mondrian做了一个简单的demo，证明了通过api调用的方式使用olap4j可以使用后端的mysql进行olap操作，接下来还需要了解mondrian对于hive和sql on hbase的支持，今天又发现一个新的开源OLAP引擎：Kylin，这个是eBay开源的，它是一个MOLAP引擎，和mondrian（ROLAP引擎）不同的是它会在创建Cube的时候将需要展示的维度和度量聚合到一个表中，并且将这个表进行物化，保存在HBASE中，之后的查询操作不是通过MDX标准来完成的，而是对物化表的SQL查询，这样的优点就是查询速度非常快，但是物化的过程需要一定的时间，并且物化表并不一定能够完全支持所有的cude操作，如果不能支持的话还是通过ROLAP的方式到hive表中动态查找（类似于mondrian），而mondrian不需要保存任何数据（除了mondrian的元数据），所有的MDX查询操作都是动态的生成sql，交由后端的数据库执行完成的，这些sql很可能是多表的join操作，对于hive而言可能性能上是一个很大的问题。

      我觉得mondrian的学习主要在于两个方面：cude的定义和MDX查看，所以接下来还需要学习一个mondrian中生成cube的xml文件的格式，如何定义一个cube、MDX的语法等，先做一个后端连接hive的demo吧。