maven+liquibase实现持续数据库集成

数据库版本管理、持续集成一直都是大家比较关心的问题，网上也有很多相关的文章介绍。一直都很羡慕ruby on rails的database migration，非常强大，好在java阵营也有类似的工具可以帮助大家管理数据库版本，实现数据库迁移。本文将针对liquibase-maven-plugin这个maven插件做详细的介绍，希望能对大家有所帮助。

一、配置properties-maven-plugin，使maven加载外部属性配置文件

liquibase需要配置数据库的连接属性及驱动等参数，如果这些参数直接配置在pom文件中，会增加配置管理人员的工作量，因此希望能够统一读取web应用中已经配置好的properties文件中的配置属性，可以使用properties-maven-plugin插件导入配置文件，配置示例如下：

    <plugin>        <groupId>org.codehaus.mojo</groupId>        <artifactId>properties-maven-plugin</artifactId>        <version>1.0-alpha-2</version>        <executions>          <execution>            <phase>initialize</phase>            <goals>              <goal>read-project-properties</goal>            </goals>            <configuration>              <files>                <file>${basedir}/src/main/resources/conf/geoq.properties</file>              </files>            </configuration>          </execution>        </executions>    </plugin>

geoq.properties配置示例如下：

    jdbc.driverClassName=org.postgresql.Driver    jdbc.url=jdbc:postgresql://localhost:5432/geoq_dev    jdbc.username=postgres    jdbc.password=4652

那么就可以在pom中使用${PropertyNmae}引用配置属性，如

    <configuration>      <changeLogFile>src/main/resources/liquiabse/business_table.xml</changeLogFile>      <driver>${jdbc.driverClassName}</driver>      <url>${jdbc.url}</url>      <username>${jdbc.username}</username>      <password>${jdbc.password}</password>    </configuration>

二、配置liquibase-maven-plugin

配置示例如下：

    <plugin>        <groupId>org.liquibase</groupId>        <artifactId>liquibase-maven-plugin</artifactId>        <version>2.0.5</version>        <dependencies>            <dependency>                <groupId>org.liquibase</groupId>                <artifactId>liquibase-core</artifactId>                <version>2.0.5</version>            </dependency>        </dependencies>        <executions>            <execution>              <phase>process-resources</phase>              <configuration>                    <changeLogFile>src/main/resources/liquiabse/business_table.xml</changeLogFile>                    <driver>${jdbc.driverClassName}</driver>                    <url>${jdbc.url}</url>                    <username>${jdbc.username}</username>                    <password>${jdbc.password}</password>              </configuration>              <goals>                    <goal>update</goal>              </goals>            </execution>        </executions>    </plugin>

1、需要通过dependency引入依赖jar包liquibase-core，版本号与插件版本号一致

2、通过phase参数指定何时运行，一般为process-resources

3、changeLogFile参数指定liquibase数据库变更日志文件

4、driver、url、username、password配置数据库连接参数

 三、根据数据库生成数据库变更日志文件

针对已有的数据库，如何产生对应的数据库变更日志文件，可以使用generateChangeLog指令，使用该指令需要下载liquibase的执行程序，命令示例如下：

    liquibase --driver=org.postgresql.Driver --classpath="C:\Program Files (x86)\PostgreSQL\pgJDBC\postgresql-9.1-901.jdbc4.jar" --changeLogFile=db.changelog.xml --url="jdbc:postgresql://localhost:5432/geoq_dev" --username=postgres --password=4652 generateChangeLog

generateChangeLog默认只会创建数据库结构的变更日志文件，如果希望创建插入数据的变更日志文件，可以使用参数diffTypes，该参数包括如下可选项：

• tables [DEFAULT]表

• columns [DEFAULT]  列

• views [DEFAULT]  视图

• primaryKeys [DEFAULT]  主键

• indexes [DEFAULT]  索引

• foreignKeys [DEFAULT] 

• sequences [DEFAULT]

• data

    liquibase --driver=org.postgresql.Driver --classpath="C:\Program Files (x86)\PostgreSQL\pgJDBC\postgresql-9.1-901.jdbc4.jar" --changeLogFile=db.changelog.xml --url="jdbc:postgresql://localhost:5432/geoq_dev_full" --username=postgres --password=4652 --diffTypes=data generateChangeLog

比较两个数据库：

    liquibase --driver=org.postgresql.Driver --classpath="C:\Program Files (x86)\PostgreSQL\pgJDBC\postgresql-9.1-901.jdbc4.jar" --changeLogFile=db.changelog.xml --url="jdbc:postgresql://localhost:5432/geoq_dev" --username=postgres --password=4652 diffChangeLog --referenceUrl="jdbc:postgresql://localhost:5432/geoq_dev_full" --referenceUsername=postgres --referencePassword=4652

四、对现有数据库进行重构

数据库变更日志文件可以对数据库的变更进行版本管理，并且可以摆脱对特定数据库的依赖，因此需要了解数据库变更日志文件的相关语法，下面分别介绍如何通过数据库变更日志配置数据库重构。

1、编辑列：

添加列

    <changeSet id="4" author="joe">        <addColumn tableName="distributor">          <column name="phonenumber" type="varchar(255)"/>        </addColumn>    </changeSet>

添加自增列：

    <column autoIncrement="true" name="module_config_id" type="int" startWith="1">        <constraints nullable="false" primaryKey="true" primaryKeyName="pk_t_module_config"/>    </column>

删除列：

    <dropColumn tableName="distributor" columnName="phonenumber"/>

修改已存在的列为自增列

    <addAutoIncrement tableName="person" columnName="id" columnDataType="int"/>

修改postgresql自增列当前索引值：liquibase不支持该操作，可以使用sql标签实现

    <sql>        ALTER SEQUENCE t_role_role_id_seq RESTART WITH 3;    </sql>

2、创建表：

    <changeSet id="3" author="betsey">        <createTable tableName="distributor">          <column name="id" type="int">            <constraints primaryKey="true" nullable="false"/>          </column>          <column name="name" type="varchar(255)">            <constraints nullable="false"/>          </column>          <column name="address" type="varchar(255)">            <constraints nullable="true"/>          </column>          <column name="active" type="boolean" defaultValue="1"/>        </createTable>    </changeSet>

3、操作数据：

    <changeSet id="3" author="betsey">        <code type="section" width="100%">        <insert tableName="distributor">          <column name="id" valueNumeric="3"/>          <column name="name" value="Manassas Beer Company"/>        </insert>        <insert tableName="distributor">          <column name="id" valueNumeric="4"/>          <column name="name" value="Harrisonburg Beer Distributors"/>        </insert>    </changeSet>

应该编写用于操作数据的 SQL 脚本，因为使用 LiquiBase XML 变更集限制很多。有时候使用 SQL 脚本向数据库应用大量的变更会简单一些。LiquiBase 也可以支持这些情景。

如下例为从 LiquiBase 变更集运行一个定制 SQL 文件

    <changeSet id="6" author="joe">         <sqlFile path="insert-distributor-data.sql"/>    </changeSet>

编写changeset时，如果字段的内容为html标签，可以使用<![CDATA[html tag]]符号导入带有html标签的文本。 

4、操作序列：

创建序列

<createSequence sequenceName="seq_employee_id"/>

sequenceName

序列名称 [required]

schemaName

表schema名称

incrementBy

自增间隔值

minValue

序列的最小值

maxValue

序列的最大值

ordered

'true' 或者 'false'

startValue

序列的起始值

修改序列

<alterSequence sequenceName="seq_employee_id" incrementBy="10"/>

sequenceName

序列的名称 [required]

incrementBy

新的自增间隔值 [required]

 五、liquibase-maven-plugin基本命令

• 更新数据库：mvn liquibase:update
• 打版本标签：mvn liquibase:tag
• 回滚到最近的更新版本，或指定的标签版本，或日期，或更新次数：mvn liquibase:rollback -Dliquibase.rollbackCount=1

• 生成sql更新脚本：mvn liquibase:updateSQL

 六、数据库版本控制

1、添加版本标签：

a、使用命令行：

mvn liquibase:tag -Dliquibase.tag=checkpoint

b、使用配置文件：

    <executions>        <execution>            <phase>process-resources</phase>            <configuration>                <tag>${project.version}</tag>            </configuration>            <goals>                <goal>update</goal>                <goal>tag</goal>            </goals>        </execution>    </executions>

2、可以使用如下命令回滚到某个版本：

    mvn liquibase:rollback -Dliquibase.rollbackTag=checkpoint

对应的maven配置为：

    <executions>        <execution>            <phase>process-resources</phase>            <configuration>                <changeLogFile>src/main/resources/liquiabse/master-changelog.xml</changeLogFile>                <driver>${jdbc.driverClassName}</driver>                <url>${jdbc.url}</url>                <username>${jdbc.username}</username>                <password>${jdbc.password}</password>                <rollbackTag>1.1</rollbackTag>            </configuration>            <goals>                <goal>update</goal>                <goal>rollback</goal>            </goals>        </execution>    </executions>

rollback操作可选参数包括：

changeLogFile

String

设置Liquibase变更集文件

clearCheckSums

boolean

标识是否强制清除数据库表校验.

默认值为：false.

contexts

String

配置Liquibase执行的上下文，多个上下文可以使用逗号分隔

databaseClass

String

数据库对象的类

defaultSchemaName

String

数据库连接使用的默认数据库结构名称

driver

String

数据库连接的驱动名称

emptyPassword

boolean

已过期。是否使用空字符串或null作为数据库连接密码

默认值为：false.

expressionVariables

Map

传递给插件的数组变量

expressionVars

Properties

传递给插件的数组变量

includeArtifact

boolean

是否允许为获取Liquibase属性或数据库变更日志时包含maven项目组件

默认值为：true.

includeTestOutputDirectory

boolean

是否允许为获取Liquibase属性或数据库变更日志时包含测试输出目录

默认值为：true.

logging

String

控制插件输出的日志级别。 可选值包括："all", "finest", "finer", "fine", "info", "warning", "severe" or "off"，注意该值是区分大小写的。

默认值为：INFO.

password

String

数据库连接密码

promptOnNonLocalDatabase

boolean

是否允许控制用户执行远程数据库
默认值为：true.

propertyFile

String

Liquibase属性文件位置

propertyFileWillOverride

boolean

标志是否允许使用Liquibase属性文件覆盖插件的配置

默认值为：false.

rollbackCount

int

回滚的变更集个数

默认值为：-1.

rollbackDate

String

设置回滚的日期。日期格式要符合插件执行theDateFormat.getDateInstance()操作设置的日期格式

rollbackTag

String

要回滚到那个tag

server

String

在settings.xml中的服务器id进行身份验证时使用

skip

boolean

设置为“true”跳过运行liquibase，该参数不推荐使用

systemProperties

Properties

传递到数据库的系统属性

url

String

数据库连接地址

username

String

用户名称

verbose

boolean

控制调用插件的输出的详细程度。

默认值为：false.

也可以指定回滚的步数（changeset个数）：

    mvn liquibase:rollback -Dliquibase.rollbackCount=3

或者生成回滚的sql脚本：

    mvn liquibase:rollbackSQL -Dliquibase.rollbackTag=checkpoint

3、可以根据不同的版本分别创建相关changelog文件，使用include标签分别引入，如主干changelog文件为master-changelog.xml，定义如下：

    <?xml version="1.0" encoding="UTF-8"?>         <databaseChangeLog      xmlns="http://www.liquibase.org/xml/ns/dbchangelog"      xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"      xsi:schemaLocation="http://www.liquibase.org/xml/ns/dbchangelog http://www.liquibase.org/xml/ns/dbchangelog/dbchangelog-2.0.xsd">        <include file="src/main/resources/liquibase/liquibase-create-tables.xml" />        <include file="src/main/resources/liquibase/liquibase-insert-data.xml" />        <include file="src/main/resources/liquibase/liquibase-mobile-menu.xml" />        …...        <include file="src/main/resources/liquibase/liquibase-update-to-1.4.xml"/>        <include file="src/main/resources/liquibase/liquibase-update-to-1.6.xml"/>        …...    </databaseChangeLog>

七、创建特殊的类型的字段

在changelog文件中，如希望创建postgresql支持的enum，可以使用的方法如下：

1、使用sql脚本直接创建

    <changeSet id="1" author="Arthur">        <sql>CREATE TYPE my_state AS ENUM ('yes','no')</sql>        <table name="foo">            <column name="state" type="my_state"/>        </table>    </changeSet>

2、使用约束

    <changeSet id="1" author="X">        <table name="t">            <column name="c" type="varchar(3)"/>        </table>        <sql>ALTER TABLE t ADD CONSTRAINT check_yes_no CHECK (c = 'yes' OR c = 'no')</sql>    </changeSet>

3、获取系统当前时间

首先定义不同数据库获取时间的属性标签

    <property name="now" value="sysdate" dbms="oracle"/>    <property name="now" value="now()" dbms="mysql"/>

在changesets中引用该属性

    <column name="Join_date" defaultValueFunction="${now}"/>

完整示例如下：

    <property name="now" value="UNIX_TIMESTAMP()" dbms="mysql"/>    <changeSet id="emp_1" author="Me">        <insert tableName="Emp" schemaName="XYZ">            <column name="EmpName" value="abc"/>            <column name="Join_date" valueDate="${now}"/>            <column name="Profile_last_update" valueDate="${now}"/>            <column name="group_name" value="BlahBlah"/>        </insert>    </changeset>

八、支持多数据库

可以在pom文件使用多个execution标签支持多数据库，但是需要注意每个execution一定要定义id标签

    <plugin>        <groupId>org.liquibase</groupId>        <artifactId>liquibase-plugin</artifactId>        <version>1.9.5.0</version>        <executions>            <execution>                <phase>process-resources</phase>                <configuration>                    <changeLogFile>src/main/resources/db.changelog.xml</changeLogFile>                    <driver>com.mysql.jdbc.Driver</driver>                    <url>jdbc:mysql://localhost:3306/charm</url>                      <username>***</username>                    <password>***</password>                </configuration>                <goals>                    <goal>update</goal>                </goals>            </execution>            <execution>                <phase>process-resources</phase>                <configuration>                    <changeLogFile>src/main/resources/db.changelog.xml</changeLogFile>                    <driver>com.mysql.jdbc.Driver</driver>                    <url>jdbc:mysql://localhost:3306/charm2</url>                      <username>***</username>                    <password>***</password>                </configuration>                <goals>                    <goal>update</goal>                </goals>            </execution>        </executions>    </plugin>