Oracle 中文分词CHINESE_VGRAM_LEXER与CHINESE_LEXER比较

准备工作： 

CREATE   TABLE issues ( 
    ID         NUMBER, 
    summary       VARCHAR(120), 
    description   CLOB, 
    author     VARCHAR(80), 
    ot_version VARCHAR(10) 
); 


INSERT INTO issues 
     VALUES (1, 'Jane', 'Text does not make tea', 
             'Oracle Text is unable to make morning tea', 1); 

INSERT INTO issues 
     VALUES (2, 'John', 'It comes in the wrong color', 
             'I want to have Text in pink', 1); 

INSERT INTO issues 
     VALUES (3, 'Mike', 'I come from china', '所以我讲中文', 1); 
--下面两句话很难解析的 
INSERT INTO issues 
     VALUES (4, 'Mike', 'I come from china', '吉林省长春市的人民', 1); 

INSERT INTO issues 
     VALUES (5, 'Mike', 'I come from china', 
             '我们要积极地主动作好计划生育工作', 1); 

-- define datastore preference for issues 

BEGIN 
   --ctx_ddl.drop_preference ('issue_lexer'); 
   ctx_ddl.set_attribute ('issue_store', 'output_type', 'CLOB'); 
   ctx_ddl.create_preference ('issue_lexer', 'CHINESE_LEXER'); 
END; 
/ 

-- index issues 没有指定任何lexer 
CREATE INDEX issue_index ON issues(author) INDEXTYPE IS ctxsys.CONTEXT; 

--进行查询 
SELECT * 
  FROM issues 
WHERE contains (author, '中文', 1) > 0; 

会返回no rows selected。 

说明：不使用lexer参数，oracle Text无法对中文进行有效检索。 

接下来我们 使用oracle和网上各位仁兄推荐的CHINESE_LEXER看看，执行下列语句： 
DROP   INDEX issue_index; 

-- index issues 
CREATE INDEX issue_index ON issues(author) INDEXTYPE IS ctxsys.CONTEXT 
  PARAMETERS ('lexer issue_lexer'); 

SELECT * 
  FROM issues 
WHERE contains (author, '中文', 1) > 0; 

会 返回一条记录。 

再执行下列查询语句： 
SELECT * 
  FROM issues 
WHERE contains (author, '作好', 1) > 0; 

SELECT * 
  FROM issues 
WHERE contains (author, '吉林', 1) > 0; 

都没有任何返回结果。 

执行下列语句： 
SELECT * 
  FROM issues 
WHERE contains (author, '中文', 1) > 0; 

有一个返回结果。 

说明：CHINESE_LEXER对中文分词进行了优化，能够识别大部分中文单 词，但是毕竟有很多单词难以区分。比如说，‘我们要积极地主动作好计划生育工作’被oracle 解释为：“我们要 积极 地主 动作 好  计划生育 工作”;'吉林省长春市的人民'解释为：“吉林省 长春市 的 人民”。不过效率方面自然很高。 

再看看 CHINESE_VGRAM_LEXER： 
执行下列语句 
BEGIN 
   ctx_ddl.drop_preference ('issue_lexer'); 
   ctx_ddl.set_attribute ('issue_store', 'output_type', 'CLOB'); 
   ctx_ddl.create_preference ('issue_lexer', 'CHINESE_VGRAM_LEXER'); 
END; 
/ 

-- index issues 没有指定任何lexer 
CREATE INDEX issue_index ON issues(author) INDEXTYPE IS ctxsys.CONTEXT 
  PARAMETERS ('lexer issue_lexer'); 

--进行查询 
SELECT * 
  FROM issues 
WHERE contains (author, '中文', 1) > 0; 

SELECT * 
  FROM issues 
WHERE contains (author, '作好', 1) > 0; 

SELECT * 
  FROM issues 
WHERE contains (author, '吉林', 1) > 0; 

SELECT * 
  FROM issues 
WHERE contains (author, '计划生育', 1) > 0; 

SELECT * 
  FROM issues 
WHERE contains (author, '地主', 1) > 0;  

都 有返回结果。 

说明：CHINESE_VGRAM_LEXER使用的保守分词方法，不求有功但求无过。对所有的词都可以查询到。不过效 率方面就有不足了。 
所有的分词结果都可以在表DR$ISSUE_INDEX$I中看到。 
例子中 CHINESE_VGRAM_LEXER会创建39行数据，而CHINESE_LEXER只创建23行数据。 
结 论：oracle Text进行中文搜索必须指定lexer 参数。如果追求效率那么使用CHINESE_LEXER,如果追求准确度那么使用CHINESE_VGRAM_LEXER。