Node.JS 中文分词模块

来源：互联网发布：马格努森知乎编辑：程序博客网时间：2024/05/22 09:26

mmseg-node

一个基于 libmmseg 的 NodeJS 驱动。

使用方法

var mmseg = require("mmseg");var q = mmseg.open('/usr/local/etc/');console.log(q.segmentSync("我是中文分词"));

Github 地址

https://github.com/zzdhidden/mmseg-node

nseg

基于 MMSG 中文分词算法。

示例

var dict  = require('../data/dict'),    freq  = require('../data/freq'),    date  = require('../lex/datetime'),    sina  = require('../lex/sina');var opts  = {        dict: dict,        freq: freq,        lexers: [date, sina],    };var nseg = require('nseg').evented(opts);var strmOut = fs.createWriteStream(target, {flags: 'w+', encoding: 'utf-8'}),    strmIn  = fs.createReadStream(input);var pipe = nseg(strmIn, strmOut);pipe.on('error', function (err) {    console.log('error', err);});pipe.start();

var dict  = require('../data/dict'),    freq  = require('../data/freq'),    date  = require('../lex/datetime'),    sina  = require('../lex/sina');var opts  = {        dict: dict,        freq: freq,        lexers: [date, sina],    };var nseg = require('nseg').normal(opts);nseg('研究生源计划', function (result) {    console.log(result);});

Github 地址

https://github.com/mountain/nseg

node-segment

node-segment 模块以盘古分词组件中的词库为基础，算法设计也部分参考了盘古分词组件中的算法。

使用方法

// 载入模块var Segment = require('node-segment').Segment;// 创建实例var segment = new Segment();// 使用默认的识别模块及字典segment.useDefault();// 开始分词console.log(segment.doSegment('这是一个基于Node.js的中文分词模块。'));

Github 地址

https://github.com/leizongmin/node-segment