哈工大语言云(LTP)本地安装使用及Python调用
来源:互联网 发布:mac 系统没装上 按d 编辑:程序博客网 时间:2024/06/06 01:10
转载:http://blog.csdn.net/churximi/article/details/51174182
备注:本文实验环境为64位win7系统,32位python2.7.11
哈工大LTP官方主页:http://ltp.readthedocs.org/zh_CN/latest/index.html
1.LTP下载
(1)LTP项目文件ltp-3.3.1-win-x86.zip
(2)LTP模型文件3.3.1(2016年4月13日前)
下载地址参考:http://ltp.readthedocs.org/zh_CN/latest/install.html
Windows系统直接下载编译好的二进制文件ltp-3.3.1-win-x86.zip,不用管编译。
2.文件夹放置
(1)新建一个项目文件夹:D:\myprojects\LTP;
(2)将模型文件解压后的ltp_data文件夹放入项目文件夹;
(3)将ltp-3.3.1-win-x86.zip解压后的dll、exe文件全部拷入项目文件夹。
最后文件夹列表如下:
说明:因为内部默认路径的关系,这样放置可以使ltp_data文件夹处在默认路径上。
3.Python使用ltp_test
LTP提供的模型包括:(在ltp_data文件夹)
cws.model 分句模型,单文件
pos.model 词性标注模型,单文件
ner.model 命名实体识别模型,单文件
parser.model 依存句法分析模型,单文件
srl_data/ 语义角色标注模型,多文件(文件夹srl)
主要参数:线程数、最终步骤、输入文件路径、模型路径、词典路径等。
具体可通过CMD运行ltp_test.exe查看。
python程序简单调用:
4.Python使用xxx_cmdline
(1)cws_cmdline :分词命令行
(2)pos_cmdline :词性标注命令行
(3)par_cmdline :句法分析命令行
(4)ner_cmdline :命名实体识别命令行
python程序简单调用(以cws_cmdline为例,其他类似,参数略不同)
5.注意事项
(1)长度限制:为了防止输入过长句子对稳定性造成影响,限制输入字数少于1024字,分词结果少于256词。
(2)编码:统一采用UTF-8
6.使用心得
(1)ltp_test输出结果只有xml格式;(在线ltp-cloud api调用可以返回多种格式)
(2)ltp_test可以自动分句,遇到新的文本段落时,句子编号重新会从0开始(所以已经分好句的文本,输出结果中的句子编号都是0)
(3)单独使用某个功能模块时,需要事先分好句或者分好词;(不同分析之间存在的依赖关系)
(4)#、&、+等特殊符号不会影响LTP本地分析;(在线ltp-cloud api调用会有影响);
(5)cws_cmdline分词模块输出结果为plain格式,分词间隔用的是TAB制表符;
(6)pos_cmdline词性标注模块输出结果为plain格式,结果用TAB制表符分隔;词与词性之间以下划线(_)连接。
(7)分词用户词典问题:官方说“可以设置用户词典,但是ltp的分词模块并非采用词典匹配的策略,外部词典以特征方式加入机器学习算法,并不能保证所有的词都是按照词典里的方式进行切分。”
例子:“C++”、“互联网+”这样的词,加入词典还是不能切分出来。
(8)一定要注意编码问题:用户词典也要用UTF-8无BOM格式编码,如果是UTF-8格式编码,将导致第一行的词不能被正确识别(因为存在字节前缀)。
- 哈工大语言云(LTP)本地安装使用及Python调用
- 哈工大语言云(LTP)本地安装使用及Python调用
- 哈工大语言云(LTP)本地安装使用及Python调用
- 哈工大LTP:Windows系统Python本地调用
- 常用工具包-哈工大语言技术平台(LTP)-本地安装-python接口(ubuntu,win7-64)
- Python调用哈工大语言云(LTP)API进行自然语言处理
- Python调用哈工大语言云(LTP)API进行自然语言处理
- Python调用哈工大语言云(LTP)API进行自然语言处理
- 编译哈工大语言技术平台云LTP(C++)源码及LTP4J(Java)源码
- 常用工具包-哈工大语言技术平台(LTP)-本地安装-java接口(ubuntu,win7-64位)
- Java哈工大LTP语言云API操作
- Java快速入门本地调用哈工大LTP实例
- 哈工大LTP编译使用
- 编译安装哈工大LTP工具
- ltp语言云 调用说明
- 哈工大LTP部署及测试Demo
- python3使用ltp语言云
- 自然语言处理包 哈工大 LTP的使用
- 深入理解 JavaScript 的变量
- ThinkPHP 页面请求和AJAX
- ORACLE创建按月和按天的自动递增分区
- Android开发之关于屏幕的最全工具类
- 前端js得到当前页面的url信息方法(JS获取当前网址信息)
- 哈工大语言云(LTP)本地安装使用及Python调用
- 求解偏微分方程开源有限元软件deal.II学习--Step 1
- Java注释@interface
- javascript 显示当前时间 练习01
- logstash 处理nginx 错误日志
- error no resource identifier found for attribute 'indeterminateTint' in package 'android'
- html5移动端:元素拖动/触控touch(js)(jquery)
- 国内最前沿的科技——室内导航技术发展及其现状
- ADO.NET Entity Framework(EF)