哈工大自然语言处理工具pyltp的本地安装方法
来源:互联网 发布:网络炼钢大赛 编辑:程序博客网 时间:2024/05/22 16:47
在研究中发现,哈工大的LTP在分词、实体识别等方面的效果甚至要优于中科院ICTCLAS,而且LTP还具备了目前在中文信息处理领域较为罕见的语义角色标注(SRL)功能。以前我都是直接以get方式通过LTP-Cloud去使用的,但是由于受限于网速,当语料较大时 执行速度较慢。于是近期考虑在自己的机子上安装,由于个人比较喜欢用ython编程,所以就安装了官方发布的pyltp。在安装过程中遇到了不少问题,我联系了哈工大的刘一佳博士和徐梓翔同学,在他们的耐心帮助下,终于安装成功。向他们表示感谢!现将我的安装过程做下总结,使你也少走弯路。
1 准备工作
1.1 系统环境
我的环境是 windows server 2008,Python3.2(32位版),开发工具为HBuilder【你可能也知道HBuilder适合做Web开发,但是为HBuilder安装pydev插件后,也可编写Python程序,由于我平时还喜欢写些php网页,刚好一个软件都能满足我】
1.2 安装CMAKE
LTP是用c++写的,pyltp也是基于它封装而成的,所以需要安装camke. 我安装的是二进制版的 cmake-3.2.2-win32-x86.exe 安装后不用配置环境变量。
1.3 安装VS2008
在pyltp的安装过程中 需要调用 cl.exe 完成源码的编译。安装的是微软官方的vs2008 express 版。这个安装好后,需要将cl.exe 的路径添加到环境变量PATH中去(如我的是C:\Program Files (x86)\Microsoft Visual Studio 9.0\VC\bin\cl.exe)
2 pyltp安装步骤
2.1 下载pyltp并解压到任意位置
下载页面:https://github.com/hit-scir/pyltp
2.2 下载ltp并解压到任意位置
下载页面:https://github.com/hit-scir/ltp
2.3 将解压后的ltp文件夹命名为ltp,整体复制到pyltp中。
也就是将ltp所有内容作为一个文件夹放到pyltp中。解压pyltp后所得到的文件夹中已经有一个名为ltp的空文件夹,把它替换或覆盖即可。
2.4 安装pyltp
我是在cmd中通过 python setup.py install 命令实现安装的,过程较慢,耐心等待,后期会出现大量的warning信息,不要在意。安装程序执行完毕后,在Python中执行import pyltp 不报错,说明安装成功了。
到这里 核心程序的部署已经完成,而且官方的样例已经可以顺利执行了。我把这个文件夹部署到自己的Python项目中,在运行例子程序时 发现它的效果奇差。经进一步咨询上述两位同学后得知,pyltp自带的这些模型文件(在ltp_data文件夹中)仅为测试之用,正式的model文件还需要从网上下载。见2.4步
2.4 下载并部署模型文件
完整的模型文件下载地址: http://pan.baidu.com/share/link?shareid=1988562907&uk=2738088569,我选择的是目前最新的3.2.0版本(ltp-data-v3.2.0.zip),解压后得到一个大于1G的文件夹,确保此文件夹名称为ltp_data。至于这个文件夹要放到哪里,经过分析官方例子,发现它的位置任意,但在Python程序中一定要指明这个路径。于是我把它放到我的项目的根目录下,并确保与存放Python源程序的src目录并列,这样官方的例子不用做修改就可加载这个文件夹了。
注意,官方的例子是基于Python2的,如果你和我一样也是Python3系列的,那么需要把print后面的语句 加上括号
完成后,即可发现pyltp终于可以运行了。
在执行第二个功能时,即词性标注,控制台会出现警告:[WARNING] 2015/04/27 18:50:10 No constraints is loaded. 经询问这是提示没有加载自定义的词性标注词典。官方解释说,这是由于目前的pyltp版尚不支持用户加入本地的各类词典。
下一步将了解如何解析pyltp的执行结果。
- 哈工大自然语言处理工具pyltp的本地安装方法
- ubuntu 安装哈工大语言云 pyltp
- 自然语言处理包 哈工大 LTP的使用
- Python下的自然语言处理利器-LTP语言技术平台 pyltp 学习手札
- Python下的自然语言处理利器-LTP语言技术平台 pyltp 学习手札
- Python下的自然语言处理利器-LTP语言技术平台 pyltp 学习手札--转自CSDN
- 43、哈工大NLP自然语言处理,LTP4j的测试+还是测试
- 自然语言处理的一些工具
- pyltp安装
- nltk安装第三方自然语言处理工具
- 自然语言处理工具 nltk 安装使用
- 自然语言处理--如何加载本地的文件
- Windows上pyltp的安装及使用
- 编译安装哈工大LTP工具
- 自然语言处理的一些工具文档介绍
- 常用的自然语言处理分词工具
- 自然语言处理工具2
- 自然语言处理工具
- 冷备下模拟rm -rf *.dbf恢复案例
- 配置securecrt连接VirtualBox虚拟机中的linux环境
- 组合数学——不过对角线的格路问题
- 华为今年7月将发布公有云服务
- JAVA实现快速排序
- 哈工大自然语言处理工具pyltp的本地安装方法
- PHP在Eclipse上配置
- HDU 3065 病毒侵袭持续中
- C#中VCProjectEngine的VCProjectReference
- 使用vc9 编译Qt5.4
- PHP IDE eclipse-php-luna 使用规范
- 两台svn服务器同步
- Google翻译成各国网页JS代码
- hihoCoder 1158 质数相关