python自然语言处理(一)
来源:互联网 发布:全网分红系统源码 编辑:程序博客网 时间:2024/05/23 00:05
1.从NLTK的book模块加载所有东西
>>>fromnltk.book import *
2.词语索引视图。显示一个指定单词的每一次出现,连同上下文一起显示。
>>>text1.concordance(‘monstrous’)
3.通过索引看到monstrous上下文中有the_pictures和the_size,查找哪些词出现在相似上下文,可以在被查询文本名后加similar,然后括号中插入相关词
>>>text1.similar(‘monstrous’)
4.函数common_contexts允许研究两个或两个以上的词共同的上下文,如monstrous和very。使用函数时必须永方括号和圆括号把词括起来,中间用逗号分开。
>>>text2.common_contexts([‘monstrous’,‘very’])
5.使用离散图显示词在文本中位置,每一竖线代表一个单词,每一行代表整个文本
>>>text4.dispersion_plot([‘citizens’,’democracy’,’freedom’.’duties’,’America’])
6.使用函数len获取文本中出现的词和标点符号为单位算出的长度
>>>len(text3)
7.set(text3)得到集合,无重复元素
将其按顺序列出
>>>sorted(set(text3))
计算其长度
>>>len(set(text3))
8.计算每个词平均使用次数
>>>len(text3)/len(set(text3))
9.计数一个词在文本出现的次数
>>>text3.count(‘smote’)
计算一个特定词在文本中占据百分比
>>>100*text4.count(‘a’)/len(text4)
10.可以定义函数来避免重复计算
>>>def lexical_diversity(text):
... return len(text)/len(set(text))
...
>>>def percentage(count,total):
... return 100*count/total
...
可如下调用函数
>>>lexical_diversity(text5)
7.420046158918563
>>>percentage(text4.count('a'),len(text4))
1.4643016433938312
- python自然语言处理(一)
- Python 自然语言处理 一
- python自然语言处理-学习笔记(一)
- python自然语言处理入门教程(一)
- 《Python自然语言处理》学习笔记(一)
- 自然语言处理(一)
- Python自然语言处理-自然语言工具包(NLTK)
- 黄聪:Python+NLTK自然语言处理学习(一):
- Python+NLTK自然语言处理学习(一):环境搭建
- Python与自然语言处理(一)搭建环境
- Python 自然语言处理学习笔记(一)-- 软件安装需求
- python自然语言处理(一)NLTK初步使用
- 《Python进行自然语言处理》代码笔记(一):第一章示例
- Python+NLTK自然语言处理学习(一):环境搭建
- (初学者)用Python进行自然语言处理笔记一
- Python+NLTK自然语言处理学习(一):环境搭建
- Python+NLTK自然语言处理学习(一…
- python自然语言处理学习笔记一
- ConcurrentHashMap源码解析
- jsp内置对象
- 高并发访问,短信炸弹,验证码
- C# 图片Base64 编码,图片格式转换
- 安卓特效 界面控件 直接动态图预览 源码
- python自然语言处理(一)
- Oracle PL/SQL开发基础(第三十三弹:EXCEPTION_INIT)
- ArcGIS问题:dbf shp shx sbn sbx mdb adf等类型的文件的解释
- 算法与数据结构 其五 二叉查找树
- 固态硬盘安装Windows10
- linux环境下文件的操作
- ssh(1)——ssh定义及验证
- 再谈字符串操作
- Web前端学习日记16------面试复盘