用 python 进行文本预处理和提取特征
来源:互联网 发布:网络娱乐节目片头音乐 编辑:程序博客网 时间:2024/06/01 08:42
文本过滤
result = re.sub(r'[^\u4e00-\u9fa5,。?!,、;:“ ”‘ ’( )《 》〈 〉]', "", content)#只保留中文和标点
result = re.sub(r'[^\u4e00-\u9fa5]', "",content)#只保留中文result = re.sub(r'[^\0-9\.\u4e00-\u9fa5,。?!,、;:“ ”‘ ’( )《 》〈 〉]', "", content)#只保留中文和标点和数字result = re.sub(r'[^\u4e00-\u9fa5,A-Za-z0-9]', "",content)#只保留中文、英文和数字
文本去除两个以上空格
content=re.sub(r'\s{2,}', '', content)
bas4编码变成中文
def bas4_decode(bas4_content): decodestr= base64.b64decode(bas4_content) result = re.sub(r'[^\0-9\.\u4e00-\u9fa5,。?!,、;:“ ”‘ ’( )《 》〈 〉]', "", decodestr.decode())#只保留中文和标点和数字 return result
文本去停用词
def text_to_wordlist(text): result = re.sub(r'[^\u4e00-\u9fa5]', "",text) f1_seg_list = jieba.cut(result)#需要添加一个词典,来弥补结巴分词中没有的词语,从而保证更高的正确率 f_stop = codecs.open(".\stopword.txt","r","utf-8") try: f_stop_text = f_stop.read() finally: f_stop.close() f_stop_seg_list = f_stop_text.split() test_words = [] for myword in f1_seg_list: if myword not in f_stop_seg_list: test_words.append(myword) return test_words
import jieba import jieba.analyse import numpy as np #import json import redef Textrank(content): result = re.sub(r'[^\u4e00-\u9fa5]', "",content) seg = jieba.cut(result) jieba.analyse.set_stop_words('stopword.txt') keyList=jieba.analyse.textrank('|'.join(seg), topK=10, withWeight=False) return keyListdef TF_IDF(content): result = re.sub(r'[^\u4e00-\u9fa5]', "",content) seg = jieba.cut(result) jieba.analyse.set_stop_words('stopword.txt') keyWord = jieba.analyse.extract_tags( '|'.join(seg), topK=10, withWeight=False, allowPOS=())#关键词提取,在这里对jieba的tfidf.py进行了修改 return keyWord
阅读全文
0 0
- 用 python 进行文本预处理和提取特征
- spark机器学习(Chapter 03)--使用spark-python进行数据预处理和特征提取
- 用python进行图片处理和特征提取
- (二)用Spark Python进行数据处理和特征提取
- 用python进行图片处理和特征提取
- Python 文本挖掘:使用机器学习方法进行情感分析(一、特征提取和选择)
- Python进行特征提取
- Python进行文本预处理(文本分词,过滤停用词,词频统计,特征选择,文本表示)
- spark机器学习笔记:(二)用Spark Python进行数据处理和特征提取
- Spark机器学习笔记(1)--用Python进行数据处理和特征提取
- spark学习之数据预处理和特征提取
- 用CHI检验提取文本特征词
- 文本特征提取
- 文本特征提取
- sklearn文本特征提取
- 文本特征提取
- sklearn文本特征提取
- 文本特征提取
- java作用域public protected private,以及不写时的区别
- CentOS7安装git
- 使用Xshell 远程登录搬瓦工vps 服务器帐号
- (三)vue 一个页面多个视图
- 织梦channelartlist按typeid指定顺序排列
- 用 python 进行文本预处理和提取特征
- 定义函数的几种方法
- 朴素贝叶斯算法详解
- SQL入门经典+SQL必知必会
- CSS常用 Less 公共样式封装
- 基于Ubuntu16.04 的globalmem驱动测试
- windows下如何创建.xxx文件夹
- 利用Visual Studio Natvis 框架简化C++的变量调试工作
- String,StringBuffer,StringBuilder的区别