使用朴素贝叶斯分类器对新闻文本数据进行类别预测
来源:互联网 发布:羽毛球鞋 推荐 知乎 编辑:程序博客网 时间:2024/05/16 10:04
读取20类新闻文本的数据细节
# 从sklearn.datasets里导入新闻数据抓取器fetch_20newsgroupfrom sklearn.datasets import fetch_20newsgroups# 与之前预存的数据不同,fetch_20newsgroup需要即时从互联网下载数据news = fetch_20newsgroups(subset='all')# 查验数据规模和细节print len(news.data)print news.data[0]
20类新闻文本数据分割
# 使用sklearn.model_selection里的train_test_split模块用于分割数据from sklearn.model_selection import train_test_split# 随机采样25%的数据样本作为测试集X_train, X_test, y_train, y_test = train_test_split(news.data, news.target, test_size=0.25, random_state=33)
使用朴素贝叶斯分类器对新闻文本数据进行类别预测
# 从sklearn.feature_extraction.test里导入用于文本特征向量转化模块from sklearn.feature_extraction.text import CountVectorizervec = CountVectorizer()X_train = vec.fit_transform(X_train)X_test = vec.transform(X_test)# 从sklearn.naive_bayes里导入朴素贝叶斯模型from sklearn.naive_bayes import MultinomialNB# 使用默认配置初始化朴素贝叶斯模型mnb = MultinomialNB()# 利用训练数据对模型参数进行估计mnb.fit(X_train, y_train)# 对测试样本进行类别预测,结果存储在变量y_predict中y_predict = mnb.predict(X_test)
对朴素贝叶斯分类器在新闻文本数据上的表现性能进行评估
# 从sklearn.metrics里导入classification_report用于详细的分类性能报告from sklearn.metrics import classification_reportprint'The accuracy of Naive Bayes Classifier is', mnb.score(X_test, y_test)print classification_report(y_test, y_predict, target_names=news.target_names)
输出结果
遇到的问题
fetch_20newsgroups 数据集导入失败: no handlers could be fetch_20newsgroups
处理办法
下载20news-bydate.pkz, 放到C:\Users[Current user]\scikit_learn_data 文件目录就可以
阅读全文
0 0
- 使用朴素贝叶斯分类器对新闻文本数据进行类别预测
- 大数据入门——新闻文本数据类别预测(朴素贝叶斯分类器)
- 使用K近邻分类器对鸢尾花数据进行类别预测
- 使用朴素贝叶斯进行文本的分类
- 新闻推荐系统之朴素贝叶斯分类器文本分类
- 使用mahout下的朴素贝叶斯分类器对新闻分类
- 【机器学习实验】使用朴素贝叶斯进行文本的分类
- 【机器学习实验】使用朴素贝叶斯进行文本的分类
- 【NLP】使用朴素贝叶斯进行文本的分类
- 【机器学习实验】使用朴素贝叶斯进行文本的分类
- 朴素贝叶斯(NaiveBayes)针对小数据集中文文本分类预测
- 用朴素贝叶斯进行文本分类(上)
- 朴素贝叶斯算法进行文本分类
- 朴素贝叶斯方法进行文本分类
- 使用CountVectorizer并且不去掉停用词的条件下,对文本特征进行量化的朴素贝叶斯分类性能测试
- 使用TfidfVectorizer并且不去掉停用词的条件下,对文本特征进行量化的朴素贝叶斯分类性能测试
- 文本分类系列-简单的使用cnn对新闻进行分类
- 【Kaggle笔记】新闻文本分类(朴素贝叶斯)
- Android状态栏渐变色的实现
- openstack常用检查命令杂烩
- Android项目重构-架构篇
- Mysql学习整理(五)
- SSM项目中,普通类中调用Service
- 使用朴素贝叶斯分类器对新闻文本数据进行类别预测
- Java 类 文件 编译
- Boolean.valueOf的用法(字符串转boolean时注意)
- CSDN博客初次动作!有关于 Windows磁盘100%的解决方法。
- 137. Single Number II
- redis实现分布式锁
- 1315:游程编码
- Redis的数据结构(一)
- K