“智能问诊”项目——数据处理(1)
来源:互联网 发布:网络拓扑管理 编辑:程序博客网 时间:2024/05/01 11:33
经过之前一周的工作,我已经成功的把网站上的数据爬取下来并保存到了数据库中,接下来就要对爬取到的数据进行处理了。
首先,由于我们爬取到的数据都是自然语言,比如适应症的描述都是类似于“用于冠动脉粥样硬化心脏病的治疗”这样的,给我们进行搜索和查询带来了不少的困难,所以我们最先要做的就是分词,即将自然语言分解为一个个的词组,然后再经过筛选去除没用的词语,留下有用的作为关键词。
分词通常有三种方法,一是手动分词,优点是准确度高,缺点是效率低、时间成本高,二是手写字符串处理,根据自定义字典进行匹配,去除无用信息,缺点也是效率太低、时间成本高,第三种方法就是调用第三方的分词工具,虽然开源的分词工具准确率差强人意,对于一些专业词汇不能解决歧义,但这是最为简便的一种方法了。
第三方的分词工具有很多,这里我选用的是“jieba”,这是一款基于Python的中文分词工具
支持三种分词模式:
精确模式,试图将句子最精确地切开,适合文本分析;
全模式,把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义;
搜索引擎模式,在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词。
支持繁体分词
支持自定义词典
测试代码如下
#encoding=utf-8import jiebaseg_list = jieba.cut("用于急、慢性肝炎、肝硬化、脂肪肝等的辅助治疗.",cut_all=True)print ("Full Mode:", "/ ".join(seg_list)) #全模式seg_list = jieba.cut("用于急、慢性肝炎、肝硬化、脂肪肝等的辅助治疗.",cut_all=False)print ("Default Mode:", "/ ".join(seg_list)) #精确模式seg_list = jieba.cut("用于冠动脉粥样硬化心脏病的治疗。") #默认是精确模式print (", ".join(seg_list))seg_list = jieba.cut_for_search("广谱抗真菌药,用于手癣、足癣、体癣、股癣等真菌感染引起的各种皮肤癣症的治疗。") #搜索引擎模式print (", ".join(seg_list))
使用效果如图
完成分词工具的配置后,接下来我们要做的就是将数据库中自然语言的描述转化为关键词,这就涉及到对数据库的操作了。
Python对数据库操作需要用到import pymssql,要提前进行配置,具体方法见http://www.cnblogs.com/lrzy/p/4346781.html
需要注意的是,由于Mac默认预装了Python 2.7,而我又自己装了3.6.2,导致用pip install pymssql安装pymssql模块时会默认安装到Python 2.7的目录下,导致我用3.6.2运行时还是会找不到pymssql的包,这时就需要指定安装目标,即pip3 install pymssql
配置完成后正确设置数据库信息就可以对数据库进行操作了。
通过navicat for sql server的Queries可以用SQL语句对数据库进行修改,这种方法与命令行相似,但是想要一次性处理大量数据时就要结合Python了,方法是将SQL语句以字符串形式传入navicat for sql server,例如
InsertSQL="INSERT INTO keyword (name) VALUES ('%s')"%u'test'需要注意的是,由于传入的是字符串,所以变量不能直接写在引号中传,例如
INSERT INTO keyword (name,num) VALUES ('n,number')就应该写成
InsertSQL="INSERT INTO keyword (name,num) VALUES ('"+ n +"',"+str(number)+")"
这样虽然解决了程序异常停止的问题,但是导致出现异常的词丢失,还可以进一步优化。
附源码
# -*- coding:utf-8 -*-import jiebaimport pymssqlclass MSSQL: def __init__(self,host,user,pwd,db): self.host = IP self.user = USER self.pwd = PASSWORD self.db = "Database" def __GetConnect(self): if not self.db: raise(NameError,"没有设置数据库信息") self.conn = pymssql.connect(host=self.host,user=self.user,password=self.pwd,database=self.db,charset="utf8") cur = self.conn.cursor() if not cur: raise(NameError,"连接数据库失败") else: return cur def ExecQuery(self,sql): cur = self.__GetConnect() cur.execute(sql) resList = cur.fetchall() #查询完毕后必须关闭连接 self.conn.close() return resList def ExecNonQuery(self,sql): cur = self.__GetConnect() cur.execute(sql) self.conn.commit() self.conn.close()ms = MSSQL(host=IP,user=USER,pwd=PASSWORD,db="Database")reslist = ms.ExecQuery("select 适应症 from data")number = 1for i in reslist: word = list(jieba.cut(str(i),cut_all=False))#精确模式 for n in word: if n != '\'': InsertSQL="INSERT INTO keyword (name,num) VALUES ('"+ n +"',"+str(number)+")" print (InsertSQL) try: ms.ExecNonQuery(InsertSQL.encode('utf-8')) except Exception: print('error') continue number += 1
- “智能问诊”项目——数据处理(1)
- “智能问诊”项目——数据处理(2)
- “智能问诊”项目——数据获取(1)
- “智能问诊”项目——机器学习(1)
- “智能问诊”项目——数据匹配(1)
- “智能问诊”项目——数据获取(2)
- “智能问诊”项目——数据获取(3)
- 实验室智能管理系统(1)——项目介绍
- 小项目——大数据处理
- 练手小项目(1)——智能聊天机器人
- 桌面智能盆栽——【1】项目背景
- STM32项目(五)——智能回收箱
- STM32项目(七) —— 智能仓库管理系统
- 智能路由器项目—(1)在RT5350上移植openwrt
- 项目 - 智能交通(1)
- Android学习之——(3)项目中的WebService返回数据处理学习
- 智能称体脂称实现(代码与基本数据处理篇)
- Python数据抓取(1) —数据处理前的准备
- python 修行之路(一)(购物车练习)
- HTML5基础(二) 个人笔记
- Linux学习(四)
- C# Directory.GetFiles()获取多个类型格式的文件
- 【Java笔记】异常处理:捕获和抛出基础
- “智能问诊”项目——数据处理(1)
- 回顾Java各大排序算法(持续更新)
- 中国的人工智能雄心:2030年成全球领导者
- 机器学习与数据挖掘
- mysql锁
- 链表翻转:给出一个链表和一个数k,链表前k个节点进行翻转
- R语言reshape2包-官方文档学习
- 小狐狸VF的一些命令及技巧
- 数据仓库类型变化选择