文本挖掘,我们想要得到什么
来源:互联网 发布:淘宝网的电商模式 编辑:程序博客网 时间:2024/06/06 12:01
文本挖掘有较为固定的处理流程,数据获取、正文提取、分词、去停用词等等。但当我们跑完上述预处理流程,获得了可供挖掘的数据后,我们提出问题:这些数据能干什么?能提取什么知识什么模式?以我的某个论文为例,我利用爬虫获取了食品安全相关的网页,构成语料库,有效的样本量大概有几万个。然后呢,我做了食品安全事件报道的地区、时间、和类型的统计,跑了关联规挖掘,利用主题模型方法进行了隐含变量的提取。结果看上去很丰富,有图有表,有数据有算法,可我想说的是,挖掘不应当是先设置目的,再选择方法吗?怎么成了各种算法跑一跑,看看什么结果可用的过程?
当你面对一堆沙子,你会猜测:沙子里有金子,然后你去找这个金子,这是淘金,这是挖掘;当你连目的都没弄清楚,希望通过东一榔头西一棒槌的方法研究这堆沙子,最后的结论大概就是这届沙子不行吧。
回到问题,最初的一步应是解析出问题,比如现有算法的不足、模型描述不够细致。我希望通过改进主题模型,让模型更好的表示现有数据。
针对主题模型
1、我们获取到了食品安全相关的网页,宏观上讲是隶属于相同主题的,但细分下来也可分为食品、添加剂、健康、检测、化学、政策等多个facet。那每个文本的主题应当是它们的混合,这符合多项式分布。(但也可以这样理解:文本的关键特征应是涉及的食品,因此整个文本集应当是不同类型的食品安全文本的混合,每次)
第一层,是不是食品安全事件?
第二层,是哪种事件?
2、原始的方法完全自动(除了k值),但在细分的任务中完全的自动不切实际,可人工干预,通过添加先验知识(语义网、本体)的方法,可令模型理解哪些概念间是有强相关性的(如牛奶、酸奶,色素、苏丹红,细菌、腹泻),从而更加准确的打标签?
3、原始数据是有偏斜的。以百度搜索“苏丹红 辣椒”返回的数据为例,大部分网页是“无效”的,是不存在隐含的标记信息的
- 文本挖掘,我们想要得到什么
- 我们程序员想要什么
- 大学生活 我们得到什么???
- 【大数据部落】通过数据挖掘我们能从股市数据得到什么
- 什么才是自己想要得到的?
- 烦恼不是在于我们想要什么
- 我们通过Kotlin得到了什么?
- 中国式弱点营销:我们需要知道自己想要什么!
- 大学课程能给我们带来什么?——“我们能从大学得到什么”
- EJB3,我们究竟得到了什么 (1)
- EJB3,我们究竟得到了什么 (2)
- EJB3,我们究竟得到了什么 (3)
- EJB3,我们究竟得到了什么 (4)
- 时光如梭,可我们又得到了什么
- 这些墙是为了给我们一个机会,去证明我们究竟有多想要得到那些东西。
- 想要 与 得到
- 得到与想要
- 只要想要,注定得到
- NOIP提高组2011 观光公车
- [LOGO]如何更换kernel LOGO
- Unable to resolve project target 'android-21'
- 95. Unique Binary Search Trees II
- Android M 新的运行时权限开发者需要知道的一切
- 文本挖掘,我们想要得到什么
- Cloudera 5.7集群部署(一)--准备工作
- 【Dongle】【Web】牛腩新闻发布系统之终篇
- SpringMVC之HelloWorld
- 找出字符串
- BZOJ 4569: [Scoi2016]萌萌哒【倍增并查集
- Medical image registration(section7)
- HSDIS:JIT生成代码反汇编
- 数据结构-线性表