20161228:for pyhton网络数据采集02

来源:互联网 发布:爱淘宝是淘宝客吗 编辑:程序博客网 时间:2024/05/17 05:55

1.数据库变高效:(1)给每个数据表增加一个id字段。(2)只能索引,e.g.质检所查询列的一部分字符。(3)关于数据查询时间和数据空间问题

 

2.数据存储后再清洗:OpenRefine

 

3.马尔科夫文字生成器:基于一种常用于分析大量随机事件的马尔可夫模型,随机事件的特点是一个离散事件发生之后,另一个离散时间将在前一个事件的条件下以一定的概率发生的。

 

4.python的自然语言工具包:NLTK

0 0
原创粉丝点击