新闻分类抓取 一期

花了2个星期写完

---------------------

cctv.com
法制 民生 时事 财经

chinanews.com
要闻 社会新闻 娱乐新闻 体育新闻 经济新闻 IT

ifeng.com
滚动新闻 军事 财经 娱乐 体育

hexun.com
滚动新闻 股票 基金

southcn.com
要闻 万象 体育 娱乐

xinhuanet.com
要闻 法制 军事 社会 证券 娱乐 体育

jfdaily.com
首页新闻

jinbw.com
电视 国内新闻

mysql 表结构：（保存字段）
+----------+------------------+------+-----+---------+----------------+
| Field    | Type             | Null | Key | Default | Extra          |
+----------+------------------+------+-----+---------+----------------+
| id       | int(10) unsigned | NO   | PRI | NULL    | auto_increment |
| domain   | varchar(50)      | NO   | MUL | NULL    |                |
| title    | varchar(258)     | NO   |     | NULL    |                |
| time     | varchar(258)     | YES  |     | NULL    |                |
| url      | varchar(258)     | NO   |     | NULL    |                |
| source   | varchar(258)     | YES  |     | NULL    |                |
| imgurl   | varchar(258)     | YES  |     | NULL    |                |
| category | varchar(258)     | NO   |     | NULL    |                |
| content  | varchar(6000)    | NO   |     | NULL    |                |
+----------+------------------+------+-----+---------+----------------+

 

每15分钟一次，

整体url去重，（简单化，可以顺便减少无谓下载，浪费带宽）

 

继续完善中