网络爬虫整理

来源：互联网发布：mql4编程手册编辑：程序博客网时间：2024/05/17 01:15

最近在为自己搭建的网站忙碌,记录下爬虫资料

除了基础的利用python re,beautifulsoup爬取之外,可以连接mysql 数据库将爬取信息导入数据库,例子如下:

-*- coding: utf-8 -*-import MySQLdb as mdbimport systry:    con=mdb.connect('localhost','user','password','test',charset='utf8')    cur = con.cursor()    cur.execute("CREATE TABLE IF NOT EXISTS News\    (`ID`  INT PRIMARY KEY NOT NULL AUTO_INCREMENT ,`PublishDate`  date NOT NULL ,`Title`  varchar(255) NOT NULL);")except mdb.Error, e:    print "Error %d: %s" % (e.args[0],e.args[1])    sys.exit(1)finally:    if con:            con.close()

在打开mysql之后,使用test测试数据库,利用mysqldb连接数据库,创建news表

with con:              curs = con.cursor()              for i in myItems:                  date = i[0].replace("\n","")                  title = i[1].replace("\n","")  #                print date, title                 curs.execute("INSERT INTO News(PublishDate,Title) VALUE(%s,    %s)",(date,title))

在爬虫代码内添加:如上代码,with代表try-catch组对,获取所爬取信息,插入news表即可

其中出现了mysql乱码问题,查看之后利用show create table tablename语句发现默认表的字符集为latin,特查询修改方法如下

修改数据库字符集：

alter database db_bame default character set character_name;

把表默认的字符集和所有字符列（CHAR,VARCHAR,TEXT）改为新的字符集：

alter table tb_name convert to character set character_name

只是修改表的默认字符集：

alter table ta_name default character set character_name

修改字段的字符集：

alter table tb_name change c_name c_name character set character_name

查看数据库编码：

show create database db_name

查看表编码：

show create table tb_name

查看字段编码：

show full columns from tb_name

SHOW FULL COLUMNS FROM tbl_name;

永久更改字符集：打开/etc/mysql/my.cnf,在[client]后添加default-character-set=utf8

此外也可以利用json 转换为sql导入Mysql,链接如下: http://blog.csdn.net/hantangsongming/article/details/24620515

有时间学习下

参考资料:http://www.diannaowa.com/index.php/archives/233

http://ju.outofmemory.cn/entry/83530

0 0