python爬虫之pymysql库的使用(1)
来源:互联网 发布:fashion的网络用语 编辑:程序博客网 时间:2024/06/16 06:52
首先自己的电脑上或服务器上要有MySQL数据库,可以是各种产品软件。
另外自己要会数据库的基本操作,创建数据库、创建表、添加数据、修改数据、删除数据、查询数据等,可以用SQL语句去操作,也可以用图形化界面去操作,不过SQL语句还是要掌握的,比较重要。
在进行网络数据采集时,处理Unicode字符串是很痛苦的事情。默认情况下,MySQL也不支持Unicode字符处理。不过你可以设置这个功能(这么做会增加数据库的占用空间)。但是为了处理,只能一开始就让数据库支持Unicode:
# 这四行语句改变的内容有:数据库、数据表,以及两个字段的默认编码都从utf8mb4
# (严格说来也属于Unicode,但是对大多数Unicode字符的支持都非常不好)转变成了
# utf8mb4_unicode_ci(支持中文)。
# ALTER DATABASE scraping CHARACTER SET= utf8mb4 COLLATE= utf8mb4_unicode_ci;
# ALTER TABLE pages CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
# ALTER TABLE pages CHANGE title title VARCHAR(200) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
# ALTER TABLE pages CHANGE content content VARCHAR(10000) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
可以用SQL语句插入一些汉语字符到某些字段中,如果不出错,就表示转换成功了。
- python爬虫之pymysql库的使用(1)
- python爬虫之pymysql库的使用(2)
- mySQL之pymysql的使用
- Python爬虫入门1之urllib库的使用
- Python数据库之--PyMySQL
- python的pymysql
- python操作数据库之pymysql
- python操作mysql之pymysql
- python使用pymysql操作mysql
- Python爬虫入门三之Urllib库的基本使用
- Python爬虫入门三之Urllib库的基本使用
- Python爬虫入门三之Urllib库的基本使用
- Python爬虫入门一之Urllib库的基本使用
- Python爬虫入门三之Urllib库的基本使用
- Python爬虫入门三之Urllib库的基本使用
- python爬虫入门三之Urllib库的基本使用
- Python爬虫入门之Urllib库的基本使用 (三)
- Python爬虫之Beautiful Soup库的安装与使用
- PCA的分析与几何性质
- Mybatis的配置及简单使用
- springboot 分页(page)
- 微信公共号支付(第一次写,图都没了 我直接上传代码吧)
- Python多进程拷贝文件夹中的所有文件
- python爬虫之pymysql库的使用(1)
- 如何快速转载CSDN中的博客
- 设计模式——生产消费者模式
- 压力测试软件入门基础
- Android thread
- codeforces 851C 数学
- Spring Boot——开发新一代Spring Java应用
- GitChat·大数据 | 史上最详细的Hadoop环境搭建
- nested exception is java.lang.IllegalStateException: Context namespace element 'annotation-config' a