pymysql处理Unicode

来源:互联网 发布:javascript call 编辑:程序博客网 时间:2024/06/04 22:19

在写python爬虫的时候,听说处理Unicode字符串是比较痛苦的(但是我还没感受过!),
先把解决问题贴上来,以后肯定会遇到的:
解决的方法就是最好一开始就让你的数据库支持Unicode编码:

ALTER DATABASE scraping CHARACTER SET = utf8mb4 COLLATE = utf8mb4_unicode_ci;ALTER TABLE pages CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;ALTER TABLE pages CHANGE title title VARCHAR(200) CHARACTER SET utf8mb4 COLLATEutf8mb4_unicode_ci;ALTER TABLE pages CHANGE content content VARCHAR(10000) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

上面四句 分别是把:数据库,数据表,以及两个字段的默认编码都从utf8mb4转化成
(这个编码严格上也属于Unicode编码) utf8mb4_unicode_ci