Python爬取网页信息并且存储到MySQL数据库
来源:互联网 发布:epson投影仪软件 编辑:程序博客网 时间:2024/05/16 09:38
今天在执行一小Python爬取某网页的信息的时候,结果,报错了,根据错误,应该是数据库连接失败,密码有错误
检查程序密码应该没错呀,然后直接访问数据库,我的天,试了好多次,都快放弃自己了,昨晚明明成功的呀
然后打开Navicat,查看昨晚设置的连接属性,没错呀,密码就是1234566
然后陷入怪圈模式
突然,灵感xiu的一下就来了,Navicat昨晚设置的是连接虚拟机上的MySQL的,密码确实是123456
那本地用户呢,让我想想,我设置密码了吗?
突然想起来,Navicat不是已经连接到数据库了嘛,我可以直接查看表呀,也有root权限的
哇,打开mysql数据库,可以看到一个名为user的数据表
突然觉得黎明的曙光过来了,哈哈哈,这里高兴一秒钟
进入user数据表,激动人心的时刻就要到啦,密码密码,我来啦
我的天,hmm,这个主机名不就是我虚拟机名称嘛,它-竟-然-是-没-有-设-置-密-码-的,此时我的内心是崩溃的,我先去找个地冷静冷静
但还是要工作了~
登陆mysql
哇,它真的成功了呢!!!!!!!!!!!!这里响起掌声!!!!!!!!!!!!!
修改程序中的连接数据库中的参数,继续执行程序,果然,又出错了
1366错误,这又是什么鬼,快扶我起来,我还可以坚持
对于第一次连数据库的我来说,两眼一抹黑,转头立马去找我最亲爱的度娘,原来是数据库的编码格式和你连接时设置的编码格式是不一样的,连接的时候,charset设置的是utf-8,为的是可以存储中文。
得了,还是去看看数据库的编码吧
数据库默认的编码格式,latin,得了,明白了,立马改编码格式,转去找我熟悉的Navicat
改成utf-8就可以啦,再去查看查看是否可以了,嗯,都乖乖的变成了utf-8格式了
应该没有别的问题了吧,行嘞,继续执行
我的天,又出来一名刺客
貌似是执行插入语句的时候出现了问题,我只看到“Data too long for column”意思就是,对于这一属性列来说,数据量太大,不能插入到数据库中去,回想我的表的设计,varchar(100),经常使用的类型,度娘,我又来啦
原来对于数据量大的属性列来说,可以选用TEXT类型,它可以存储更长的数据量,查看数据库中是否插入数据了,结果却是是呢,最起码也插进去了一条吧
话不多说,转身去修改变量类型
不管了,继续执行
啊,真的成-功-了!!!!!!
我的老心脏呀,好艰辛的过程呀!!!!
再去看看数据库
至此,我人生的第一个爬虫就告一段落了!!!!
- Python爬取网页信息并且存储到MySQL数据库
- cheerio爬取网页数据,存储到MySQL数据库
- python爬取网页信息
- Python-爬取网页信息
- python爬取网页信息
- 操作 Python爬虫数据存储MySQL【3】爬取信息
- python 网页爬取数据并存到数据库中
- [python爬虫] 招聘信息定时系统 (一).BeautifulSoup爬取信息并存储MySQL
- sparkstreaming实时统计并且存储到mysql数据库中
- 世纪佳缘信息爬取存储到mysql,下载图片到本地,从数据库选取账号对其发送消息更新发信状态
- 世纪佳缘信息爬取存储到mysql,下载图片到本地,从数据库选取账号对其发送消息更新发信状态
- 爬取信息到数据库入门操作
- mysql 图片存储到数据库中 python
- 利用Scrapy框架爬取博客信息并存到mysql数据库
- python爬虫爬取ithome的新闻存储到本地数据库
- python,scrapy爬虫sql之爬取数据存储到mysql的piplelines.py配置
- Python爬虫爬取豆瓣图书的信息和封面,放入MySQL数据库中。
- Python爬虫-爬取51job.com 招聘信息并写入文件和数据库mysql
- Python爬虫爬取内涵吧段子案例系列之八
- Java Web 之文件上传与下载
- 新手上路系列4:复合数据类型
- 利用Kuhn-Munkras算法求最小权值匹配
- ^ & | ~ 的位运算
- Python爬取网页信息并且存储到MySQL数据库
- bzoj3211 花神游历各国 线段树
- item
- 微信小程序 setData动态设置数组中的数据
- ubuntu14.0安装arm-linux-gcc交叉编译环境
- linux基本命令
- python学习笔记
- JS跨页面或跨JS文件对变量赋值
- Linux 应用开发