Python爬取网页信息并且存储到MySQL数据库

来源:互联网 发布:epson投影仪软件 编辑:程序博客网 时间:2024/05/16 09:38

今天在执行一小Python爬取某网页的信息的时候,结果,报错了,根据错误,应该是数据库连接失败,密码有错误

检查程序密码应该没错呀,然后直接访问数据库,我的天,试了好多次,都快放弃自己了,昨晚明明成功的呀

然后打开Navicat,查看昨晚设置的连接属性,没错呀,密码就是1234566

然后陷入怪圈模式

突然,灵感xiu的一下就来了,Navicat昨晚设置的是连接虚拟机上的MySQL的,密码确实是123456

那本地用户呢,让我想想,我设置密码了吗?

突然想起来,Navicat不是已经连接到数据库了嘛,我可以直接查看表呀,也有root权限的

哇,打开mysql数据库,可以看到一个名为user的数据表

突然觉得黎明的曙光过来了,哈哈哈,这里高兴一秒钟

进入user数据表,激动人心的时刻就要到啦,密码密码,我来啦

我的天,hmm,这个主机名不就是我虚拟机名称嘛,它-竟-然-是-没-有-设-置-密-码-的,此时我的内心是崩溃的,我先去找个地冷静冷静

但还是要工作了~

登陆mysql

哇,它真的成功了呢!!!!!!!!!!!!这里响起掌声!!!!!!!!!!!!!

修改程序中的连接数据库中的参数,继续执行程序,果然,又出错了

1366错误,这又是什么鬼,快扶我起来,我还可以坚持

对于第一次连数据库的我来说,两眼一抹黑,转头立马去找我最亲爱的度娘,原来是数据库的编码格式和你连接时设置的编码格式是不一样的,连接的时候,charset设置的是utf-8,为的是可以存储中文。

得了,还是去看看数据库的编码吧

数据库默认的编码格式,latin,得了,明白了,立马改编码格式,转去找我熟悉的Navicat

改成utf-8就可以啦,再去查看查看是否可以了,嗯,都乖乖的变成了utf-8格式了

应该没有别的问题了吧,行嘞,继续执行

我的天,又出来一名刺客

貌似是执行插入语句的时候出现了问题,我只看到“Data too long for column”意思就是,对于这一属性列来说,数据量太大,不能插入到数据库中去,回想我的表的设计,varchar(100),经常使用的类型,度娘,我又来啦

原来对于数据量大的属性列来说,可以选用TEXT类型,它可以存储更长的数据量,查看数据库中是否插入数据了,结果却是是呢,最起码也插进去了一条吧


话不多说,转身去修改变量类型

不管了,继续执行

啊,真的成-功-了!!!!!!

我的老心脏呀,好艰辛的过程呀!!!!

再去看看数据库

至此,我人生的第一个爬虫就告一段落了!!!!

阅读全文
0 0
原创粉丝点击