第一篇：刚接触scrapy的阶段以及之前出现的问题

——如果我能够学好编程并且可以学以致用，那么我希望当一名Python工程师，如果我的脑子不够用，那是我自己未够班。

第一次写日志，遇到的问题一定要记下来。

在安装Scrapy的时候发现了几个问题：

1.官网下载pywin32， 需要找对版本，用pip安装的时候版本不对。

2.pip 安装wheel的时候报错，缺少twisted。那就继续安装twisted，好在pip安装超方便

3,cmd命令不熟悉，上来是蒙圈的，但是操作多了就适应了。

关于Scrapy：

1.在自己练习的时候，给Spider目录下建立了两个包含都'name = ‘xx’'的py文件，作为待编辑的副本，导致出现了missing scheme in request url错误，删除掉副本就好了。

如果spider程序里有语法错，运行Scrapy shell的时候是会报错的，所以可以推断spider目录下的每个py文件都对整个Scrapy shell的运行产生影响。

2.我还不会把 json文件导入数据库（？）或者导入Excel

3.练习爬星巴克网站每个商品的描述的过程是这样的：

        首页-抓取标签栏里的分类产品页面链接：

               分类产品页面-抓取每个产品的链接：

                        每个产品的页面-抓取产品名、描述、价格

 4.待学习：

               将json转成excel ,用excel可以保存成csv格式 ————————已解决：json12xls在线转换 http://j2e.kpoda.com/   时间：2017.7.23 pm15:04

                   将爬到的数据保存为csv格式  http://bbs.csdn.net/topics/392159686

        

         Linux ——鱼c上找资源

         Github ——鱼c    ————————已解决：参考廖雪峰git教程， 时间：2017/7/28

         多线程——百度网盘 

         整站爬取——百度网盘

        Selenium

        Hadoop

        Pig, Spark

       

——从零基础入门学习python的课程基本学完了，后面是讲交互界面Tinker和pygame的，我想深入学习Scrapy，所以暂时告别零基础入门学习python这门课了。

想听小甲鱼讲的《极客之选python》里面会讲Github！这个会在找工作的时候有加分。

——意外遇到了别人整理的安装python方案： http://blog.csdn.net/tinker_love_learning/article/category/6146456

 日记创建时间：2017/7/23 14:00