第一章 创建爬虫常用命令

1.linux下安装virtualenv sudo apt-get install python-virtualenv pip install virtualenvwrapper 
2.创建 py2和py3虚拟环境 virtualenv -p /user/bin/python3 py3
3.windows pip install virtualenv 
4.virtualenv scrapytest 在当前创建虚拟环境 进入虚拟环境 cd Scripts 运行active.bat 推出deactive.bat
5.新建py3虚拟环境 virtualenv -p py3路径/python.exe py3
     1.虚拟环境的安装。
           1.安装 pip install virtualenv 
                1.他的命令 virtualenv py2 ->在当前目录下创建一个虚拟环境
                2.virtualenv -p py2-路径/python.exe py2 创建一个py2的虚拟环境
      2.pip intall virtualenvwrapper
           1.workon 列出所有虚拟环境 workon name 执行虚拟环境
           2.mkvirtualenv name  默认路径：C:Users/Administrator/Envs 自己设置 PATH-> WORKON_HOME == e:/
           3.workon 不起作用时可以将py27下的Scrapys下的 workon.bat mkvirtual.bat 导入
           4.mkvirtualenv --python=C:\Users\liuyc\AppData\Local\Programs\Python\Python35-32\python.exe mysearch
           mkvirtualenv --python=C:\Python27\python.exe flask_test
2.安装 scrapy 
    1.pip install -i https://pypi.douban.com/simple scrapy
    2.www.lfd.uci.edu/~gohlke/pythonlibs/ 在这个网址下载Twisted 35-32版本 pip install ..安装
    3.创建一个scrapy  scrapy startproject ArticleSpider
    4.模板创建 scrapy genspider jobbole blog.jobbole.com
    5.pip install -i https://pypi.douban.com/simple/ pypiwin32
3.调试命令
    1.scrapy shell http://python.jobbole.com/87566/
4.爬取拉钩网
     1.scrapy genspider --list
     2.scrapy genspider -t crawl lagou www.lagou.com
5.安装django 
pip install -i https://pypi.douban.com/simple/ django