周总结1

scrapy

新建项目

scrapy startproject XXX

新建爬虫

scarpy genspider xxx  xxx.com

运行爬虫

scrapy crawl xxx

shell测试

scrapy shell xxx.com

response

response.extract()[0].strip().replace("","")

extract_first()为空时不会报错

strip()去换行符

scrapy 爬取顺序

https://segmentfault.com/q/1010000003930911?sort=created

scrapy 各种报错

http://blog.csdn.net/sunshine_in_moon/article/details/51250023

http://ask.csdn.net/questions/240847

css选择器

response.css()

a：：attr（href）提取网页

a::text提取文本

scrapy的Request

from scrapy.http import Request

request(url=,meta={},callback=)

meta={} 传递值

callback 回调函数

pipeline

ITEM_PIPELINES 启用item pipeline组件

{‘scrapy.pipelines.images.ImagesPipeline’:300}

IMAGES_URL_FIELD ="图片所在字段"

IMAGES_STORE = "存储路径"

Python基础

函数命名

1、小驼峰式命名法（lower camel case）：

第一个单字以小写字母开始，第二个单字的首字母大写。例如：firstName、lastName。

2、大驼峰式命名法（upper camel case）：

每一个单字的首字母都采用大写字母，例如：FirstName、LastName

列表排序

num.sort()升序

num.sort(reverse=True)降序

num.reverse倒序

文件操作

f = open("文件名"，“打开方式”)

打开方式 r w a b +

f.close()           f.read()              f.read(1)        f.write(" ")

豆瓣源安装库

pip install -i https://pypi.douban.com/simple xxx

 

web知识

cookie和session

浏览器端和服务器端

sessionid

状态码

200      404       403 无权限     301/302重定向       500 服务器错误

 

requests库

requests.session()    保持cookie

 

urllib库

from urllib import parse

urllib.parse.urljoin

虚拟环境

mkvirtualenv -p /usr/bin/python3 xxx新建Python3虚拟环境

pip list 安装的库

workon 虚拟环境名   使用该虚拟环境

workon 显示所有虚拟环境