HTTPS POST持续修改

来源：互联网发布：yu家it服务和数据分析编辑：程序博客网时间：2024/06/07 04:05

下面的程序是可以正常运行的，已经做过调试，重要的是针对返回结果做筛选和保存

HTTPS POST之后的响应格式不是XML

# coding=utf-8

import requests
import re
from lxml import etree
import time
import pandas as pd
import urllib
import httplib
from bs4 import BeautifulSoup
import sys
reload(sys)
sys.setdefaultencoding("utf-8")
user_agent = 'User-Agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)'
headers = {'User-Agent':user_agent}

#定义一个爬虫
class spider(object):
    def __init__(self):
        print u'开始爬取内容。。。'

#getsource用来获取网页源代码
    def getsource(self,url):
        html = requests.get(url)
        return html.text

#changepage用来生产不同页数的链接
    def changepage(self,url,total_page):
        now_page = int(re.search('page=(\d+)',url,re.S).group(1))   #可修改
        page_group = []
        for i in range(now_page,total_page+1):
            link = re.sub('page=\d+','page=%s'%i,url,re.S)       #可修改
            page_group.append(link)
        return page_group

#getpic用来爬取一个网页图片
    def getpic(self,source):
        selector = etree.HTML(source)
        pic_url = selector.xpath('//ul[@class="ali"]/li/div/a/img/@src')   #可修改
        return pic_url

#savepic用来保存结果到pic文件夹中
    def savepic(self,pic_url):
        picname=re.findall('(\d+)',link,re.S)    #可修改
        picnamestr = ''.join(picname)
        i=0
        for each in pic_url:
            print 'now downloading:' + each
            pic = requests.get(each)
            fp = open('pic\\'+picnamestr +'-'+str(i)+ '.jpg', 'wb')
            fp.write(pic.content)
            fp.close()
            i += 1

#ppic集合类的方法
    def ppic(self, link):
        print u'正在处理页面：' + link
        html = picspider.getsource(link)
        pic_url = picspider.getpic(html)
        picspider.savepic(pic_url)

    def get_info(self,links):
        game_name=[]
        deposit=[]
        period=[]
        rebate=[]
        for y in links:
            try:
                r2=requests.get(y,headers=headers)
            except:
                    print ('wrong %s' % main_url)
            else:
                s2=BeautifulSoup(r2.text,'lxml')
                rate=s2.find_all('dd')
                rate1=s2.find_all('span')
                print "---begin to print rate---"
                for i in range(0,len(rate)/5-1):
                    game_name.append(rate[i*5].string)
                    deposit.append(rate1[i*3].string)
                    period.append(rate1[i*3+1].string)
                    rebate.append(rate1[i*3+2].string)
        p={'游戏名称':game_name,
           '押金':deposit,
           '周期':period,
           '返利':rebate}
        return p

time1=time.time()
if __name__ == '__main__':
    url = 'http://www.wowpower.com/showNewGame?sort=looks&sortseq=down&page=1'   #可修改
    headers = {"Content-type": "application/x-www-form-urlencoded; charset=UTF-8","Accept": "*/*","origin":"https://agent.qbao.com","referer":"https://agent.qbao.com/agent/home"}
    #params = {"orderMode":"0","taskType":"-1","rows":"16","page":"1"}
    params = {"orderMode":0,"taskType":-1,"rows":16,"page":1}
    data = urllib.urlencode(params)
    httpsConn = httplib.HTTPSConnection("www.baidu.com")
    httpsConn.request("GET", "/")
    res = httpsConn.getresponse()
    print res.status, res.reason, res.read()
'''
    #host = 'agent.qbao.com'
    host = 'www.baidu.com'
    #url = '/agent/web/hall'
    url = '/'
    conn = httplib.HTTPSConnection(host)
    print conn
    conn.request('POST', url, data, headers)
    response = conn.getresponse()
    print response.status
    print response.reason
    print response.read()
    print response.getheaders()
'''
#获取头信息
'''
    picspider = spider()
    all_links = picspider.changepage(url,11)     #可修改
    print all_links
    p=pd.DataFrame(picspider.get_info(all_links))
    p.to_csv('e://rate1.csv',index=False,encoding='gbk',
           columns=['游戏名称','押金','周期','返利'],
           header=['游戏名称','押金','周期','返利'])
    for link in all_links:
        picspider.ppic(link)
'''
time2=time.time()
print u'耗时:'+str(time2-time1)

因为https post返回的响应消息是json格式的：所以找了一下json的处理

Python的json模块提供了一种很简单的方式来编码和解码JSON数据。其中两个主要的函数是 json.dumps() 和 json.loads() ，要比其他序列化函数库如pickle的接口少得多。下面演示如何将一个Python数据结构转换为JSON：

?
1
2
3
4
5
6
7
8
9
import json
 
data ={
'name' : 'ACME',
'shares' : 100,
'price' : 542.23
}
 
json_str =json.dumps(data)

下面演示如何将一个JSON编码的字符串转换回一个Python数据结构：

?
1
data =json.loads(json_str)

如果你要处理的是文件而不是字符串，你可以使用 json.dump() 和 json.load() 来编码和解码JSON数据。例如：

?
1
2
3
4
5
6
7
# Writing JSON data
with open('data.json','w') as f:
 json.dump(data, f)
 
# Reading data back
with open('data.json','r') as f:
 data= json.load(f)

用法示例：
相对于python解析XML来说，我还是比较喜欢json的格式返回，现在一般的api返回都会有json与XML格式的选择，json的解析起来个人觉得相对简单些
先看一个简单的豆瓣的图书查询的api返回
http://api.douban.com/v2/book/isbn/9787218087351

?
1
{"rating":{"max":10,"numRaters":79,"average":"9.1","min":0},"subtitle":"","author":["野夫"],"pubdate":"2013-9","tags":[{"count":313,"name":"野夫","title":"野夫"},{"count":151,"name":"散文随笔","title":"散文随笔"},{"count":83,"name":"身边的江湖","title":"身边的江湖"},{"count":82,"name":"土家野夫","title":"土家野夫"},{"count":70,"name":"散文","title":"散文"},{"count":44,"name":"中国文学","title":"中国文学"},{"count":43,"name":"随笔","title":"随笔"},{"count":38,"name":"中国现当代文学","title":"中国现当代文学"}],"origin_title":"","image":"http://img5.douban.com/mpic/s27008269.jpg","binding":"","translator":[],"catalog":"自序 让记忆抵抗n001 掌瓢黎爷n024 遗民老谭n039 乱世游击：表哥的故事n058 绑赴刑场的青春n076 风住尘香花已尽n083 “酷客”李斯n100 散材毛喻原n113 颓世华筵忆黄门n122 球球外传：n一个时代和一只小狗的际遇n141 童年的恐惧与仇恨n151 残忍教育n167 湖山一梦系平生n174 香格里拉散记n208 民国屐痕","pages":"256","images":{"small":"http://img5.douban.com/spic/s27008269.jpg","large":"http://img5.douban.com/lpic/s27008269.jpg","medium":"http://img5.douban.com/mpic/s27008269.jpg"},"alt":"http://book.douban.com/subject/25639223/","id":"25639223","publisher":"广东人民出版社","isbn10":"7218087353","isbn13":"9787218087351","title":"身边的江湖","url":"http://api.douban.com/v2/book/25639223","alt_title":"","author_intro":"郑世平，笔名野夫，网名土家野夫。毕业于武汉大学，曾当过警察、囚徒、书商。曾出版历史小说《父亲的战争》、散文集《江上的母亲》（获台北2010国际书展非虚构类图书大奖，是该奖项第一个大陆得主）、散文集《乡关何处》（被新浪网、凤凰网、新华网分别评为2012年年度好书）。","summary":"1.野夫书稿中被删减最少，最能体现作者观点、情感的作品。n2.文字凝练，具有极强的感染力。以一枝孤笔书写那些就在你我身边的大历史背景下普通人的生活变迁。n3. 柴静口中“一半像警察，一半像土匪”的野夫，以其特有的韵律表达世间的欢笑和悲苦。","price":"32元"}

看起来别提多乱了，现在我们将其格式进行简单的整理

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
{
rating: {
 max:10,
 numRaters:79,
 average:"9.1",
 min:0
},
subtitle: "",
author: [
 "野夫"
],
pubdate: "2013-9",
tags: [
 {
 count:313,
 name:"野夫",
 title:"野夫"
 },
 {
 count:151,
 name:"散文随笔",
 title:"散文随笔"
 },
 {
 count:83,
 name:"身边的江湖",
 title:"身边的江湖"
 },
 {
 count:82,
 name:"土家野夫",
 title:"土家野夫"
 },
 {
 count:70,
 name:"散文",
 title:"散文"
 },
 {
 count:44,
 name:"中国文学",
 title:"中国文学"
 },
 {
 count:43,
 name:"随笔",
 title:"随笔"
 },
 {
 count:38,
 name:"中国现当代文学",
 title:"中国现当代文学"
 }
],
origin_title: "",
image: "http://img5.douban.com/mpic/s27008269.jpg",
binding: "",
translator: [ ],
catalog: "自序 让记忆抵抗 001 掌瓢黎爷 024 遗民老谭 039 乱世游击：表哥的故事 058 绑赴刑场的青春 076 风住尘香花已尽 083 “酷客”李斯 100 散材毛喻原 113 颓世华筵忆黄门 122 球球外传： 一个时代和一只小狗的际遇 141 童年的恐惧与仇恨 151 残忍教育 167 湖山一梦系平生 174 香格里拉散记 208 民国屐痕",
pages: "256",
images: {
 small:"http://img5.douban.com/spic/s27008269.jpg",
 large:"http://img5.douban.com/lpic/s27008269.jpg",
 medium:"http://img5.douban.com/mpic/s27008269.jpg"
},
alt: "http://book.douban.com/subject/25639223/",
id:"25639223",
publisher: "广东人民出版社",
isbn10: "7218087353",
isbn13: "9787218087351",
title: "身边的江湖",
url: "http://api.douban.com/v2/book/25639223",
alt_title: "",
author_intro: "郑世平，笔名野夫，网名土家野夫。毕业于武汉大学，曾当过警察、囚徒、书商。曾出版历史小说《父亲的战争》、散文集《江上的母亲》（获台北2010国际书展非虚构类图书大奖，是该奖项第一个大陆得主）、散文集《乡关何处》（被新浪网、凤凰网、新华网分别评为2012年年度好书）。",
summary: "1.野夫书稿中被删减最少，最能体现作者观点、情感的作品。 2.文字凝练，具有极强的感染力。以一枝孤笔书写那些就在你我身边的大历史背景下普通人的生活变迁。 3. 柴静口中“一半像警察，一半像土匪”的野夫，以其特有的韵律表达世间的欢笑和悲苦。",
price: "32元"
}

下面我们通过python来取出想要的信息，比如我们想要rating,images里的large和summary

?
1
2
3
4
5
6
7
8
9
10
import urllib2
import json
 
html =urllib2.urlopen(r'http://api.douban.com/v2/book/isbn/9787218087351')
 
hjson =json.loads(heml.read())
 
print hjson['rating']
print hjson['images']['large']
print hjson['summary']

是不是很简单，其实只要把返回的json格式嵌套搞清楚，json还是比较简单的

PS：关于json操作，这里再为大家推荐几款比较实用的json在线工具供大家参考使用：

在线JSON代码检验、检验、美化、格式化工具：
http://tools.jb51.net/code/json

JSON在线格式化工具：
http://tools.jb51.net/code/jsonformat

在线XML/JSON互相转换工具：
http://tools.jb51.net/code/xmljson

json代码在线格式化/美化/压缩/编辑/转换工具：
http://tools.jb51.net/code/jsoncodeformat

在线json压缩/转义工具：

http://tools.jb51.net/code/json_yasuo_trans

C语言风格/HTML/CSS/json代码格式化美化工具：
http://tools.jb51.net/code/ccode_html_css_json

0 0