数据存储(无数据库版)之一：存储为JSON

#coding:utf8#使用Requests访问http://seputu.com/，获取并打印HTML文档内容import requestsuser_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'headers = {'User-Agent':user_agent}r = requests.get('http://seputu.com/', headers=headers)print r.text#分析网页的HTML结构：#标题和章节都被包含在<div class="mulu">标记下，标记位于其中的<div class="mulu-title">下的<h2>中，#章节位于其中的<div class="box">下的<a>中from bs4 import BeautifulSoupsoup = BeautifulSoup(r.text,'html.parser',from_encoding='utf-8')for mulu in soup.find_all(class_="mulu"):    h2 = mulu.find('h2')    if h2 != None:        h2_title = h2.string #获取标题        for a in mulu.find(class_='box').find_all('a') : #获取所有的a标记中url和章节内容            href = a.get('href')            box_title = a.get('title')            print href,box_title#此时已经成功获取标题，章节；接下介绍python操作JSON文件#python通过JSON模块实现对JSON的编码解码操作；#编码：# 把python对象转换成JSON对象的过程，常用的两个函数 dumps 和 dump；# dump 是把python对象转换成JSON对象，并将JSON对象通过fp文件流写入文件；# dumps 生成一个字符串#dumps(obj, skipkeys=False, ensure_ascii=True, check_circular=True,#      allow_nan=True, cls=None, indent=None, separators=None,#      encoding='utf-8', default=None, sort_key=False, **kw)#dump(obj, fp, skipkeys=False, ensure_ascii=True, check_circular=True,#      allow_nan=True, cls=None, indent=None, separators=None,#      encoding='utf-8', default=None, sort_key=False, **kw)#参数分析：#Skipkeys:默认值为False。如果dict的keys内部的数据不是python的数据类型(str,#         unicode,int,long,float,bool,None)，设置为False时,就会报TypeError错误。#         设置为True时，则会跳过这类key;#ensure_ascii:默认值True。如果dict内含有非ASCII的字符串，则会以类似"\uXXXX"#             的格式显示数据，设置成False后，就能正常显示；#indent:是一个非负的整形，如果是0或者为空，则显示数据，否则会换行且按照indent的#       数量显示前面的空白，将JSON内容进行格式化显示；#separators：分隔符，实际上是(item_separator,dict_separator)的一个元祖，默认的就是(',',':')，这表示#          dictionary内keys之间用","隔开，key和value之间用":"隔开；#encoding:默认是UTF-8。设置JSON数据的编码方式；#sort_keys:将数据根据keys的值进行排序；import jsonstr = [{"username":"七夜","age":24},(2,3),1]json_str = json.dumps(str,ensure_ascii=False)print json_strwith open('qiye.text','w') as fp: #写入文件    json.dump(str,fp=fp,ensure_ascii=False)#解码：#把json对象转成python对象的过程，常用的两个函数是 load和loads 函数，区别于dump与dumps一样；#loads(s, encoding=None, cls=None, object_hook=None, parse_float=None,#        parse_int=None, parse_constant=None, object_pairs_hook=None, **kw)#load(fp, encoding=None, cls=None, object_hook=None, parse_float=None,#        parse_int=None, parse_constant=None, object_pairs_hook=None, **kw)#参数分析：#encoding:指定编码风格#parse_float:如果指定，将把每一个JOSN字符串按照float解码调用。#            默认情况下，相当于float(num_str)#parse_int:如果指定，将把每一个JOSN字符串按照int解码调用。#            默认情况下，相当于int(num_str)new_str = json.loads(json_str)print new_strwith open('qiye.txt','r') as fp:    print json.load(fp)#以上为讲解python操作JSON；#接下来接着例子把提取到的标题，章节和链接进行JSON存储：import jsonfrom bs4 import BeautifulSoupimport requestsuser_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT）'headers={'User-Agent':user_agent}r = requests.get('http://seputu.com/',headers=headers)soup = BeautifulSoup(r.text,'html.parser',from_encoding='utf-8')content=[]for mulu in soup.find_all(class_="mulu"):    h2 = mulu.find('h2')    if h2 != None:        h2_title = h2.string #获取标题        list=[]        for a in mulu.find(class_='box').find_all('a'): #获取所有的a标记中url和章节内容            href = a.get('href')            box_title = a.get('title')            list.append({'href':href,'box_title':box_title})    with open('qiye.json','wb') as fp:        json.dump(content,fp=fp,indent=4)