python第三方模块之pyquery

pyquery是一个类似jquery的python库，可以使用像jquery那样的语法来提取网页中的任何数据，这个用于数据分析和挖掘还是一个比较不错的第三方库的。

具体的用法网上介绍的还是比较多的，这里给出一个链接可以参考：http://blog.csdn.net/cnmilan/article/details/8727308

下面我将以抓取豆瓣图书top250为例来介绍该模块。

首先分析下豆瓣图书top250的链接：如：http://book.douban.com/top250?start=0，每页25条数据，start参数的步长即为25，一直抓到http://book.douban.com/top250?start=225，即可全部抓取完毕。

首先分析网页源码，发现所有图书都会放在<div class="pl2"></div>之间，所以我们可以以这个为基准，写出以下代码：

data=doc('.pl2 a')for i in data:    print pq(i).text()

这三行代码就可实现抓取书名并输出的功能。

下面将是一个完整的代码，抓取250本书名：

#!/usr/bin/python# -*- coding: utf-8 -*-from pyquery import PyQuery as pqfor i in range(0,250,25):    url='http://book.douban.com/top250?start='+str(i)    doc=pq(url=url)    data=doc('.pl2 a')    for i in data:        print pq(i).text()

短短几行即可实现，输出如下：

小王子围城活着追风筝的人挪威的森林白夜行不能承受的生命之轻梦里花落知多少达·芬奇密码红楼梦1988：我想和这个世界谈谈何以笙箫默简爱看见嫌疑人X的献身平凡的世界（全三部）哈利·波特与魔法石三体 : “地球往事”三部曲之一杜拉拉升职记三重门飘（上下）倾城之恋傲慢与偏见送你一颗子弹明朝那些事儿（壹） : 洪武大帝哈利·波特与阿兹卡班的囚徒独唱团（第一辑）幻城致我们终将逝去的青春莲花情人哈利·波特与密室天才在左 疯子在右 : 国内第一本精神病人访谈手记1Q84 BOOK 1 : 4月～6月向左走·向右走哈利·波特与火焰杯狼图腾万历十五年微微一笑很倾城目送百年孤独悲伤逆流成河长安乱1995-2005夏至未至天龙八部Harry Potter and the Deathly Hallows边城哈利·波特与混血王子一个人的好天气穆斯林的葬礼苏菲的世界喜宝三体Ⅲ : 死神永生三国演义（全二册）三体Ⅱ : 黑暗森林我们仨兄弟（上）文化苦旅哈利·波特与凤凰社基督山伯爵海边的卡夫卡窗边的小豆豆月亮和六便士撒哈拉的故事呼啸山庄许三观卖血记笑傲江湖（全四册）悟空传 : 修订版民主的细节 : 美国当代政治观察随笔福尔摩斯探案全集（上中下）三生三世 十里桃花盗墓笔记 : 七星鲁王宫放学后百年孤独一九八四·动物农场素年锦时黄金时代 : 时代三部曲小时代1.0折纸时代遇见未知的自己第一次的亲密接触少有人走的路 : 心智成熟的旅程解忧杂货店彼岸花洛丽塔亲爱的安德烈恶意一座城池1Q84 BOOK 2 : 7月～9月他的国情书八月未央麦田里的守望者灿烂千阳老人与海清醒纪这些都是你给我的爱神雕侠侣西决茶花女灌篮高手31芒果街上的小屋这些人，那些事陪安东尼度过漫长岁月明朝那些事儿（贰） : 万国来朝山楂树之恋地下铁羊脂球撒哈拉的故事东方快车谋杀案蔡康永的说话之道鲁滨逊漂流记人生若只如初见 : 古典诗词的美丽与哀愁巴黎圣母院安徒生童话故事集牧羊少年奇幻之旅年华是无效信霍乱时期的爱情会有天使替我爱你泡沫之夏月亮忘記了小团圆且听风吟肖申克的救赎哭泣的骆驼射雕英雄传（全四册）华胥引（全二册）钢铁是怎样炼成的沉默的大多数 : 王小波杂文随笔全编佳期如梦在路上红玫瑰与白玫瑰告别薇安一個人住第5年此间的少年二三事当我谈跑步时我谈些什么货币战争一个陌生女人的来信时间旅行者的妻子麦田里的守望者常识呐喊步步惊心失恋33天 : 小说，或是指南明朝那些事儿（叁） : 妖孽宫廷原来你还在这里兄弟（下）左手倒影，右手年华。零下一度鹿鼎记（全五册）半生缘机器猫哆啦A梦23像少年啦飞驰左耳被窝是青春的坟墓白鹿原从你的全世界路过 : 让所有人心动的故事关于莉莉周的一切明朝那些事儿（肆） : 粉饰太平水仙已乘鲤鱼去挪威的森林荆棘鸟大地之灯鬼吹灯之精绝古城格林童话全集明朝那些事儿（1-9） : 限量版盗墓笔记2 : 秦岭神树麦琪的礼物 : 欧·亨利短篇小说经典无人生还我们台湾这些年 : 一个台湾青年写给13亿大陆同胞的一封家书寻路中国 : 从乡村到工厂的自驾之旅孤独六讲海贼王 : ONE PIECE巴别塔之犬阿Q正传明朝那些事儿（伍） : 帝国飘摇历史深处的忧虑 : 近距离看美国之一小时代2.0虚铜时代我的路橙 : 陪安东尼度过漫长岁月 Ⅱ动物农场蔷薇岛屿悲惨世界（上中下）爱你就像爱生命草样年华 : 北X大的故事1Q84 BOOK 3 : 10月～12月你好，旧时光（上 下）盗墓笔记3 : 云顶天宫东霓尘埃落定匆匆那年（上下）香水 : 一个谋杀犯的故事金锁记了不起的盖茨比飞鸟集往事并不如烟那些年，我们一起追的女孩倾城之恋杜拉拉2华年似水 : 《杜拉拉升职记》第二部看不见的城市七夜雪不朽佛祖在一号线阿狸·梦之城堡盗墓笔记4 : 蛇沼鬼城梦里花落知多少幻夜 : 东野圭吾作品06七龍珠 34 : 超越悟空的戰士尘埃星球曾有一个人，爱我如生命骆驼祥子当我们谈论爱情时我们在谈论什么那些回不去的年少时光人间失格最初的爱情 最后的仪式天使与魔鬼谁动了我的奶酪？黄金时代樱桃之远伊豆的舞女长恨歌一只特立独行的猪倚天屠龙记(共四册)史蒂夫·乔布斯传世界因你不同 : 李开复自传生活在别处光荣日（第一季）世界尽头与冷酷仙境傲慢与偏见原来你非不快乐死亡筆記 1 : 无聊秘密嫌疑人X的献身明朝那些事儿（柒）：大结局一个陌生女子的来信ZOO明朝那些事儿（陆） : 日暮西山失落的秘符偷书贼澜本嫁衣心是孤独的猎手须臾暮色 : 暮光之城幽游白书（全19册）欧也妮·葛朗台我的心中每天开出一朵花全世爱我执红与黑那些生命中温暖而美好的事情