Python实战计划学习作业1-5

代码如下

from bs4 import BeautifulSoupimport requestssingle_url = "http://weheartit.com/inspirations/taylorswift?scrolling=true&page="target_dir = "/Users/reed/Desktop/images"url_list = ["http://bj.58.com/pbdn/0/pn{}/".format(str(i)) for i in range(2, 2, 1)]url_list.insert(0, "http://bj.58.com/pbdn/0/")def get_detail_page_url_list(list_page_url):    wb_data = requests.get(list_page_url)    soup = BeautifulSoup(wb_data.text, 'lxml')    link_list = soup.select("#infolist > div.infocon > table > tbody > tr > td.img > a")    print(len(link_list))    return [link.get('href').split('?')[0] for link in link_list]def analyze_page(url):    html_data = requests.get(url)    page_soup = BeautifulSoup(html_data.text, 'lxml')    cates = page_soup.select('#nav > div > span > a')    names = page_soup.select(        'body > div.content > div > div.box_left > div.info_lubotu.clearfix > div.box_left_top > h1')    prices = page_soup.select('body > div.content > div > div.box_left > div.info_lubotu.clearfix ' +                              '> div.info_massege.left > div.price_li > span > i')    locations = page_soup.select('body > div.content > div > div.box_left > div.info_lubotu.clearfix ' +                                 '> div.info_massege.left > div.palce_li > span > i')    sellers = page_soup.select('p.personal_name')    views = page_soup.select('span.look_time')    print(url)    print("分类：" + cates[-1].get_text().strip())    print("物品名：" + names[0].get_text())    print("价格：" + prices[0].get_text())    print("区域：" + locations[0].get_text())    print("卖家：" + sellers[0].get_text())    print("浏览量: " + views[0].get_text())if __name__ == '__main__':    for url in url_list:        for page_url in get_detail_page_url_list(url):            if len(page_url) > 105:                continue            else:                print('----------------------------------------------')                analyze_page(page_url)

输出结果

/Library/Frameworks/Python.framework/Versions/3.5/bin/python3.5 /Users/reed/PycharmProjects/web01/web_parse5.py50----------------------------------------------http://zhuanzhuan.58.com/detail/801060861649125380z.shtml分类：北京二手市场物品名：ACER   A500平板电脑价格：400区域：北京-海淀卖家：流云居士qq浏览量: 76次浏览----------------------------------------------http://zhuanzhuan.58.com/detail/801055929787678724z.shtml分类：北京二手市场物品名：9成新Ipadmini4  128G的，现在想转手，有需要的请留言联系我价格：3000区域：北京-朝阳卖家：美半天浏览量: 99次浏览----------------------------------------------http://zhuanzhuan.58.com/detail/800981901253705735z.shtml分类：北京二手市场物品名：Apple iPad mini 4 7.9英寸64g银色价格：2800区域：北京-东城卖家：大先生的家浏览量: 193次浏览----------------------------------------------http://zhuanzhuan.58.com/detail/800982989552435208z.shtml分类：北京二手市场物品名：小米平板2价格：1099区域：北京-昌平卖家：狼，我能浏览量: 104次浏览----------------------------------------------http://zhuanzhuan.58.com/detail/780922550779019266z.shtml分类：北京二手市场物品名：平板固定架价格：100区域：北京-海淀卖家：卖家周浏览量: 472次浏览----------------------------------------------http://zhuanzhuan.58.com/detail/800971434109698054z.shtml分类：北京二手市场物品名：iPad2 32g港版wifi 九成新价格：1099区域：北京-房山卖家：精彩001浏览量: 377次浏览----------------------------------------------http://zhuanzhuan.58.com/detail/783215280317464580z.shtml分类：北京二手市场物品名：飞触平板G08S  8成新价格：600区域：北京-昌平卖家：LoveLemon.浏览量: 1312次浏览----------------------------------------------http://zhuanzhuan.58.com/detail/788070275057139716z.shtml分类：北京二手市场物品名：自用iPad3 16g wifi 经典款低价转让价格：1120区域：北京-朝阳卖家：龙巍浏览量: 1262次浏览----------------------------------------------http://zhuanzhuan.58.com/detail/800717244609937409z.shtml分类：北京二手市场物品名：前男友送的，现在分手了，不想要了，诚心转让联想游戏i7八核笔记本价格：1220区域：北京-海淀卖家：青烟‘一缕浏览量: 769次浏览----------------------------------------------http://zhuanzhuan.58.com/detail/800495369778102278z.shtml分类：北京二手市场物品名：全新机iPad pro256G白色 延保 全新4080价格：4080区域：北京-朝阳卖家：偏执蜀黍浏览量: 213次浏览----------------------------------------------http://zhuanzhuan.58.com/detail/777704258455715844z.shtml分类：北京二手市场物品名：iPad mini键盘价格：150区域：北京-西城卖家：嘛呢～嘛呢浏览量: 917次浏览----------------------------------------------http://zhuanzhuan.58.com/detail/799819812506959873z.shtml分类：北京二手市场物品名：台电平板a78价格：88区域：北京-丰台卖家：一渡居士浏览量: 164次浏览----------------------------------------------http://zhuanzhuan.58.com/detail/764413336702418948z.shtml分类：北京二手市场物品名：ipad2 3g版16g价格：1200区域：北京-丰台卖家：蛇小姐浏览量: 1630次浏览----------------------------------------------http://zhuanzhuan.58.com/detail/800317005831176194z.shtml分类：北京二手市场物品名：三星平板tp5200全新转让价格：700区域：北京-昌平卖家：小胡091浏览量: 45次浏览----------------------------------------------http://zhuanzhuan.58.com/detail/794144227037134852z.shtml分类：北京二手市场物品名：微星3100笔控平板电脑价格：156区域：北京-昌平卖家：迷迷糊糊的自己浏览量: 359次浏览----------------------------------------------http://zhuanzhuan.58.com/detail/800318314001137666z.shtml分类：北京二手市场物品名：换了本本 亏就亏了 这台自用i7八核笔记本低价处理了吧价格：1280区域：北京-海淀卖家：叶公好龙do浏览量: 308次浏览----------------------------------------------http://zhuanzhuan.58.com/detail/800257890780954627z.shtml分类：北京二手市场物品名：16g ipad mini3 学生党 土豪金 不砍价 当面交价格：1599区域：北京-海淀卖家：Tomgdjdh浏览量: 398次浏览----------------------------------------------http://zhuanzhuan.58.com/detail/800264548554555394z.shtml分类：北京二手市场物品名：iPad mini2 16g国行在保价格：1200区域：北京-朝阳卖家：小babi浏览量: 42次浏览----------------------------------------------http://zhuanzhuan.58.com/detail/801064884884733956z.shtml分类：北京二手市场物品名：国行 iPad mini 1出售价格：700区域：北京-西城卖家：��小芄子��浏览量: 34次浏览----------------------------------------------http://zhuanzhuan.58.com/detail/799442695663157249z.shtml分类：北京二手市场物品名：平板价格：1000区域：北京-朝阳卖家：阿良浏览量: 136次浏览----------------------------------------------http://zhuanzhuan.58.com/detail/801081208727044104z.shtml分类：北京二手市场物品名：ipad5价格：1650区域：北京-海淀卖家：��酷儿浏览量: 2次浏览----------------------------------------------http://zhuanzhuan.58.com/detail/771163968564215812z.shtml分类：北京二手市场物品名：ipad mini2 4g价格：2310区域：北京-朝阳卖家：手机那点事浏览量: 1085次浏览----------------------------------------------http://zhuanzhuan.58.com/detail/800213745994809350z.shtml分类：北京二手市场物品名：平板价格：200区域：北京-朝阳卖家：东北制造浏览量: 126次浏览----------------------------------------------http://zhuanzhuan.58.com/detail/797992735019941891z.shtml分类：北京二手市场物品名：苹果ipadair2金色价格：1999区域：北京-大兴卖家：淡淡、清香浏览量: 602次浏览----------------------------------------------http://zhuanzhuan.58.com/detail/801028366568882183z.shtml分类：北京二手市场物品名：个人转闲置Lenovo新款八核九五新笔记本国行3年上门保修全国联保笔记本,本本装有鲁大师检测工具原装行货笔记本,原装配置,笔记本没有拆过,没有修过,没有任何问题.cpu是高端八核酷睿睿频3.800MHZ,7200转高速硬盘2000G,内 存: 8GB 可升级16G内存笔记本带无线网卡,带蓝牙,带读卡器,带DVD双刻,带HDMI高清液晶电视接口,原装充电器,原装包包,原装鼠标,说明书价格：1300区域：北京-朝阳卖家：情非得已的浏览量: 41次浏览----------------------------------------------http://zhuanzhuan.58.com/detail/790220275405602820z.shtml分类：北京二手市场物品名：智能学生通话学习平板价格：700区域：北京-朝阳卖家：LauChiu浏览量: 553次浏览----------------------------------------------http://zhuanzhuan.58.com/detail/798831236015964168z.shtml分类：北京二手市场物品名：ipad pro 12.9寸，128g  wifi+4g版本，全新未拆封价格：7000区域：北京-海淀卖家：卡没聋 →_→ 联通电信内浏览量: 453次浏览----------------------------------------------http://zhuanzhuan.58.com/detail/773345591328292868z.shtml分类：北京二手市场物品名：ipad3  32G   wifi+4G  插卡价格：1360区域：北京-海淀卖家：排毒养生减重专家浏览量: 2765次浏览----------------------------------------------http://zhuanzhuan.58.com/detail/791299795356499972z.shtml分类：北京二手市场物品名：联想乐PAD A1-07 16G 全新未价格：400区域：北京-顺义卖家：杰琳浏览量: 650次浏览----------------------------------------------http://zhuanzhuan.58.com/detail/778224501142716418z.shtml分类：北京二手市场物品名：iPad一代白色16G-全新价格：1000区域：北京-西城卖家：买家6404572浏览量: 1084次浏览----------------------------------------------http://zhuanzhuan.58.com/detail/799575065290440710z.shtml分类：北京二手市场物品名：创星19英寸LED平板液晶电视价格：300区域：北京-丰台卖家：dwytsj浏览量: 248次浏览----------------------------------------------http://zhuanzhuan.58.com/detail/773449593764626436z.shtml分类：北京二手市场物品名：平板电脑 小口转HDMI连接线  可以从平板输出直接连接电视播放价格：50区域：北京-昌平卖家：AngeL·雏菊浏览量: 420次浏览----------------------------------------------http://zhuanzhuan.58.com/detail/793662671655927812z.shtml分类：北京二手市场物品名：联想YOGA1050F款平板电脑价格：1899区域：北京-朝阳卖家：若时光被搁浅浏览量: 351次浏览----------------------------------------------http://zhuanzhuan.58.com/detail/799961932814188552z.shtml分类：北京二手市场物品名：大四女生转Thinkpad八核笔记本999新配置高价格：1300区域：北京-海淀卖家：等待着yuyi浏览量: 491次浏览----------------------------------------------http://zhuanzhuan.58.com/detail/779239058887950339z.shtml分类：北京二手市场物品名：Thinkpad笔记本包价格：50区域：北京-海淀卖家：李永娟Sarah浏览量: 376次浏览----------------------------------------------http://zhuanzhuan.58.com/detail/800155321332334594z.shtml分类：北京二手市场物品名：7寸平板电脑包邮价格：55区域：北京-石景山卖家：苑东征浏览量: 574次浏览----------------------------------------------http://zhuanzhuan.58.com/detail/792549247091572740z.shtml分类：北京二手市场物品名：复古真皮单肩包疯马皮男士休闲ipad包头价格：188区域：北京-海淀卖家：Mr一高浏览量: 787次浏览----------------------------------------------http://zhuanzhuan.58.com/detail/783102289848893444z.shtml分类：北京二手市场物品名：ThinkPad（BP100）E系列原装价格：70区域：北京-西城卖家：Liqi李浏览量: 204次浏览----------------------------------------------http://zhuanzhuan.58.com/detail/789975025469145092z.shtml分类：北京二手市场物品名：全新 苹果ipad air平板保护套价格：28区域：北京-丰台卖家：有爸妈的地方就是家浏览量: 407次浏览----------------------------------------------http://zhuanzhuan.58.com/detail/798526911639896068z.shtml分类：北京二手市场物品名：surface3 4G微软平板电脑 苏菲3 国行发票保修期内价格：2880区域：北京-朝阳卖家：E落雪浏览量: 407次浏览----------------------------------------------http://zhuanzhuan.58.com/detail/789677827221356548z.shtml分类：北京二手市场物品名：ipad1 A1219国行32G价格：600区域：北京-朝阳卖家：欧阳秋123浏览量: 429次浏览----------------------------------------------http://zhuanzhuan.58.com/detail/783103770018775044z.shtml分类：北京二手市场物品名：联想ThinkPad TL600 0E5价格：135区域：北京-西城卖家：Liqi李浏览量: 393次浏览----------------------------------------------http://zhuanzhuan.58.com/detail/799436655702638597z.shtml分类：北京二手市场物品名：3000价格：3000区域：北京-昌平卖家：青柠檬味道的脉动浏览量: 78次浏览----------------------------------------------http://zhuanzhuan.58.com/detail/787587939820437508z.shtml分类：北京二手市场物品名：99成色国行金色iphone6S价格：2660区域：北京-崇文卖家：@心如薄荷天然凉。。浏览量: 1211次浏览----------------------------------------------http://zhuanzhuan.58.com/detail/799570038169075714z.shtml分类：北京二手市场物品名：华为 平板 m2价格：1344区域：北京-朝阳卖家：长枪依在响当年浏览量: 296次浏览----------------------------------------------http://zhuanzhuan.58.com/detail/717017743416557569z.shtml分类：北京二手市场物品名：Thinkpad原装鼠标价格：50区域：北京-通州卖家：画行天涯浏览量: 736次浏览----------------------------------------------http://zhuanzhuan.58.com/detail/797341440747143176z.shtml分类：北京二手市场物品名：平板公文包价格：150区域：北京-海淀卖家：apple82325浏览量: 46次浏览----------------------------------------------http://zhuanzhuan.58.com/detail/798373202141937665z.shtml分类：北京二手市场物品名：ipad外套价格：50区域：北京-丰台卖家：李心悦爸爸浏览量: 120次浏览----------------------------------------------http://zhuanzhuan.58.com/detail/800331609838452744z.shtml分类：北京二手市场物品名：MacBookAir 11寸价格：5200区域：北京-海淀卖家：OTuki☄浏览量: 288次浏览----------------------------------------------http://zhuanzhuan.58.com/detail/798790748079915009z.shtml分类：北京二手市场物品名：iPadmini4 64G价格：2800区域：北京-朝阳卖家：机械工厂浏览量: 333次浏览Process finished with exit code 0

可优化的地方有CSS selector，保存结果的方式，浏览量的获得等。