网页取数据bs4
来源:互联网 发布:javascript有用吗 编辑:程序博客网 时间:2024/05/20 08:00
# -*- coding: utf-8 -*-from bs4 import BeautifulSoupdef file2soup(ffile): with open(ffile,'r+b') as f: f.encoding='utf-8' soup=BeautifulSoup(f,'lxml') # print (soup) return soup pass# def soup2list(soup,ulist):# # print (soup.div)# for i in soup.find('tbody').children:# if isinstance(i,bs4.element.Tag):# o=i('td')# ulist.append([o[0].string,o[1].string,o[3].string])# return ulistdef soup2list(soup,ulist): # print (soup.div) for i in soup.find('tbody').children: if len(i)>1:#去空行 o=i('td')#取出td标签 "td"加引号 a,b,c=0,1,3 ulist.append([o[a].string,o[b].string,o[c].string]) return ulisturl = 'http://bj.58.com/pinpaigongyu/pn/{ppp}/?minprice=2000_4000'ffile='d://best.txt'ulist=[]soup=file2soup(ffile)ulist=soup2list(soup,ulist)print (ulist)print ('{:0>3}\t {:+<15}\t {: >5}\t'.format('排名','校名','总分'))for i in range(11): u=ulist[i] #{:起头+一个填充符+对齐方式+字符长度} print ('{:0>3}\t {:+<15}\t {: >5}\t'.format(u[0], u[1], u[2] ))
阅读全文
0 0
- 网页取数据bs4
- 利用bs4和requests爬取股票历史交易数据
- 用 requests 和 bs4 爬取世界大学排名数据
- 网页取行情数据-1
- 网页取行情数据-2
- 爬取网页动态数据
- Python爬取网页数据
- jsoup爬取网页数据
- 用 requests-bs4 爬取网络图片
- BS4模块爬取第一财经练手
- ASP.NET取网页数据《数据采集》
- 用Get方法取网页的数据
- 用Post方法取网页的数据
- 有session的取网页的数据
- 用php爬取网页数据
- Scrapy 爬虫框架爬取网页数据
- python初学-爬取网页数据
- Jsoup爬取网页上表格数据
- Java基础-继承
- protobuf+grpc+examples
- linux远程连接注意防火墙
- Android代码判断当前设备是否为模拟器
- 初始化配置自己的vim编辑器
- 网页取数据bs4
- MySQL多张表关联查询
- 达夫设备 JavaScript
- C语言的命令行参数
- [leetcode]: 581. Shortest Unsorted Continuous Subarray
- POJ 3259Wormholes
- PAT程序设计考题——甲级1045 (最长公共子序列) C++实现
- 单个工程连接多个数据库的俩种方式
- 关于一个内存泄露的问题