python通过BeautifulSoup分页网页中的超级链接
来源:互联网 发布:义乌招淘宝美工 编辑:程序博客网 时间:2024/06/06 09:19
#-*-coding:utf-8-*-
import sys
reload(sys)
sys.setdefaultencoding( "utf-8" )
import ConfigParser
from crawl.crawl import *
from crawl.filter import *
import MySQLdb
import time
import random
import MySQLdb.cursors
import re
#抓取列表页 链接url
debug = 1
def get_list_url( seed_url ):
html = get_html(seed_url)
soup = BeautifulSoup( html )
urls = soup.findAll('a' ,href=True )
for url in urls:
if re.findall('sou.zhaopin.com' ,url['href'] ):
print url['href']
import sys
reload(sys)
sys.setdefaultencoding( "utf-8" )
import ConfigParser
from crawl.crawl import *
from crawl.filter import *
import MySQLdb
import time
import random
import MySQLdb.cursors
import re
#抓取列表页 链接url
debug = 1
def get_list_url( seed_url ):
html = get_html(seed_url)
soup = BeautifulSoup( html )
urls = soup.findAll('a' ,href=True )
for url in urls:
if re.findall('sou.zhaopin.com' ,url['href'] ):
print url['href']
0 0
- python通过BeautifulSoup分页网页中的超级链接
- Python通过BeautifulSoup爬取豆瓣读书网页内容
- Python 插件杂谈 (4) ---- BeautifulSoup , Python中的网页分析工具
- Python 通过 BeautifulSoup 将 html 中的表格解析成对象
- python中的BeautifulSoup模块
- python 抓取网页--用BeautifulSoup
- BeautifulSoup Python抓网页小例子
- python使用HTMLParser和BeautifulSoup解析网页
- python beautifulsoup多线程分析抓取网页
- Python 网页爬虫-BeautifulSoup库的学习
- python : BeautifulSoup 网页HTML 解析器
- BeautifulSoup+正则+Python 抓取网页数据
- python beautifulsoup 抓取网页正文内容
- python网页解析利器——BeautifulSoup
- python beautifulsoup多线程分析抓取网页
- python : BeautifulSoup 网页 table 解析范例
- Python中使用BeautifulSoup做网页解析
- Python 网页解析器BeautifulSoup示例使用
- 你的单元测试有多稳定?提升自动测试质量的最佳实践
- scala学习:scala中的继承
- 1.[Python]使用subprocess在新的进程中执行命令
- 常用正则表达式大全
- java dom4j 解析XML文件 简易教程
- python通过BeautifulSoup分页网页中的超级链接
- HDU2108和HDU2036(叉乘)
- 子串和 nyoj 44
- opengl VAO and VBO
- 上拉加载(二)
- JVM垃圾收集(一) 寻找垃圾
- 将Activity设置成窗口的样式
- Java项目生成帮助文档教程
- node.js调用bat