[python]爬虫存入本地
来源:互联网 发布:g71格式编程哈斯系统 编辑:程序博客网 时间:2024/05/18 01:51
一,open函数
打开本地文件的方法
with open('path','r') as f: f.write('data')
path是文件的路径,r是read读取,w就write写入,f是操作这个连接的对象
二,操作字符串的方法
替代用的format,一个字符串str里面加上{}然后用.format(new_str)把new_str加入到{}里
分片的split,一个字符串str后.split()在()里是用什么分片的字符,然后这个str被分成了几段list,这样就可以取出想要的字符。
三,写入一个文章
from bs4 import BeautifulSoupimport requestsurl = 'http://blog.sina.com.cn/s/blog_486e105c010001s9.html'resp = requests.get(url)resp.encoding = 'utf-8'soup = BeautifulSoup(resp.text,'lxml')title = soup.select('#t_486e105c010001s9')pp = soup.select('#sina_keyword_ad_area2 > div > p > span > font')for i in title: title1 = i.get_text()name = title1+'.txt'with open(name,'w',encoding='utf-8') as fo: for i in pp: fo.write(i.get_text())
文章的url是有规律的,只有最后的数字不同,可以用
str = ['{}'.format(n) for n in range(1,10)]
来批量处理。
题目可以用split()方法来处理。
0 0
- [python]爬虫存入本地
- 【Python爬虫】requests+Beautifulsoup存入数据库
- python 读取本地txt,存入到mysql
- 关于Python爬虫爬淘宝mm详细教程+存入数据库
- python爬虫抓取图片到本地
- python爬虫-下载图片到本地目录
- 【Python爬虫3】在下载的本地缓存做爬虫
- python网络爬虫抓取动态网页并将数据存入数据库MySQL
- Python 爬虫7——自定义Item Pipeline将数据存入MongoDB
- python爬虫--抽取百度百科名词的第一段存入数据库
- Python爬虫系列(七)豆瓣图书排行榜(数据存入到数据库)
- python连接oracle,把计算结果存入本地excel并发送带附件邮件
- python获取本人关注列表并批量存入本地mysql数据库
- UIimage存入本地并读取
- python爬虫之抓取网页中的图片到本地
- Python 实现简单的爬虫功能并保存到本地
- Python爬虫下载网站上的图片到本地
- Python 爬虫抓取美女图片保存到本地
- 206. Reverse Linked List (E)
- 【微信开发】-- 企业转账到用户
- JavaScript 正则表达式的规则和使用
- Android 如何永久性开启adb 的root权限
- 魔术方法的应用
- [python]爬虫存入本地
- 制作水果忍者-JS-4
- 设计模式笔记之----单例模式
- 【微信开发】-- 企业转账到用户_0
- 10.3.2
- 如何申请试用Drone2Map?
- 贪心四部曲
- 已知二叉树的前序遍历和中序遍历重建二叉树(二叉树)
- 基础练习 Huffuman树