第一个爬虫程序

看了一些教程视频，所以今天做一个简单的爬虫练习
用的是request+bs4
request用于获取网页内容
bs4用于截取需要的网页内容
pandas用于展示获取到的数据

import requestsimport pandasfrom bs4 import BeautifulSoupimport sqlite3res = requests.get('https://www.btime.com/?src=tab_web')res.encoding = 'utf-8'soup = BeautifulSoup(res.text, 'html.parser')content = soup.select('.list-group-recommend')print(content)#获取对象内容all = content[0].select('a')# print(all[2].text)obj_arr = []#all['title'] = content[0].select('a')['title']for a in all:    obj = {}    obj['link'] = a['href']    obj['title'] = a['title']    obj_arr.append(obj)print(obj_arr)df = pandas.DataFrame(obj_arr)df

结果为：

注意一点 python中对对象的引用和java有些区别，当我将对象定义在循环外时，for循环将数据作为对象的属性放入集合中，但是获取到的集合都是同一条数据。但是在java中这样做是没有问题的。

另外，今天本来是想爬取微博网站的，但是微博的内容是通过ajax获取到的，用这种方法不能直接获取到。明天继续研究爬虫，争取爬取出微博的内容。
愿我们一起加油！