MOOC 中国大学 python爬取股票信息
来源:互联网 发布:淘宝配送地在哪里修改 编辑:程序博客网 时间:2024/04/30 03:10
#该程序先从东方财富网爬取股票列表 然后在从百度股票的找出对应股票的信息import requestsfrom bs4 import BeautifulSoupimport tracebackimport re def getHTMLText(url, code="utf-8"): try: r = requests.get(url) r.raise_for_status() r.encoding = code#直接告诉编码类型 加快程序速度 return r.text except: return "" def getStockList(lst, stockURL): html = getHTMLText(stockURL, "GB2312")#告诉编码类型 加快程序速度 soup = BeautifulSoup(html, 'html.parser') a = soup.find_all('a')#找出所有a标签 for i in a: try: href = i.attrs['href']#把a标签中所有href 存到数组href中 lst.append(re.findall(r"[s][hz]\d{6}", href)[0])#用正则表达式提取href中股票编号 存到lst中 except: continue def getStockInfo(lst, stockURL, fpath): count = 0#计数 for stock in lst: url = stockURL + stock + ".html"#每一只股票的html页面 html = getHTMLText(url) try: if html=="":#页面为空 继续爬取其他 continue infoDict = {} soup = BeautifulSoup(html, 'html.parser')#解析html stockInfo = soup.find('div',attrs={'class':'stock-bets'})#找出div 标签中属性为stock-bets的 name = stockInfo.find_all(attrs={'class':'bets-name'})[0]#找出所有属性为 bets-name 并存到name列表中 infoDict.update({'股票名称': name.text.split()[0]})#lst 填入 name中空格前的内容(真正的name) keyList = stockInfo.find_all('dt')#找出与股票相关的键值对列表 valueList = stockInfo.find_all('dd') for i in range(len(keyList)): key = keyList[i].text#还原成键 val = valueList[i].text#还原值 infoDict[key] = val #向字典中新增内容 with open(fpath, 'a', encoding='utf-8') as f:#保存到文件中 f.write( str(infoDict) + '\n' ) count = count + 1 print("\r当前进度: {:.2f}%".format(count*100/len(lst)),end="")#进度条 except: count = count + 1 print("\r当前进度: {:.2f}%".format(count*100/len(lst)),end="") traceback.print_exc()#获得错误信息 continue def main(): stock_list_url = 'http://quote.eastmoney.com/stocklist.html' stock_info_url = 'https://gupiao.baidu.com/stock/' output_file = 'D:/BaiduStockInfo1.txt' slist=[] getStockList(slist, stock_list_url) getStockInfo(slist, stock_info_url, output_file) main()
阅读全文
0 0
- MOOC 中国大学 python爬取股票信息
- Python网络爬虫与信息提取(中国大学mooc)
- Python BeautifuSoup 库 mooc 中国大学学习
- 中国大学MOOC·Python网络爬虫与信息提取(一)
- 中国大学MOOC·Python网络爬虫与信息提取_思考小结(一)
- 中国大学 mooc
- python爬虫实现网络股票信息爬取的demo
- python爬取新浪财经的股票信息
- python爬虫学习 之 定向爬取 股票信息
- 中国大学MOOC·Python网络爬虫与信息提取(二)——五个实例分析
- 中国大学MOOC课程《Python语言程序设计》课后练习第一周
- 中国大学 MOOC 课程 《Python 语言程序设计》第五周绘制树
- 中国大学 MOOC 课程 《Python 语言程序设计》第五周课后习题
- 中国大学 MOOC 课程 《Python 语言程序设计》第六周
- 中国大学 MOOC 课程 《Python 语言程序设计》第六周课后习题
- 中国大学 MOOC 课程 《Python 语言程序设计》第七周课上练习
- 爬虫爬取股票信息
- 使用python在网易爬取股票信息,制作股票分析系统(简易版)
- LintCode148
- 剑指offer--顺时针打印矩阵
- 剑指offer:二叉树中和为某一值的路径
- hdu5920(字符串模拟)
- WebSocket安卓客户端实现详解(二)--客户端发送请求
- MOOC 中国大学 python爬取股票信息
- 基于Vue2.0实现屏幕可视区域图片懒加载
- hibernate与Mybatis的差别
- Linux用户和用户组
- Spring知识点总结
- hdu1712 ACboy needs your help(分组背包板子)
- UVA.11806 Cheerleaders (组合数学 容斥原理 二进制枚举)
- [RK3288][Android6.0] 无线网络术语(SoftMAC,FullMAC,cfg80211,mac80211)
- Laravel