第二章 selenium动态网页请求和模拟jobbole登陆
来源:互联网 发布:asp通用查询系统源码 编辑:程序博客网 时间:2024/05/21 11:22
#!/usr/bin/env python# -*- coding: utf-8 -*-"""@author@file: selenium.py@time: 2017/8/25 8:09@describe:"""from selenium import webdriverfrom scrapy.selector import Selector# 通过selenium启动一个chrome浏览器brower = webdriver.Chrome(executable_path=r"C:\scrapy\resource\chromedriver.exe")"""# 抓取淘宝价格brower.get("https://detail.tmall.com/item.htm?id=16204910274&spm=a223v.7835278.t0.2.63de138KTzGjt&pvid=0b5d6eee-7bfc-49e3-9e0b-3286af182a82&scm=1007.12144.81309.9011_8949&skuId=3607330498269")t_selctor = Selector(text=brower.page_source)print(t_selctor.css(".tm-promo-price .tm-price::text").extract())""""""jobbole登陆brower.get("http://www.jobbole.com/login/?redirect=http%3A%2F%2Fwww.jobbole.com%2F")brower.find_element_by_css_selector(".wrapper #jb_user_login ").send_keys("用户名")brower.find_element_by_css_selector(".wrapper #jb_user_pass ").send_keys("密码")brower.find_element_by_css_selector("#jb_user_login_btn").click()"""# 微博登陆# brower.get("http://weibo.com/?sudaref=www.baidu.com&retcode=6102")# 注意:由于微博登陆页面加载时间比较长,会导致提取元素失败,所以需要做延迟# selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {"method":"css selector","selector":"# import time# time.sleep(10)# brower.find_element_by_css_selector("#loginname").send_keys("loginname")# brower.find_element_by_css_selector(".info_list.password input[node-type='password']").send_keys("password")# brower.find_element_by_css_selector(".info_list.login_btn a[node-type='submitBtn']").click()# # 实现开源中国 滚动下拉# brower.get("https://www.oschina.net/blog")# import time# for i in range(3):# brower.execute_script("window.scrollTo(0, document.body.scrollHeight); var lenOfPage=document.body.scrollHeight; return lenOfPage;")# time.sleep(5)# 设置chromedriver不加载图片chrome_opt = webdriver.ChromeOptions()prefs = {"profile.managed_default_content_settings.images": 2}chrome_opt.add_experimental_option("prefs", prefs)brower = webdriver.Chrome(executable_path=r"C:\scrapy\resource\chromedriver.exe", chrome_options=chrome_opt)brower.get("https://detail.tmall.com/item.htm?id=16204910274&spm=a223v.7835278.t0.2.63de138KTzGjt&pvid=0b5d6eee-7bfc-49e3-9e0b-3286af182a82&scm=1007.12144.81309.9011_8949&skuId=3607330498269")brower.quit()
阅读全文
0 0
- 第二章 selenium动态网页请求和模拟jobbole登陆
- 静态网页抓取,动态网页抓取,模拟登陆的注意事项和心得
- selenium模拟登陆
- selenium + jsoup 登陆网页
- (转)Python-详解抓取网站,模拟登陆,抓取动态网页的原理和实现
- 详解抓取网站,模拟登陆,抓取动态网页的原理和实现(Python,C#等)
- c#网页请求模拟登陆中遇到的bug
- selenium模拟登陆163邮箱
- selenium、python模拟登陆淘宝
- selenium模拟登陆知乎
- 动态网页解析 Selenium
- 动态网页解析 Selenium
- selenium抓取动态网页
- 模拟登陆 & 抓取网页
- 爬虫知识点(ajax异步加载,JavaScript 动态刷新,phantomjs + selenium模拟登陆)
- Python使用Selenium和PhantomJS解析动态JS的网页
- Python使用Selenium和PhantomJS解析动态JS的网页
- 为采集动态网页安装和测试Python Selenium库
- Redis使用-java-Jedis
- python读写excel文件
- 【Linux学习笔记】15:挂载命令
- python 学习2
- JavaScript学习笔记(DOM脚本)
- 第二章 selenium动态网页请求和模拟jobbole登陆
- JDBC无封装下的标准代码和JDBC问题总结-V1.0
- web学习笔记19-静态代理,动态代理,spring AOP
- java OutOfMemoryError异常
- ch3 栈和队列
- 【js基础】js事件对象学习笔记
- 排序算法之选择排序
- 机器学习笔记(五)----神经网络的学习(Neural Networks: Learning)
- [BZOJ4945][NOI2017]游戏(2-SAT)