Python 外部模块requests 安装

来源:互联网 发布:ibatis sql xml 语法 编辑:程序博客网 时间:2024/05/07 00:07


下载地址: http://www.lfd.uci.edu/~gohlke/pythonlibs/ 

                     http://docs.python-requests.org/en/latest/user/quickstart/

找到如下模块包:

Requests, a HTTP library for human beings.

  • requests-2.9.1-py2.py3-none-any.whl


<pre style="font-family: 宋体; font-size: 9pt; background-color: rgb(255, 255, 255);"><span style="color:#000080;"><strong>import  </strong></span>requests,rehtml=requests.get(<span style="color:#008080;"><strong>"http://www.jikexueyuan.com/path/python/"</strong></span>)<span style="color:#808080;"><em>#print(html.text)  #输出网页全部源码</em></span>geturl=re.findall(<span style="color:#008080;"><strong>'href="(.*?)"'</strong></span>,html.text,re.S) <span style="color:#808080;"><em>#用正则表达式(。*?)查找连接地址</em></span><span style="color:#000080;"><strong>for </strong></span>each <span style="color:#000080;"><strong>in </strong></span>geturl:    <span style="color:#000080;">print</span>(each)

#coding:utf-8from selenium import webdriverfrom selenium.webdriver.common.action_chains import ActionChains #引入ActionChains鼠标操作类from selenium.webdriver.common.keys import Keys #引入keys类操作import time def s(int):    time.sleep(int)browser = webdriver.Chrome()browser.get('http://www.baidu.com')print '现在将浏览器最大化'browser.maximize_window()text = browser.find_element_by_name('tj_duty').textprint text #打印备案信息 browser.find_element_by_id('kw1').send_keys(u'杨彦星')print browser.find_element_by_id('kw1').get_attribute('type')print browser.find_element_by_id('kw1').size #打印输入框的大小browser.find_element_by_id('su1').click()time.sleep(3) print '现在我将设置浏览器为宽480,高800显示'browser.set_window_size(480,800)browser.get('http://m.mail.10086.cn')time.sleep(3) print '现在我将回到刚才的页面'browser.maximize_window()browser.back()time.sleep(3) print '现在我将回到之前的页面'browser.forward()time.sleep(5)print '现在我将打开杨彦星的网站进行json搜索'browser.get('http://www.yangyanxing.com')browser.find_element_by_xpath(".//*[@id='ls']").send_keys(u'json')browser.find_element_by_xpath(".//*[@id='header']/div[1]/div/form/input[2]").click()time.sleep(5)browser.quit() browser = webdriver.Chrome() print '以下将以登录人人网来进行上面的综合应用'browser.get('http://www.renren.com/SysHome.do')browser.find_element_by_id('email').clear()#这个是以id选择元素browser.find_element_by_id('email').send_keys('email')browser.find_element_by_id('email').send_keys(Keys.BACK_SPACE)time.sleep(2)browser.find_element_by_id('email').send_keys('m')s(2)browser.find_element_by_id('email').send_keys(Keys.CONTROL,'a')s(2)browser.find_element_by_id('email').send_keys(Keys.CONTROL,'x')#剪切掉里面的内容s(2)browser.find_element_by_id('email').send_keys(Keys.CONTROL,'v') #重新输入进去s(2)browser.find_element_by_name('password').clear()#这个是以name选择元素browser.find_element_by_name('password').send_keys('password')#browser.find_element_by_xpath(".//*[@id='login']").click()#这个是以xpath选择元素browser.find_element_by_xpath(".//*[@id='login']").send_keys(Keys.ENTER) #这里通过点击Enter键来登录browser.maximize_window()article = browser.find_element_by_link_text(u'周碧华:社科院出现内鬼意味着什么?')ActionChains(browser).move_to_element(article).perform()#将鼠标移动到这里,但是这里不好用ActionChains(browser).context_click(article).perform()time.sleep(5) browser.quit()


如上代码中的

般网站是不需要的,有些网站是防止爬虫的,所以我们需要模拟浏览器

浏览器版本信息获取方式如下:

查看浏览器headers方法


参考博文:http://my.oschina.net/yangyanxing/blog/280871

                    http://docs.python-requests.org/en/latest/user/quickstart/

https://pypi.python.org/pypi/selenium

http://www.cnblogs.com/fnng/p/3258946.html

http://www.cnblogs.com/puresoul/p/4251536.html

0 0