解决微博动态加载的代码实现

前言

假期爬取微博内容的时候遇到了不少麻烦，其中一个就是由于微博的改版，内容的呈现需要读者下拉加载出来，不然源代码中没有相应的内容，爬取时就会造成缺漏，针对这个问题，在使用selenium进行模拟登陆之余，也进行模拟滚动条的下拉，确实有了不错的效果，但是最大的坏处就是时间消耗太大了，如果有更好的方法希望进行交流~

实现动态加载

网上的资源也很多，这里提供Python和Java两种编程语言的代码实现

Python版本

（1）使用js脚本直接操作，方法如下

js="var q=document.getElementById('id').scrollTop=10000"driver.execute_script(js）

（2）使用js脚本拖动到提定地方

target = driver.find_element_by_id("id_keypair")driver.execute_script("arguments[0].scrollIntoView();", target) #拖动到可见的元素去

（3）具体版本

#coding=utf-8  from selenium import webdriver  #访问微博 driver=webdriver.Firefox()  driver.get("http://www.weibo.com")#这里需要停一段时间进行登录（也可以自动输入账号密码）#将页面滚动条拖到底部  js="var q=document.documentElement.scrollTop=100000"  driver.execute_script(js)  time.sleep(3)  #将滚动条移动到页面的顶部  js="var q=document.documentElement.scrollTop=0"  driver.execute_script(js)  time.sleep(3)  #将页面滚动条移动到页面任意位置，改变等于号后的数值即可  js="var q=document.documentElement.scrollTop=50"  driver.execute_script(js)  time.sleep(999999)  ''''' #若要对页面中的内嵌窗口中的滚动条进行操作，要先定位到该内嵌窗口，在进行滚动条操作 js="var q=document.getElementById('id').scrollTop=100000" driver.execute_script(js) time.sleep(3) '''  driver.quit()  

Java版本

Java与Python是类似的

//移动到元素element对象的“顶端”与当前窗口的“顶部”对齐  ((JavascriptExecutor) driver).executeScript("arguments[0].scrollIntoView();", element);  ((JavascriptExecutor) driver).executeScript("arguments[0].scrollIntoView(true);", element);  //移动到元素element对象的“底端”与当前窗口的“底部”对齐  ((JavascriptExecutor) driver).executeScript("arguments[0].scrollIntoView(false);", element);  //移动到页面最底部  ((JavascriptExecutor) driver).executeScript("window.scrollTo(0, document.body.scrollHeight)");  //移动到指定的坐标(相对当前的坐标移动)  ((JavascriptExecutor) driver).executeScript("window.scrollBy(0, 700)");  Thread.sleep(3000);  //结合上面的scrollBy语句，相当于移动到700+800=1600像素位置  ((JavascriptExecutor) driver).executeScript("window.scrollBy(0, 800)");  //移动到窗口绝对位置坐标，如下移动到纵坐标1600像素位置  ((JavascriptExecutor) driver).executeScript("window.scrollTo(0, 1600)");  Thread.sleep(3000);  //结合上面的scrollTo语句，仍然移动到纵坐标1200像素位置  ((JavascriptExecutor) driver).executeScript("window.scrollTo(0, 1200)");  

参考资料：
1.python中selenium操作下拉滚动条方法汇总
2.selenium_webdriver(python)控制浏览器滚动条
3.Java selenium web页面的滚动条操作