Python+Selenium实现微博自动化爬虫

目的：

  利用python和selenium实现自动化爬虫

所需工具：

  1、python2.7

  2、selenium库（pip install selenium或者easy_install selenium进行安装）

  3、火狐浏览器

  安装好上述工具之后就可以开始微博爬虫啦！

  首先，打开你的python编辑器（本人使用的是sublime3），设置一下编码格式如下:

# -*- coding:utf-8 -*-

  然后导入所需要的库： 

from selenium import webdriver

from selenium.webdriver.common.keys import Keys

from selenium.webdriver.common.action_chains import ActionChains

import time

  利用如下代码，自动打开你的火狐浏览器并跳转到微博登录首页：

driver = webdriver.Firefox()

time.sleep(3)

driver.get("http://weibo.com")

  其中的time.sleep是让程序等候3秒后再接着运行，为了避免因为网速的影响而导致页面信息抓取错误。运行这段代码之后，就会发现你的浏览器已经跳转到微博登录首页了，这个时候需要让浏览器实现自动点击账号登录并输入账号和密码。代码如下：

left = driver.find_element_by_xpath( ".//*[@id='pl_login_form']/div[2]/div[1]/div/a[2]")

ActionChains(driver).double_click(left).perform()

time.sleep(3)

# 在账号输入框输入内容

driver.find_element_by_id("loginname").send_keys("***")  # 在*处输入账号信息

# 在密码输入框输入密码

driver.find_element_by_name("password").send_keys("***") # 在*处输入密码信息

# 向密码框发送命令，按下回车键

driver.find_element_by_name("password").send_keys(Keys.ENTER)

  运行上述代码之后，就会发现你已经自动登录微博了，然后需要跳转到你所要爬取微博内容所在的页面：

# 跳转url到指定页面

driver.get("http://weibo.com/btvertaishidai?is_search=0&visible=0&is_all=1&is_tag=0&profile_ftype=1&page=2#feedtop")

  然后就可以开始爬取你想要的信息啦，本人所要爬取的内容有微博的粉丝数量、每条微博的内容（包括点赞数、转发数、回复数）。因为这个页面需要拖动滑动条到网页最下面才能完全显示所有信息，所以在爬取内容之前应该先将滑动条拖到最下方，代码如下：

js = "var q=document.documentElement.scrollTop=30000"

for i in range(3):

    driver.execute_script(js)

    time.sleep(1)

  运行上面的所有代码之后，就可以开始爬取内容了。

# 获取粉丝量

L_1 = driver.find_element_by_xpath(".//*[@id='Pl_Core_T8CustomTriColumn__3']/div/div/div/table/tbody/tr/td[2]/strong").text

data_text = [] # 保存微博内容

data_time = [] # 保存发布微博的时间

data_relay = [] # 转发量

data_comment = [] # 评论量

data_support = [] # 支持量

for i in range(2, 50):

    try:

        text = driver.find_element_by_xpath(

            "//*[@id='Pl_Official_MyProfileFeed__28']/div/div[%d]/div[1]/div[3]/div[3]" % i).text

        Time = driver.find_element_by_xpath(

            ".//*[@id='Pl_Official_MyProfileFeed__28']/div/div[%d]/div[1]/div[3]/div[2]/a[1]" % i).text

        relay = driver.find_element_by_xpath(

            ".//*[@id='Pl_Official_MyProfileFeed__28']/div/div[%d]/div[2]/div/ul/li[2]/a/span/span/span/em[2]" % i).text

        comment = driver.find_element_by_xpath(

            ".//*[@id='Pl_Official_MyProfileFeed__28']/div/div[%d]/div[2]/div/ul/li[3]/a/span/span/span/em[2]" % i).text

        support = driver.find_element_by_xpath(

            ".//*[@id='Pl_Official_MyProfileFeed__28']/div/div[%d]/div[2]/div/ul/li[4]/a/span/span/span/em" % i).text

        if text:

            data_text.append(text)

            data_time.append(Time)

            data_relay.append(relay)

            data_comment.append(comment)

            data_support.append(support)

        else:

            pass

    except :

        break

  上面的代码中，对于要爬取的信息并没有采用正则去匹配，而是采用Xpath（比Xpath更为精准定位的是css定位），对于Xpath不懂的可以百度一下。

  运行完上面所有代码之后，这一页所要爬的内容就以及全部爬下来并分别保存在L_1(粉丝数量)、data_text(微博内容)、data_time(微博发布的时间)、data_relay(微博内容转发数量)、data_comment(微博内容评论数量)、data_support(微博内容点赞数量)，最后你就可以利用pandas将这些数据保存在csv中。

  上面的代码只是爬取了一个页面的所需内容，要是想爬取多个页面，稍微修改一下代码就可以了。如果有什么不明白的，可以给文章后面的邮箱发邮件。

  全部代码如下：

from selenium import webdriver

from selenium.webdriver.common.keys import Keys

from selenium.webdriver.common.action_chains import ActionChains

import time

 

driver = webdriver.Firefox()

time.sleep(3)

driver.get("http://weibo.com")

time.sleep(5)

left = driver.find_element_by_xpath(

    ".//*[@id='pl_login_form']/div[2]/div[1]/div/a[2]")

ActionChains(driver).double_click(left).perform()

time.sleep(3)

# 在账号输入框输入内容

driver.find_element_by_id("loginname").send_keys("***")

# 在密码输入框输入密码

driver.find_element_by_name("password").send_keys("***")

# 向密码框发送命令，按下回车键

driver.find_element_by_name("password").send_keys(Keys.ENTER)

time.sleep(3)

# 跳转url到指定页面

driver.get("http://weibo.com/btvertaishidai?is_search=0&visible=0&is_all=1&is_tag=0&profile_ftype=1&page=2#feedtop")

time.sleep(3)

# 获取粉丝量

L_1 = driver.find_element_by_xpath(".//*[@id='Pl_Core_T8CustomTriColumn__3']/div/div/div/table/tbody/tr/td[2]/strong").text

data_text = [] # 保存微博内容

data_time = [] # 保存发布微博的时间

data_relay = [] # 转发量

data_comment = [] # 评论量

data_support = [] # 支持量

# 拖动滚动条到最下方

js = "var q=document.documentElement.scrollTop=30000"

for i in range(3):

    driver.execute_script(js)

    time.sleep(1)

# 开始爬取该页面所有微博内容以及相关信息 

for i in range(2, 50):

    try:

        text = driver.find_element_by_xpath(

            "//*[@id='Pl_Official_MyProfileFeed__28']/div/div[%d]/div[1]/div[3]/div[3]" % i).text

        Time = driver.find_element_by_xpath(

            ".//*[@id='Pl_Official_MyProfileFeed__28']/div/div[%d]/div[1]/div[3]/div[2]/a[1]" % i).text

        relay = driver.find_element_by_xpath(

            ".//*[@id='Pl_Official_MyProfileFeed__28']/div/div[%d]/div[2]/div/ul/li[2]/a/span/span/span/em[2]" % i).text

        comment = driver.find_element_by_xpath(

            ".//*[@id='Pl_Official_MyProfileFeed__28']/div/div[%d]/div[2]/div/ul/li[3]/a/span/span/span/em[2]" % i).text

        support = driver.find_element_by_xpath(

            ".//*[@id='Pl_Official_MyProfileFeed__28']/div/div[%d]/div[2]/div/ul/li[4]/a/span/span/span/em" % i).text

        if text:

            data_text.append(text)

            data_time.append(Time)

            data_relay.append(relay)

            data_comment.append(comment)

            data_support.append(support)

        else:

            pass

    except :

        break