解决方案--爬虫拿到的HTML和浏览器中的源码不相同

   以前学习Scrapy框架时遇到过这个问题，但是当时没有整理解决方法，最近一同事问起这个问题后又花了不少时间才解决，所以我觉得有必要整理一下这个问题。

   之所以Scrapy下载的HTML和浏览器中呈现的HTML不一样是由于网页中的一些页面是由JS触发的，所以我们只要模拟浏览器的JS触发时间就可以解决该问题，现在最常用的是使用Selenium解决此问题。

Selenium

　　作为一个用于Web应用程序测试的工具，其测试直接运行在浏览器中，框架底层使用JavaScript模拟真实用户对浏览器的操作，从终端用户的角度测试应用程序。下面我是使用Selenium操作Firefox访问网页以获得JS生成后的网页。

Scrapy使用Selenium

在settings.py加入

DOWNLOADER_MIDDLEWARES = {   'companyinfo.middlewares.RandomUserAgent': 543,   'companyinfo.middlewares.JavaScriptMiddleware': 543,      #添加此行代码# 该中间件将会收集失败的页面，并在爬虫完成后重新调度。（失败情况可能由于临时的问题，例如连接超时或者HTTP 500错误导致失败的页面）   'scrapy.downloadermiddlewares.retry.RetryMiddleware': 80,# 该中间件提供了对request设置HTTP代理的支持。您可以通过在 Request 对象中设置 proxy 元数据来开启代理。    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 100,}

在中间件middlewares.py加入：

class JavaScriptMiddleware(object):    def process_request(self, request, spider):        # executable_path = '/home/hadoop/crawlcompanyinfo0906/phantomjs'        print "PhantomJS is starting..."        # driver = webdriver.PhantomJS(executable_path)  # 指定使用的浏览器    driver = webdriver.Firefox()        driver.get(request.url)        time.sleep(1)        js = "var q=document.documentElement.scrollTop=10000"        driver.execute_script(js)  # 可执行js，模仿用户操作。此处为将页面拉至最底端。        time.sleep(3)        body = driver.page_source        print ("访问" + request.url)        return HtmlResponse(driver.current_url, body=body, encoding='utf-8', request=request)

这里selenium启动的Firefox浏览器，还需要添加一个相应的驱动geckodriver：

下载地址：

https://github.com/mozilla/geckodriver/releases

放置位置：

     Ubuntu14.04：将其放到/usr/local/bin/目录下

     Windows： python安装根目录（与python.exe 同一目录）

     Mac:  /user/local/bin/   

以上操作完成后在spiders/spider.py中parse()方法接收到的response则是我们自定义中间件返回的结果，即触发JS生成后的界面。