『Scrapy』日常工作和学习中所遇到的坑及解决办法——长期更新

1、需要点击之后才能看到的内容

      可以使用 selenium 模拟点击后再抓取内容，但这里有一个点需要注意的地方是，我们所要查找的内容是在 selenium 模拟点击之后的网页中，故需要写成如下格式：

from selenium import webdriver            import time            driver = webdriver.Chrome()            driver.maximize_window()            sreach_handle = driver.current_window_handle            driver.get(response.url)            time.sleep(5)            driver.find_element_by_xpath('//a[@value="FUNDRAISING"]').click()  # 点击投标中            se = Selector(text=driver.page_source)    # 此处是关键，否则下面将无法抓取到内容            items =[]            product_item = se.xpath('//div[@class="x_investDebt_conLi"]')