heritrix3 伪装成GOOGLE进行爬取

伪装成搜索引擎蜘蛛google bot访问需网站, 这样能防止爬虫被封
在crawler-beans.cxml 中修改metadata成下面

Java代码  

1. <!-- CRAWL METADATA: including identification of crawler/operator -->  
2.  <bean id="metadata" class="org.archive.modules.CrawlMetadata" autowire="byName">  
3.        <property name="operatorContactUrl" value="[see override above]"/>  
4.        <property name="jobName" value="[see override above]"/>  
5.        <property name="descrip蜘蛛的爬取原理tion" value="[see override above]"/>  
6.   <!-- <property name="operator" value=""/> -->  
7.   <!-- <property name="operatorFrom" value=""/> -->  
8.   <!-- <property name="organization" value=""/> -->  
9.   <!-- <property name="audience" value=""/> -->  
10.       <property name="userAgentTemplate"  
11.          value="Mozilla/5.0 (compatible; Googlebot/2.1; +@OPERATOR_CONTACT_URL@) "/>  
12.  </bean>  

伪装Googlebot。许多网站访问时需要注册，但用Google、Baidu等搜索引擎搜索时却可以搜索到全文。这是因为网站对访问者的 User Agent进行了判断，如果是bot，则允许其访问；如果是一般用户，则自动跳转到登陆页面。用User Agent Switcher就可以把自己伪装成Googlebot，进而不用注册也可以访问这些网站。

那么我们也可以伪装成搜索引擎来进入这些页面。我们需要的是修改浏览器的User-Agent
值。