用python 写网络爬虫 学习笔记

1.3.1 检查robots.txt

大多数网站都会定义rotbot.txt文件。

1.3.5 寻找网站所有者

>>> import whois>>> print whois.whois(‘www.chaojishoulu.com’){    ...    "name_servers":[    "NS1.XXXX.COM",     ], "org":"google in.","eamils":[        "abusecomp;[e-mail]"     ]

}

用这个模块对域名进行whois查询返回结果。