【python 爬虫】识别网站所用技术

有一个十分有用的工具可以检查网站构建的技术类型——builtwith 模块（只支持python2环境，python3环境报错）。

pip install builtwith

该模块将 URL 作为参数，下载该 URL 并对其进行分析，然后返回该网站使用的技术。

举个例子：

>>> import builtwith>>> builtwith.parse('http://xxxxxxxxxxxxxxxxxx'){u'javascript-frameworks': [u'jQuery', u'Moment.js'], u'web-frameworks': [u'Flask', u'Twitter Bootstrap'], u'programming-languages': [u'Python'], u'web-servers': [u'Python']}>>> 

用的python flask框架写的。

再来看下csdn用的什么技术。（lua语言写的）

>>> builtwith.parse('http://blog.csdn.net/'){u'javascript-frameworks': [u'jQuery'], u'font-scripts': [u'Font Awesome'], u'web-frameworks': [u'Twitter Bootstrap'], u'programming-languages': [u'Lua'], u'web-servers': [u'OpenResty', u'Nginx']}>>>