[置顶] 【python 爬虫】识别网站所用技术

有一个十分有用的工具可以检查网站构建的技术类型——builtwith 模块（只支持python2环境，python3环境报错）。

pip install builtwith

该模块将 URL 作为参数，下载该 URL 并对其进行分析，然后返回该网站使用的技术。

举个例子：

>>> import builtwith
>>> builtwith.parse('http://xxxxxxxxxxxxxxxxxx')
{u'javascript-frameworks': [u'jQuery', u'Moment.js'], u'web-frameworks': [u'Flask', u'Twitter Bootstrap'], u'programming-languages': [u'Python'], u'web-servers': [u'Python']}
>>>

用的python flask框架写的。

再来看下csdn用的什么技术。（lua语言写的）

>>> builtwith.parse('http://blog.csdn.net/')
{u'javascript-frameworks': [u'jQuery'], u'font-scripts': [u'Font Awesome'], u'web-frameworks': [u'Twitter Bootstrap'], u'programming-languages': [u'Lua'], u'web-servers': [u'OpenResty', u'Nginx']}
>>>