scraping_深入了解一个网站的方法

检查robots.txt（了解抓取该网站时存在哪些限制）

检查sitemap（一般在robots.txt中能找到，这里提供了该网站的所有网页的链接）

估算网站大小（一个简便方法是检查Google爬虫的结果 -> site:www.baidu.com）

识别网站所用技术（python中的builtwith方法 -> builtwith.parse("www.baidu.com") ）

寻找网站所有者（whois查询：站长或者python中的 -> print(whois.whois("www.baidu.com"))  ）