Python爬取大网站遇到的问题

最近尝试了用: Python + urllib + Re爬取某大型网站数据（百万网页以上），中途碰到问题不少，粗略记录下：

1. 写一个正确的正则表达式：网页很多时，初版的正则可能会在爬中间某个网页时失效；

2. 对多样异常的处理：最开始对异常可能考虑不全面，后面抓的过程会碰到更多奇奇怪怪的http异常，导致进程死掉；

3. 分片处理：当数据规模很大时，对输入最好分片，可以分开保存输出，也方便定位错误。