用py写爬虫，去爬csdn，完美解决403 Forbidden问题

csdn上偶尔还是有那么一两篇好文章的，如果遇到这样的好文章，你想直接把它弄到自己的网站里面，或者保存到本地处理，一般来说，两种方法：

1. copy and paste,这个不用多介绍，会用电脑的人都会。

2.自己写个爬虫，根据页面地址，自动爬出想要的内容。在这里采用python写爬虫。

如果你直接采用 urllib 去抓内容，可能会出错，原因是 某些服务器上，禁止别人去爬站里的内容。所以必须模拟真实上网，才能抓取内容。下面两个代码段比较：


程序代码

import re

import urllib

import cookielib

url = "http://blog.csdn.net/v_JULY_v/archive/2010/11/27/6039896.aspx"

sock = urllib.urlopen(url)

html = sock.read()

print html

直接报错了。得到结果 403 Forbidden 这是因为 CSDN appserver 上做了限制，如果没有做限制，肯定可以把内容爬下来。好了，既然这样，我们可以模拟正常上网一样，这样CSDN就不会限制你的。直接上代码：


程序代码

#coding:utf-8

'''

Created on 2012-6-25

@author: lzs

'''

import random

import socket

import urllib2

import cookielib

ERROR = {

'0':'Can not open the url,checck you net',

'1':'Creat download dir error',

'2':'The image links is empty',

'3':'Download faild',

'4':'Build soup error,the html is empty',

'5':'Can not save the image to your disk',

}

class BrowserBase(object):

def __init__(self):

socket.setdefaulttimeout(20)

def speak(self,name,content):

print '[%s]%s' %(name,content)

def openurl(self,url):

"""

打开网页

"""

cookie_support= urllib2.HTTPCookieProcessor(cookielib.CookieJar())

self.opener = urllib2.build_opener(cookie_support,urllib2.HTTPHandler)

urllib2.install_opener(self.opener)

user_agents = [

'Mozilla/5.0 (Windows; U; Windows NT 5.1; it; rv:1.8.1.11) Gecko/20071127 Firefox/2.0.0.11',

'Opera/9.25 (Windows NT 5.1; U; en)',

'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)',

'Mozilla/5.0 (compatible; Konqueror/3.5; Linux) KHTML/3.5.5 (like Gecko) (Kubuntu)',

'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.0.12) Gecko/20070731 Ubuntu/dapper-security Firefox/1.5.0.12',

'Lynx/2.8.5rel.1 libwww-FM/2.14 SSL-MM/1.4.1 GNUTLS/1.2.9',

"Mozilla/5.0 (X11; Linux i686) AppleWebKit/535.7 (KHTML, like Gecko) Ubuntu/11.04 Chromium/16.0.912.77 Chrome/16.0.912.77 Safari/535.7",

"Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:10.0) Gecko/20100101 Firefox/10.0 ",

]

agent = random.choice(user_agents)

self.opener.addheaders = [("User-agent",agent),("Accept","*/*"),('Referer','http://www.google.com')]

try:

res = self.opener.open(url)

print res.read()

except Exception,e:

self.speak(str(e)+url)

raise Exception

else:

return res

if __name__=='__main__':

splider=BrowserBase()

splider.openurl('http://blog.csdn.net/v_JULY_v/archive/2010/11/27/6039896.aspx')

直接得到了结果。因为这是模拟真实上网，发送了http header 的一些信息给appserver.

另外如果 是下载前或获取内容前需要登录的情况呢，参考另一篇文章：

http://www.yihaomen.com/article/python/216.htm

转自：http://blog.csdn.net/zhaoyl03/article/details/8631897