Python网页抓取程序(续)

继续上次的话题，这次抓取的网页是天涯论坛中，“地缘看世界”

1、获取网址：通过正则表达式来获取各贴子网址

link='http://www.tianya.cn/publicforum/content/worldlook/1/223829.shtml'
html=urllib2.urlopen(link).read()
m=re.search(r'name=\'idArticleslist\' value=\S*>',html)
IDs=re.findall(r'[0-9]+',m.group(0))

for ID in IDs:
url="http://www.tianya.cn/publicforum/content/worldlook/1/%s.shtml"%ID

2、 下载网页：以前是边下载边处理，这样处理时间长，有时还有下载不了的情况，改为下载到指定目录，并在下载前检查是否存在同名

htmldir=r'.\html\\'

filename=htmldir+url.split('/')[-1]
if (not os.path.exists(filename)) or os.path.getsize(filename)==0:
print 'downloading'+filename+'\n'
html=urlRead(url)
if len(html)>0:
f=open(filename,'w')
f.write(html)
f.close()

3、下载后对网页内容进行分析，在分析前要对网页进行处理以去除htmlparser无法处理的部分，实质是对网页进行截取，并将无法处理字符串替换

txts=re.split(r'<div class="respond" id="adsp_content_replybox_frame_1">',html)
txt=txts[0]
txt=re.sub('\xcb\xce\xcc\xe5','\'\xcb\xce\xcc\xe5\'', txt)

4、提取贴子的正文，还是正规的htmlparser的方法，但这种方法速度很慢，也可采用正则表达式的方法，但这样适应性不强。文本中也以

这个贴子中有大量的图片，在<imgsrc=链接地址>的形式保存

class DocParser(HTMLParser.HTMLParser):
def __init__(self,pool):
self.pool=pool
self.startread=0
self.pre=0
HTMLParser.HTMLParser.__init__(self)
self.doc=''
def handle_starttag(self, tag, attrs):
if tag=='span':
for (name,value) in attrs:
if name=='value' and value=='10174465':
self.pre=1
if tag=="div" and self.pre==1:
for (name,value) in attrs:
if name=='class' and value =='post':
self.startread= 1
if tag=='img' and self.startread==1:

for (name,value) in attrs:
if name=='original':

imgname=value.split('/')[-4]+value.split('/')[-3]\
+value.split('/')[-2]+value.split('/')[-1]
self.doc+='<imgsrc=%s>\n'%imgname
if not os.path.exists(htmldir+imgname):
self.pool.add_task(getImg,value,htmldir)

def handle_endtag(self, tag):
if tag == 'div' and self.startread==1:
self.doc+='\n\n\n'
self.pre=0
self.startread = 0
def handle_data(self,data):
if self.startread:
self.doc+=data
self.doc+='\n'

5、破解防外链接：通过设置Referer实现

preurl='http://www.tianya.cn/'

req = urllib2.Request(url)

req.add_header('Referer', preurl)

6、提高urlopen工作健壮性，设置重试次数和超时等待

改造后的urlopen如下：

def urlRead(url):
fails = 0
rs=''
preurl='http://www.tianya.cn/'
while True:
try:

if fails >= 100:
print 'Failed to Read '+url
break
#设置Referer，避免防盗链
req = urllib2.Request(url)
req.add_header('Referer', preurl)
response=urllib2.urlopen(req,timeout=30)
length=response.info()['Content-Length']
rs=response.read()
if len(rs)==length:
continue

except Exception:
fails += 1
time.sleep(10)
else:
break

return rs

7、简易多线程下载：以前试用过stackless感觉没有效果，后来还是使用threadpool类，

from Queue import Queue
from threading import Thread

class Worker(Thread):
"""Thread executing tasks from a given tasks queue"""
def __init__(self, tasks):
Thread.__init__(self)
self.tasks = tasks
self.daemon = True
self.start()

def run(self):
while True:
func, args, kargs = self.tasks.get()
try: func(*args, **kargs)
except Exception, e: print e
self.tasks.task_done()

class ThreadPool:
"""Pool of threads consuming tasks from a queue"""
def __init__(self, num_threads):
self.tasks = Queue(num_threads)
for _ in range(num_threads): Worker(self.tasks)

def add_task(self, func, *args, **kargs):
"""Add a task to the queue"""
self.tasks.put(( func, args, kargs))

def wait_completion(self):
"""Wait for completion of all the tasks in the queue"""
self.tasks.join()

使用时：

pool = ThreadPool(200)

for ID in IDs:
url="http://www.tianya.cn/publicforum/content/worldlook/1/%s.shtml"%ID
pool.add_task(getHtml,url,htmldir)

pool.wait_completion()

8、输出到pdf,我使用了reportlab要注意的是：

引用字体：

reportlab.rl_config.warnOnMissingFontGlyphs = 0

pdfmetrics.registerFont(TTFont('YaHei', 'msyh.ttf'))
pdfmetrics.registerFont(TTFont('YaHeiBD', 'msyhbd.ttf'))
fonts.addMapping('YaHei', 0, 0, 'YaHei')
fonts.addMapping('YaHei', 0, 1, 'YaHei')
fonts.addMapping('YaHeiBD', 1, 0, 'YaHeiBD')
fonts.addMapping('YaHeiBD', 1, 1, 'YaHeiBD')
stylesheet=getSampleStyleSheet()
normalStyle = copy.deepcopy(stylesheet['Normal'])
normalStyle.fontName ='YaHei'

其次是中文换行：

normalStyle.wordWrap = 'CJK'

中文的左缩进有bug设置左缩进后，第一行全部向右移，并不是比其他的行前面少几个字

最后是嵌入图片：取得图片的长和宽，然后设置缩放比，

def get_image(path):
width=439
height=685
img = utils.ImageReader(path)
iw, ih = img.getSize()

if iw>width or ih>height:
rw=float(iw)/float(width)
rh=float(ih)/float(height)
if rw>rh:
return Image(path,width,round(ih/rw))
else:
return Image(path,round(iw/rh),height)
else:
return Image(path)

结论：python是处理网页的利器，但我在编码上浪费了许多时间，在htmlparser和re中对中文的编码支持也不好，不知道各达人有没有什么好方法。

python号称是“胶水语言”，但我始终对如何将其与其他诸如C＃，java在一起使用感到困惑。

多线程下载还是存在很多问题，各位在借鉴时一定要注意。