Python 爬去糗事百科内容讲解

参考：http://blog.csdn.net/flyingfishmark/article/details/51251534

爬取前我们先看一下我们的目标：

1.抓取糗事百科热门段子

2.过滤带有图片的段子

3.段子的发布人，段子内容，好笑数，评论数

# -*- coding: utf-8 -*-

import urllib2

import re

page = 1

url = 'http://www.qiushibaike.com/8hr/page/'+str(page)+'/?s=4872200'

user_agent ='Mozilla/4.0(compatible;MSIE 5.5;Windows NT)'

headers={'User-Agent':user_agent}

try:

    request = urllib2.Request(url,headers=headers)

    response = urllib2.urlopen(request)

    

    #字符串在Python内部的表示是unicode编码，因此，在做编码转换时，通常需要以unicode作为中间编码，即先将其他编码的字符串解码（decode）成unicode，再从unicode编码（encode）成另一种编码。

    #decode的作用是将其他编码的字符串转换成unicode编码，如str1.decode('gb2312')，表示将gb2312编码的字符串str1转换成unicode编码。

    #encode的作用是将unicode编码转换成其他编码的字符串，如str2.encode('gb2312')，表示将unicode编码的字符串str2转换成gb2312编码。 

    content = response.read().decode('utf-8')

    

    '''

    .*或者.+我清楚意思，就是匹配任意长度的任意字符，后面加个问号是表示非贪婪匹配,匹配尽可能短的字符串

 

 贪婪匹配：在满足匹配时，匹配尽可能长的字符串，默认情况下，采用贪婪匹配

    string pattern1 = @"a.*c";   // greedy match 

    Regex regex = new Regex(pattern1);

    regex.Match("abcabc"); // return "abcabc"

    

非贪婪匹配：在满足匹配时，匹配尽可能短的字符串，使用?来表示非贪婪匹配

    

    string pattern1 = @"a.*?c";   // non-greedy match 

    Regex regex = new Regex(pattern1);

    regex.Match("abcabc"); // return "abc"

    '''

    #re.S 即为’ . ’并且包括换行符在内的任意字符（’ . ’不包括换行符）

    pattern = re.compile('<div.*?author clearfix">.*?<a.*?<img.*?>.*?</a>.*?<a.*?>.*?<h2>(.*?)</h2>.*?content">'+  

                     '(.*?)</div>.*?<div class="stats">.*?vote".*?number">(.*?)</i>.*?stats-comments".*?<a.*?number">(.*?)</i>',re.S)

    

    #Python通过re模块提供对正则表达式的支持。

    #使用re的一般步骤是先使用re.compile()函数，将正则表达式的字符串形式编译为Pattern实例，然后使用Pattern实例处理文本并获得匹配结果

    

    '''

    import re

    pattern = re.compile('[a-zA-Z]')

    result = pattern.findall('as3SiOPdj#@23awe')

    print result

    # ['a', 's', 'S', 'i', 'O', 'P', 'd', 'j', 'a', 'w', 'e']

    '''

    

    items = re.findall(pattern,content)  

    for item in items :  

        print item[0],item[1],item[2],item[3] 

    #print response.read()

except urllib2.URLError, e:

    if hasattr(e, "code"):#hasattr(object, name),判断对象object是否包含名为name的特性

        print e.code

    if hasattr(e, "reason"):

        print e.reason