python抓页面基础知识

python抓页面基础知识

1.定义函数根据url获得页面

 def getPageContent(self,url):

        request = urllib2.Request(url)

        response = urllib2.urlopen(request)

        return response.read().decode('UTF-8')

2. 正则表达式匹配，re.S是dotall模式，意思是.表示所有字符的意思包括换行，（）是分组的意思

pattern = re.compile('<div class="d_author">.*?<ul class="p_author">.*?'+

                              '<li class="d_name".*?<a.*?'+

                              'target="_blank">(.*?)</a>',re.S)

content = re.findall(pattern, pagecontent)

3.第二步中的content是数组，通过循环将数据写到文件，item是tuple类型使用[]使用，item[0]为第一列数据，item[1]为第二列，以此类推。

f = open('1.txt','a+')

for item in content:
f.writelines((str(item[0])+str(item[1])+item[2].encode('UTF-8'),f)