Python静态网页解析库Bequtifulsoup4

# coding:utf-8

import requests
from bs4 import BeautifulSoup  #静态网页解析

#下述定义几个全局变量
BASE_LIB = 'html5lib'
BASE_URL = 'http://www.ip138.com'
UA = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36'
HEADERS = {'user-agent':UA}

def handle_zip_code(province, url):
print(province)
resp = requests.get(url, headers=HEADERS)
text = resp.text.encode('iso-8859-1').decode('gbk')
bs = BeautifulSoup(text, BASE_LIB)
rows = bs.select('table.t12 > tbody > tr')
#查找bs4解析后的html源码中表格的前13行tr(对照网页图看)
print('_______________________________')
#下述循环可以用数组切片替代,去掉表格第一行
for i in range(1, len(rows)):
items = rows[i].select('td')
#每一"行"的每个单元网格td取出,形成items
t_1 = items[0].text.strip()
#把表格每一行的第一个"元素"取出(市、县、区名),strip是去掉字符首尾空格
if t_1:
print('\t%s, %s' % (t_1, items[1].text.strip()))
if len(items) > 4:
#数据有两大列,有些网格右侧没有信息(比如滨海新区右侧没有别的区县)
t_2 = items[3].text.strip()
if t_2:
print('\t%s, %s' % (t_2, items[4].text.strip()))

if __name__ == '__main__':
resp = requests.get(BASE_URL + '/post', headers=HEADERS)
text = resp.text.encode('iso-8859-1').decode('gbk')
#获得页面http://www.ip138/post.com文本内容
bs = BeautifulSoup(text, BASE_LIB)
#初始化一个bs4对象;默认使用lxml对html做解析,这里设置参数BASE_LIB是选择用'html5lib'对html做解析
for item in bs.select('div#newAlexa > table.t4 > tbody > tr > td > a'):
#bs4的select返回所有满足条件的元素,结构是数组,只有一个元素时也返回数组
#select参数是html的查找层次,可以对照网页开发者工具里html代码查看对应关系
print(item.text) #查找到的各个省市名字,a元素
print(item.text, item.get('href'))
#查找a元素的href属性,即URL尾巴上的各省市编号(参看网页html源码)
print('_______________________________')
handle_zip_code(item.text, BASE_URL + item.get('href'))
#BASE_URL + item.get('href')是拼接每个省市完整的URL