[Python爬虫之路2]爬取百度贴吧内容

# 目标：
# 1. 对百度贴吧的任意帖子进行抓取
# 2. 指定是否只抓取楼主的发帖内容

# 分析url可知url分为两个部分，基础部分，参数部分

__author__ = 'XZ'
# -*- coding:utf-8 -*-
# 使得python支持中文

import requests
from bs4 import BeautifulSoup
import re

class BDTB:
# 初始化，传入基础部分和参数部分（参数部分决定是否只看楼主）
def __init__(self):
self.base = None
self.seeL = None

# 从一个帖子中获取信息
def getTieInfo(self, tie):
# 发帖人，内容（非图片），时间，楼数
name = tie.find('li',class_ = "d_name").text
content = tie.find('div',class_ = "d_post_content").text
wrap = tie.find('div',class_='post-tail-wrap').contents
time = wrap[2].text
floor = wrap[1].text
print(name)
print(time)
print(content)
print(floor)
print(u"-------------------------------------------------------------------------------------------"
u"------------------------------------\n")

# 获取一个单页,参数为我们要获取的帖子页码数
def getApage(self,pageIndex):
try:
url = self.base + '?see_lz=' + str(self.seeL) + '&pn=' + str(pageIndex)
reponse = requests.get(url).content
soup = BeautifulSoup(reponse,'html.parser')
ties = soup.find_all('div',class_ = re.compile("l_post l_post_bright j_l_post clearfix"))
for tie in ties:
self.getTieInfo(tie)
except requests.HTTPError as e:
print(e+"在获取贴吧内容时出现错误！")

# 获取一共有多少页
def getPageNumber(self):
try:
url = self.base + '?see_lz=' + str(self.seeL) + '&pn=1'
reponse = requests.get(url).content
soup = BeautifulSoup(reponse,'html.parser')
number = soup.find('li',class_ = "l_reply_num").contents[2].text
return number
except requests.HTTPError as e:
print(e+"在获取贴吧页码时出现错误！")
return None;

# 开始运行
def start(self):
# 输入贴子代号
self.base = input("请输入帖子代号：")
# 输入是否只看群主
self.seeL = input("输入1表示只看群主，0表示浏览所有帖子：")
# 先获取有页码数n
pageNumber = int(self.getPageNumber())
# 然后每次按下enter：获取当前页，并解析出内容，如果到了最后一页，则无法继续，提示已经是最后一页
print("按Enter刷新下一页，输入Q退出！")
for e in range(1,pageNumber):
i = input()
if i == 'Q' or i == 'q':
print("退出程序！")
break
self.getApage(e)
else:
print("全部帖子以展示完，退出程序！")

# 使用BDTB

baseURL = 'http://tieba.baidu.com/p/3138733512'
bdtb = BDTB()
bdtb.start() #获取第一页的内容

css_soup = BeautifulSoup('<p class="body strikeout"></p>')

find_all('div',class_="a b c")