您的位置:首页 > 编程语言 > Python开发

Python爬虫(2)——爬取微博内容

2017-04-16 15:09 253 查看
本文通过一种简单的方式来抓取华为终端官方微博的内容信息。首先抓取登录微博的cookie,然后使用cookie来登录微博。

具体的代码如下所示:

# -*- coding: utf-8 -*-
"""
Created on Sun Apr 16 14:16:32 2017
@author: zch
"""

import requests
from bs4 import BeautifulSoup
import time
import pandas as pd

#放入cookie信息
cook = {"Cookie":"_T_WM=..."}

#爬取华为终端官方微博的内容
url = "https://weibo.cn/huaweidevice"

html = requests.get(url,cookies=cook).content

#使用Beautiful来解析网页内容。
soup =BeautifulSoup(html,"html.parser")

r = soup.findAll('span',attrs={"class" : "ctt"})
for e in r:
print(e.text)


运行结果如下所示:



当然,上面的代码一次只能实现爬取少量的内容信息,还很简陋。后面要想办法解决多页连续爬取自动分类存储的问题。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  python 微博 爬虫 cookie
相关文章推荐