您的位置：首页 > 编程语言 > Python开发

python BeautifulSoup基础知识学习

2016-04-28 10:11 501 查看
之前是想看下scrapy的，但发现其对python3暂不支持，于是转为看看美勺，在网上找了点入门知识，有机会就自己写点小程序。

用例子来学习：

from bs4 import BeautifulSoup

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>

"""

soup=BeautifulSoup(html_doc,"html.parser")
print(soup.title)
print(soup.title.name)
print(soup.title.string)
print(soup.p)
print(soup.a)
print(soup.find_all('a'))
print(soup.find(id='link3'))
print(soup.get_text())

运行后结果：
<title>The Dormouse's story</title>
title
The Dormouse's story
<p class="title"><b>The Dormouse's story</b></p>
<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>
[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
<a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>

The Dormouse's story

The Dormouse's story
Once upon a time there were three little sisters; and their names were
Elsie,
Lacie and
Tillie;
and they lived at the bottom of a well.
...


soup是用BeautifulSoup格式化后的字符串。
使用soup.title得到的是title标签

使用soup.p得到的是<p>标签，但需记住，是文档中的第一个标签，针对其它标签而言，也是如此。如果需要得到所有标签，需要用到find_all()函数，将会得到一个列表，然后我们可以通过列表的相关用法获取到我们所需的东西。

soup.get_text()返回所有的文本信息，如果只针对<p>标签的文本，则可以使用soup.p.get_text()

------------------------------------------------------------------------------------------------------------------------------------------------------

下面具体看下find_all()函数，感觉这个函数比较实用：

soup.find_all(id='link2')
# [<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>]
soup.find_all(href=re.compile("elsie"))
4000
# [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>]如果传入的是href，则beautifulsoup将会搜索每个标签中的href
soup.find_all(href=re.compile("elsie"), id='link1')
# [<a class="sister" href="http://example.com/elsie" id="link1">three</a>]
指定多个属性，可实现更多过滤

soup.find_all("a", class_="sister")
# [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
# <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,
# <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]

对于使用类过滤，由于class是python的关键字，所以在过滤的时候，使用class_的方式进行类过滤

----------------------------------------------------
ps：情绪不高，突然不想整理了，还需努力。
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 点击这里给我发消息
标签： 
相关文章推荐
新的分享
章节导航