您的位置：首页 > 理论基础 > 计算机网络

[翻译]<Web Scraping with Python>Chapter 1.你的第一个网络爬虫

2017-02-18 21:02 656 查看

Chapter 1. 你的第一个网络爬虫

本章主要是关于不用浏览器获取数据。从一个最基本的向服务器发送Get请求一个页面开始，读取页面的HTML输出，简单的数据抽取来分离出我们想找寻的数据。本章及下一章则是连续的讲解不使用浏览器格式化和解析数据。

我们来看一个例子：

Alice有个web服务器，Bob用台式机去链接Alice的服务器。整个交换过程大概是这样的:

1. Bob的机器发送一条1/0（常用高低电平来代表）组成的数据流。这条数据流是信息的比特格式，含有header和body. Header含有一个Bob所在网络的路由器的MAC直接地址，还含有Alice的最终IP地址。Body含有对Alice服务器的请求。

2. Bob本地的路由器将这条1/0组成的比特流视为从Bob的MAC地址来的，去往Alice IP地址的数据包。路由器将这个数据包封装一下，将路由器它自己的IP地址作为源地址发送给Internet。

3. Bob的数据通过数个中间服务器，这些中间服务器都将上一个来的数据包封装好，将中间服务器自己的IP地址作为源地址，Alice的IP地址作为目的地址发给下一个中间服务器。

4. 直到Alice的服务器收到这个数据包。

5. Alice的服务器读取数据包的Header中的端口地址（端口地址几乎总是80，就如同门牌号一般，而Alice的IP地址就如同街道地址），将其传给对应的程序（这里的对等进程就是Web程序）。

6. Web服务器程序从服务处理器接受了一条数据流，这些数据包括：

- 这是一个GET请求

- 以下文件被请求:index.html

7.Web服务器加载正确的HTML文件，将其打成新的数据包发送给Bob，同样是通过本地路由、网络中间服务器的方式传递给Bob的机器。

Web浏览器就是这样一个非常有用的程序，可以很方便的打包信息、发送数据包和解释所返回给你的包括图像、声音、视频和文字等数据。然而，web浏览器其实就仅仅是代码。既然是代码就可以被分割成基本的组件，被重写和重用，以及用来做任何我们需要完成的工作。

这里有一个scrapetest.py的例子，这个例子可以获取完整的HTML的代码。但是这个例子使用的是静态网页，和我们现在看到的动态网页有一些差别，比如动态网页含有：图像文件、JavaScript文件、CSS文件以及网页上的任何链接。如果含有<

img

src=”cuteKitten.jpg”>，浏览器会自动去再发送关于图片的请求。需要注意，这个python代码还没有逻辑去处理回溯和获取多个文件，而只能获取我们请求的单一HTML文件：

from urllib.request import urlopen
html = urlopen("http://pythonscraping.com/pages/page1.html")
print(html.read())

python2.x中的urllib2在python3.x中被重命名为urllib（urllib是个标准库）并且分为几个子模块，但是函数名基本还是保持一致的。

- urllib.request for opening and reading URLs

- urllib.error containing the exceptions raised by urllib.request

- urllib.parse for parsing URLs

- urllib.robotparser for parsing robots.txt files

BeautifulSoup库是以Alice梦游仙境中的场景命名的，这个库可以格式化和重组修复html的混乱信息，并且以一种易于遍历的XML结构展示出来。

代码示例：

from urllib.request import urlopen
from bs4 import BeautifulSoup
html = urlopen("http://pythonscraping.com/pages/page1.html")
# print(html.read()) # 注意这里容易出错，html read()一次后再次read()就为空
# print("--------")
bsObj = BeautifulSoup(html.read(),"lxml")
print(bsObj)
print(bsObj.h1)

BeautifulSoup将HTML格式转化成如下结构：

html-><html><head>...</head><body>...</body></html>
head-><head><title>A Useful Page</title></head>
title-><title>A Useful Page</title>
<body>-><body><h1>...</h1><div>...</div></body>
h1-><h1>An Interesting Title</h1>
div-><div>Lorem ipsum dolor sit amet...</div>

如下的调用得到相同的结果：

print(bsObj.h1)

print(bsObj.html.body.h1)

print(bsObj.html.h1)

print(bsObj.body.h1)

结果：

<h1>An Interesting Title</h1>

在第三章，我们将会用正则表达式结合BeautifulSoup来从HTML中提取信息。

连接可靠性和异常处理

网络上的数据可能存在格式错误，网站/网页不可用，标记确实等各种混乱情况。所以即使你很想诅咒网站开发人员，但是首要的是自己将异常处理考虑进去。写爬虫的时候，很重要的是将所有的情形都考虑进去，这样代码可以很好的处理异常也很容易供开发者阅读。你可能以很喜欢大量重用代码，所以将它们写成通用的函数会使得爬虫更容易，而且也更可靠。本章最后，代码可能以如下方式呈现：

from urllib.request import urlopen
from urllib.error import *
from bs4 import BeautifulSoup
def getTitle(url):
try:
html = urlopen(url)
except (HTTPError, URLError) as e:
return None
try:
bsObj = BeautifulSoup(html.read(),"lxml")
title=bsObj.body.h1
except AttributeError as e:
return None
return title
title = getTitle("http://pythonscraping.com/pages/page1.html")
if title is None:
print("Title could not be found.")
else:
print(title)

内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理

标签：

相关文章推荐

新的分享

章节导航