wget 网页爬虫,网页抓取工具

前言

如何在linux上或者是mac上简单使用爬虫或者是网页下载工具呢，常规的我们肯定是要去下载一个软件下来使用啦，可怜的这两个系统总是找不到相应的工具，这时wget出来帮助你啦!!!wget本身是拿来下载东西的，但远不止那么强大,是一把强大利器。

使用指南

快速上手(整个bootstrap网页全被你抓取下来了~_~)

wget -c -r -npH -k http://v4.bootcss.com[/code]1 
参数说明

-c：断点续传 

-r：递归下载 

-np：递归下载时不搜索上层目录 

-nd：递归下载时不创建一层一层的目录,把所有文件下载当前文件夹中 

-p：下载网页所需要的所有文件(图片,样式,js文件等) 

-H：当递归时是转到外部主机下载图片或链接 

-k：将绝对链接转换为相对链接,这样就可以在本地脱机浏览网页了