Nutch1.2的安装使用。

Nutch是网页爬取的工具，这里还将安装Tomcat以支持显示搜索的动态页面。（Tomcat是动态页面应用服务器）

nutch工作流程

1、将起始URL集合注入到Nutch系统之中。

2、生成片段文件，其中包括了将要抓取的URL地址。

3、根据URL地址在互联网上抓取相应的内容。

4、解析所抓取的网页，并分析其中的文本和数据。

5、根据新抓取的网页中的URL集合来更新起始URL集合，并再次进行抓取。

6、同时，对抓取到的网页内容建立索引，生成索引文件存放在系统之中。

(一个类广搜的过程。

在本地新建一个weburls.txt文件，写入要爬取的网站url



修改 nutch-1.2/conf/crawl-urlfilter.txt



然后运行爬取命令

bin/nutch crawl weburls.txt -dir localweb -depth 2 -topN 50 -threads 2

-dir = localweb 指明下载数据存放路径，该目录不存在时，会被自动创建

-deptch = 2 下载深度为2

-topN = 50 下载符合条件的前100个页面

-threads = 2 启动的线程数目
运行结果为



执行后新建的文件夹localweb下会有五个文件夹



crawldb:爬行数据库，用来存储所要爬行的网址

linkdb: 链接数据库，用来存储每个网址的链接地址，包括源地址和链接地址

segments: 抓取的网址被作为一个单元，而一个segment就是一个单元。一个segment包括以下子目录:

crawl_generate: 包含所抓取的网址列表

crawl_fetch: 包含每个抓取页面的状态

content: 包含每个抓取页面的内容

parse_text: 包含每个抓取页面的解析文本

parse_data: 包含每个页面的外部链接和元数据

crawl_parse: 包含网址的外部链接地址，用于更新crawldb数据库

indexes: 采用Lucene的格式建立索引集

index：最终生成的目录

之后配置Tomcat，来显示Nutch的结果。

Tomcat 是Servlet 和JSP动态网页的服务端容器

流程图：



装好Tomcat后,配置Nutch,来运行搜索抓取到的结果。



我的数据并没有抓到，在deep1时就停下了，显示可用URL为0，不明原因，日后补充。

附录：

netstat -an

-a 是显示所有网络连接

-n 是用网络IP代替名称