Nutch 安装使用笔记

这几天有朋友让我一起看一些关于搜索引擎的技术，说实话我的专业还是信息搜集那，可惜在学校老师教的都是一些古老的信息整理方法，早就已经过时，不过我对信息搜集整理还是很感兴趣的。
说正题吧，介绍一下这次需要试用的搜索应用：Nutch

在网上了解到一些关于搜索引擎的知识，好像现在比较热门的就是Lucene，Nutch了，而且Nutch的主要开发人员Doug Cutting还是开发Lucene的。而且别的几种搜索技术还都不是全面的搜索应用。我就选择了Nutch来作测试了。而且全都是开发好的只要用就可以了。哈哈！

说正题吧，先给出我的参考文章： http://www.dbanotes.net/web/nutch.html Nutch 初体验
http://dev.4kiki.net/content/article/112.html Nutch 于 winxp

安装步骤：

1，安装JDK,我看到网上nutch支持的是jdk1.4,不过我安装得是,jdk1.5，为了安装tomcat5.5
我的安装路径：C:/Sun/java
2，安装cygwin，方法网上很多，我推荐安装本地安装版
我的安装路径： D:/cygwin/
3，安装tomcat，nutch的说明支持tomcat 4.3，我安装的是tomcat5.5
我的安装路径：D:/Program Files/Tomcat 5.5
4，安装nutch-0.7.1.zip
将下载的压缩包解压缩到：D:/cygwin/home/nutch

配置步骤：

1，配置cygwin中的环境
D:/cygwin/etc/profile

PATH="/usr/local/bin:/usr/bin:/bin:$PATH:/cygdrive/c/Sun/java/jdk1.5.0_06"
export NUTCH_JAVA_HOME=/cygdrive/c/Sun/java/jdk1.5.0_06
export JAVA_HOME=/cygdrive/c/Sun/java/jdk1.5.0_06

2，配置 nutch
D:/cygwin/home/nutch/conf/crawl-urlfilter.txt

# accept hosts in MY.DOMAIN.NAME
+^http://([a-z0-9]*/.)*sina.com.cn/

将上面的sian.com.cn改为你需要搜索的域名

在D:/cygwin/home/nutch中建立目录URLS，目录中建立文件URLS-20060212
文件内容：http://www.sina.com.cn

Nutch 的爬虫有两种方式

爬行企业内部网(Intranet crawling)。针对少数网站进行。用 crawl 命令。

爬行整个互联网。 使用低层的 inject, generate, fetch 和 updatedb 命令。具有更强的可控制性。

现在可以开始抓网页了
用cygwin进入/home/nutch目录，
./bin/nutch crawl ./URLS/URLS-20060212 -dir sina.com.cn -depth 2 -threads 4
depth 参数指爬行的深度，这里处于测试的目的，选择深度为 2 ；
threads 参数指定并发的进程 这是设定为 4 ；

3，配置tomcat

将D:/Program Files/Tomcat 5.5/webapps/ROOT目录下文件全部删除
将D:/cygwin/home/nutch中nutch-0.7.1.war解压缩到ROOT目录中
（可以直接使用winrar解压缩，或者用命令jar xvf nutch-0.7.1.war）

配置文件：D:/Program Files/Tomcat 5.5/webapps/ROOT/WEB-INF/classes/nutch-site.xml
<nutch-conf>
<property>
<name>searcher.dir</name>
<value>D:/cygwin/home/nutch/sina.com.cn</value>
</property>
</nutch-conf>

重启tomcat服务器

IE中输入http://localhost:8080

你就可以看到自己的搜索引擎了，哈哈！

不过很可惜的是我的中文搜索不可以，不知道该怎么配置。