您的位置:首页 > 编程语言 > Java开发

heritrix在eclipse中的配置

2014-09-05 17:38 323 查看
在Eclipse中构建Heritrix 

这里采用的是Heritrix 1.14.4(2010年5月10日的版本 目前来看是最新版本) 

1.首先从http://sourceforge.net/projects/archive-crawler/ 中下载 

heritrix-1.14.4.zip 

heritrix-1.14.4-src.zip 

2.在Eclipse 中创建一个java project的工程,分别对 

heritrix-1.14.4.zip 

heritrix-1.14.4-src.zip 进行解压。 

3.将heritrix-1.14.4-src.zip解压中的src/java 中的 com、org、st三个文件夹复制到工程src下。 

4.将heritrix-1.14.4-src.zip解压中src中conf文件夹复制到项目根目录。 

5.将heritrix-1.14.4-src.zip解压中lib文件夹复制到项目根目录。 

6.将heritrix-1.14.4-src.zip解压中src/resources/org/archive/util中tlds-alpha-by-domain.txt文件复制到工程中org.archive.util包下。 

7.将heritrix-1.14.4.zip解压中webapps文件夹复制到项目根目录。 

如果文件夹名称不是webapps 需要在Heritrix.java中进行相应的更改。 
public static File getWarsdir()    

throws IOException {    

    return getSubDir("webapps");    

}
8.配置文件进行修改,找到conf下heritrix.properties文件 
       //设置用户密码     
       heritrix.cmdline.admin = admin:admin     
      //设置端口 
      
heritrix.cmdline.port = 8080   
9.对工程进行jar包引入,将lib下面所有的jar包引入工程。 

10.在工程中找到org.archive.crawler.Heritrix.java右键选运行方式配置 

选择Classpath 

选择User Entries -- Advanced 

选择Add Folders 将conf文件夹添加进去。 

点击Run 开始运行 
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  heritrix 网页爬虫