Heritrix eclipse安装、配置

部分转自：http://www.360doc.com/content/10/0913/18/2793979_53385587.shtml 
        下载最新版的heritrix1.14.4.zip和heritrix-1.14.4-src.zip。地址：http://sourceforge.net/projects/archive-crawler/files/archive-crawler%20(heritrix%201.x)/
 

二、在Eclipse中配置Heritrix
        1、新建空的java项目（注意不是WEB项目），命名为heritrix；
        2、把heritrix-1.14.4-src\src\java\目录下的org、st和com文件夹拷贝到heritrix/src目录下；
        3、把heritrix-1.14.4-src\src下的wbapps文件夹拷贝到heritrix目录下；
        4、右击heritrix项目，点击properties ，通过JavaBuildPath,将heritrix-1.14.4-src下的lib目录下的所有包导入进来；
        5、解压缩heritrix-1.14.4目录下的heritrix-1.14.4.jar文件（你没看错，就是用7zip或者win rar把这个jar包给解压了），把解压后的所有文件和文件夹（除org、st、com文件夹和heritrix.properties文件外）拷贝到heritrix目录下；
        6、将heritrix-1.14.4目录下的conf文件夹拷贝到heritrix目录下；并将heritrix目录下的profiles文件夹移入conf文件夹中；
        7、打开eclipse下的heritrix/conf/heritrix.properties文件，找到"heritrix.cmdline.admin=",修改为“heritrix.cmdline.admin = admin:admin”；
        8、Conf/jmxremote.password.template拷贝到heritrix目录下。改名为：jmxremote.password，最后再行改成：
                              monitorRole  admin
                              controlRole    admin
        9、找到org.archive.crawler包，运行Heritrix.java中的main函数。
           成功提示信息为：
           09:14:07.406 EVENT  Starting Jetty/4.2.23 

           09:14:07.656 EVENT  Started WebApplicationContext[/,Heritrix Console] 

           09:14:07.750 EVENT  Started SocketListener on 127.0.0.1:8082 

           09:14:07.750 EVENT  Started org.mortbay.jetty.Server@179c285 

          Heritrix version: 1.14.4

          可能会出现的异常：
          1、在Heritrix.java中出现File URLConnection 红叉；
               解决办法：将myeclipse中的compiler 属性中的Errors/warring 中的Forbidden....选为warrning即可。
          2、出现的异常：......thread-10 org.archive.util.ArchiveUtils.<linit>( )TLD list....
在我的机器上，报错完整内容为：SEVERE thread-1 org.archive.util.ArchiveUtils.<clinit>() TLD list unavailable
解决办法是把这个txt（tlds-alpha-by-domain.txt）拷贝到heritrix/bin/org/archive/util目录下。
          3、在eclipse中可以启动heritrix，但在jobs->modules.jsp页面中没有添加（“Add”）按扭，且出现以下异常。
              致使错误：“无法编译样式表”
              严重 thread-12 org.archive'crawler.framework.WriterPodProcessor.io.arc.......
             解决办法：将heritrix 项目中的modules移动到src目录下。