Heritrix运行配置
2007-10-25 15:06
183 查看
看了自己动手做搜索引擎那本书,上面写的运行heritrix的方法挺麻烦的!要加载好多jar包,懒得弄。后来发现bin文件夹里面本来就有一个heritrix.cmd的文件,我想着一定就是windows下的运行文件,运行了一下,提示输入用户名密码!
输入用户名密码了以后,又说找不到密码文件“jmxremote.password”。我发现在conf文件夹里面就有一个jmxremote.password.template文件,这一定是一个模板文件!打开后修改一下密码,把它放到heritirix的根目录,继续运行……
这下子成功了,可以启动webUI了,浏览器输入http://127.0.0.1:8080,输入用户名,密码。就可以进入了!(用户名密码以及端口号可以在/conf文件夹里的文件修改)
但是有个问题,就是设置了任务,运行不了!查了一些资料原来是默认的配置文件有问题,将 %HERITRIX_HOME%/heritrix-1.12.1.jar 解压到临时目录,拷贝其中的profiles目录到 %HERITRIX_HOME%/conf/目录下。
这样做就没有问题了,可以进行抓取任务了!
以下内容是转载的一个最简单的任务的设置方法!
Heritrix提供的配置功能非常丰富,但是也很复杂,刚开始的时候很难正确的创建并且执行一个Job去抓取网站,自己阅读了大部分的Heritrix用户文档和多次尝试之后,总结了一个简单的创建执行Job的用例,该用例为抓取www.baidu.com下的网页,但子域(如 news.baidu.com)不抓取,步骤如下,可供参考:
(1) WUI的上边的导航栏选择"Jobs",呈现的第一项是"Create New Job",选择第四小项"With defaults"。输入项的前两项
Name和Description随意,Seeds非常重要:http://www.baidu.com/ 注意最后一个反斜杠必须。
(2) 选择下边的"Modules",进入Module配置页(Heritrix的扩展功能都是通过模块概念实现的,可以实现自己的模块完成自己
想要的功能)。其中第一项 "Select Crawl Scope" 使用默认的 "org.archive.crawler.deciderules.DecidingScope"
。倒数第三项 "Select Writers " 删除默认的 "org.archive.crawler.writer.ARCWriterProcessor" ,后添加
"org.archive.crawler.writer.MirrorWriterProcessor",这样执行任务的时候抓取到的页面会以镜像的方式放在本地的
目录结构中,而不是生成ARC存档文件。
(3) 选择"Modules"右边的"Submodules",在第一项内容中 "crawl-order ->scope->decide-rules->rules" 删除掉其
中的 "acceptIfTranscluded" (org.archive.crawler.deciderules.TransclusionDecideRule) 的这一项抓取作用域的
规则。否则当Http请求返回301或者302时Heritrix会去抓取其他域下的网页。
(4) 在WUI的第二行导航栏中选择"Settings"进入Job的配置页面,其中主要修改两项:http-headers 下的user-agent 和
from,他们的"PROJECT_URL_HERE" 和 "CONTACT_EMAIL_ADDRESS_HERE" 替换为自己的内容
("PROJECT_URL_HERE" 要以 "http://" 开头)
(5) 在WUI的第二行导航栏中选择最右边的"Submit job"
(6) 在WUI的第一行导航栏中选择第一项的"Console",点击"Start",抓取任务正式开始,时间长短有网络状况和所抓取网站的
深度有关。
按照如上步骤应该可以正确的执行一次网站的抓取任务,抓取页面会存放在你的工作目录下的mirror文件夹内。关于Job的创建和执行过程中的各种设置可以在用户手册中查到,都有详细的说明。
输入用户名密码了以后,又说找不到密码文件“jmxremote.password”。我发现在conf文件夹里面就有一个jmxremote.password.template文件,这一定是一个模板文件!打开后修改一下密码,把它放到heritirix的根目录,继续运行……
这下子成功了,可以启动webUI了,浏览器输入http://127.0.0.1:8080,输入用户名,密码。就可以进入了!(用户名密码以及端口号可以在/conf文件夹里的文件修改)
但是有个问题,就是设置了任务,运行不了!查了一些资料原来是默认的配置文件有问题,将 %HERITRIX_HOME%/heritrix-1.12.1.jar 解压到临时目录,拷贝其中的profiles目录到 %HERITRIX_HOME%/conf/目录下。
这样做就没有问题了,可以进行抓取任务了!
以下内容是转载的一个最简单的任务的设置方法!
Heritrix提供的配置功能非常丰富,但是也很复杂,刚开始的时候很难正确的创建并且执行一个Job去抓取网站,自己阅读了大部分的Heritrix用户文档和多次尝试之后,总结了一个简单的创建执行Job的用例,该用例为抓取www.baidu.com下的网页,但子域(如 news.baidu.com)不抓取,步骤如下,可供参考:
(1) WUI的上边的导航栏选择"Jobs",呈现的第一项是"Create New Job",选择第四小项"With defaults"。输入项的前两项
Name和Description随意,Seeds非常重要:http://www.baidu.com/ 注意最后一个反斜杠必须。
(2) 选择下边的"Modules",进入Module配置页(Heritrix的扩展功能都是通过模块概念实现的,可以实现自己的模块完成自己
想要的功能)。其中第一项 "Select Crawl Scope" 使用默认的 "org.archive.crawler.deciderules.DecidingScope"
。倒数第三项 "Select Writers " 删除默认的 "org.archive.crawler.writer.ARCWriterProcessor" ,后添加
"org.archive.crawler.writer.MirrorWriterProcessor",这样执行任务的时候抓取到的页面会以镜像的方式放在本地的
目录结构中,而不是生成ARC存档文件。
(3) 选择"Modules"右边的"Submodules",在第一项内容中 "crawl-order ->scope->decide-rules->rules" 删除掉其
中的 "acceptIfTranscluded" (org.archive.crawler.deciderules.TransclusionDecideRule) 的这一项抓取作用域的
规则。否则当Http请求返回301或者302时Heritrix会去抓取其他域下的网页。
(4) 在WUI的第二行导航栏中选择"Settings"进入Job的配置页面,其中主要修改两项:http-headers 下的user-agent 和
from,他们的"PROJECT_URL_HERE" 和 "CONTACT_EMAIL_ADDRESS_HERE" 替换为自己的内容
("PROJECT_URL_HERE" 要以 "http://" 开头)
(5) 在WUI的第二行导航栏中选择最右边的"Submit job"
(6) 在WUI的第一行导航栏中选择第一项的"Console",点击"Start",抓取任务正式开始,时间长短有网络状况和所抓取网站的
深度有关。
按照如上步骤应该可以正确的执行一次网站的抓取任务,抓取页面会存放在你的工作目录下的mirror文件夹内。关于Job的创建和执行过程中的各种设置可以在用户手册中查到,都有详细的说明。
相关文章推荐
- 配置Heritrix在MyEclipse下运行
- Heritrix 1.14.3 运行环境配置
- Heritrix的配置和运行简单Job
- Heritrix 1.14.3 运行环境配置
- 配置和简单运行Heritrix3.2.0(环境为win10 64)
- Ubuntu下配置和运行Heritrix
- Heritrix的配置和运行简单Job 推荐
- apue源码运行配置
- 初次运行 Git 前的配置
- IDEA -- IntelliJ IDEA14 创建JavaWeb工程 配置Tomcat 部署 运行
- 配置运行ASP程序 在64位IIS 7下经验
- WIN7下配置JDK,成功编辑运行JAVA程序的过程
- hadoop配置(4) --在每次运行时自动删除输出目录
- mysql5.6.16绿色版配置、运行
- mysql 运行时配置小思考记录
- jconsole监控远程linux tomcat运行情况的配置
- window下实现tomcat不需要配置环境变量就可以直接运行startup.bat启动
- hadoop配置、运行错误总结
- (5)基本工作流(打包与运行环境配置)
- VS2008编译的程序在某些机器上运行提示“由于应用程序配置不正确,应用程序未能启动”的问题