深入学习Heritrix---解析处理器(Processor)

本节解析与处理器有关的内容.
与处理器有关的主要在以下几个类:Processor(处理器类),ProcessorChain(处理器类),ProcessorChainList(处理器链列表).它们之间的关系如下:

Code

(2)ProcessorChain

该类实际上实现一个队列的功能,它代表一个由许多处理器连接的处理器链.

Code

(3)ProcessorChainList

该类是保存一次抓取任务的所有的处理器链(ProcessorChain).

Code

(5)处理器链的初始化

所有的处理器链都是在CrawlController的initialize中初始化的.

CodeCode

Code

Code

private void setupCrawlModules(){

        //设置处理链

        // Setup processors

        if (processorChains == null) {

            processorChains = new ProcessorChainList(order);

        }