关键词匹配项目深入研究-过滤器的引入

关键词匹配项目深入研究（一） - 过滤器的引入

在开始看本篇时，请先了解 手把手教你做关键词匹配项目（搜索引擎）---- 第一天 ~ 手把手教你做关键词匹配项目（搜索引擎）---- 第二十二天

前言


问题的前因

随着项目的运行，采集关键词的应用日益广泛，突然有一天小丁丁跑来找到小帅帅，小帅帅当然很欢喜，但是听到后面的对话凉了一大截。

“小帅帅，你看，这些词怎么有&，？，%，好多乱七八糟的词都有了，这些词都不太合适用，帮帮忙看看怎么去掉咯。”小丁丁的眼神也够厉害的，盯得小帅帅直哆嗦。

“大姐，好咯，我先去瞧瞧，这件事包在我身上，到时解决了跟你说声”。

小帅帅回去查了下，发现数据库里面好多这种古怪的词，小帅帅慌了，只好又去找到于老大。

“现在词库关键词里面包含&，？，%这种词很多，而且根据匹配度算法来算的话，这些词都是可用的，我们怎么办？”。

于老大听了小帅帅的解说，想出了一个方案，我们控制下这些关键词咯，反正这些关键词业务也不使用，我们就不要让他入库了，既可以减少关键词库的量，又能保证关键词的可利用率高。

小帅帅一听，于老大就是不一样，望尘莫及。

解决方案

增加一个功能，控制词源入库，符合规则的准入，不符合规则的丢弃--过滤器的功能。

设计方案


代码方案

1. InputSource、FileSource、TaobaoHotsSource代码不变。

2. Source代码新增过滤代码，如下：

class Source {

public $keywords;

public function run() {

foreach ($this->keywords as $word) {
# code...
if(Filter::is($word)) continue;

$keyword = new Keyword();
$keyword->word = $word;
$keyword->save();
}
}

}

3. 新增Filter代码：

<?php

#@Filename: filter/Filter.php
#@Author: oShine

class Filter {

private static $filterWords = array("*","?","%",".","&");

public static function is($word){
$pattern = "/(".implode("|", self::$filterWords).")/";
return preg_match(pattern, $word);
}

}

总结

良好的代码结构，新增移除功能都非常简单，工作效率提升了。小帅帅深深的爱上了这份工作。