Python英文搜索引擎（模糊搜索）

假设在C:\Record下面有若干个.txt文件，均为纯英文文档。以这些文档为内容，实现一个本地搜索引擎，当用户给出某个输入时，列出相关的搜索结果。可以自行决定改搜索引擎的功能强弱，并给出有关的说明文档。（可考虑NLTK）

注意本程序能够对无空格输入、错误拼写输入、乱序输入、部分输入进行完整的模式匹配。并以相关性排序

更多python3内容访问omegaxyz.com

说明文档：

主要步骤

1：

如何设计一个搜索引擎，最简单的是直接在文档列表中利用最简单的模式匹配算法如KMP算法或者AC自动机进行查找，当然这一项在Python中只要1行就能完事。

2：

接下来我想到可以利用正则表达式进行模式匹配，这样能够增强匹配的准确性。于是我写了一个10行左右的模式匹配的函数（fuzzy_finder_by_interval(key, name_list)）能够根据用户输入和字典序进行模糊搜索。

3：

本以为这样就万事大吉了，但是我在测试时发现利用正则表达式搜索

learning python和python learning的结果不一样，于是我就利用nltk.tokenize模块进行对输入词的划分（这在搜索文件名比较长时才能体现出优势）这样不管哪个单词在前都能够得到一致的结果。

4：

考虑到我们平时搜索时有时候懒得打空格符，即直接输入learningpython，如此的话即使用NLTK的简单功能和正则表达式也得不到正确的结果。于是我想到了对输入的词进行划分。这时就要用到了外部字典文件，我把常用的单词和计算机专业词汇导入到txt文件中（不太清楚NTLK是否有类似的功能，寒假再研究一下，这里先把我想要做的实现一下）如图，这样，对每个连续的字符串能够进行自然语言的划分。这里用到的是正向最大匹配算法。



5：

这样一个正确的搜索引擎就完工了。最后为了使查找到的结果更加精确我从博客http://blog.csdn.net/sky_money/article/details/7957996学习到拼写检查器的基本原理，并利用朴素贝叶斯算法对字典txt文件中的常用单词进行训练，对拼写错误进行更正（当然如果用户不希望开启自动更正也可以）比如我输入了learning pkthon这种输入错误的字符串能够自动改为learning python这样搜索更加精确。

其它：

利用os
4000
.walk（）进行文件遍历操作。另外自己写了一个函数用来生成大量无关txt文件。



代码：

import os
import re
import collections
from nltk.tokenize import TreebankWordTokenizer

all_file = []
word_list = []
get_list = []
outcome = []
alphabet = 'abcdefghijklmnopqrstuvwxyz'
file_path = '**********'
dictionary = '**********'
NWORDS = []

def visit_dir(path):
'''文件读取'''
if not os.path.isdir(path):
print("ERROR")
return
list_dirs = os.walk(path)
for root, dirs, files in list_dirs:
for f in files:
all_file.append(os.path.join(root, f)[len(path)+1:])

def load_dic():
global NWORDS
'''字典读取'''
f = open(dictionary, 'r')
NWORDS = train(words(f.read()))
for line in f:
nlen = len(line)-1
word_list.append(line[:nlen])
f.close()

def divide_str(note, wordlist):
'''连续字符串划分如iloveyou划分为 i love you'''
i = 10
head = 0
flag = 0
while head <= len(note) - 1:
if head >= (len(note)-i):
i = len(note)-head
for p in range(i):
rear = head + i - p
flag = 0
for each in wordlist:
if note[head:rear] == each:
get_list.append(each)
head = head + len(each)
flag = 1
break
if flag == 1:
break
if flag == 0:
head = head + 1

def fuzzy_finder_by_interval(key, name_list):
'''根据字典序和输入排序的模糊搜索'''
key = key.strip()
findings = []
pattern = '.*?'.join(key)
regex = re.compile(pattern)
for item in name_list:
match = regex.search(item)
if match:
findings.append((len(match.group()), match.start(), item))
return [x for _, _, x in sorted(findings)]

def words(text): return re.findall('[a-z]+', text.lower())

def train(features):
model = collections.defaultdict(lambda: 1)
for f in features:
model[f] += 1
return model

def edits1(word):
splits = [(word[:i], word[i:]) for i in range(len(word) + 1)]
deletes = [a + b[1:] for a, b in splits if b]
transposes = [a + b[1] + b[0] + b[2:] for a, b in splits if len(b) > 1]
replaces = [a + c + b[1:] for a, b in splits for c in alphabet if b]
inserts = [a + c + b for a, b in splits for c in alphabet]
return set(deletes + transposes + replaces + inserts)

def known_edits2(word):
return set(e2 for e1 in edits1(word) for e2 in edits1(e1) if e2 in NWORDS)

def known(words): return set(w for w in words if w in NWORDS)

def correct(word):
candidates = known([word]) or known(edits1(word)) or known_edits2(word) or [word]
return max(candidates, key=NWORDS.get)

load_dic()
visit_dir(file_path)
tokenizer = TreebankWordTokenizer()
my_input = input("请输入文件名称：")

if ' ' not in my_input:
divide_str(my_input, word_list)
my_input = get_list
else:
my_input = tokenizer.tokenize(my_input)
print(my_input)
for i in range(len(my_input)):
my_input[i] = correct(my_input[i])

print(my_input)

for i in range(len(my_input)):
temp = fuzzy_finder_by_interval(my_input[i], all_file)
for j in range(len(temp)):
if temp[j] not in outcome:
outcome.append(temp[j])
print(outcome)

运行测试及截图：

生成的一些包含learning python的测试的txt文件



①查找pythonlearning（无空格查找）

②查找learning python（正常查找）

③查找 learning ptdthons（输入错误）

以上三种情况都能讲上述五个文件搜索出来！

更多内容访问omegaxyz.com

网站所有代码采用Apache 2.0授权

网站文章采用知识共享许可协议BY-NC-SA4.0授权

© 2018 • OmegaXYZ-版权所有 转载请注明出处