您的位置:首页 > 其它

一种字符串相似性度量的方法

2012-07-25 21:03 260 查看
在检索系统中,如果输入的查询在系统中找不到索引,这时候就需要从最热查询中找到一个与输入查询最相似的查询。最热查询容易得到,但是相似该如何度量?

首先两点要满足:

1,如果s1和s2完全相同,则相似度为1

2,而如果s1和s2不包含相同的字符,则相似度为0

这里给出一种字符串相似性度量的方法:

求字符串s1和s2的相似性:

int function similar(s1, s2)

for ch in s1:

i2 = s2.find(ch)

return max(1 + similar(s1 - ch, s2.substr(i2)), similar(s1 - ch, s2))

算法原理是这样的,从s1的第一个字符遍历,找到这个字符在s2中的位置,按此位置把s2分成两段,取后一段s2_last,s1去掉ch得字符串s1_last,求s1_last和s2_last的相似度加1,s1_last和s2的相似度,取二者的最大值,如此递归。得到的值除以s1的长度即为相似度

可以看出,此算法并不是求两个字符串相同的字符个数,而是求保持顺序不变的相似的个数,例如ab和ba的相似度就是0.5。

这只是求出了s1和s2的相似度,并不满足对称性,即s2和s1的相似性并不相同。最终的相似度既可以两者相乘,也可以求最小值。

不难验证,算法满足文本开头的两个假设。

下面再看一下算法的时间复杂度:

设s1的长度为m,s2的长度为n,则Time(m, n) = n + Time(m-1, n) + Time(m-1, n),时间复杂度上限为O(m*n)

在检索系统中,考虑到先进行分词,每个词都不是很长,算法还是可以的。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: