一种字符串相似性度量的方法
2012-07-25 21:03
260 查看
在检索系统中,如果输入的查询在系统中找不到索引,这时候就需要从最热查询中找到一个与输入查询最相似的查询。最热查询容易得到,但是相似该如何度量?
首先两点要满足:
1,如果s1和s2完全相同,则相似度为1
2,而如果s1和s2不包含相同的字符,则相似度为0
这里给出一种字符串相似性度量的方法:
求字符串s1和s2的相似性:
int function similar(s1, s2)
for ch in s1:
i2 = s2.find(ch)
return max(1 + similar(s1 - ch, s2.substr(i2)), similar(s1 - ch, s2))
算法原理是这样的,从s1的第一个字符遍历,找到这个字符在s2中的位置,按此位置把s2分成两段,取后一段s2_last,s1去掉ch得字符串s1_last,求s1_last和s2_last的相似度加1,s1_last和s2的相似度,取二者的最大值,如此递归。得到的值除以s1的长度即为相似度
可以看出,此算法并不是求两个字符串相同的字符个数,而是求保持顺序不变的相似的个数,例如ab和ba的相似度就是0.5。
这只是求出了s1和s2的相似度,并不满足对称性,即s2和s1的相似性并不相同。最终的相似度既可以两者相乘,也可以求最小值。
不难验证,算法满足文本开头的两个假设。
下面再看一下算法的时间复杂度:
设s1的长度为m,s2的长度为n,则Time(m, n) = n + Time(m-1, n) + Time(m-1, n),时间复杂度上限为O(m*n)
在检索系统中,考虑到先进行分词,每个词都不是很长,算法还是可以的。
首先两点要满足:
1,如果s1和s2完全相同,则相似度为1
2,而如果s1和s2不包含相同的字符,则相似度为0
这里给出一种字符串相似性度量的方法:
求字符串s1和s2的相似性:
int function similar(s1, s2)
for ch in s1:
i2 = s2.find(ch)
return max(1 + similar(s1 - ch, s2.substr(i2)), similar(s1 - ch, s2))
算法原理是这样的,从s1的第一个字符遍历,找到这个字符在s2中的位置,按此位置把s2分成两段,取后一段s2_last,s1去掉ch得字符串s1_last,求s1_last和s2_last的相似度加1,s1_last和s2的相似度,取二者的最大值,如此递归。得到的值除以s1的长度即为相似度
可以看出,此算法并不是求两个字符串相同的字符个数,而是求保持顺序不变的相似的个数,例如ab和ba的相似度就是0.5。
这只是求出了s1和s2的相似度,并不满足对称性,即s2和s1的相似性并不相同。最终的相似度既可以两者相乘,也可以求最小值。
不难验证,算法满足文本开头的两个假设。
下面再看一下算法的时间复杂度:
设s1的长度为m,s2的长度为n,则Time(m, n) = n + Time(m-1, n) + Time(m-1, n),时间复杂度上限为O(m*n)
在检索系统中,考虑到先进行分词,每个词都不是很长,算法还是可以的。
相关文章推荐
- 字符串相似性度量方法
- Python 字符串相似性的几种度量方法
- opencv中图像一种相似性度量方法-------EMD
- 字符串相似性的几种度量方法
- 整型数据与字符串类型相互转化的一种实现方法
- 2009-04-09 17:50 C++中字符串置空的一种方法
- 转载 漫谈机器学习中的距离和相似性度量方法
- 机器学习中距离和相似性度量方法(比较全)
- 机器学习中常用的距离和相似性度量方法
- js中构造重复字符串的一种简便方法
- Flash ActionScript3 一种按照真实占位宽度截短字符串的方法
- 文本相似性度量---------字符串近似相等
- C#计算字符串相似性的方法
- VB中字符串数组快速复制的一种方法
- 一种Java分割字符串的方法
- java中验证字符串是不是数字的三+一种方法--转载别人
- 文本相似性度量---------字符串近似相等
- C++中字符串取一个字符的一种方法
- Java 将字符串动态生成字节码的一种方法
- 距离和相似性度量方法