[转]字符串相似度算法(编辑距离算法 Levenshtein Distance)[附c#,asp源码]

来源:互联网 发布:tricking动作教学软件 编辑:程序博客网 时间:2024/06/02 18:54

转载至:http://www.cnblogs.com/ivanyb/archive/2011/11/25/2263356.html

编辑距离,又称Levenshtein距离(也叫做Edit Distance),是指两个字串之间,由一个转成另一个所需的最少编辑操作次数,如果它们的距离越大,说明它们越是不同。许可的编辑操作包括将一个字符替换成另一个字符,插入一个字符,删除一个字符。

  例如将kitten一字转成sitting:

  sitten (k→s)

  sittin (e→i)

  sitting (→g)

  俄罗斯科学家Vladimir Levenshtein在1965年提出这个概念。因此也叫Levenshtein Distance。

例如

  • 如果str1="ivan",str2="ivan",那么经过计算后等于 0。没有经过转换。相似度=1-0/Math.Max(str1.length,str2.length)=1
  • 如果str1="ivan1",str2="ivan2",那么经过计算后等于1。str1的"1"转换"2",转换了一个字符,所以距离是1,相似度=1-1/Math.Max(str1.length,str2.length)=0.8

应用

  DNA分析

  拼字检查

  语音辨识

  抄袭侦测

算法过程

  1. str1或str2的长度为0返回另一个字符串的长度。 if(str1.length==0) return str2.length; if(str2.length==0) return str1.length;
  2. 初始化(n+1)*(m+1)的矩阵d,并让第一行和列的值从0开始增长。
  3. 扫描两字符串(n*m级的),如果:str1[i] == str2[j],用temp记录它,为0。否则temp记为1。然后在矩阵d[i,j]赋于d[i-1,j]+1 、d[i,j-1]+1、d[i-1,j-1]+temp三者的最小值。(以下tempt表示)
  4. 扫描完后,返回矩阵的最后一个值d[n][m]即是它们的距离。

     5.  最后计算相似度公式:1-它们的距离/两个字符串长度的最大值。

为了直观表现,我将两个字符串分别写到行和列中,实际计算中不需要。我们用字符串“ivan1”和“ivan2”举例来看看矩阵中值的状况:

1、第一行和第一列的值从0开始增长

  ivan1 012345i1     v2     a3     n4     25     

2、i列值的产生 Matrix[i - 1, j] + 1 ; Matrix[i, j - 1] + 1   ;    Matrix[i - 1, j - 1] +t

  ivan1 0+t=01+1=22345i1+1=2取三者最小值=0    v2依次类推:1    a32    n43    254    

3、V列值的产生

  ivan1 012   i101   v210   a321   n432   2543   

依次类推直到矩阵全部生成

  ivan1 012345i101234v210123a321012n4321012543211

最后得到它们的距离=1

相似度:1-1/Math.Max(“ivan1”.length,“ivan2”.length) =0.8

算法用C#实现

复制代码
    public class LevenshteinDistance    {        /// <summary>        /// 取最小的一位数        /// </summary>        /// <param name="first"></param>        /// <param name="second"></param>        /// <param name="third"></param>        /// <returns></returns>        private int LowerOfThree(int first, int second, int third)        {            int min = Math.Min(first, second);            return Math.Min(min, third);        }        private int Levenshtein_Distance(string str1, string str2)        {            int[,] Matrix;            int n = str1.Length;            int m = str2.Length;            int temp = 0;            char ch1;            char ch2;            int i = 0;            int j = 0;            if (n == 0)            {                return m;            }            if (m == 0)            {                return n;            }            Matrix = new int[n + 1, m + 1];            for (i = 0; i <= n; i++)            {                //初始化第一列                Matrix[i, 0] = i;            }            for (j = 0; j <= m; j++)            {                //初始化第一行                Matrix[0, j] = j;            }            for (i = 1; i <= n; i++)            {                ch1 = str1[i - 1];                for (j = 1; j <= m; j++)                {                    ch2 = str2[j - 1];                    if (ch1.Equals(ch2))                    {                        temp = 0;                    }                    else                    {                        temp = 1;                    }                    Matrix[i, j] = LowerOfThree(Matrix[i - 1, j] + 1, Matrix[i, j - 1] + 1, Matrix[i - 1, j - 1] + temp);                }            }        for (i = 0; i <= n; i++)            {                for (j = 0; j <= m; j++)                {                    Console.Write(" {0} ", Matrix[i, j]);                }                Console.WriteLine("");            }                  return Matrix[n, m];        }        /// <summary>        /// 计算字符串相似度        /// </summary>        /// <param name="str1"></param>        /// <param name="str2"></param>        /// <returns></returns>        public decimal LevenshteinDistancePercent(string str1, string str2)        {            //int maxLenth = str1.Length > str2.Length ? str1.Length : str2.Length;            int val = Levenshtein_Distance(str1, str2);            return 1 - (decimal)val / Math.Max(str1.Length, str2.Length);        }    }
复制代码

调用方式:

复制代码
showstatic void Main(string[] args)        {            string str1 = "ivan1";            string str2 = "ivan2";            Console.WriteLine("字符串1 {0}", str1);            Console.WriteLine("字符串2 {0}", str2);            Console.WriteLine("相似度 {0} %", new LevenshteinDistance().LevenshteinDistancePercent(str1, str2) * 100);                      Console.ReadLine();        }
复制代码

结果:

附ASP源码:

复制代码
class LevenshteinDistance    FUNCTION LowerOfThree(one ,two, three)        min=clng(one)        if min>clng(two) then            min=clng(two)        end if        if min>clng(three) then            min=clng(three)        end if        LowerOfThree=min    END FUNCTION        function Max(one,two)        max=clng(one)        if max<clng(two) then            max=clng(two)        end if        Max=max    end function    function Levenshtein_Distance(str1,str2)        dim Matrix        str1Array=StringToArray(str1)        str2Array=StringToArray(str2)        n=len(str1)        m=len(str2)            temp=0        i=0        j=0        dim ch1,ch2            if n=0 then            Levenshtein_Distance=m        elseif m=0 then            Levenshtein_Distance=n        else            redim Matrix(n+1,m+1)            for i=0 to n                Matrix(i,0)=i            next            for j=0 to m                Matrix(0,j)=j            next                        for i=1 to n                ch1=str1Array(i-1)                for j=1 to m                    ch2=str2Array(j-1)                    if ch1=ch2 then                        temp=0                    else                        temp=1                    end if                    Matrix(i,j)=LowerOfThree(Matrix(i-1,j)+1,Matrix(i,j-1)+1,Matrix(i-1,j-1)+temp)                next            next                        '最短距离矩阵              'response.Write("<table width=400><tr><td>&nbsp;</td><td>#</td>")            'for j=1 to m            'response.Write("<td>"&str2Array(j-1)&"</td>")            'next            'response.Write("</tr>")                        'for i=0 to n            '    if i=0 then            '    response.Write("<tr><td>#</td>")            '    else            '    response.Write("<tr><td>"&str1Array(i-1)&"</td>")            '    end if                        '    for j=0 to m            '        response.Write("<td>"&Matrix(i,j)&"</td>")            '    next            '    response.Write("</tr>")            'next            'response.Write("</table>")            Levenshtein_Distance=Matrix(n,m)        end if    end function        function LevenshteinDistancePercent(str1,str2)        val=Levenshtein_Distance(str1,str2)        LevenshteinDistancePercent=1-val/Max(len(str1),len(str2))    end function    function StringToArray(str)        dim strArray        redim strArray(len(str)-1)        for i=1 to len(str)            strArray(i-1)=mid(str,i,1)        next        StringToArray=strArray    end functionend class
复制代码

调用方式:

set a=new LevenshteinDistancec=a.LevenshteinDistancePercent("ivan1","ivan2")response.Write("字符串相似度:"&round(c,2)*100&"%")

结果:

字符串相似度:80%

作者:焱龙
出处:http://star-studio.cnblogs.com/
申明:作者写博是为了总结经验,和以后的工作参考之用。
如需转载,请尽量保留此申明,并在文章页面明显位置给出原文连接。谢谢!