矩阵的奇异值分解

矩阵的奇异值分解证明过程中会用到五个定理，先作为补充知识展示这五个定理：

定理一：A是对称矩阵，则不同特征值对应的特征向量是正交的。

证明：设，是矩阵A的特征向量，且，，为，对应的特征向量，即：

，

则

，

因为A是对称矩阵，则

所以，

则：

因为

，

所以：

，

即：和是正交的。证毕

————————————————————————————————————————————————————————————————————————————

定理二：矩阵和它的转置具有相同的特征值

证明：因为：

，

即和有相同的特征多项式，所以有相同的特征值。

————————————————————————————————————————————————————————————————————————————

定理三：半正定矩阵的特征值均大于等于零

证明：这是半正定矩阵的定义

————————————————————————————————————————————————————————————————————————————

定理四：若满足,则称是单位正交矩阵

单位正交矩阵有如下的性质：。

————————————————————————————————————————————————————————————————————————————

定理五：若矩阵的秩为r，则和秩均为r。

————————————————————————————————————————————————————————————————————————————

补充完以上五个定理，我们正式开始矩阵的奇异值分解的证明。

 

设矩阵,矩阵的秩为,且，则矩阵可以分解为如下形式：

，

 

也可表示为：

证明：无非就是寻找。

显然，，且这两个矩阵均是半正定矩阵，且互为转置，且根据定理五，这两个矩阵的秩均为。根据定理二和定理三，这两个矩阵的特征值是相同的，且均大于等于零。我们只用大于零的特征值。设(我们按从大到小排序即：)是它们的不为零的特征值，且对于矩阵对应的单位特征向量为（），对于矩阵对应的单位特征向量为（），即

，。

其实和存在一定的关系，下面就找出这种关系。

因为

，

所以，是的特征向量，又因为也是的特征向量，所以，

，

又因为

，

所以：

。

则：

,

所以，

，

那么

下面证明

，

其中代表单位矩阵。

因为是对称矩阵的不同特征值对应的特征向量，根据定理一，我们得出他们是相互正交的，又因为

，

然后，然后根据定理四，我们便得到

所以：

。

证毕。

注：奇异值分解在自然语言处理和推荐系统中有广泛应用，例子我就不敲了，网上很多。矩阵怎么分解都知道了，那它的应用，我想也不是问题。