PCA旋转变换矩阵的推导过程

PCA旋转变换矩阵的推导过程

1、协方差矩阵与相关系数矩阵的关系

       标准化后的矩阵（mean=0,var=1），其相关系数矩阵就是原始矩阵的协方差矩阵（根据两者的数学公式可得）

 

2、PCA其实就是找到一个选择变换的矩阵，使得原始空间的数据投影到变换后的空间具有较大的方差（方差越大，所包含的信息越大）。PCA的全部工作简单点说，就是对原始的空间中顺序地找一组相互正交的坐标轴，第一个轴是使得方差最大的，第二个轴是在与第一个轴正交的平面中使得方差最大的，第三个轴是在与第1、2个轴正交的平面中方差最大的，这样假设在N维空间中，我们可以找到N个这样的坐标轴，我们取前r个去近似这个空间，这样就从一个N维的空间压缩到r维的空间了，但是我们选择的r个坐标轴能够使得空间的压缩使得数据的损失最小。

3、由上述可知，变换后的数据在所在空间没有了相关关系，因为他们是正交的或者是一维的，因此可以认为变换后的矩阵其协方差矩阵或者相关系数矩阵是一个对角阵，即除对角上的数外，其余位置的数均为0，PCA旋转变换矩阵推导的想法便是基于此。

 

4、假设矩阵X，有变换矩阵P，变换后的矩阵为Y=PX，则

其中为特征分解。

5、这个变换矩阵就是X的协防差矩阵的特征向量Q的转置，到此这个PCA的旋转变换矩阵已经找到。