首页 > PCA & SVD 算法流程小结

奇异值分解,PCA & SVD 算法流程小结

互联网 2021-04-23 21:23:46
1 主成分分析(Principal Component Analysis,PCA)

核心知识点:协方差矩阵和特征值分解

协方差公式:cov(x, y) = E([x - E(x)][y - E(y)])

PCA降维过程如下:

(1)对原始数据X进行标准化X,(m, n)m条样本,每条样本n维特征,n较大

(2)计算协方差矩阵 C(n, n)n行n列

(3)计算协方差矩阵的特征值和特征向量

(4)选取最大的k个特征值对应的特征向量,得到特征向量矩阵 P (n, k)

(5)将数据变换到k维,得到新的降维数据 X.dot(P)=> (m, k)

2 奇异值分解(Singular Value Decomposition,SVD)

原理如下:

矩阵A的奇异值分解可通过求对称矩阵 A^\mathrm{T}A 的特征值和特征向量得到。

算法流程如下:

(1)先求出 A^\mathrm{T}A (n行,n列)的特征值和特征向量 n个非负特征值降序排列

(2)求n阶正交矩阵V(n, n)n个特征向量直接拼接

(3)求(m,n)对角矩阵 \Sigma主对角元素为奇异值(特征值开根号)

(4)求m阶正交矩阵U (m, m)

这里先求正奇异值对应的左奇异向量,再求扩充的 A^T 的标准正交基

(5)得到奇异值分解结果

免责声明:非本网注明原创的信息,皆为程序自动获取自互联网,目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责;如此页面有侵犯到您的权益,请给站长发送邮件,并提供相关证明(版权证明、身份证正反面、侵权链接),站长将在收到邮件24小时内删除。

相关阅读