一
  
  
  
  
  
  
  
  
 、简介

        奇异值分解是一种十分重要但又难以理解的矩阵处理技术                ，在机器学习中是最重要的分解没有之一的存在
  
  
  
  
  
  
  
  
 。那么  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  ，奇异值分解到底是在干什么呢？

        矩阵 A 表示的是高维数据
















，通常情况下高维数据分布并不是雨露均沾的
  
  
  
  
  
  
  
  
，而往往是厚此薄彼  
  
  
  
  
  
  
  
 ，集中分布在某些维度上
 


 


 


 


 


 


 


 


 ，如下图

        虽然原始数据的的确确是二维数据
 
 
 
 
 
 
 
 
，但是其实主要集中分布在直线 L (一维空间)附近   
   
   
   
   
   
   
   
 ，在这里
 

 

 

 

 

 

 

 

 ，SVD(奇异值分解)其实就是在寻找直线 L 

 

 

 

 

 

 

 

 
，然后将数据映射到直线 L 上                 ，实现数据降维的过程
 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 ，即如下图

        于是
















，通过SVD(奇异值分解)                         ，就可以利用降维后的数据近似地替代原始数据 
  
  
  
  
  
  
  
 。所以 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 ，SVD(奇异值分解)其实就是在寻找数据分布的主要维度

























，将原始的高维数据映射到低维子空间中实现数据降维 


 


 


 


 


 


 


 


 
。

二 
  
  
  
  
  
  
  
 、概念

        奇异值分解（singular Value Decomposition）                ，简称SVD  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  ，线性代数中矩阵分解的方法
 
 
 
 
 
 
 
 
。假如有一个矩阵A
















，对它进行奇异值分解
  
  
  
  
  
  
  
  
，可以得到三个矩阵：

        矩阵除了对角元素不为0  
  
  
  
  
  
  
  
 ，其他元素都为0
 


 


 


 


 


 


 


 


 ，并且对角元素是从大到小排列的
 
 
 
 
 
 
 
 
，前面的元素比较大   
   
   
   
   
   
   
   
 ，后面的很多元素接近0  
   
   
   
   
   
   
   
  。这些对角元素就是奇异值 

 

 

 

 

 

 

 

 
。

        中有n个奇异值
 

 

 

 

 

 

 

 

 ，但是由于排在后面的很多接近0

 

 

 

 

 

 

 

 
，所以我们可以仅保留比较大的r个奇异值：

        实际应用中                 ，我们仅需保留着三个比较小的矩阵
 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 ，就能表示A
















，不仅节省存储量                         ，在计算的时候更是减少了计算量

 

 

 

 

 

 

 

 
。SVD在信息检索（隐性语义索引） 


 


 


 


 


 


 


 


 
、图像压缩
 
 
 
 
 
 
 
 
、推荐系统  
   
   
   
   
   
   
   
  、金融等领域都有应用                 。

        SVD一个重要的应用就是图像压缩存储 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 ，因为数字图像本身就是个矩阵

























，通过一个近似的低秩矩阵替代原矩阵                ，可以大大减少存储量 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
。SVD还有很多用途  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  ，比如机器学习中的主成分分析
















，这才是直接利用低维矩阵 M 替代原矩阵 A 实现降维
















。

三 

 

 

 

 

 

 

 

 
、np.linalg.svd(a,full_matrices=1,compute_uv=1)用法描述

参数：

a是一个形如(M,N)矩阵

full_matrices的取值是为0或者1
  
  
  
  
  
  
  
  
，默认值为1  
  
  
  
  
  
  
  
 ，这时u的大小为(M,M)
 


 


 


 


 


 


 


 


 ，v的大小为(N,N)                          。否则u的大小为(M,K)
 
 
 
 
 
 
 
 
，v的大小为(K,N)    
   
   
   
   
   
   
   
 ，K=min(M,N) 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
。

compute_uv的取值是为0或者1
 

 

 

 

 

 

 

 

 ，默认值为1

 

 

 

 

 

 

 

 
，表示计算u,s,v
























。为0的时候只计算s                 。

返回值：

总共有三个返回值u,s,v

u大小为(M,M)                 ，s大小为(M,N)
 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 ，v大小为(N,N) 
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
。

A = u*s*v

        其中s是对矩阵a的奇异值分解















。s除了对角元素不为0
















，其他元素都为0                         ，并且对角元素从大到小排列
  
  
  
  
  
  
  
  
 。s中有n个奇异值 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 ，一般排在后面的比较接近0

























，所以仅保留比较大的r个奇异值 
  
  
  
  
  
  
  
 。 

例子：

>>> from numpy import * >>> data = mat([[1,2,3],[4,5,6]]) >>> U,sigma,VT = np.linalg.svd(data) >>> print U [[-0.3863177  -0.92236578]  [-0.92236578  0.3863177 ]] >>> print sigma [9.508032   0.77286964] >>> print VT [[-0.42866713 -0.56630692 -0.7039467 ]  [ 0.80596391  0.11238241 -0.58119908]  [ 0.40824829 -0.81649658  0.40824829]]

        因为sigma是除了对角元素不为0                ，其他元素都为0 


 


 


 


 


 


 


 


 
。所以返回的时候  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  ，作为一维矩阵返回
 
 
 
 
 
 
 
 
。本来sigma应该是由3个值的
















，但是因为最后一个值为0
  
  
  
  
  
  
  
  
，所以直接省略了  
   
   
   
   
   
   
   
  。 

四

 

 

 

 

 

 

 

 
、例子

>>> a = np.random.randn(9, 6) + 1j*np.random.randn(9, 6) >>> b = np.random.randn(2, 7, 8, 3) + 1j*np.random.randn(2, 7, 8, 3)

基于全 SVD 的重构  
  
  
  
  
  
  
  
 ，2D 案例：

>>> u, s, vh = np.linalg.svd(a, full_matrices=True) >>> u.shape, s.shape, vh.shape ((9, 9), (6,), (6, 6)) # numpy的allclose方法
 


 


 


 


 


 


 


 


 ，比较两个array是不是每一元素都相等
 
 
 
 
 
 
 
 
，默认在1e-05的误差范围内 >>> np.allclose(a, np.dot(u[:, :6] * s, vh)) True >>> smat = np.zeros((9, 6), dtype=complex) >>> smat[:6, :6] = np.diag(s) >>> np.allclose(a, np.dot(u, np.dot(smat, vh))) True

基于简化 SVD 的重建   
   
   
   
   
   
   
   
 ，2D 案例：

>>> u, s, vh = np.linalg.svd(a, full_matrices=False) >>> u.shape, s.shape, vh.shape ((9, 6), (6,), (6, 6)) >>> np.allclose(a, np.dot(u * s, vh)) True >>> smat = np.diag(s) >>> np.allclose(a, np.dot(u, np.dot(smat, vh))) True

基于全SVD                 、4D案例的重构：

>>> u, s, vh = np.linalg.svd(b, full_matrices=True) >>> u.shape, s.shape, vh.shape ((2, 7, 8, 8), (2, 7, 3), (2, 7, 3, 3)) >>> np.allclose(b, np.matmul(u[..., :3] * s[..., None, :], vh)) True >>> np.allclose(b, np.matmul(u[..., :3], s[..., None] * vh)) True

基于简化 SVD 的重建
 

 

 

 

 

 

 

 

 ，4D 案例：

>>> u, s, vh = np.linalg.svd(b, full_matrices=False) >>> u.shape, s.shape, vh.shape ((2, 7, 8, 3), (2, 7, 3), (2, 7, 3, 3)) >>> np.allclose(b, np.matmul(u * s[..., None, :], vh)) True >>> np.allclose(b, np.matmul(u, s[..., None] * vh)) True

参考文献：

SVD(奇异值分解)到底在干什么 - 知乎

这次终于彻底理解了奇异值分解(SVD)原理及应用

数据科学中需要知道的5个关于奇异值分解(SVD)的应用

奇异值分解的物理意义_SilenceHell的博客-CSDN博客_奇异值分解的意义

奇异值分解的揭秘（一）：矩阵的奇异值分解过程 - 知乎