跳转到内容

广义奇异值分解

维基百科,自由的百科全书

线性代数中,广义奇异值分解(GSVD)是基于奇异值(SVD)的两种不同算法的统称。其区别在于,一个是分解两个矩阵(类似于高阶或张量SVD),另一种使用施加于单矩阵SVD奇异向量上的约束。

版本1:双矩阵分解

广义奇异值分解(GSVD)是对矩阵对的矩阵分解,将奇异值分解推广到两个矩阵的情形。它由Van Loan [1]于1976年提出,后来由Paige与Saunders完善,[2]也就是本节描述的版本。与SVD相对,GSVD可以同时分解具有相同列数的矩阵对。SVD、GSVD及SVD的其他一些推广[3][4][5]被广泛用于研究线性系统在二次半范数方面的条件调节正则化。下面设,或

定义

广义奇异值分解,其中

  • 酉矩阵
  • 为酉矩阵;
  • 为酉矩阵;
  • 为酉矩阵;
  • 对角线元素为正实数,包含的非零奇异值的降序排列,
  • ,
  • 是非负实数分块对角阵,其中,其中, ,且
  • 是非负实数分块对角阵,其中,其中, ,且
  • ,
  • ,
  • ,
  • .

。而是对角阵,不总是对角阵,因为前导矩形零矩阵;相反,是“副对角阵”。

变体

GSVD有许多变体,与这样一个事实有关:总可以左乘是任意酉矩阵。记

  • ,其中是上三角可逆阵;是酉矩阵。QR分解总可以得到这样的矩阵。
  • ,那么可逆。

下面是GSVD的一些变体:

  • MATLAB(gsvd):
  • LAPACK(LA_GGSVD):
  • 简化:

广义奇异值

广义奇异值 是一对使得

我们有


根据这些性质,可以证明广义奇异值正是成对的。有因此

对某个,当时,表达式恰为零。

[2]中,广义奇异值被认为是求解的奇异值。然而,这只有当时才成立,否则行列式对每对都将是0;这可通过替换上面的得到。

广义逆

对任意可逆阵,令,对任意零矩阵,令,对任意分块对角阵令。定义可以证明这里定义的广义逆阵;特别是逆。由于它一般不满足,所以不是摩尔-彭若斯广义逆;否则可以得出,对任意所选矩阵都有,这只对特定类型的矩阵成立。

,其中。这个广义逆具有如下性质:

商SVD

'的'广义奇异比。由以上性质,。注意是对角阵,忽略前导零矩阵,按降序包含着奇异比。若可逆,则没有前导零,广义奇异比就是奇异值,则是的奇异向量矩阵。事实上计算的SVD是GSVD的动机之一,因为“形成并求SVD,当的方程解条件不佳时,可能产生不必要、较大的数值误差”。[2]因此有时也被称为“商GSVD”,虽然这并不是使用GSVD的唯一原因。若不可逆,并放宽奇异值降序排列的要求,则仍是的SVD。或者,把前导零移到后面,也可以找到降序SVD:,其中是适当的置换矩阵。由于秩等于非零奇异值的个数,所以

构造

  • 的SVD,其中是酉矩阵,如上所述;
  • ,其中
  • ,其中
  • 通过的SVD得到,其中如上所述,
  • 经过类似于QR分解的分解,其中如上所述。

那么,还有因此由于的列归一正交,,因此对每个,有,使得因此

应用

张量GSVD是比较谱分解的一种,是SVD在多张量上的推广,提出动机是同时识别其中的相似与不相似数据,并从任何数量和维度的任意数据类型中得到单一相干模型。

GSVD是一种比较谱分解,[6]已成功应用于信号处理和数据科学,如基因组信号处理。[7][8][9]

这些应用启发了其他几种比较谱分解,即高阶GSVD(HO GSVD)[10]与张量GSVD。[11] [12]

当特征函数以线性模型(即再生核希尔伯特空间)为参数时,它同样适于估计线性运算的谱分解。[13]

版本2:加权单矩阵分解

广义奇异值分解(GSVD)的加权情形是一种有约束矩阵分解,约束施加在奇异向量上。[14][15][16]这种GSVDSVD的推广。给定m×n实或复数矩阵MSVD分解

,其中

其中I单位矩阵在约束条件下()是标准正交矩阵。另外,是正定矩阵(通常是权的对角矩阵)。这种形式的GSVD是某些算法的核心,如广义主成分分析和对应分析

加权形式的GSVD之所以被称为加权形式,是因为在正确取权时,可以推出许多算法(如多维标度线性判别分析)。[17]

参考文献

  1. ^ Van Loan CF. Generalizing the Singular Value Decomposition. SIAM J. Numer. Anal. 1976, 13 (1): 76–83. Bibcode:1976SJNA...13...76V. doi:10.1137/0713009. 
  2. ^ 2.0 2.1 2.2 Paige CC, Saunders MA. Towards a Generalized Singular Value Decomposition. SIAM J. Numer. Anal. 1981, 18 (3): 398–405. Bibcode:1981SJNA...18..398P. doi:10.1137/0718026. 
  3. ^ Hansen PC. Rank-Deficient and Discrete Ill-Posed Problems: Numerical Aspects of Linear Inversion. SIAM Monographs on Mathematical Modeling and Computation. 1997. ISBN 0-89871-403-6. 
  4. ^ de Moor BL, Golub GH. Generalized Singular Value Decompositions A Proposal for a Standard Nomenclauture (PDF). 1989 [2023-09-25]. (原始内容存档 (PDF)于2023-07-23). 
  5. ^ de Moor BL, Zha H. A tree of generalizations of the ordinary singular value decomposition. Linear Algebra and Its Applications. 1991, 147: 469–500. doi:10.1016/0024-3795(91)90243-P可免费查阅. 
  6. ^ Alter O, Brown PO, Botstein D. Generalized singular value decomposition for comparative analysis of genome-scale expression data sets of two different organisms. Proceedings of the National Academy of Sciences of the United States of America. March 2003, 100 (6): 3351–6. Bibcode:2003PNAS..100.3351A. PMC 152296可免费查阅. PMID 12631705. doi:10.1073/pnas.0530258100可免费查阅. 
  7. ^ Lee CH, Alpert BO, Sankaranarayanan P, Alter O. GSVD comparison of patient-matched normal and tumor aCGH profiles reveals global copy-number alterations predicting glioblastoma multiforme survival. PLOS ONE. January 2012, 7 (1): e30098. Bibcode:2012PLoSO...730098L. PMC 3264559可免费查阅. PMID 22291905. doi:10.1371/journal.pone.0030098可免费查阅. 
  8. ^ Aiello KA, Ponnapalli SP, Alter O. Mathematically universal and biologically consistent astrocytoma genotype encodes for transformation and predicts survival phenotype. APL Bioengineering. September 2018, 2 (3): 031909. PMC 6215493可免费查阅. PMID 30397684. doi:10.1063/1.5037882. 
  9. ^ Ponnapalli SP, Bradley MW, Devine K, Bowen J, Coppens SE, Leraas KM, Milash BA, Li F, Luo H, Qiu S, Wu K, Yang H, Wittwer CT, Palmer CA, Jensen RL, Gastier-Foster JM, Hanson HA, Barnholtz-Sloan JS, Alter O. Retrospective Clinical Trial Experimentally Validates Glioblastoma Genome-Wide Pattern of DNA Copy-Number Alterations Predictor of Survival. APL Bioengineering. May 2020, 4 (2): 026106. PMC 7229984可免费查阅. PMID 32478280. doi:10.1063/1.5142559可免费查阅. Press Release.  温哥华格式错误 (帮助)
  10. ^ Ponnapalli SP, Saunders MA, Van Loan CF, Alter O. A higher-order generalized singular value decomposition for comparison of global mRNA expression from multiple organisms. PLOS ONE. December 2011, 6 (12): e28072. Bibcode:2011PLoSO...628072P. PMC 3245232可免费查阅. PMID 22216090. doi:10.1371/journal.pone.0028072可免费查阅. 
  11. ^ Sankaranarayanan P, Schomay TE, Aiello KA, Alter O. Tensor GSVD of patient- and platform-matched tumor and normal DNA copy-number profiles uncovers chromosome arm-wide patterns of tumor-exclusive platform-consistent alterations encoding for cell transformation and predicting ovarian cancer survival. PLOS ONE. April 2015, 10 (4): e0121396. Bibcode:2015PLoSO..1021396S. PMC 4398562可免费查阅. PMID 25875127. doi:10.1371/journal.pone.0121396可免费查阅. 
  12. ^ Bradley MW, Aiello KA, Ponnapalli SP, Hanson HA, Alter O. GSVD- and tensor GSVD-uncovered patterns of DNA copy-number alterations predict adenocarcinomas survival in general and in response to platinum. APL Bioengineering. September 2019, 3 (3): 036104. PMC 6701977可免费查阅. PMID 31463421. doi:10.1063/1.5099268. Supplementary Material. 
  13. ^ Cabannes, Vivien; Pillaud-Vivien, Loucas; Bach, Francis; Rudi, Alessandro. Overcoming the curse of dimensionality with Laplacian regularization in semi-supervised learning. 2021. arXiv:2009.04324可免费查阅 [stat.ML]. 
  14. ^ Jolliffe IT. Principal Component Analysis需要免费注册. Springer Series in Statistics 2nd. NY: Springer. 2002. ISBN 978-0-387-95442-4. 
  15. ^ Greenacre M. Theory and Applications of Correspondence Analysis. London: Academic Press. 1983. ISBN 978-0-12-299050-2. 
  16. ^ Abdi H, Williams LJ. Principal component analysis.. Wiley Interdisciplinary Reviews: Computational Statistics. 2010, 2 (4): 433–459. doi:10.1002/wics.101. 
  17. ^ Abdi H. Singular Value Decomposition (SVD) and Generalized Singular Value Decomposition (GSVD).. Salkind NJ (编). Encyclopedia of Measurement and Statistics.有限度免费查阅,超限则需付费订阅. Thousand Oaks (CA): Sage. 2007: 907–912. 

阅读更多