跳转到内容

偏最小二乘回归

本页使用了标题或全文手工转换
维基百科,自由的百科全书

偏最小二乘回归(英語:Partial least squares regression, PLS回归)是一种统计学方法,与主成分回归有关系,但不是寻找响应和独立变量之间最小方差超平面,而是通过投影预测变量观测变量到一个新空间来寻找一个线性回归模型。因为数据XY都会投影到新空间,PLS系列的方法都被称为双线性因子模型。當Y是分类數據時有「偏最小二乘判别分析(英語:Partial least squares Discriminant Analysis, PLS-DA)」,是PLS的一个变形。

偏最小二乘用于查找两个矩阵XY)的基本关系,即一个在这两个空间对协方差结构建模的隐变量方法。偏最小二乘模型将试图找到X空间的多维方向来解释Y空间方差最大的多维方向。偏最小二乘回归特别适合当预测矩阵比观测的有更多变量,以及X的值中有多重共线性的时候。相比之下,标准的回归在这些情况下不见效(除非它是吉洪诺夫正则化)。

偏最小二乘算法被用在偏最小二乘路径建模中,[1][2] 一个建立隐变量(原因不能没有实验和拟实验来确定,但一个典型的模型会基于之前理论假设(隐变量影响衡量指标的表现)的隐变量模型)这种技术是结构方程模型的一种形式,与经典方法不同的是基于组件而不是基于协方差。[3]

偏最小二乘来源于瑞典统计学家Herman Wold,然后由他的儿子Svante Wold发展。偏最小二乘的另一个词(根据Svante Wold[4])是投影到潜在结构,但偏最小二乘法依然在许多领域占据着主导地位。尽管最初的应用是在社会科学中,偏最小二乘回归今天被广泛用于化学计量学和相关领域。它也被用于生物信息学,sensometrics,神经科学和人类学。而相比之下,偏最小二乘回歸最常用于社会科学、计量经济学、市场营销和战略管理。

底层模型

偏最小二乘的一般多元底层模型是

其中是一个的预测矩阵,是一个的响应矩阵;的矩阵,分别为的投影(“X分数”、“组件”或“因子”矩阵)和的投影(“Y分数”);分别是的正交载荷矩阵,以及矩阵是错误项,假设是独立同分布的随机正态变量。对分解来最大化之间的协方差

算法

偏最小二乘的许多变量是为了估计因子和载荷矩阵。它们中大多数构造了之间线性回归的估计。一些偏最小二乘算法只适合是一个列向量的情况,而其它的算法则处理了是一个矩阵的一般情况。算法也根据他们是否估计因子矩阵为一个正交矩阵而不同。[5][6][7][8][9][10] 最后的预测在所有不同最小二乘算法中都是一样的,但组件是不同的。

PLS1

PLS1是一个是向量时广泛使用的算法。它估计是一个正交矩阵。以下是伪代码(大写字母是矩阵,带上标的小写字母是向量,带下标的小写字母和单独的小写字母都是标量):

 1  function PLS1()
 2  
 3  , an initial estimate of .
 4   
 5  for  = 0 to 
 6       (note this is a scalar)
 7      
 8      
 9       (note this is a scalar)
10      if  = 0
11          , break the for loop
12      if 
13          
14          
15          
16  end for
17  define  to be the matrix with columns .
    Do the same to form the  matrix and  vector.
18  
19  
20  return 

这种形式的算法不需要输入定中心,因为算法隐式处理了。这个算法的特点是收缩于 (减去),但向量不收缩,因为没有必要(可以证明收缩和不收缩的结果是一样的)。用户提供的变量是回归中隐藏因子数量的限制;如果它等于矩阵的秩,算法将产生的最小二乘回归估计。

扩展

2002年,一个叫做正交投影(英語:Orthogonal Projections to Latent Structures, OPLS)的方法提出。在OPLS中,连续变量数据被分为预测的和不相关的信息。这有利于改进诊断,以及更容易解释可视化。然而,这些变化只是改善模型的可解释性,不是预测能力。[11] L-PLS通过3个连接数据块扩展了偏最小二乘回归。[12] 同样,OPLS-DA(英語:Discriminant Analysis, 判别分析)可能被应用在处理离散变量,如分类和生物标志物的研究。

软件实现

大多数统计软件包都提供偏最小二乘回归。[來源請求] R中的‘pls’包提供了一系列算法。[13]

参见

扩展阅读

参考文献

  1. ^ Tenenhaus, M.; Esposito Vinzi, V.; Chatelinc, Y-M.; Lauro, C. PLS path modeling (PDF). Computational Statistics & Data Analysis. January 2005, 48 (1): 159–205. doi:10.1016/j.csda.2004.03.005. [永久失效連結]
  2. ^ Vinzi, V.; Chin, W.W.; Henseler, J.; Wang, H. (编). Handbook of Partial Least Squares. 2010. ISBN 978-3-540-32825-4. 
  3. ^ Tenenhaus, M. Component-based structural equation modelling (PDF). 2008 [2015-09-28]. (原始内容 (PDF)存档于2013-11-03). 
  4. ^ Wold, S; Sjöström, M.; Eriksson, L. PLS-regression: a basic tool of chemometrics. Chemometrics and Intelligent Laboratory Systems. 2001, 58 (2): 109–130 [2015-09-28]. doi:10.1016/S0169-7439(01)00155-1. (原始内容存档于2017-09-09). 
  5. ^ Lindgren, F; Geladi, P; Wold, S. The kernel algorithm for PLS. J. Chemometrics. 1993, 7: 45–59 [2015-09-28]. doi:10.1002/cem.1180070104. (原始内容存档于2017-06-07). 
  6. ^ de Jong, S.; ter Braak, C.J.F. Comments on the PLS kernel algorithm. J. Chemometrics. 1994, 8 (2): 169–174 [2015-09-28]. doi:10.1002/cem.1180080208. (原始内容存档于2016-07-13). 
  7. ^ Dayal, B.S.; MacGregor, J.F. Improved PLS algorithms. J. Chemometrics. 1997, 11 (1): 73–85 [2015-09-28]. doi:10.1002/(SICI)1099-128X(199701)11:1<73::AID-CEM435>3.0.CO;2-#. (原始内容存档于2016-07-04). 
  8. ^ de Jong, S. SIMPLS: an alternative approach to partial least squares regression. Chemometrics and Intelligent Laboratory Systems. 1993, 18 (3): 251–263. doi:10.1016/0169-7439(93)85002-X. 
  9. ^ Rannar, S.; Lindgren, F.; Geladi, P.; Wold, S. A PLS Kernel Algorithm for Data Sets with Many Variables and Fewer Objects. Part 1: Theory and Algorithm. J. Chemometrics. 1994, 8 (2): 111–125 [2015-09-28]. doi:10.1002/cem.1180080204. (原始内容存档于2016-10-17). 
  10. ^ Abdi, H. Partial least squares regression and projection on latent structure regression (PLS-Regression). Wiley Interdisciplinary Reviews: Computational Statistics. 2010, 2: 97–106. doi:10.1002/wics.51. 
  11. ^ Trygg, J; Wold, S. Orthogonal Projections to Latent Structures. Journal of Chemometrics. 2002, 16 (3): 119–128. doi:10.1002/cem.695. 
  12. ^ Sæbøa, S.; Almøya, T.; Flatbergb, A.; Aastveita, A.H.; Martens, H. LPLS-regression: a method for prediction and classification under the influence of background information on predictor variables. Chemometrics and Intelligent Laboratory Systems. 2008, 91 (2): 121–132. doi:10.1016/j.chemolab.2007.10.006. 
  13. ^ Package ‘pls’ (PDF). [2015-09-28]. (原始内容存档 (PDF)于2020-12-09). 

外部链接