普通最小二乘法(英语:Ordinary least squares,简称:OLS)是回归分析中最常用的回归方法之一,属于线性最小二乘法。其基本思想是令解释变量(因变量)的估计值尽可能接近实际值,即残差平方和(residual sum of squares;RSS)最小。
根据高斯-马尔科夫定理,在给定经典线性回归的假定下,最小二乘估计量是具有最小方差的线性无偏估计量。
线性模型
代数形式
假设有一组样本
,由
个观测值组成,其中
为被解释变量,
为
个解释变量(自变量)向量。其线性回归模型可表示为:
![{\displaystyle y_{i}=\beta _{0}+\beta _{1}x_{i1}+\beta _{2}x_{i2}+\cdots +\beta _{p}x_{ip}+\epsilon _{i}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/88506f744bc4d005bcf7e49f9ac5dde606414c63)
其中
为残差项,假设被解释变量的估计值
。则应有:
![{\displaystyle \epsilon _{i}={\hat {y}}_{i}-y_{i}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/d316952f8d36feedca0022fba36ab8787e16074c)
矩阵形式
记:
![{\displaystyle {\begin{matrix}{\mathbf {Y}}={\begin{pmatrix}y_{1}\\y_{2}\\\vdots \\y_{n}\end{pmatrix}}&{\mathbf {X}}={\begin{pmatrix}1&x_{11}&\cdots &x_{1p}\\1&x_{21}&\cdots &x_{2p}\\\vdots &\vdots &\vdots &\vdots \\1&x_{n1}&\cdots &x_{np}\\\end{pmatrix}}\\{\mathbf {\beta }}={\begin{pmatrix}\beta _{0}\\\beta _{1}\\\vdots \\\beta _{p}\\\end{pmatrix}}&{\mathbf {\epsilon }}={\begin{pmatrix}\epsilon _{0}\\\epsilon _{1}\\\vdots \\\epsilon _{n}\\\end{pmatrix}}\end{matrix}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/61d91d121f6320ed326e899833dedec992fbccd2)
得到线性回归模型的矩阵形式:
![{\displaystyle {\mathbf {Y}}={\mathbf {X}}{\mathbf {\beta }}+{\mathbf {\epsilon }}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/5dc050a7835a815d0b1b7f9ce9289cf95a1cca9b)