设计矩阵 (英语:design matrix、model matrix、regressor matrix )在统计学 和机器学习 中,是一组观测结果中的所有解释变量 的值构成的矩阵,常用X 表示。设计矩阵常用于一些统计模型 ,如一般线性模型 ,方差分析 中。
定义
通常情况下,设计矩阵的第i行代表第i次观测的结果,第j列代表第j种解释变量。如此一来,线性回归模型就可以用矩阵乘法 表达为
y
=
X
β
{\displaystyle y=X\beta }
其中
X
{\displaystyle X}
是设计矩阵,
β
{\displaystyle \beta }
是对应每一种解释变量的系数 组成的系数向量,
y
{\displaystyle y}
是每一个观测对应的预测值构成的向量。[ 1]
例子
算数平均
算数平均 的设计矩阵是一个全为1的列向量。
简单线性回归
本节给出了一个简单线性回归的例子,其中有一个解释变量和有七个观测值。这七个数据点是
{
y
i
,
x
i
}
,
i
=
1
,
2
,
⋯
,
7
{\displaystyle \left\{y_{i},x_{i}\right\},i=1,2,\cdots ,7}
。该简单线性回归模型可以表示为:
y
i
=
β
0
+
β
1
x
i
+
ε
i
,
{\displaystyle y_{i}=\beta _{0}+\beta _{1}x_{i}+\varepsilon _{i},\,}
其中
β
0
{\displaystyle \beta _{0}}
为y轴的截距,
β
1
{\displaystyle \beta _{1}}
是回归线的斜率。该模型可以表示为矩阵形式:
[
y
1
y
2
y
3
y
4
y
5
y
6
y
7
]
=
[
1
x
1
1
x
2
1
x
3
1
x
4
1
x
5
1
x
6
1
x
7
]
[
β
0
β
1
]
+
[
ε
1
ε
2
ε
3
ε
4
ε
5
ε
6
ε
7
]
{\displaystyle {\begin{bmatrix}y_{1}\\y_{2}\\y_{3}\\y_{4}\\y_{5}\\y_{6}\\y_{7}\end{bmatrix}}={\begin{bmatrix}1&x_{1}\\1&x_{2}\\1&x_{3}\\1&x_{4}\\1&x_{5}\\1&x_{6}\\1&x_{7}\end{bmatrix}}{\begin{bmatrix}\beta _{0}\\\beta _{1}\end{bmatrix}}+{\begin{bmatrix}\varepsilon _{1}\\\varepsilon _{2}\\\varepsilon _{3}\\\varepsilon _{4}\\\varepsilon _{5}\\\varepsilon _{6}\\\varepsilon _{7}\end{bmatrix}}}
其中设计矩阵中的第一列用以估计y轴的截距,而第二列包含与相应y值相关的x值。
多元回归
本节给出了一个有两个协变量(解释变量)的多元回归 例子:
w
{\displaystyle w}
和
x
{\displaystyle x}
。假设数据由七个观测值组成,对于每个待预测的观测值
y
i
{\displaystyle y_{i}}
,两个协变量的值
w
i
{\displaystyle w_{i}}
和
x
i
{\displaystyle x_{i}}
也被观察到。该模型可以表示为:
y
i
=
β
0
+
β
1
w
i
+
β
2
x
i
+
ε
i
{\displaystyle y_{i}=\beta _{0}+\beta _{1}w_{i}+\beta _{2}x_{i}+\varepsilon _{i}}
该模型可以表示为矩阵形式:
[
y
1
y
2
y
3
y
4
y
5
y
6
y
7
]
=
[
1
w
1
x
1
1
w
2
x
2
1
w
3
x
3
1
w
4
x
4
1
w
5
x
5
1
w
6
x
6
1
w
7
x
7
]
[
β
0
β
1
β
2
]
+
[
ε
1
ε
2
ε
3
ε
4
ε
5
ε
6
ε
7
]
{\displaystyle {\begin{bmatrix}y_{1}\\y_{2}\\y_{3}\\y_{4}\\y_{5}\\y_{6}\\y_{7}\end{bmatrix}}={\begin{bmatrix}1&w_{1}&x_{1}\\1&w_{2}&x_{2}\\1&w_{3}&x_{3}\\1&w_{4}&x_{4}\\1&w_{5}&x_{5}\\1&w_{6}&x_{6}\\1&w_{7}&x_{7}\end{bmatrix}}{\begin{bmatrix}\beta _{0}\\\beta _{1}\\\beta _{2}\end{bmatrix}}+{\begin{bmatrix}\varepsilon _{1}\\\varepsilon _{2}\\\varepsilon _{3}\\\varepsilon _{4}\\\varepsilon _{5}\\\varepsilon _{6}\\\varepsilon _{7}\end{bmatrix}}}
右侧的
7
×
3
{\displaystyle 7\times 3}
矩阵即为设计矩阵。
单方向方差分析
在单方向方差分析 中,此时的模型为
y
i
j
=
μ
+
τ
i
+
ε
i
j
{\displaystyle y_{ij}=\mu +\tau _{i}+\varepsilon _{ij}}
限制:
τ
1
{\displaystyle \tau _{1}}
为0
[
y
1
y
2
y
3
y
4
y
5
y
6
y
7
]
=
[
1
0
0
1
0
0
1
0
0
1
1
0
1
1
0
1
0
1
1
0
1
]
[
μ
τ
2
τ
3
]
+
[
ε
1
ε
2
ε
3
ε
4
ε
5
ε
6
ε
7
]
{\displaystyle {\begin{bmatrix}y_{1}\\y_{2}\\y_{3}\\y_{4}\\y_{5}\\y_{6}\\y_{7}\end{bmatrix}}={\begin{bmatrix}1&0&0\\1&0&0\\1&0&0\\1&1&0\\1&1&0\\1&0&1\\1&0&1\end{bmatrix}}{\begin{bmatrix}\mu \\\tau _{2}\\\tau _{3}\end{bmatrix}}+{\begin{bmatrix}\varepsilon _{1}\\\varepsilon _{2}\\\varepsilon _{3}\\\varepsilon _{4}\\\varepsilon _{5}\\\varepsilon _{6}\\\varepsilon _{7}\end{bmatrix}}}
参考文献
延伸阅读
Verbeek, Albert. The Geometry of Model Selection in Regression. Dijkstra, Theo K. (编). Misspecification Analysis. New York: Springer. 1984: 20–36. ISBN 0-387-13893-5 .