摩尔-彭若斯广义逆(英语:Moore–Penrose pseudoinverse),通常标记为
或
,是著名的广义逆矩阵之一。
1903年,埃里克伊姆(Erik Ivar Fredholm)提出积分算子的伪逆的概念。摩尔-彭若斯广义逆先后被以利亚金·黑斯廷斯·摩尔(Eliakim Hastings Moore)(1920年)[1]、阿恩·布耶哈马(Arne Bjerhammar)(1951年) [2]、罗杰·彭罗斯(1955年)[3]发现或描述。
它常被用于求得或简化非一致线性方程组的最小范数最小二乘解(最小二乘法)。
矩阵的摩尔-彭若斯广义逆在实数域和复数域上都是唯一的,并且可以通过奇异值分解求得。
定义
定义一
令PS表示到向量空间S上的正交投影。对于任意一个m乘n的复矩阵A,设R(A)表示A的值域空间。摩尔于1935年证明矩阵A的广义逆矩阵G必须满足的条件:
以上两个条件称为摩尔条件。满足摩尔条件的矩阵G称为矩阵A的摩尔逆矩阵。
定义二
彭若斯于1955年提出了定义广义逆矩阵的另外一组条件[3]:
,
不一定是单位矩阵,但却不会改变
的列向量。
,
是乘法半群的弱逆
,
是埃尔米特矩阵
,
也是埃尔米特矩阵
以上四个条件常称摩尔-彭若斯条件。满足全部四个条件的矩阵G,就称为A的摩尔-彭若斯广义逆矩阵。
性质
从摩尔-彭若斯条件出发,彭若斯推导出了摩尔-彭若斯广义逆的一些性质[3]:
![{\displaystyle ({\boldsymbol {A}}^{H})^{\dagger }=({\boldsymbol {A}}^{\dagger })^{H}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/4cb8a055549356ebf048cd6084d1571ac7e16304)
![{\displaystyle {\boldsymbol {A}}^{\dagger }{\boldsymbol {A}}{\boldsymbol {A}}^{H}={\boldsymbol {A}}^{H}{\boldsymbol {A}}{\boldsymbol {A}}^{\dagger }={\boldsymbol {A}}^{H}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/5eacceb44d960277e8a49d622413f8699f174961)
![{\displaystyle {\boldsymbol {A}}{\boldsymbol {A}}^{H}({\boldsymbol {A}}^{H})^{\dagger }=({\boldsymbol {A}}^{H})^{\dagger }{\boldsymbol {A}}^{H}{\boldsymbol {A}}={\boldsymbol {A}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/92c24225ac598a7e200eb95aaaa28aff22367c20)
,
,
和
都是幂等矩阵。
存在性和唯一性
伪逆存在且唯一:对于任何矩阵
,恰好有一个矩阵
满足定义的四个性质。[4]
满足该定义的第一个条件的矩阵被称为广义逆。如果该矩阵也满足第二个定义,它就被称为广义反身逆阵(generalized reflexive inverse)。广义逆矩阵总存在,但一般不唯一。唯一性是最后两个条件的结果。
基本性质
这些性质的证明可以在维基教科书中找到。
- 如果
有实数项,那么
也有。
- 如果
是可逆的,它的伪逆就是它的逆矩阵,即:
.[5]:243
- 零矩阵的伪逆是它的转置。
- 矩阵伪逆的伪逆是原矩阵,即:
.[5]:245
- 伪转置与转置、复共轭和共轭转置可以交换:[5]:245
,
,
.
- 矩阵
的标量乘法的伪逆是
的标量的倒数的乘法:
对于
.
恒等式
下面的恒等式可以用来判定部分涉及伪逆的子表达式的正确性:
![{\displaystyle A={}A{}A^{*}{}A^{\dagger *}{}={}A^{\dagger *}{}A^{*}{}A}](https://wikimedia.org/api/rest_v1/media/math/render/svg/82ece07e9354d218fb8a0c79c20c8a879f59175f)
同样的,将
![{\displaystyle A^{\dagger }}](https://wikimedia.org/api/rest_v1/media/math/render/svg/253906923e0ca67ef31e4e2d99b9783ba62bebc5)
替换为
![{\displaystyle A}](https://wikimedia.org/api/rest_v1/media/math/render/svg/7daff47fa58cdfd29dc333def748ff5fa4c923e3)
会得到:
![{\displaystyle A^{\dagger }={}A^{\dagger }{}A^{\dagger *}{}A^{*}{}={}A^{*}{}A^{\dagger *}{}A^{\dagger }}](https://wikimedia.org/api/rest_v1/media/math/render/svg/36bd6a83c9b8c849cc675c0bbdae4d36e77a3658)
当用
![{\displaystyle A^{*}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/44e23745a51c2c2d8d91fd98c1cf721573747ece)
替代
![{\displaystyle A}](https://wikimedia.org/api/rest_v1/media/math/render/svg/7daff47fa58cdfd29dc333def748ff5fa4c923e3)
时,会得到:
![{\displaystyle A^{*}={}A^{*}{}A{}A^{+}{}={}A^{+}{}A{}A^{*}.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/b521271286a9293a1a1f7649319c3dd01f71d68f)
埃尔米特情况
伪逆的计算可以简化为其在埃尔米特情况下的构造,这可以通过等价关系实现:
![{\displaystyle A^{+}=\left(A^{*}A\right)^{+}A^{*},}](https://wikimedia.org/api/rest_v1/media/math/render/svg/2a3819b3b2af8cf5ab4bc588874651dbfff4c2cc)
![{\displaystyle A^{+}=A^{*}\left(AA^{*}\right)^{+},}](https://wikimedia.org/api/rest_v1/media/math/render/svg/b708edc1961595576d04cf57f8a25a451ebac369)
其中
![{\displaystyle A^{*}A}](https://wikimedia.org/api/rest_v1/media/math/render/svg/e11e97df5a2c7e9c34416af7209e20c55db10ace)
和
![{\displaystyle AA^{*}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/9c13c16c605e80374034245f47cbad5e0ba7b484)
是埃尔米特矩阵。
乘积
令
,下列等式等价:[6]
![{\displaystyle (AB)^{\dagger }=B^{\dagger }A^{\dagger }}](https://wikimedia.org/api/rest_v1/media/math/render/svg/56c24383e80487eaae0cf7eac8b3262c91acea63)
![{\textstyle {\begin{aligned}A^{\dagger }ABB^{*}A^{*}&=BB^{*}A^{*},\\BB^{\dagger }A^{*}AB&=A^{*}AB.\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/4e9ed0e7e051dd77da6b7f0ca3b2fdbc1196babb)
![{\displaystyle {\begin{aligned}\left(A^{\dagger }ABB^{*}\right)^{*}&=A^{\dagger }ABB^{*},\\\left(A^{*}ABB^{\dagger }\right)^{*}&=A^{*}ABB^{\dagger }.\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/ba6fab0616dca1ced257fe1ddc8dbbe0e29ceba0)
![{\displaystyle A^{\dagger }ABB^{*}A^{*}ABB^{\dagger }=BB^{*}A^{*}A}](https://wikimedia.org/api/rest_v1/media/math/render/svg/44215186b7058f63b3af2cfd5d44ebfe2f164a0b)
![{\displaystyle {\begin{aligned}A^{\dagger }AB&=B(AB)^{\dagger }AB,\\BB^{\dagger }A^{*}&=A^{*}AB(AB)^{\dagger }.\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/27678bca3bd5a8db412a4987ce932ebefe14e4a2)
下方列出了
的充分条件:
的列单位正交(此时
),或
的行单位正交 (此时
) ,或
的列线性无关(此时
) 同时
的行线性无关(此时
),或
,或
。
下方列出了
的必要条件:
![{\displaystyle (A^{\dagger }A)(BB^{\dagger })=(BB^{\dagger })(A^{\dagger }A)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/2cfaf7e9dbd530015450156d22021c0e5bfb6541)
由最后一个充分条件得出等式:
![{\displaystyle {\begin{aligned}\left(AA^{*}\right)^{+}&=A^{+*}A^{+},\\\left(A^{*}A\right)^{+}&=A^{+}A^{+*}.\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/b2009b9ef2092ef522ad6520561d68a0ff51bf55)
注意: 等式
![{\displaystyle (AB)^{\dagger }=B^{\dagger }A^{\dagger }}](https://wikimedia.org/api/rest_v1/media/math/render/svg/56c24383e80487eaae0cf7eac8b3262c91acea63)
一般不成立,例如:
![{\displaystyle {\Biggl (}{\begin{pmatrix}1&1\\0&0\end{pmatrix}}{\begin{pmatrix}0&0\\1&1\end{pmatrix}}{\Biggr )}^{+}={\begin{pmatrix}1&1\\0&0\end{pmatrix}}^{+}={\begin{pmatrix}{\tfrac {1}{2}}&0\\{\tfrac {1}{2}}&0\end{pmatrix}}\quad \neq \quad {\begin{pmatrix}{\tfrac {1}{4}}&0\\{\tfrac {1}{4}}&0\end{pmatrix}}={\begin{pmatrix}0&{\tfrac {1}{2}}\\0&{\tfrac {1}{2}}\end{pmatrix}}{\begin{pmatrix}{\tfrac {1}{2}}&0\\{\tfrac {1}{2}}&0\end{pmatrix}}={\begin{pmatrix}0&0\\1&1\end{pmatrix}}^{+}{\begin{pmatrix}1&1\\0&0\end{pmatrix}}^{+}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/131c311fbe9249d03fdd25bb276559acbea9292e)
投影
和
是正交投影算子,即它们是埃尔米特矩阵(
,
)和幂等矩阵(
,
)。以下性质成立:
,![{\displaystyle A^{\dagger }P=QA^{\dagger }=A^{\dagger }}](https://wikimedia.org/api/rest_v1/media/math/render/svg/a40b2dd5d0789697ca8bcccc807c4feb47012d3d)
是正交投影算子,投影到
的值域(也就是
的核的正交补空间)。
是正交投影算子,投影到
的值域(也就是
的核的正交补空间)。
是正交投影算子,投影到
的核。
是正交投影算子,投影到
的核。[4]
最后两条性质隐含了下列等式:
![{\displaystyle A\,\ \left(I-A^{\dagger }A\right)=\left(I-AA^{\dagger }\right)A\ \ =0}](https://wikimedia.org/api/rest_v1/media/math/render/svg/71cab9ae2da833938f3a6b6d4f8560c0c6bd8d2e)
![{\displaystyle A^{*}\left(I-AA^{\dagger }\right)=\left(I-A^{\dagger }A\right)A^{*}=0}](https://wikimedia.org/api/rest_v1/media/math/render/svg/b040638bc22dbad848877491f4601b59f6400e0b)
如果
是埃尔米特矩阵和幂等矩阵(当且仅当它为正交投影矩阵),则对于任意矩阵
,下式成立:[7]
![{\displaystyle A(BA)^{\dagger }=(BA)^{\dagger }}](https://wikimedia.org/api/rest_v1/media/math/render/svg/b828c9f752c29fb7b806c6e0090e47008b261def)
这一条性质可以如此证明:定义矩阵
![{\displaystyle C=BA}](https://wikimedia.org/api/rest_v1/media/math/render/svg/14f56af49648dd37e6842a4e7948b3b8b36c01b6)
,
![{\displaystyle D=A(BA)^{\dagger }}](https://wikimedia.org/api/rest_v1/media/math/render/svg/47256ca2268adef5638a3e0569f8b3a358d94831)
,当
![{\displaystyle A}](https://wikimedia.org/api/rest_v1/media/math/render/svg/7daff47fa58cdfd29dc333def748ff5fa4c923e3)
是埃尔米特矩阵和幂等矩阵时,通过验证伪逆的性质可以检查
![{\displaystyle D}](https://wikimedia.org/api/rest_v1/media/math/render/svg/f34a0c600395e5d4345287e21fb26efd386990e6)
确实是
![{\displaystyle C}](https://wikimedia.org/api/rest_v1/media/math/render/svg/4fc55753007cd3c18576f7933f6f089196732029)
的一个伪逆。从上一条性质可以看出,当
![{\displaystyle A\in \mathbb {k} ^{n\times n}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/c0c5b8784e28bd7d51401143de91cfd3607f6225)
是埃尔米特矩阵和幂等矩阵时,对于任意矩阵
![{\displaystyle (AB)^{\dagger }A=(AB)^{\dagger }}](https://wikimedia.org/api/rest_v1/media/math/render/svg/a0bb66f570a3738e2f749b9e8ac55c1e0463ae58)
当
是一个正交投影矩阵,则它的伪逆就是它自身,即
。
几何结构
如果我们把矩阵看作是一个在数域
上的线性映射
, 那么
可以被分解如下。首先定义符号:
表示直和,
表示正交补,
表示映射的核,
表示映射的像。注意
和
。 限制条件
则是一个同构。这意味着
在
上时这个同构的逆,在
上则是零。
换而言之,对于给定的
要找到
,首先将
正交投影在
的值域中,找到点
,然后构建
,即就是在
中,会被
投影到
的点。这是
的一个平行于
的核的仿射子空间。这个子空间中长度最小的元素(也就是最靠近原点的元素),就是我们寻找的
的解。它可以通过从
中选择任意元素,并将其投影在
的核的正交补空间而得到。
以上描述与线性系统的最小范数解密切相关。
子空间
![{\displaystyle {\begin{aligned}\ker \left(A^{+}\right)&=\ker \left(A^{*}\right)\\\operatorname {ran} \left(A^{+}\right)&=\operatorname {ran} \left(A^{*}\right)\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/caacce68b6ac1a4bad908f05d822a01c9ac4fc31)
极限
伪逆可以由极限定义:
![{\displaystyle A^{\dagger }=\lim _{\delta \searrow 0}\left(A^{*}A+\delta I\right)^{-1}A^{*}=\lim _{\delta \searrow 0}A^{*}\left(AA^{*}+\delta I\right)^{-1}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/76839b4c2c4d427d01707b06a80e3656e949d98d)
(参见
吉洪诺夫正则化)。当
![{\displaystyle \left(AA^{*}\right)^{-1}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/0e9cea43d7e00ef893f3a856b71b0ed75075482b)
或
![{\displaystyle \left(A^{*}A\right)^{-1}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/8df455797c8b30f236b07008feb56290186a90ac)
不存在时,这些极限仍然存在。
[4]:263
连续性
与一般的矩阵求逆不同,求伪逆的过程并不连续:如果序列
收敛到矩阵
(在最大范数或弗罗贝尼乌斯范数意义下),则
不一定收敛于
. 然而,如果所有的矩阵
与
有相同的秩,则
将收敛于
.[8]
导数关系
实值伪逆矩阵的导数,该矩阵在某点
处具有恒定的秩 可以用原矩阵的导数来计算:[9]
![{\displaystyle {\frac {\mathrm {d} }{\mathrm {d} x}}A^{\dagger }(x)=-A^{\dagger }\left({\frac {\mathrm {d} }{\mathrm {d} x}}A\right)A^{\dagger }~+~A^{\dagger }A^{\dagger {\textsf {T}}}\left({\frac {\mathrm {d} }{\mathrm {d} x}}A^{\textsf {T}}\right)\left(I-AA^{\dagger }\right)~+~\left(I-A^{\dagger }A\right)\left({\frac {\text{d}}{{\text{d}}x}}A^{\textsf {T}}\right)A^{\dagger {\textsf {T}}}A^{\dagger }}](https://wikimedia.org/api/rest_v1/media/math/render/svg/080f51ed817c6dd0e43b88094f7edb7f192be526)
例子
对于可逆矩阵,其广义逆为其一般的逆矩阵,所以以下仅举一些不可逆矩阵的例子。
- 对于
,其广义逆矩阵为
(通常零矩阵的广义逆矩阵为其转置)。该广义逆矩阵的唯一性可以认为时由性质
得出的,因为与零矩阵相乘总会得到零矩阵。
- 对于
,其广义逆矩阵为
。
- 事实上,
,所以
。
- 类似的,
,由此
。
- 对于
,其广义逆矩阵为
。
- 对于
,其广义逆矩阵为
。
- 对于
,其广义逆矩阵为
。
- 对于
,其广义逆矩阵为
。对于该矩阵,其左逆存在且等于
,事实上,
。
参考
书籍
文献
- ^ Moore, E. H. On the reciprocal of the general algebraic matrix. Bulletin of the American Mathematical Society. 1920, 26 (9): 394–395 [2012-12-01]. doi:10.1090/S0002-9904-1920-03322-7. (原始内容存档于2020-08-13).
- ^ Bjerhammar, Arne. Application of calculus of matrices to method of least squares; with special references to geodetic calculations. Trans. Roy. Inst. Tech. Stockholm. 1951, 49.
- ^ 3.0 3.1 3.2 Penrose, Roger. A generalized inverse for matrices. Proceedings of the Cambridge Philosophical Society. 1955, 51: 406–413. doi:10.1017/S0305004100030401.
- ^ 4.0 4.1 4.2 Golub, Gene H.; Charles F. Van Loan. Matrix computations
3rd. Baltimore: Johns Hopkins. 1996: 257–258. ISBN 978-0-8018-5414-9.
- ^ 5.0 5.1 5.2 Stoer, Josef; Bulirsch, Roland. Introduction to Numerical Analysis 3rd. Berlin, New York: Springer-Verlag. 2002. ISBN 978-0-387-95452-3. .
- ^ Greville, T. N. E. Note on the Generalized Inverse of a Matrix Product. SIAM Review. 1966-10-01, 8 (4): 518–521 [2022-05-10]. ISSN 0036-1445. doi:10.1137/1008107. (原始内容存档于2022-06-17).
- ^ Maciejewski, Anthony A.; Klein, Charles A. Obstacle Avoidance for Kinematically Redundant Manipulators in Dynamically Varying Environments. International Journal of Robotics Research. 1985, 4 (3): 109–117. S2CID 17660144. doi:10.1177/027836498500400308. hdl:10217/536
.
- ^ Rakočević, Vladimir. On continuity of the Moore–Penrose and Drazin inverses (PDF). Matematički Vesnik. 1997, 49: 163–72 [2022-05-10]. (原始内容 (PDF)存档于2022-04-03).
- ^ Golub, G. H.; Pereyra, V. The Differentiation of Pseudo-Inverses and Nonlinear Least Squares Problems Whose Variables Separate. SIAM Journal on Numerical Analysis. April 1973, 10 (2): 413–32. Bibcode:1973SJNA...10..413G. JSTOR 2156365. doi:10.1137/0710036.