跳转到内容

吉布斯不等式

本页使用了标题或全文手工转换
维基百科,自由的百科全书
约西亚·吉布斯

吉布斯不等式说明:

,且,则有:

,等号成立当且仅当

信息论概率论,它能应用在法诺不等式讯号源编码定理的证明。

约西亚·吉布斯在19世纪提出它。

证明

吉布斯不等式等价于:

(见相对熵

证明最右的项小于或等于0的方法有几种:

  • 已知 ,等号成立当且仅当


引理

对于n个变数的概率分布P,其的最大值是: