1. 简单百科
  2. 琴生不等式

琴生不等式

琴生不等式以丹麦技术大学数学家约翰·延森(Johan Jensen)命名。它给出积分的凸函数值和凸函数的积分值间的关系。

琴生(Jensen)不等式(也称为詹森不等式),使用时注意前提、等号成立条件。

概述

1.若f(x)是区间上的下凸函数,则对任意的, 有不等式:

当且仅当时等号成立。

2.其加权形式为:

若f(x)是区间上的下凸函数,则对任意的, 且 为正数,有

当且仅当 时等号成立.

应用

有了这个结论以后,使用琴生不等式就非常方便了,

如今我们可以非常容易的证明一般情况的平均不等式

比如

1.

2.

3.

其中前面两个取就可以了

后面一个取 就可以了。

举一个简单的例子: 在中为凸函数 (国外教材定义; 若为凹函数, 则国内教材定义)

同时,值得注意的是, 上凸、下、凹、凸的含义是不同的。

涉及概率密度函数的形式

假设是实线的可测子集, f(x) 是一个非负函数

在概率语言中, f 是概率密度函数。

然后Jensen的不等式变成了关于凸积分的下面的陈述:

如果g是任何实值可测函数且在g的范围内是凸的, 那么:

如果 , 那么这种不等式的形式可以简化为一个常用的特例:

例如:随机变量的偶数矩

如果, 并且 X 是一个随机变量, 那么g是凸的

所以

特别是,如果有的甚至瞬间 2 N的 X 是有限的, X 具有有限的均值。这个论证的延伸表明 X 具有每个阶的有限矩 划分

替代有限形式

令 , 并且以 为上的计数度量, 则一般形式简化为关于和的声明:

条件是和

还有一个无限的离散形式。

统计物理学

凸函数指数函数时,Jensen不等式统计物理学中特别重要,给出:

其中期望值是关于随机变量X中的一些概率分布

这种情况下的证明非常简单(参见Chandler,第5.5节)。理想的不平等直接来自书写

然后应用不等式至最终指数。

信息论

如果 p(X) 是用于真正的概率分布X和 q(X) 是另一种分布,然后施加Jensen不等式随机变量数 给出

因此:

一个称为吉布斯不平等的结果。

它表明, 当代码是基于真实概率p而不是任何其他分布q分配时, 平均消息长度被最小化。即非负的量被称为相对的 q 从 由于为严格凸函数, 它遵循: 当等号成立 p(X) 等于 q(X) 几乎无处不在。

Rao-Blackwell定理

主要文章:Rao-Blackwell定理

如果L是一个凸函数, 一个亚西格玛代数,然后, 从Jensen不等式的条件版本中, 我们可以得到

所以如果是给定一个可观测量向量 X 的末观测参数Ө的估计量;如果 T(X) 是Ө的充分统计量;那么可以通过计算获得改 进的估计量,即具有较小的预期损失L的意义

相对于的期望值ठ在所有可能的观察值向量 X 上都可以与观察到的相同的 T(X) 值相匹配。

这个结果被称为Rao-Blackwell定理

参考资料