イェンセンの不等式

イェンセンの不等式（いぇんせんのふとうしき、英語: Jensen's inequality）は、凸関数を使った不等式である。

f(x) を実数上の凸関数とする。

離散の場合：

p 1 , p 2 , … {\displaystyle p_{1},\,p_{2},\,\ldots } を、 p 1 + p 2 + ⋯ = 1 {\displaystyle p_{1}+p_{2}+\cdots =1} を満たす正の実数の列とする。また、 x 1 , x 2 , … {\displaystyle x_{1},\,x_{2},\,\ldots } を、実数の列とする。そのとき、次が成り立つ。

∑ i = 1 ∞ p i f ( x i ) ≥ f ( ∑ i = 1 ∞ p i x i ) {\displaystyle \sum _{i=1}^{\infty }p_{i}f(x_{i})\geq f\left(\sum _{i=1}^{\infty }p_{i}x_{i}\right)}

連続値の場合：

p ( x ) ( > 0 ) {\displaystyle p(x)(>0)} を、 ∫ p ( x ) d x = 1 {\displaystyle \int p(x)dx=1} を満たす実数上の可積分関数とする。また、 y ( x ) {\displaystyle y(x)} を実数上の可積分関数とする。そのとき、次が成り立つ。

∫ − ∞ ∞ f ( y ( x ) ) p ( x ) d x ≥ f ( ∫ − ∞ ∞ y ( x ) p ( x ) d x ) {\displaystyle \int _{-\infty }^{\infty }f(y(x))p(x)dx\geq f\left(\int _{-\infty }^{\infty }y(x)p(x)dx\right)}

ルベーグ積分論の観点では、 離散の場合も連続の場合も同一に見倣せる。

証明は、f の ∫ − ∞ ∞ y ( x ) p ( x ) d x {\displaystyle \int _{-\infty }^{\infty }y(x)p(x)dx} における接線を g とおいて、常に g(x) が f(x) よりも小さいことを使えばよい。

統計学において、式の下限を評価する際に、一定の役割を担っている。例えば、カルバック・ライブラー・ダイバージェンスが常に 0 より大きいことを証明するときに用いられる。p(x) が確率密度関数の場合を考えると、イェンセンの不等式は次のように書ける。

E [ f ( y ) ] ≥ f ( E [ y ] ) {\displaystyle E[f(y)]\geq f(E[y])}

なお、イェンセンの不等式から、相加相乗平均の不等式などを導くこともできる。

参考文献

  • David Chandler (1987). Introduction to Modern Statistical Mechanics. Oxford. ISBN 0-19-504277-8 
  • Tristan Needham (1993) "A Visual Explanation of Jensen's Inequality", American Mathematical Monthly 100(8):768-71.
  • Walter Rudin (1987). Real and Complex Analysis. McGraw-Hill. ISBN 0-07-054234-1 

関連項目

外部リンク