マルコフの不等式

大数の法則と中心極限定理

マルコフの不等式は,非負の確率変数がある値以上の値をとる確率を,平均で上から押さえる不等式です.
チェビシェフの不等式や大数の弱法則の証明に使います.

結論

\(X\ge 0\) を非負の確率変数とし,\(\mathrm{E}[X]<\infty\) とする.
このとき,任意の \(c>0\) に対して次が成り立つ.
この不等式をマルコフの不等式(Markov’s inequality)という.\[ \mathrm{Pr}(X\ge c)\le\frac{\mathrm{E}[X]}{c} \]

1. 設定

\(X\) を非負の確率変数,すなわち \(X\ge 0\) とし,期待値 \(\mathrm{E}[X]\) は有限であるとする.
\(c>0\) を任意の正の定数とする.
このとき,\(X\) が \(c\) 以上の値をとる確率 \(\mathrm{Pr}(X\ge c)\) を,\(\mathrm{E}[X]\) を用いて上から評価する.

2. 証明

方針は,\(X\) を,\(c\) 以上かどうかだけを区別する階段状の確率変数で,下から押さえることである.
次の確率変数 \(Y\) を定義する.\[ Y=\left\{\begin{array}{ll} 0 & (X<c)\\ c & (X\ge c)\end{array}\right. \]

このとき,常に \(Y\le X\) が成り立つ.

\(Y\le X\) の確認

\(X<c\) のとき,\(Y=0\) である.
\(X\ge 0\) より \(Y=0\le X\) が成り立つ.
\(X\ge c\) のとき,\(Y=c\le X\) が成り立つ.
いずれの場合も \(Y\le X\) である.

したがって,期待値の単調性より\[ \mathrm{E}[Y]\le\mathrm{E}[X] \]

である.
一方,\(Y\) は \(0\) か \(c\) の2値しかとらないので,\[ \mathrm{E}[Y]=0\cdot \mathrm{Pr}(Y=0)+c\cdot \mathrm{Pr}(Y=c)=c\,\mathrm{Pr}(X\ge c) \]

である.
以上より,\[ c\,\mathrm{Pr}(X\ge c)\le\mathrm{E}[X] \]

を得る.
両辺を \(c>0\) で割れば,マルコフの不等式\[ \mathrm{Pr}(X\ge c)\le\frac{\mathrm{E}[X]}{c} \]

が得られる.

\(X\) が密度関数 \(f(x)\) をもつ連続型の確率変数であるとする.
\(X\ge 0\) より,\(x<0\) で \(f(x)=0\) である.
このとき, \[ \mathrm{E}[X]=\int_0^\infty x f(x)\,dx\ \ge\ \int_c^\infty x f(x)\,dx\ \ge\ \int_c^\infty c\,f(x)\,dx=c\,\mathrm{Pr}(X\ge c) \]

となる.
1つ目の不等号は,区間 \([0,c]\) の積分が非負であることから従う.
2つ目の不等号は,\(x\ge c\) の範囲で \(x\ge c\) であることから従う.
両辺を \(c\) で割れば,マルコフの不等式を得る.

参考:『現代数理統計学』第4章 4.5節(マルコフの不等式:(4.34)式)

コメント