推定量

推定量とは

母集団分布のパラメータ推定に用いる統計量を推定量といい、推定量の実現値を推定値といいます。推定量には様々な種類があり、パラメータによって適した推定量は異なります。

では、どのように適切な推定量を選択すればよいのでしょうか。以下では、推定量に望ましい性質を紹介します。

一致性

定義（一致推定量）

パラメータ \(\theta\) の推定量 \(T\) が、任意の \(\varepsilon\gt0\) に対して \[ \lim_{n\to\infty}P(|T-\theta|\gt\varepsilon)=0 \] となるとき、\(T\) を \(\theta\) に対する一致推定量という。

不偏性

定義（不偏推定量）

パラメータ \(\theta\) の推定量 \(T\) が \[ E[T]=\theta \] を満たすとき、\(T\) を \(\theta\) の不偏推定量という。

母平均 \(\mu\) の推定量として、標本平均 \(\displaystyle\overline{X}=\frac{1}{n}\sum_{i=1}^nX_i\) を用いるとき \[ E[\overline{X}]=\frac{1}{n}\sum_{i=1}^nE[X_i]=\frac{1}{n}\sum_{i=1}^n\mu=\frac{1}{n}\cdot n\mu=\mu \] であるから、\(\overline{X}\) は \(\mu\) の不偏推定量です。

有効性

定義（有効な推定量）

パラメータ \(\theta\) の不偏推定量 \(T_1,T_2\) に対して \[ V[T_1]\gt V[T_2] \] であるとき、\(T_2\) は \(T_1\) より有効な推定量であるという。

演習問題

問題

平均 \(\mu\) 、分散 \(\sigma^2\) の母集団から取り出した無作為標本を \(X_1,X_2,X_3\) とする。このとき、\(\mu\) の推定量として次の \(T_1,T_2,T_3\) を考える。

\[ T_1=X_1+X_2-X_3,~~~T_2=\frac{1}{4}(X_1+2X_2+X_3),~~~T_3=\frac{1}{3}(X_1+X_2+X_3) \]

次の問いに答えよ。

\(T_1,T_2,T_3\) はいずれも \(\mu\) の不偏推定量であることを示せ。
\(T_1,T_2,T_3\) の中で最も有効な推定量を答えよ。

解答

\(X_1,X_2,X_3\) は無作為標本であるから \[ E[X_i]=\mu,~~~V[X_i]=\sigma^2~~~(i=1,2,3) \] が成り立つ。

\(E[T_1]=E[X_1]+E[X_2]-E[X_3]=\mu+\mu-\mu=\mu\)
\(\displaystyle E[T_2]=\frac{1}{4}E[X_1]+\frac{1}{2}E[X_2]+\frac{1}{4}E[X_3]=\frac{1}{4}\mu+\frac{1}{2}\mu+\frac{1}{4}\mu=\mu\)
\(\displaystyle E[T_3]=\frac{1}{3}E[X_1]+\frac{1}{3}E[X_2]+\frac{1}{3}E[X_3]=\frac{1}{3}\mu+\frac{1}{3}\mu+\frac{1}{3}\mu=\mu\)

よって、\(T_1,T_2,T_3\) はいずれも \(\mu\) の不偏推定量である。
\(X_1,X_2,X_3\) は互いに独立であるから

\(V[T_1]=V[X_1]+V[X_2]+V[X_3]=\sigma^2+\sigma^2+\sigma^2=3\sigma^2\)
\(\displaystyle V[T_2]=\frac{1}{4^2}V[X_1]+\frac{1}{2^2}V[X_2]+\frac{1}{4^2}V[X_3]=\frac{1}{16}\sigma^2+\frac{1}{4}\sigma^2+\frac{1}{16}\sigma^2=\frac{3}{8}\sigma^2\)
\(\displaystyle V[T_3]=\frac{1}{3^2}V[X_1]+\frac{1}{3^2}V[X_2]+\frac{1}{3^2}V[X_3]=\frac{1}{9}\sigma^2+\frac{1}{9}\sigma^2+\frac{1}{9}\sigma^2=\frac{1}{3}\sigma^2\)

よって \(V[T_1]\gt V[T_2]\gt V[T_3]\) が成り立つので、\(T_3\) が最も有効な推定量である。