点推定

点推定とは

ある母集団のある母数の値を、標本を抽出して推定することを考えます。

ある母集団から抽出した無作為標本を \(X_1,X_2,\cdots,X_n\) とします。 この標本に対する統計量

\[ T(X_1,X_2,\cdots,X_n) \]

をうまく選びます。標本の実現値 \(x_1,x_2,\cdots,x_n\) を統計量に代入した

\[ \hat{\theta}=T(x_1,x_2,\cdots,x_n) \]

を母数 \(\theta\) の値であると推定する方法を点推定といいます。 このとき、\(T(X_1,X_2,\cdots,X_n)\) を \(\theta\) の推定量といい、\(\hat{\theta}\) を \(\theta\) の推定値といいます。

推定量とする統計量の選び方は様々であり、母数によって適した推定量は異なります。 では、どのように統計量を適切な推定量として選択すればよいのでしょうか。 以下では、推定量が満たすべき性質を説明します。

一致性

定義（一致推定量）

標本サイズを \(n\) とする。母数 \(\theta\) の推定量 \(T\) に対して

\[ \forall\varepsilon\gt0,~\lim_{n\to\infty}P(|T-\theta|\gt\varepsilon)=0 \]

となるとき、\(T\) を \(\theta\) に対する一致推定量という。

この性質は、「標本サイズ \(n\) が大きくなると、推定量 \(T\) が母数 \(\theta\) に限りなく近づく」ということを意味します。 つまり、どんなに小さな誤差 \(\varepsilon\) を考えても、推定量と母数のずれがそれより大きくなる確率は、\(n\) を大きくしていくことで \(0\) に近づいていきます。

不偏性

定義（不偏推定量）

母数 \(\theta\) の推定量 \(T\) が

\[ E[T]=\theta \]

を満たすとき、\(T\) を \(\theta\) の不偏推定量という。

推定量 \(T\) は、平均的に見ると正しい母数の値を当ててくれる、という意味で「偏っていない」ということです。

母平均 \(\mu\) の推定量として、標本平均 \(\displaystyle\overline{X}=\frac{1}{n}\sum_{i=1}^nX_i\) を用いるとき

\[ E[\overline{X}]=\frac{1}{n}\sum_{i=1}^nE[X_i]=\frac{1}{n}\sum_{i=1}^n\mu=\frac{1}{n}\cdot n\mu=\mu \]

であるから、\(\overline{X}\) は \(\mu\) の不偏推定量です。

有効性

定義（有効な推定量）

母数 \(\theta\) の２つの不偏推定量 \(T_1,T_2\) に対して

\[ V[T_1]\gt V[T_2] \]

となるとき、\(T_2\) は \(T_1\) より有効な推定量であるという。

どちらの推定量も平均的には正しい（不偏）ですが、\(T_2\) の方がばらつき（分散）が小さく、安定して推定できるため、「より有効」とされます。 同じ正確さなら、できるだけブレの小さい推定量を使った方が信頼できます。

演習問題

問題

平均 \(\mu\) 、分散 \(\sigma^2\) の母集団から取り出した無作為標本を \(X_1,X_2,X_3\) とする。 このとき、\(\mu\) の推定量として次の \(T_1,T_2,T_3\) を考える。

\[ T_1=X_1+X_2-X_3,~~~T_2=\frac{1}{4}(X_1+2X_2+X_3),~~~T_3=\frac{1}{3}(X_1+X_2+X_3) \]

次の問いに答えよ。

  1. \(T_1,T_2,T_3\) はいずれも \(\mu\) の不偏推定量であることを示せ。
  2. \(T_1,T_2,T_3\) の中で最も有効な推定量を答えよ。
解答

\(X_1,X_2,X_3\) は無作為標本であるから

\[ E[X_i]=\mu,~~~V[X_i]=\sigma^2~~~(i=1,2,3) \]

が成り立つ。

  1. \(E[T_1]=E[X_1]+E[X_2]-E[X_3]=\mu+\mu-\mu=\mu\)

    \(\displaystyle E[T_2]=\frac{1}{4}E[X_1]+\frac{1}{2}E[X_2]+\frac{1}{4}E[X_3]=\frac{1}{4}\mu+\frac{1}{2}\mu+\frac{1}{4}\mu=\mu\)

    \(\displaystyle E[T_3]=\frac{1}{3}E[X_1]+\frac{1}{3}E[X_2]+\frac{1}{3}E[X_3]=\frac{1}{3}\mu+\frac{1}{3}\mu+\frac{1}{3}\mu=\mu\)

    よって、\(T_1,T_2,T_3\) はいずれも \(\mu\) の不偏推定量である。

  2. \(X_1,X_2,X_3\) は互いに独立であるから

    \(V[T_1]=V[X_1]+V[X_2]+V[X_3]=\sigma^2+\sigma^2+\sigma^2=3\sigma^2\)

    \(\displaystyle V[T_2]=\frac{1}{4^2}V[X_1]+\frac{1}{2^2}V[X_2]+\frac{1}{4^2}V[X_3]=\frac{1}{16}\sigma^2+\frac{1}{4}\sigma^2+\frac{1}{16}\sigma^2=\frac{3}{8}\sigma^2\)

    \(\displaystyle V[T_3]=\frac{1}{3^2}V[X_1]+\frac{1}{3^2}V[X_2]+\frac{1}{3^2}V[X_3]=\frac{1}{9}\sigma^2+\frac{1}{9}\sigma^2+\frac{1}{9}\sigma^2=\frac{1}{3}\sigma^2\)

    よって \(V[T_1]\gt V[T_2]\gt V[T_3]\) より、\(T_3\) が最も有効な推定量である。