バイアスと平均二乗誤差
バイアス
母数 \(\theta\) の推定量 \(T\) に対して
\[
E[T]-\theta
\]
をバイアス（偏り）という。
バイアスは小さいほうがよく、不偏推定量の場合は \(0\) となります。
平均二乗誤差
母数 \(\theta\) の推定量 \(T\) に対して
\[
\mathrm{MSE}[T]:=E[(T-\theta)^2]
\]
を平均二乗誤差（MSE）という。
バイアス-バリアンス分解
平均二乗誤差はバイアスと分散に分解することができます。 \(T\) は確率変数、\(\theta\) は定数であることに注意して
\[
\begin{align}
\mathrm{MSE}[T]
&=E[(T-\theta)^2]\\
&=E[T^2-2T\theta+\theta^2]\\
&=E[T^2]-2\theta E[T]+\theta^2\\
&=E[T^2]-E[T]^2+E[T]^2-2\theta E[T]+\theta^2\\
&=V[T]+(E[T]-\theta)^2
\end{align}
\]
※ 分散の性質 \(V[T]=E[T^2]-E[T]^2\) を用いました。
演習問題
問題