平均二乗誤差
平均二乗誤差の定義
定義（平均二乗誤差）
パラメータ \(\theta\) の推定量 \(T\) に対して
\[
MSE[T]:=E[(T-\theta)^2]
\]
を平均二乗誤差（MSE）という。
バイアス-バリアンス分解
\(MSE\) はバイアスと分散に分解することができる。
\(T\) は確率変数、\(\theta\) は定数であることに注意して
\[
\begin{align}
MSE[T]
&=E[(T-\theta)^2]\\
&=E[T^2-2T\theta+\theta^2]\\
&=E[T^2]-2\theta E[T]+\theta^2\\
&=E[T^2]-E[T]^2+E[T]^2-2\theta E[T]+\theta^2\\
&=V[T]+(E[T]-\theta)^2
\end{align}
\]
※ 分散の性質 \(V[T]=E[T^2]-E[T]^2\) を用いた。
演習問題
問題