Bias-Variance Tradeoff

up:: 064 MOC Estatística em Economia

O erro quadrático médio de um estimador é dado por

$$MSE=\mathbb{E}[(\hat{\theta }-\theta {)}^2]$$

Abrindo a equação, temos

$$\begin{array}{rl}MSE& =\mathbb{E}[{\hat{\theta }}^2-2\theta \hat{\theta }+{\theta }^2]\\ & =\mathbb{E}[{\hat{\theta }}^2]-2\theta \mathbb{E}[\hat{\theta }]+{\theta }^2\end{array}$$

Sabendo que $Var(\hat{\theta })=\mathbb{E}[{\hat{\theta }}^2]-\mathbb{E}[\hat{\theta }{]}^2$, temos

$$\begin{array}{rl}MSE& =Var(\hat{\theta })+\underset{(\mathbb{E}[\hat{\theta }]-\theta {)}^2}{\underbrace{\mathbb{E}[{\hat{\theta }}^2]-2\theta \mathbb{E}[\hat{\theta }]+{\theta }^2}}\\ & =Var(\hat{\theta })+Bias(\hat{\theta }{)}^2\end{array}$$

Portanto, há um tradeoff entre um Estimador Não-Enviesado (viés = 0) e um estimador mais “acurado” (menor variância).

Um estimador que minimize o erro quadrático médio se chama Estimador Eficiente.

---

References

• Estimator - Wikipedia