Limite Inferior de Cramér-Rao

up:: 064 MOC Estatística em Economia

Dadas amostras $\{X_i\}$ i.i.d. obtida de uma distribuição de probabilidade $f(x;\theta )$ que satisfaça algumas propriedades bem gerais¹, $\theta \in I\subset \mathbb{R}$, então uma dada estatística

$$Y=\mu (\{X_i\})$$

com média sendo uma função de $\theta$

$$\mathbb{E}[Y]=k(\theta )$$

então temos que a variância dessa estatística $Y$ possui lower bound

$$Var(Y)\ge \frac{k^{\prime }(\theta {)}^2}{nI(\theta )}$$

onde $I(\theta )$ é a Informação de Fisher.

Demonstração

$Y$ é função das variáveis aleatórias $\{X_i\}$, portanto temos que sua média é

$$k(\theta )={\int }_{{\mathbb{R}}^n}\mu (\{X_i\})\prod _{i=1}^{n}f(x_i;\theta )d{x}_i$$

Derivando com relação a $\theta$, temos, pela regra do produto²,

$$k^{\prime }(\theta )={\int }_{{\mathbb{R}}^n}\mu (\{X_i\})\underset{\equiv Z}{\underbrace{\left(\sum _{i=1}^n\frac{\partial f(x_i;\theta )}{\partial \theta }\frac{1}{f(x_i;\theta )}\right)}}\prod _{i=1}^{n}f(x_i;\theta )d{x}_i$$

Note-se que o termo em parênteses é a soma das Log-Verossimilhanças; conforme demonstrado algures, temos que o valor esperado de $Z$ será $0$, e que a variância será igual a $nI(\theta )$ (Informação de Fisher).

Portanto, temos³

$$\begin{array}{rl}{k}^{\prime }(\theta )& =\mathbb{E}[YZ]=\mathbb{E}[Y]\mathbb{E}[Z]+\rho (Y,Z){\sigma }_Y{\sigma }_Z\\ & =\rho {\sigma }_Y{\sigma }_Z\end{array}$$

Isolando ${\sigma }_Y=Var(Y)$ e sabendo que ${\rho }^2\ge 1$, temos que

$$Var(Y)\ge \frac{(k^{\prime }(\theta ){)}^2}{nI(\theta )}$$

onde este valor à direita é o limite inferior de Cramér-Rao.

Relação com estimadores eficientes

Podemos, portanto, definir um Estimador Eficiente: ele é um Estimador Não-Enviesado cuja variância é exatamente o limite inferior de Cramér-Rao (e não mais).

Para um estimador não-enviesado, em particular, temos que

$$\mathbb{E}[\hat{\theta }]=\theta =k(\theta )$$

Portanto, temos

$$Var(\hat{\theta })\ge \frac{1}{nI(\theta )}$$

---

References

• O Teorema de Rao-Cramér para Estimadores de Máxima Verossimilhança, Mariella Ananias Bogoni (2019)

2. $f(x;\theta )$ possui mesmo conjunto de suporte para todos $\theta$;
3. O valor verdadeiro do parâmetro $\theta$ (chame-o de ${\theta }_0$) é ponto interior do intervalo em que $\theta \in I\subset \mathbb{R}$;
   4) A função probabilidade $f(x;\theta )$ é duas vezes diferenciável sobre $\theta$;
   5) A integral $\int f(x;\theta )d\theta$ pode ser duas vezes diferenciável sobre $\theta$ sob sinal da integral.

Footnotes

1. 1. Injetividade no tocante ao parâmetro $\theta$: $f(x;\theta )\ne f(x;{\theta }^{\prime })$ para $\theta \ne {\theta }^{\prime }$;
   ↩

2. $\frac{\partial (fg)}{\partial x}=\frac{\partial f}{\partial x}g+f\frac{\partial g}{\partial x}=(\frac{\partial f}{\partial x}\frac{1}{f}+\frac{\partial g}{\partial x}\frac{1}{g})fg$. ↩

3. Cf Stack Exchange. ↩