Dada uma distribuição de probabilidade $f (x; θ)$ que satisfaça algumas propriedades bem gerais¹, temos que a informação de Fisher é dada por

I (θ) = E [(\partial_{θ} lo g f)^{2}] = - E [\partial_{θθ} lo g f]

Ela é a variância da derivada em $θ$ da Log-Verossimilhança (ufa!), e é uma quantidade crucial para o Limite Inferior de Cramér-Rao, para definir um Estimador Eficiente.

Derivação de informação de Fisher

Derivando a condição de normalização da função de probabilidade, com relação a $θ$ , obtemos

1 ⟹ 0 = \int f (x; θ) d x = \int \frac{\partial f ( x ; θ )}{\partial θ} \frac{f ( x ; θ )}{f ( x ; θ )} d x = \int \frac{\partial lo g f ( x ; θ )}{\partial θ} f (x; θ) d x = E [\frac{\partial lo g f ( x ; θ )}{\partial θ}]

Aqui aparece a Log-Verossimilhança, e inferimos que o valor esperado de sua derivada com relação ao parâmetro $θ$ é $0$ . Denote-se ela por

L \equiv L (x; θ) \equiv lo g f (x; θ)

Note-se que a variância de $\partial_{θ} L$ será

Va r (\partial_{θ} L) = E [(\partial_{θ} L)^{2}]

pois sua média é $0$ .

Derivando novamente com relação a $θ$ , temos

0 = \int (\frac{\partial ^{2} L}{\partial θ ^{2}} f (x; θ) + \frac{\partial L}{\partial θ} \frac{\partial f}{\partial θ} \frac{f ( x ; θ )}{f ( x ; θ )}) d x = \int (\frac{\partial ^{2} L}{\partial θ ^{2}} + (\frac{\partial L}{\partial θ})^{2}) f (x; θ) d x

Portanto, temos a definição da informação de Fisher:

I (θ) = E [\frac{\partial ^{2} L}{\partial θ ^{2}}] = - E [(\frac{\partial L}{\partial θ})^{2}] = Va r (\frac{\partial L}{\partial θ})

$f (x; θ)$ possui mesmo conjunto de suporte para todos $θ$ ;
3) A função probabilidade $f (x; θ)$ é duas vezes diferenciável sobre $θ$ ;
4) A integral $\int f (x; θ) d θ$ pode ser duas vezes diferenciável sobre $θ$ sob sinal da integral.

1. Injetividade no tocante ao parâmetro $θ$ : $f (x; θ) \neq = f (x; θ^{'})$ para $θ \neq = θ^{'}$ ;
↩

Nicholas Funari Voltani