Regressão Linear Múltipla

up:: 064 MOC Estatística em Economia

Fonte: Multiple Linear Regression-An intuitive approach | by Niketh Narasimhan | Analytics Vidhya | Medium

Um modelo de regressão linear múltipla segue a forma

$$\vec{Y}=X\vec{\beta }+\overrightarrow{ϵ}$$

onde

• $\vec{Y},\overrightarrow{ϵ}\in {\mathbb{R}}^n$ (dependem da quantidade de observações)
• $\vec{\beta }\in {\mathbb{R}}^{p+1}$ (depende da quantidade de características $p$, mais viés ${\beta }_0$)
• $X\in {\mathbb{R}}^{n\times (p+1)}$ é a matriz de desenho (design matrix), que possui as observações das variáveis independentes $X_i^k$

Para fazer uma regressão linear múltipla, seguem-se as hipóteses de Gauss-Markov:

1. $\mathbb{E}[\overrightarrow{ϵ}]=\vec{0}\in {\mathbb{R}}^n$
   1. Portanto, $\mathbb{E}[\vec{Y}]=X\vec{\beta }$¹
2. $Var(\overrightarrow{ϵ})={\sigma }^2{1}_{n\times n}$
   1. Portanto, $Var(\vec{Y})={\sigma }^2{1}_{n\times n}$²

Solução de Mínimos Quadrados

Ao obter o mínimo do erro quadrático

$$||\overrightarrow{ϵ}|{|}^2=||\vec{Y}-X\vec{\beta }|{|}^2$$

obtém-se que a melhor estimativa para $\beta$ é³

$$\hat{\beta }=(X^{T}X{)}^{-1}{X}^T\vec{Y}$$

Disso, obtém-se que a previsão de $Y$ é

$$\hat{Y}=X\hat{\beta }=\underset{\equiv H}{\underbrace{X(X^{T}X{)}^{-1}{X}^T}}\vec{Y}$$

onde $H\in {\mathbb{R}}^{n\times n}$ é uma matriz de projeção ortogonal⁴ ao plano determinado por $\hat{\beta }$.

Propriedades de $\hat{\beta }$

O valor esperado de $\hat{\beta }$ é (vide propriedade 1 acima)

$$\begin{array}{rl}\mathbb{E}[\hat{\beta }]& =(X^{T}X{)}^{-1}{X}^T\mathbb{E}[Y]\\ & =\cancel{(X^{T}X{)}^{-1}}\cancel{X^{T}X}\beta \\ & =\beta \end{array}$$

Portanto, $\hat{\beta }$ é um Estimador Não-Enviesado.

A variância de $\hat{\beta }$ é (vide propriedade $2$ acima)

$$\begin{array}{rl}Var(\hat{\beta })& =Var(\underset{\equiv A}{\underbrace{(X^{T}X{)}^{-1}{X}^T}}\vec{Y})\\ & =\mathbb{E}[⟨A(\vec{Y}-\vec{\mu })|A(\vec{Y})-\vec{\mu }⟩]\\ & =\mathbb{E}[A(\vec{Y}-\vec{\mu })(\vec{Y}-\vec{\mu }{)}^T{A}^T]\\ & =Var(\vec{Y})A{A}^T\\ & ={\sigma }^2(X^{T}X{)}^{-1}\end{array}$$

Este estimador $\hat{\beta }$ é o Melhor Estimador Linear Não-Enviesado de $\beta$ (ou seja, de menor variância dentre estimadores lineares) devido ao Teorema de Gauss-Markov.

---

References

• GUJARATI, Damodar N. Basic econometrics. 5ª edição.
• 09. Modelos de Regressão Linear Múltipla - Parte 1 - YouTube
• 6. Regression Analysis - YouTube
• A brief summary on Machine Learning (Nicholas Funari Voltani)

Footnotes

1. I.e. o preditor linear $\hat{Y}=X\hat{\beta }$ é igual ao valor esperado da variável que ele busca estimar, $Y$. ↩

2. Pois assume-se que a matriz de design $X$ é determinística (!!!) ↩

3. Estamos falando de estimadores, pois estamos fazendo mínimos quadrados, ou seja, estamos trabalhando com uma quantidade finita $n$ de dados, não com a distribuição estatística “verdadeira” de $X$ e $Y$. Pressupondo que $\vec{Y}=X\vec{\beta }$ “realmente”, então nossa melhor estimativa dessa relação, com nossos $n$ dados, será através de $\hat{\beta }$. ↩

4. Em inglês, alguns chamam ela de hat matrix, pois ela converte $\vec{Y}$ em $\hat{Y}$ (“Y-hat”). Cf. problem set do MIT. ↩