gauss_markov.txt

# Свойства МНК оценок


TODO: три варианта (до проблем, проблемы, решения), цвета

Детерминистическая версия.

Если:
1. Истинная зависимость имеет вид y=X\beta + \varepsilon
2. С помощью МНК оценивается регрессия y на X
$\hat{\beta}=(X'X)^{-1}X'y$
3. $n>k$
4. $E(\varepsilon_i)=0$
5. $Var(\varepsilon_i)=\sigma^2$
6. $Cov(\varepsilon_i,\varepsilon_j)=0$ при $i \neq j$
7. $X$ --- матрица констант
8. среди регрессоров нет линейно зависимых
$rank(X)=k$
$det(X'X)\neq 0$
$(X'X)^{-1}$ существует

То:
1. [тГМ] МНК оценки $\hat{\beta}$ линены по $y$:
$\hat{\beta_j}=c_1 y_1 + ... + c_n y_n$
2. [тГМ] $E(\hat{\beta})=\beta$
3. [тГМ] Для любой альтернативной оценки $\hat{\beta}^{alt}$ удовлетворяющей свойствам 1 и 2:
$Var(\hat{\beta}_j^{alt})\geq Var(\hat{\beta}_j)
4. $Var(\hat{\beta})=\sigma^2 (X'X)^{-1}$
5. $Cov(\hat{\beta},\hat{\varepsilon} )=0$
6. $E(\hat{\sigma}^2 ) = \sigma^2$

Добавка:
Если дополнительно известно, что $\varepsilon \sim N$, то:
4.1. тест на отдельный \beta
4.2. тест на все беты
4.3. интервал для сигмы



Стохастическая версия (для случайной выборки):

Если:
1. Истинная зависимость имеет вид y=X\beta + \varepsilon
2. С помощью МНК оценивается регрессия y на X
$\hat{\beta}=(X'X)^{-1}X'y$
3. $n>k$
4. $E(\varepsilon_i | X)=0$
5. $Var(\varepsilon_i | X)=\sigma^2$
6. $Cov(\varepsilon_i,\varepsilon_j | X)=0$ при $i \neq j$
7. вектора $(x_{i.},y_i)$ --- независимы и одинаково распределены
8. с вероятностью 1 среди регрессоров нет линейно зависимых
$rank(X)=k$
$det(X'X)\neq 0$
$(X'X)^{-1}$ существует

То:
1. [тГМ] МНК оценки $\hat{\beta}$ линены по $y$:
$\hat{\beta_j}=c_1 y_1 + ... + c_n y_n$
2. [тГМ] $E(\hat{\beta} |X )=\beta$, и в частности $E(\hat{\beta})=\beta$
3. [тГМ] Для любой альтернативной оценки $\hat{\beta}^{alt}$ удовлетворяющей свойствам 1 и 2:
$Var(\hat{\beta}_j^{alt} | X)\geq Var(\hat{\beta}_j | X)$
$Var(\hat{\beta}_j^{alt} )\geq Var(\hat{\beta}_j )$
4. $Var(\hat{\beta} | X )=\sigma^2 (X'X)^{-1}$
5. $Cov(\hat{\beta},\hat{\varepsilon} | X)=0$
6. $E(\hat{\sigma}^2 |X ) = \sigma^2$, и $E(\hat{\sigma}^2 ) = \sigma^2$ ?остается ли при условной ГК?
Асимптотические свойства:
7. $\hat{\beta} \to \beta$ по вероятности

8. $t \to N(0,1)$
9. $rF \to \chi^2_r$, $r$ --- число ограничений
10. $nR^2 \to \chi^2_{k-1}$
$\frac{RSS}{n-k} \to \sigma^2 $

Добавка:
Если дополнительно известно, что $\varepsilon |X \sim N$, (в частности $\varepsilon$ и $X$ независимы) то:
4.1. t|X \sim t_{n-k}, t\sim t_{n-k}
4.2. $RSS/\sigma^2 |X \sim \chi^2_{n-k}$, RSS/\sigma^2 \sim \chi^2_{n-k}
4.3. F тест F|X \sim F





Тест DW
предпосылки: все, включая нормальность epsilon и strict exogenity E(\varepsilon_i |X)=0
H0: сферические остатки


White:
стр. 132

BG 
149





Стохастическая версия (для стационарной последовательности):



Перед стохастической версией!

E(y|x)
примеры задач

сходимость случайных величин (1)
игнорируем события с вероятностью 0