以下是 OLS 的正规方程证明。

OLS 的目标是最小化平方误差项的总和，以找到最佳拟合，也称为残差平方和 (RSS)。这用 $\sum {\hat {\epsilon _{i}}}^{2}$ 表示。

定义 RSS

已知： ${\hat {\epsilon _{i}}}=Y_{i}-{\hat {Y_{i}}}=Y_{i}-\alpha -\beta X_{i}$

RSS = $\sum {\hat {\epsilon _{i}}}^{2}$ =

$=\sum (Y_{i}-{\hat {Y_{i}}})^{2}$

$=\sum (Y_{i}-{\hat {\alpha }}-{\hat {\beta }}X_{i})^{2}$

微分 RSS（以便我们随后可以最小化它）

$min_{\alpha }\sum {\hat {\epsilon _{i}}}^{2}$ =

${\frac {\partial \sum {\hat {\epsilon _{i}}}^{2}}{\partial {\hat {\alpha }}}}=\sum 2{\hat {\epsilon _{i}}}{\frac {\partial {\hat {\epsilon _{i}}}}{\partial {\hat {\alpha }}}}=2\sum {\hat {\epsilon _{i}}}(-1)=2\sum (Y_{i}-{\hat {\alpha }}-{\hat {\beta }}X_{i})(-1)=0$

$min_{\beta }\sum {\hat {\epsilon _{i}}}^{2}$ =

${\frac {\partial \sum {\hat {\epsilon _{i}}}^{2}}{\partial {\hat {\beta }}}}=\sum 2{\hat {\epsilon _{i}}}{\frac {\partial {\hat {\epsilon _{i}}}}{\partial {\hat {\beta }}}}=2\sum {\hat {\epsilon _{i}}}(-X_{i})=2\sum (Y_{i}-{\hat {\alpha }}-{\hat {\beta }}X_{i})(-X_{i})=0$

因此我们有两个方程

$\sum (Y_{i}-{\hat {\alpha }}-{\hat {\beta }}X_{i})(-1)=0$

和

$\sum (Y_{i}-{\hat {\alpha }}-{\hat {\beta }}X_{i})(-X_{i})=0$ （这里将两边都除以2）

将它们都设为 $\sum Y_{i}$

我们得到

$\sum Y_{i}=n{\hat {\alpha }}+{\hat {\beta }}\sum X_{i}$ （这是第一个OLS正规方程）

和

$\sum Y_{i}X_{i}={\hat {\alpha }}\sum X_{i}+{\hat {\beta }}\sum X_{i}^{2}$ （这是第二个OLS正规方程）

求解正规方程

将第一个方程除以n

${\frac {1}{n}}\sum Y_{i}={\hat {\alpha }}+{\frac {1}{n}}{\hat {\beta }}\sum X_{i}$

留下我们 $\left(\sum W_{i}{\frac {1}{n}}={\bar {W}}\right)$

${\bar {Y}}={\hat {\alpha }}+{\hat {\beta }}{\bar {X}}\Leftrightarrow {\hat {\alpha }}={\bar {Y}}-{\hat {\beta }}{\bar {X}}$

现在我们知道如何获得 α(hat)，我们可以继续处理 β(hat)

$\sum Y_{i}X_{i}={\hat {\alpha }}\sum X_{i}+{\hat {\beta }}\sum X_{i}^{2}=[{\bar {Y}}-{\hat {\beta }}{\bar {X}}]\sum X_{i}+{\hat {\beta }}\sum X_{i}^{2}=[{\frac {(\sum X_{i})(\sum Y_{i})}{n}}]+{\hat {\beta }}[\sum X_{i}^{2}-{\frac {(\sum X_{i})^{2}}{n}}]$

我们可以将 β(hat) 移到一边

${\hat {\beta }}={\frac {\sum Y_{i}X_{i}-{\frac {(\sum X_{i})(\sum Y_{i})}{n}}}{\sum X_{i}^{2}-{\frac {(\sum X_{i})^{2}}{n}}}}={\frac {\sum (x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum (x_{i}-{\bar {x}})^{2}}}$

- n \bar{X} \bar{Y}

现在我们得到了 OLS 的正规方程。

由于我们有两个方程和两个未知数，我们可以求解它们 ( ${\hat {\alpha }},{\hat {\beta }}$ ).