1. 基本步骤

<aside> 📖 总体一元线性回归方程

$$ y = a+bx+e $$

$e$ 是一切随机影响的总和，称为随机误差

通常假定 $e$ 服从正态分布 $\mathbf{N}(0,\sigma^2)$，即 $E(e)=0,~Var(e)=\sigma^2$

$$ E(y)=a+bx $$

</aside>

<aside> 📖 样本一元线性回归方程

$$ \hat y=\hat a+\hat bx $$

</aside>

2. 最小二乘估计

<aside> 📖 基本思想

估计参数 $ab$ ，使得 $Q(a,b)=\sum_{i=1}^ne_i^2=\sum_{i=1}^n(y_i-a-bx_i)^2$ 最小

</aside>

<aside> 📖 计算式

$$ \hat a = \overline y - \hat b \overline x \\ \hat b = \frac{l_{xy}}{l_{xx}}=\frac{n\times Cov(x,y)}{n \times Var(x)} = \frac{\sum x_iy_i -\frac1n(\sum x_i)(\sum y_i)}{\sum x_i^2 - \frac1n(\sum x_i)^2} $$

</aside>

3. 显著性检验

其实就是$k=2$ 情况下的方差分析

<aside> 📖 偏差平方和

• 总偏差平方和：样本观察值跟样本均值的偏差平方和

$$ ⁍ $$

• 回归偏差平方和：回归值跟样本均值的偏差平方和

$$ S_R=\sum_{i=1}^n(\hat y_i - \overline y)^2 $$

• 随机误差：样本观察值跟回归值的偏差，这部分回归不能解释

$$ S_e=\sum_{i=1}^n(y_i - \hat y_i)^2 $$

<aside> 📖 一元线性回归分析中，总偏差平方和等于回归偏差平方和与随机误差之和

$$ S_T=S_R+S_e $$

</aside>

</aside>

<aside> 📖 一元线性相关系数 $r$

$$ \begin{cases} r^2 &= \frac{S_R}{S_T} \\ r &= \pm\sqrt{r^2} \end{cases} $$

</aside>

<aside> 📖 残差

$$ S_y^2=\frac{S_e}{n-2} $$

</aside>