QR分解与线性回归

1 一元回归与多元回归

任何一本初级水平的计量经济学、统计学或机器学习相关书籍，都会详细推导多元线性线性回归的解，在这里就不再赘述。

我们给出本文用到的一些设定。$y$为$N$维因变量向量，假设$y=X\beta+\epsilon$，如果自变量为$p$维，将$X$排为$N\times (p+1)$矩阵，其中第一列$x_{\cdot 0}=1_N$为全是$1$的截距项，我们有最小二乘估计：