在本节中，我们开发了两种简单但强大的预测方法:最小二乘法拟合的线性模型和k-近邻预测规则。线性模型对结构做出了很强的假设，并产生了稳定但可能不准确的预测。k-近邻方法做出了比较弱的结构假设:它的预测通常是准确的，但可能不稳定。

2.3.1    线性模型和最小二乘

在过去的30年里，线性模型一直是统计学的支柱，也是我们最重要的工具之一。给定输入向量$X^{\top}=(X_1,X_2,…,X_p)$，我们通过下面的模型预测输出$Y$