关于周志华老师的《机器学习》这本书的学习笔记
记录学习过程
本博客记录Chapter10

1 $k$邻近学习

$k$近邻（$k-$Nearest Neighbor， KNN）学习是一种常用的监督学习方法。其基本思想是：给定测试样本，基于某种距离度量找到与其最靠近的$k$个训练样本，根据这$k$个邻居的信息来进行预测。其中，分类问题往往采用“投票法”；回归问题采用“平均法”。 其示意图如下：

$k-$近邻分类器没有显式的训练过程，训练过程仅需要将样本保存起来，待收到测试样本后再进行处理，是典型的“懒惰训练”（lazy learning）。该方法的核心是确定$k$，当$k=1$，其又叫做“最近邻分类器”。

给定测试样本$x$，若其最近邻样本为$z$，则最近邻分类器出错的概率是$x$与$z$标记不相同的概率：