机器学习3-训练与损失

【摘要】 训练模型表示通过有标签样本学习模型中所有权重w和偏差b的最优值。在监督学习中，机器学习算法通过以下方式构建模型：检查多个样本并尝试找出可最大限度地减少模型的损失；这一过程称为经验风险最小化。

​前言

训练模型表示通过有标签样本学习模型中所有权重w和偏差b的最优值。在监督学习中，机器学习算法通过以下方式构建模型：检查多个样本并尝试找出可最大限度地减少模型的损失；这一过程称为经验风险最小化。

损失是对糟糕预测的惩罚；损失是之歌数值，表示对个单个样本而言模型预测的准确程度。如果模型的预测完成准确，则损失为零，否则损失会较大。

训练模型

训练模型的目标是从所有样本中找到一组平均损失“较少”的权值和偏差。

​

红色箭头表示损失；蓝线表示预测。左侧曲线图中的红色箭头比右侧曲线图中的对应红色箭头长得多；即实际点和模型预测相差的距离比较远，差异更大。

左侧显示的是损失较大的模型；右侧显示的是损失较小的模型。

损失函数

平方损失是一种常见的损失函数。线性回归模型使用的是一种称为平方损失（又称​损失）的损失函数。单个样本的平方损失如下：

  = the square of the difference between the label and the prediction
  = (observation - prediction(x))2
  = (y - y')2