代价函数

这是我参与8月更文挑战的第10天，活动详情查看：8月更文挑战

继续接单变量线性回归问题写。

依旧对于这个房价预测问题，如何选参数$\theta$？
毕竟选择不同的值对结果有很大的影响。

现在给出一个图：

给这个图找出适宜的$\theta_0$和$\theta_1$，使求出的预测函数能更好的和给出的这几个数据点拟合。

首先要解决一个最小化问题。尽量减小假设输出结果和真实房价 差的平方。

minimize：$\sum_{i=1}^{m}\left(h_{0}\left(x^{(i)}\right)-y^{(i)}\right)^{2}$

求取所有的样本点的$y$与$h_{0}(x)$差的平方和。

上一个公式我们可以得到平均误差：$\frac 1 m \sum_{i=1}^{m}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right)^{2}$

而实际上我们所要求的$\theta_0$和$\theta_1$应该满足使$\frac 1 {2m} \sum_{i=1}^{m}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right)^{2}$得到最小值。

对于上图给出的图像，使用的代价函数就是：
$J\left(\theta_{0}, \theta_1 \right)=\frac{1}{2 m} \sum_{i=1}^{m}\left(h_{\theta}\left(x^{(1)}\right)-y^{(i)}\right)^{2}$

$\stackrel{misimize}{\theta_{0}, \theta_{1}}$ —— $J\left(\theta_{0}, \theta_{1}\right)$

Cost function is allso called the squared error function or sometimes callled the square error cost fonction

代价函数也被称作平方误差函数有时也被称为平方误差代价函数。

平方误差代价函数只是代价函数的一种，是解决回归问题最常用的手段之一。

举个栗子

In order to better visualize the cost function J.We are going to work with a simplified hypothesis function.
为了使代价函数J更好的可视化，我们先使用一个简化的假设函数。

假设现在的预测函数为$h_{\theta}(x)=\theta_{1} x$，即$\theta_0=0$。

那代价函数就可以简化为$J\left(\theta_{1}\right)=\frac{1}{2 m} \sum_{i=1}^{m}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right)^{2}$

$\underset{\theta_{1}}{\operatorname{minimize}} J\left(\theta_{1}\right)$

假设现在我们的训练集如下，给出一个图：

$当\theta_{1}=1时候$

$h_{\theta}(1)-y_{1}=0\\ h_{\theta}(2)-y_{2}=0\\ h_{\theta}(3)-y_{3}=0$

$J\left(\theta_{1}\right)=\frac{1}{2 m} \sum_{i=1}^{m}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right)^{2}=0$

$当\theta_{1}=0.5时候$

$h_{\theta}(1)-y_{1}=-0.5\\ h_{\theta}(2)-y_{2}=-1\\ h_{\theta}(3)-y_{3}=-1.5$

$J\left(\theta_{1}\right)=\frac{1}{2 m} \sum_{i=1}^{m}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right)^{2}=\frac{1}{2 \times 3}(0.25+1+2.25)=0.583333$

……

依次计算下去，最后得到代价函数J是个一元二次函数：

所以在这个例子中$当\theta_{1}=1时候$代价函数取得最小值，拟合函数最精确。

既然理解了简化过的代价函数，那现在看一下没简化过的。

给出数据如图所示：

但是此时代价函数并不是二维图形了。因为多了一个参数$\theta_0$，所以变为三维图像，例如下图：

但是为了便于表示，之后不会继续使用三维图像，而是使用等高图像（回忆一下小时候学地理时候的等高线等温线之类的）， 类似于下图：

同一条线上的点代表虽然$\theta_0$和$\theta_1$不同，但是他们代价函数值相同。