逻辑回归 | Logistic Regression

这是我参与8月更文挑战的第20天，活动详情查看：8月更文挑战

Logistic Regression

跟线性回归不同，在这里要预测的y是离散值。
用到的 Logistic Regression 算法是当今最流行最广泛使用的学习算法之一。

还记得监督学习和无监督学习的分类吗
Classification
Emai:Spam/ Not Spam？
Online Transactions:Fraudulent（Yes/No）？
Tumor:Malignant/ Benign

邮件：是否是垃圾邮件
网上交易：是否存在欺诈
肿瘤分类：良心恶性

记得的话就会知道上述都属于离散型监督学习。上述三个问题的共同之处：

y∈{0,1}

0：Negative Class”

1：”Positive Class”

当然并不是所有的离散型问题都非黑即白只有两个结果，也有可能是y∈{0,1，3,…,n}可数有限多个。

举个例子

从简单的二类离散开始：

从肿瘤的大小预测其是良性还是恶性：

如果我们还是用线性回归的方法拟合是无法生效的。比如像这样：

现在我们对于这条拟合直线假定$h(x)>0.5$为恶性，反之为良性。你可能说这不是拟合的挺好的吗。

但是如果这样呢：

就会有很多恶心的肿瘤被判断为良性。

所以说线性回归并不适合离散型问题。

逻辑回归

那对于离散回归怎么办呢。首先我们要确保:

$0 \leq h_{\theta}(x) \leq 1$

这样就不会出现线性回归那样的问题。线性回归中不管你怎么拟合。只要超出一定范围总会出现$h(x)>1$的情况。

那要如何改良呢？

这就借助到Sigmoid function又称Logistic function：

$g(z) = \frac{1}{1+e^{-z}}$

再将线性回归的公式应用到Logistic函数中后得到：