Regularization

这是我参与8月更文挑战的第5天，活动详情查看： 8月更文挑战

本篇文章讲解如何缓解over-fitting。首先看下面三张图，under-fitted表明预测的函数模型所包含的参数量、复杂度低于实际模型，但这种情况已经越来越少见了，因为现在的网络都足够深

而over-fitted表明预测的函数模型的参数量、复杂度远高于实际模型

在此背景下，有人提出了“Occam’s Razor”，即more things should not be used than are necessary，不是必要的东西不要使用，在神经网络中，不是必要的网络参数，要尽量选择最小的、最有可能的参数量

目前对于防止over-fitting，有以下几种主流的做法

• More data
• Constraint model complexity
• shallow
• regularization
• Dropout
• Data argumentation
• Early Stopping

这里我们利用的是Regularization，对于一个二分类问题，它的Cross Entropy公式为