【deeplearning.ai】吴恩达深度学习课程笔记目录

自2020.11.30开始学习DeepLearning，该学习笔记最后一次更新于2021.2.21

Part1 深度学习概论

• 深度学习笔记（一）深度学习概论

Part2 神经网络基础

• 深度学习笔记（二）Logistic Regression 逻辑回归
• 深度学习笔记（三）计算图及其导数运算方法
• 深度学习笔记（四）Vectorization 向量化
• 深度学习笔记（五）Broadcasting in Python 广播
• 吴恩达深度学习编程练习：具有神经网络思维的Logistic回归

Part3 浅层神经网络

• 深度学习笔记（六）浅层神经网络的表示及输出
• 深度学习笔记（七）浅层神经网络之激活函数
• 深度学习笔记（八）神经网络反向传播的梯度下降算法
• 深度学习笔记（九）随机初始化参数及参数VS超参数
• 吴恩达深度学习编程练习：Planar data classification with one hidden layer

Part4 深层神经网络

• 深度学习笔记（十）深层神经网络的表示及前向传播
• 深度学习笔记（十一）核对矩阵的维度（确定矩阵维度的精髓）
• 深度学习笔记（十二）为什么用深层神经网络而非浅层？
• 深度学习笔记（十三）搭建深层神经网络块及前向反向传播过程
• 【深度学习】纯手工搭建深层神经网络DNN模型

Part5 改善深层神经网络：超参数调试、正则化以及优化

• 深度学习笔记（十四）数据集及偏差方差
• 深度学习笔记（十五）深度学习框架和TensorFlow
• 深度学习笔记（十六）正则化（L2 dropout 数据扩增 Earlystopping）
• 深度学习笔记（十七）归一化输入
• 深度学习笔记（十八）梯度消失/爆炸、初始化权重及梯度检验
• 深度学习笔记（十九）Mini-batch梯度下降法和指数加权平均
• 深度学习笔记（二十）Momentum动量梯度下降及RSMprop Adam优化算法
• 深度学习笔记（二十一）学习率衰减和局部最优问题
• 深度学习笔记（二十二）超参数调试处理
• 深度学习笔记（二十三）Batch Norm归一化
• 深度学习笔记（二十四）Softmax回归
• DNN的Softmax分类实现手势图像识别

Part6 结构化机器学习项目

• 深度学习笔记（二十五）结构化机器学习项目之机器学习策略1
• 深度学习笔记（二十六）结构化机器学习项目之机器学习策略2
• 深度学习笔记（二十七）迁移学习和多任务学习
• 深度学习笔记（二十八）端到端的深度学习

Part7 卷积神经网络

• 深度学习笔记（二十九）卷积神经网络之卷积运算和边缘检测
• 深度学习笔记（三十）CNN的Padding及卷积步长Stride
• 深度学习笔记（三十一）三维卷积及卷积神经网络
• 深度学习笔记（三十二）CNN的Pooling池化层
• 深度学习笔记（三十三）卷积神经网络识别手写数字的工作原理
• 深度学习笔记（三十四）经典卷积神经网络：LeNet-5 AlexNet VGG-16
• 深度学习笔记（三十五）残差神经网络ResNet
• 深度学习笔记（三十六）1×1卷积（网络中的网络）及谷歌Inception网络
• 深度学习笔记（三十七）迁移学习和数据扩增
• 深度学习笔记（三十八）目标检测及YOLO算法
• 卷积神经网络实现手势图像的识别

• 那么，做个小小的总结吧！深度学习学到（三十八）已经是2021年寒假的末尾啦，也就是2021.2.21，我从2020.11.30开始学习第一课，写下我的第一篇深度学习笔记。到这篇笔记的时候，已经结束了目标检测，也就是我本科阶段目前需要用到的知识，大概就是到计算机视觉这部分。这不代表我学习深度学习止步于此，我会继续学习深度学习体系的知识，包括之后的做NLP可能用到的循环神经网络RNN。按照目前的进度规划，我应该会带着这些理论知识，去大量应用和实践，其中包括：吴恩达老师准备的demo以及综合设计（儿童监护系统）中的深度学习作目标检测。

• 其实我知道要完成综合设计项目，能够好好读懂模型代码，查阅资料调试就能实现，但是我把实践这一板块放置在了后面，对我来说，更高优先级的工作应该是系统地去学习深度学习这套理论（也因为真正对这个领域好奇），包括看起来似乎最枯燥无味的第二三课（神经网络改进策略和机器学习策略），但事实上非常能培养我在深度学习方向的思考方式。

• 还是那句话，按照我自己的进度规划，我目前会带着我学到的理论知识去大量实践，实现这些理论的东西，可能不久后再回过头来看，我对这些理论知识又有了更深的洞察。我对机器学习的热爱不止于此，我期待未来可以真正对这个领域有一定的理解！

• 最后，感谢吴恩达老师和一直坚持的自己 ~ Never stop