目录
1.矩阵的维度
2.正则化（减小测试误差的方法）
1）逻辑回归中实现正则化
2)参数
3）神经网络的正则化
4）正则化减少过拟合的原理
3.dropout(随机失活)正则化
1）原理
2）inverted dropout（反向随机失活）
3）小结
4.其它正则化的方法
1）数据扩增
2）early stopping
1.矩阵的维度
维度的统一能让我们在写代码时减少bug，其中表示的是第i层的节点数，当多个样本时(，1)就会变成(,m),m就是样本数，即训练集大小。
2.正则化（减小测试误差的方法） 1）逻辑回归中实现正则化
图中 L2指的是L2正则化；L1指的是L1正则化，一般多用L2正则化。
2)参数
其中这个参数是正则化参数，通常使用验证集或交叉验证来配置这个参数（调小时可以避免过度拟合的情况出现）。
在python编写中，为了方便编码我们用lambd来代替lambda正则化参数。
3）神经网络的正则化
图中该矩阵范数被称作"弗洛尼贝乌斯范数"。
4）正则化减少过拟合的原理
直观理解就是增加足够大，会使W的权重接近于0（W权重减小相当于减小各方向梯度的影响，相当于减小对数据集的依赖，从而导致欠拟合）。
用另一种直观方式解释：
以tanh函数为例，因为和W是相互冲突，当 增大，W就减小，反之亦然。当W减小时z的值也会减小，在tanh中z的值足够小时，函数图像接近为线性，在之前的课中讲过，如果每一层都是线性的，那么整个网络都是一个线性网络。即使是一个非常深的神经网络，因具有线性激活函数的特征，最终只能计算线性函数。
所以该情况下，它不适用于非常复杂的决策以及过度拟合数据集的非线性决策边界，如图：
3.dropout(随机失活)正则化 1）原理：
假设左侧神经网络存在过拟合，将神经网络复制，dropout会遍历网络的每一层并设置消除神经网络中节点的概率。设置完节点概率后消除部分节点，删掉相关的连线，从而得到节点更少，规模更小的网络，然后用backprop的方法进行训练。
2）inverted dropout（反向随机失活）
图中前提：假设神网络层数L=3
蓝线为python代码实现，绿线为inverted dropout核心（使得a3期望值不变），keep_prob为设置的概率（0.8的含义是80%保留，20%消除节点）。当keep_prob的值等于1时，意味着保留所有网络节点。
inverted dropout在除以keep-prob时可以记住上一步的操作，目的是确保即使在测试阶段不执行dropout来调整数值范围，激活函数的预期结果也不会发生改变。
3）小结
dropout多用于计算机视觉方面等（没有足够数据的地方，一直存在过拟合）。
缺点：cost函数J不再被明确定义，每次迭代都会随机移除一些节点，很难检查梯度下降的性能（方法：将keep_prob设置为1）
4.其它正则化的方法 1）数据扩增
上图将猫的图片水平翻转，放大旋转裁剪就能将数据集翻倍，但需验证是否为猫
下图为数字4，进行变形然后达到扩大数据集
这种方式虽然获得“假”数据集，但不需要什么成本，实际功能也跟正则化相似。
2）early stopping
通过early stopping我们不单可以绘制出训练误差，代价函数J，还可以绘制验证集误差(验证集的分类误差或验证集上的代价函数，逻辑损失和对数损失等)。
通常会发现验证集误差会先下降后上升，early stopping的作用就是在某处你觉得神经网络已经足够好了就在此停下，得到验证集误差。
缺点：不能独立处理代价函数J和过拟合现象。
优点：只运行一次就能找出W中的较小值、中间值和较大值，无需像L2正则化尝试大量的参数值