摘要

什么是正交约束

• 在训练过程中通过约束来鼓励或强制参数矩阵保持正交。

正交约束的作用

• 常用于解决梯度消失或爆炸等问题。
• 特征解耦。

论文主要解决问题

• 优化训练过程中的收敛性、速度和稳定性，同时保证模型性能。

主要方法

• 硬约束

比如在训练过程中对目标矩阵的 $W$ 重复进行奇异值分解等操作，强制其正交性。

Generalized backpropagation,’{E} tude de cas: Orthogonality
On orthogonality and learning recurrent networks with long term dependencies
Orthogonal Weight Normalization Solution to Optimization over Multiple Dependent Stiefel Manifolds in Deep Neural Network

• 软约束

比如在使用带有惩罚项的正则化器，鼓励其正交性。

All you need is beyond a good init Exploring better
Can We Gain More from Orthogonality Regularizations in Training Deep CNNs

On orthogonality and learning recurrent networks with long term dependencies

背景

• RNN中存在梯度消失和梯度爆炸问题，一般会使用正交约束，但是进行严格正交是否就是最好的呢？

思路

• 提出一种权值矩阵分解的参数化策略，通过参数约束矩阵范数和允许其偏离正交，探究是否严格正交造成的影响。

方法

梯度爆炸和梯度消失与参数矩阵 $W$ 的最大增益和最小增益有关，而 $W$ 的最大增益为其谱范数。