Latent Space理解

隐空间

隐空间可以理解成对数据的压缩后的表示，这种压缩只保留较为关键的特征点而忽略一些不重要的信息。以编码器-解码器网络为例，首先使用全卷积神经网(FCN)络学习图片特征，我们将特征提取中对数据的降维看作一种 有损压缩。但是由于解码器需要 重建数据，所以模型必须学习如何 储存所有相关信息 并且 忽略噪音。所以压缩（降维）的好处在于可以去掉多余的信息从而关注于最关键的特征。

表达学习

在Representative Learning中，Latent Space能够将更加复杂形式的原始数据转化为更简单的数据表示，而更有益于去做数据处理。在隐空间中，相似样本之间特征差别作为多余信息被移除了，只有其核心特征被保留。所以当将数据点映射到隐空间后，特征相似的点距离更近。下图将三维数据映射到了二维隐空间，隐空间内相似样本更加靠近。

编码器-解码器结构

自动编码器一种基于 数据在隐空间的距离 训练的网络模型，其目标是输出和输入数据类似的内容，类似于一个恒等函数。下图红色部分即为隐空间。模型首先将数据相关特征储存在压缩表示中，然后准确地重建表示；即先从数据空间映射到隐空间，再从隐空间映射到数据空间。
在nlp的诸多应用中，我们常用encoder的输出（也就是隐空间）作为我们对输入向量的表征，这也正是因为隐空间具有保留关键特征的特性。

插值

在全卷积网络中，我们需要通过反卷积提升数据维度，在编码器-解码器结构中，我们需要通过解码器提升数据维度，这两者都可以理解成插值。插值要有好的效果，隐空间的特征质量无疑很关键。