时间序列表示方法

这是我参与8月更文挑战的第9天，活动详情查看： 8月更文挑战

自然界中，除了2D、3D的图片、视频驶距以外，更多的是一些类似于序列的数据，比如语音、文字，这些数据都是有时间先后顺序的

现在就有这样一个问题，对于一个2D图片顺序，我们用一个像素点的RGB值来表示这个像素的色彩度。但是对于语音、文字该如何表示呢？

语音在某一个时间段会产生一段波形，这段波形中波峰值就可以表示此刻声音的强度。对于一段文字中的字符也可以表示。但是在PyTorch中是没有string类型的，我们必须要把string类型表示为另外一种数值类型。如何进行时间序列的表示（Representation），如何进行时间序列的**信息提取（Information Extraction ）**就成了时间序列研究的关键问题

Sequence Representation

• $[\text{seq\_len}, \text{feature\_len}]$

假设一句话有5个单词，那么$\text{seq\_len}=5$，而$\text{feature\_len}$取决于你的应用场景，比方说每个单词用一个1维向量来表示，那么$\text{feature\_len}=1$，如果每个单词用一个100维向量来表示，那么$\text{feature\_len}=100$

例如下图的历史房价图，所采用的表示方式就是[100,1]

How to represent a word

通常我们会使用one-hot Encoding的方式对文字进行编码，看下面的一个例子

假设有下面的两句话：

• have a good day
• have a great day

这两句话共有5个词汇，于是可以用$V$表示，其中$V=\{\text{have}, \text{a}, \text{good}, \text{great}, \text{day}\}$。因为有5个词汇，所以每个词汇都用一个5维的向量进行表示，如下所示：

• have = [1, 0, 0, 0, 0]
• a = [0, 1, 0, 0, 0]
• good = [0, 0, 1, 0, 0]
• great = [0, 0, 0, 1, 0]
• day = [0, 0, 0, 0, 1]

但这么做有以下的缺点：

1. 每个word的vector都是独立的，所以使用one-hot Encoding没有体现单词语单词之间的关系
2. 如果词汇量很多，则vector的维度会很大，同时造成数据稀疏问题

Word Embedding

上面one-hot Encoding存在很多问题，那么应该如何修改呢？我们可以用另一种方式去定义每一个单词——word embedding。下面这句话解释word embedding很合适

Word embeddings embed meaning of text in a vector space.（把文本的意思嵌入到向量空间中）

有一些词的词性是相近的，比如“love”和“like”，对于这种词性相近的词，我们需要他们的向量表示也能相近，如何度量和定义向量之间的相似程度呢？非常简单，就是使用两个向量的夹角，夹角越小，越相近。举个例子，下面有4段话

1. The cat likes playing wool.
2. The kitty likes playing wool.
3. The dog likes playing ball
4. The boy does not like playing ball or wool.

这里面有4个词，分别是cat,kitty,dog和boy。下面我们使用一个二维的词向量$(a,b)$来表示每一个词，其中a和b分别代表着这个词的一种属性，比如a代表是否喜欢玩球，b代表是否喜欢玩毛线，数值越大表示越喜欢，那么我们就能用数值来定义每一个单词

对于cat，我们可以定义他的word embedding为(-1, 4)，因为它不喜欢玩球，喜欢玩毛线；kitty为(-2, 5)；dog为(3, -2)；boy为(-2,-3)。把这四个向量在坐标系中表示出来

从上图就能明显看出kitty和cat的夹角比较小，所以它们比较相似，dog和boy之间的夹角很大，所以它们不相似

下面说一下具体公式。对于向量$\boldsymbol{x}, \boldsymbol{y} \in \mathbb{R}^d$，它们的余弦相似度是它们之间夹角的余弦值