RNN Layer

4年前更新

2780

这是我参与8月更文挑战的第11天，活动详情查看： 8月更文挑战

一个RNN Layer如下图所示

假设x的shape是[10, 3, 100]，翻译一下就是，10个单词，每次训练3句话，每个单词用一个100维的tensor来表达

那么对于输入 $x_t$ 来说， $x_t$ 的shape就是[3 100]

接着再看上面的运算过程，其中hidden len就是memory的维度，假设是20。因此：

\begin{aligned} h_{t+1} &= x_t @ w_{xh} + h_t @ w_{hh}\\ &= [3, 100] @ [20, 100]^T + [3, 20] @ [20, 20]^T \\ &= [3, 20] \end{aligned}

© 版权声明

文章版权归作者所有，未经允许请勿转载。

THE END

喜欢就支持一下吧

相关推荐