GRU网络的参数设置

1、RNN回顾 先简单回顾一下RNN隐层神经元计算公式为：

2、其中U、W是网络模型的参数，f(.)表示激活函墙绅褡孛数。RNN隐层神经元的计算由t时刻输入xt，t-1时厨焖钗堑刻隐层神经元激活值st-1作为输入。总之说白了RNN的核心计算公式就只有上面这么简简单单的公式，所以说会者不难，难者不会，对于已经懂得RNN的人来说，RNN是一个非常简单的网络模型。

3、LSTM前向传导 相比于RNN来说，LSTM隐层神经元的计算公式稍微复杂一点，LSTM隐藏层前向传导由下面六个计算公式组成，而且其中前4个公式跟上面RNN公式都非常相似：

4、输入变量：x(t)表示t时刻网络的输入数据，S(t-1)表示t-1时刻隐藏层神经元的激活值、C是一个记忆单元

5、网络参数：U、W都是网络LSTM模型的参数,或者称之为权值矩阵

6、σ表示sigmoid激活函数