我們在理解RNN或者LSTM的時候，對它們的輸入和輸出的維度都很迷惑，下面是我結合代碼和網(wǎng)上的一些資料進行理解
首先，正常的全連接層網(wǎng)絡拓撲是這樣的：

有輸入層、隱層和輸出層，隱層中有神經(jīng)元，無論是CNN還是RNN都可以這樣概括，圖中每個參數(shù)都跟全部的神經(jīng)元有鏈接。關于RNN的理解可以看我上一篇的文章
接下來看下LSTM的拓撲圖：

LSTM的精華就來了，就是如下公式：

在拓撲圖中，我們看到的是不同時刻的X輸入到LSTM，還可以看到中間的 cell 里面有四個黃色小框，你如果理解了那個代表的含義一切就明白了，其中每一個小黃框代表一個前饋網(wǎng)絡層，對，就是經(jīng)典的神經(jīng)網(wǎng)絡的結構，num_units就是這個層的隱藏神經(jīng)元個數(shù)，就這么簡單。其中1、2、4的激活函數(shù)是 sigmoid，第三個的激活函數(shù)是 tanh。
我們只需要記住：
1）cell的狀態(tài)是一個向量，是一個多值，而我們訓練的網(wǎng)絡的目的就是為了得到這個值
2）是通過concat結合起來的，也就是拼接，比如，如果x為28向量，h為128位，結合后就是156位向量
3）cell是共享權重，雖然上圖中我們看到的是三個重復的結構圖，但實際上是每個結構圖是不同時序的輸入情況，不同時序的x不斷輸入該結構中不斷更新cell的值。
4）LSTM的參數(shù)數(shù)量就是把和的元素加起來，假設num_units是128，輸入x是28位，h的向量維度也是128，所以LSTM的神經(jīng)元個數(shù)為：
( 128 + 25 ) x ( 128 x 4 ) + 4 x 128

源碼如下（參考這篇博客）

在知乎上，找到一個例子非常形象，
RecurrentNNs的結構圖（RNN與LSTM等同）我認為應該這樣畫，在理解上才會更清晰些，對比MLP，也一目了然。(自己畫的為了簡約，只畫了4個time-steps ）……

看圖。每個時序 的輸入 我是一次time_step一張input tensor，隱狀態(tài) 也就代表了一張MLP的hidden layer的一個cell。輸出 理解無異。注意，紅色的箭頭指向indicates the tensor’s flow at time-sequential order。再結合一個操作實例說明。如果我有一條長文本，我給句子事先分割好句子，并且進行tokenize, dictionarize,接著再由look up table 查找到embedding，將token由embedding表示，再對應到上圖的輸入。流程如下：

step1, raw text:
接觸LSTM模型不久，簡單看了一些相關的論文，還沒有動手實現(xiàn)過。然而至今仍然想不通LSTM神經(jīng)網(wǎng)絡究竟是怎么工作的。……

step2, tokenize (中文得分詞): sentence1: 接觸 LSTM 模型 不久 ，簡單 看了 一些 相關的 論文 ， 還 沒有 動手 實現(xiàn)過 。 sentence2: 然而 至今 仍然 想不通 LSTM 神經(jīng)網(wǎng)絡 究竟是 怎么 工作的。 ……

step3, dictionarize:
sentence1: 1 34 21 98 10 23 9 23
sentence2: 17 12 21 12 8 10 13 79 31 44 9 23
……

step4, padding every sentence to fixed length: sentence1: 1 34 21 98 10 23 9 23 0 0 0 0 0 sentence2: 17 12 21 12 8 10 13 79 31 44 9 23 0 ……

step5, mapping token to an embeddings:
sentence1:
,每一列代表一個詞向量，詞向量維度自行確定；矩陣列數(shù)固定為time_step length。
sentence2:
……

step6, feed into RNNs as input: 假設 一個RNN的time_step 確定為 ,則padded sentence length(step5中矩陣列數(shù))固定為 。一次RNNs的run只處理一條sentence。每個sentence的每個token的embedding對應了每個時序 的輸入 。一次RNNs的run，連續(xù)地將整個sentence處理完。

step7, get output:
看圖，每個time_step都是可以輸出當前時序 t 的隱狀態(tài) h_{i}^{t} ；但整體RNN的輸出 o_{i}^{t} 是在最后一個time_step t=l 時獲取，才是完整的最終結果。

step8, further processing with the output:我們可以將output根據(jù)分類任務或回歸擬合任務的不同，分別進一步處理。比如，傳給cross_entropy&softmax進行分類……或者獲取每個time_step對應的隱狀態(tài) ，做seq2seq 網(wǎng)絡……或者搞創(chuàng)新……