引入LSTM 儘管RNN被設計成可以利用歷史的信息來輔助當前的決策,但是由於在上節提到的梯度消失或者梯度爆炸問題,RNN主要還是學習短期的依賴關係。所以RNN新的技術挑戰就是-長期依賴。 長短時記憶網絡(Long Short Term Memory Network, LSTM),是一種改進之後的循環神經網絡,可以解決RNN無法處理長距離的依賴