Transformer實戰(22)——使用FLAIR進行語義相似性評估 0. 前言 1. 使用 FLAIR 進行語義相似性評估 2. 平均池化詞嵌入 3. 基於循環神經網絡的文檔嵌入 4. 基於 Transformer 的 BERT 嵌入 4. Sentence-BERT 嵌入 系列鏈接 0. 前言
引入LSTM 儘管RNN被設計成可以利用歷史的信息來輔助當前的決策,但是由於在上節提到的梯度消失或者梯度爆炸問題,RNN主要還是學習短期的依賴關係。所以RNN新的技術挑戰就是-長期依賴。 長短時記憶網絡(Long Short Term Memory Network, LSTM),是一種改進之後的循環神經網絡,可以解決RNN無法處理長距離的依賴