Facebook AI Research（FAIR）開源了 Expire-Span，這是一種深度學習技術，可以學習輸入序列中哪些項目應該被記住，從而降低 AI 的內存和計算要求。FAIR 表明，納入 Expire-Span 的 Transformer 模型可以擴展到數萬個項目的序列，與以前的模型相比，性能有所提高。

該研究小組在即將舉行的國際機器學習會議（ICML）上發表的一篇論文中描述了該技術和幾個實驗。Expire-Span 允許順序人工智能模型 "忘記 "那些不再相關的事件。當納入自我關注模型，如 Transformer，Expire-Span 減少了所需的內存量，使模型能夠處理更長的序列，這是提高許多任務性能的關鍵，如自然語言處理（NLP）。使用 Expire-Span，該團隊訓練的模型可以處理高達 128k 的序列，比以前的模型多了一個數量級，與基線相比，準確性和效率都有所提高。研究科學家和論文合著者 Angela Fan 和 Sainbayar Sukhbaatar 在 FAIR 的博客上寫道。

Facebook 表示：作為我們研究更像人類的人工智能系統的下一步，我們正在研究如何將不同類型的記憶融入神經網絡。因此，從長遠來看，我們可以使人工智能更接近人類的記憶，具有比當前系統更快的學習能力。我們相信 Expire-Span 是一個重要的、令人興奮的進步，朝着這種未來的人工智能驅動的創新邁進。

為了評估 Expire-Span 的性能，該團隊選擇了三種基線 Transformer 模型--Transformer-XL、Compressive Transformer 和 Adaptive-Span--並比較了模型的準確性以及 GPU 內存和訓練速度。這些模型被用於幾個強化學習（RL）和 NLP 任務。Expire-Span 在大多數實驗中的表現優於基線；例如，在序列複製任務中，Expire-Span 擴展到 128k 的序列長度，達到 52.1%的準確率，而 Transform-XL 在 2k 的序列長度上只有 26.7%的準確率。

Expire-Span 項目 GitHub 地址：https://github.com/facebookre...