深度學習知識蒸餾原理詳解

標籤

貢獻1

02:11 AM · Nov 22 ,2025

@深度學習知識蒸餾原理詳解 / 博客 RSS 訂閱

Nov 21 2025

目錄背景模型結構模型效果實現代碼背景模型結構訓練過程實現代碼前言本文主要介紹知識蒸餾原理，並以BERT為例，介紹兩篇BERT蒸餾論文及代碼，第一篇論文是在下游任務中使用BiLSTM對BERT蒸餾，第二篇是對Transformer蒸餾，即TinyBert。