@互信息 / 博客 RSS 訂閱

Dec 05 2025

是大魔術師 - diceloss與交叉熵的權重

1.信息量與信息熵 香農在他著名的論文”通信的數學原理“（A Mathematic Theory of Communication）中提出了”信息熵“的概念，解決了信息的度量問題，並且量化出信息的作用。 一條信息的信息量與其不確定性有着直接的關係。比如説，我們要搞清楚一件非常非常不確定的事，或是我們一無所知的事情，就需要了解大量的信息。相反，

互信息 , 損失函數 , 人工智能 , 深度學習 , diceloss與交叉熵的權重 , 概率分佈

收藏 評論

Nov 22 2025

虎斑嘟嘟 - 自監督視覺預訓練：掩碼圖像建模的互信息最大化解釋

自監督視覺預訓練：掩碼圖像建模的互信息最大化解釋 在自監督學習的革命浪潮中，掩碼圖像建模（Masked Image Modeling, MIM）已然成為計算機視覺領域最具影響力的預訓練範式之一。從自然語言處理中的BERT獲得靈感，MIM通過讓模型學習重建被隨機掩碼的圖像塊，在各種視覺任務上取得了令人矚目的表現。然而，一個根本性問題始終縈繞在研究界：為什麼簡單的掩碼重建任務能

建模 , yyds乾貨盤點 , 互信息 , 後端開發 , JAVA , ios

收藏 評論

Nov 15 2025

程序員小2 - 終於把機器學習中的特徵選擇搞懂了！！

主要目的 提高模型性能：移除不相關或冗餘的特徵可以減少“維度災難”效應，避免模型過度擬合訓練數據，從而在測試集上獲得更好的泛化能力。 降低模型複雜度：特徵越少，模型結構越簡單，訓練和預測速度越快。 增強模型可解釋性：使用更少、更核心的特徵，使得模型的決策過程更容易被理解和解釋。 常用的特徵選擇方法 常用的特徵選擇方法包括過濾法、

互信息 , Lasso , 特徵選擇 , 代碼人生

收藏 評論

Dec 19 2025

技術筆耕者 - 基於機器學習的信道傳播模型

交互信息量 信源的信息熵解決了定量估算信源每發出一個符號提供的平均信息量這個信源的核心問題，對於由信源、信道和信宿組成的通信系統來説，最根本的問題，還在於如何定量估算信宿收到消息後，從消息中獲取多少信息的問題，也就是信息傳輸問題。 信道的數學模型 考慮最簡單的信道，單符號離散信道，輸入端允許輸出\(r\)中不同的符號，輸出端相應輸出\(s\)中不同的符號，如下圖

機器學習 , 反向信道 , 互信息 , 基於機器學習的信道傳播模型 , 人工智能 , 通信系統

收藏 評論