在很多應用場景中,馬爾可夫決策過程的狀態轉移概率 \(p(s^ {\prime}|s,a)\) 和獎勵函數 \(r\left( {s,a,s^{\prime}} \right)\) 都是未知的。這種情況一般需要智能體與環境交互,然後收集一些樣本,然後再根據這些樣本來求解最優策略,這種基於採樣的學習方法稱為模型無關的強化學習 \([1]\). 1 蒙特卡羅預