一、概述 引用GAE論文的觀點,策略梯度法存在的兩個方面問題: 樣本利用率低,由於樣本利用率低需要大量採樣; 算法訓練不穩定,需要讓算法在變化的數據分佈中穩定提升; 目前比較常用的四種置信域方法TRPO、ACER、ACKTR、