1. NIST AI風險管理框架

1.1. 治理

• 1.1.1. 涉及AI風險的總體管理，目的是作為CRMP的一部分

• 1.1.2. 包括創建問責制、發展負責AI使用的內部組織，以及確保AI系統及其使用與企業既定的價值觀相一致

1.2. 映射

• 1.2.1. 是識別和評估與開發、部署和使用AI系統相關的風險

• 1.2.2. 包括識別所有與AI相關的系統、使用的數據和算法，以及系統被成功攻擊後可能導致的潛在後果

1.3. 度量

• 1.3.1. 衡量AI風險管理控制措施的有效性，方法包括監控系統的合規性，執行滲透測試以及審查事件報告

1.4. 管理

• 1.4.1. 該功能確保AI風險管理控制措施有效並且被正確實施

• 1.4.2. 涉及活動包括審查和更新AI風險管理計劃和戰略，以及開展用户培訓

2. 模型風險管理（MRM）​

2.1. 在金融服務領域的應用極為廣泛，涉及識別、評估和緩釋使用模型所帶來的風險，特別是使用不準確或設計不當的模型而影響決策的風險

2.2. 金融服務行業高度重視風險管理

• 2.2.1. 銀行每天都在評估借款人的信用

• 2.2.2. 保險公司則評估人們的壽命

• 2.2.3. 交易員則需預測股票和商品市場的走勢

2.3. 建立模型風險管理治理框架

• 2.3.1. 強有力的治理對模型風險管理的有效性至關重要

• 2.3.2. 涉及制訂戰略、流程、資源分配和文檔記錄

2.4. 採用基於風險的模型風險管理方法

• 2.4.1. 應對模型風險管理相關的特定風險進行評估，並採取相應的措施來緩釋風險

2.5. 確保用於開發和校準模型的數據可靠

• 2.5.1. AI或許比所有其他技術更依賴於其輸入數據的質量來保證輸出的準確性

2.6. 嚴格地開發和驗證模型

• 2.6.1. 企業的AI項目需要穩健的統計方法來構建風險模型，並且這些模型需要進行持續的驗證測試

2.7. 謹慎使用模型

• 2.7.1. 意味着企業的風險模型應使用與其既定的風險偏好和風險容忍度相一致的方式，而在AI領域，風險偏好和容忍度可能會經常面臨變化

2.8. 持續監測模型的性能

• 2.8.1. 必須有流程來識別和解決AI風險模型使用中存在的問題

• 2.8.2. 對AI模型來説特別緊迫，因為AI本身，及其底層技術和數據源，都在不斷變化

2.9. 構建健全的模型變更管理流程

• 2.9.1. AI的工作模式和應用方式在不斷變化，這意味着幾乎肯定要對相關的風險模型進行調整

• 2.9.2. 企業必須建立一個健全的流程來管理這些變更

2.10. 制訂模型應急預案

• 2.10.1. 在任何領域，尤其是像AI這樣快速變化的領域，企業必須認識到它們的風險模型可能會變得不足或完全失效

2.11. 高效溝通模型風險

• 2.11.1. 所有關注AI風險的人都應當以適當且持續的方式瞭解企業模型的風險

2.12. 積累管理模型風險所需的適當的資源和專業知識

• 2.12.1. 必須具備適當的內部、外部或兩者兼備的資源和專業知識，以開發、驗證和高效地使用AI風險模型

2.13. 定期審查模型風險管理框架

• 2.13.1. 尤其重要的是，考慮到AI及其風險變化速度極快，需要對模型風險管理框架定期審查，以確保它們的有效性

3. 關鍵AI實施概念與框架

3.1. 成為AI領域的專家並不是必選項，但特別關聯到AI及其風險的一些概念是需要掌握的

3.2. 公平性與偏見風險

• 3.2.1. 平等意味着企業應該平等對待所有客户、員工和其他利益相關者

• 3.2.2. 透明度主張企業應該向所有利益相關者提供關於實踐和戰略清晰且準確的信息

• 3.2.3. 責任制則表明企業願意為自身造成的任何損害承擔責任

3.3. 個體公平性

• 3.3.1. 相似的個體應該被AI系統以同樣的方式對待，除非有充分的倫理理由來支持，系統不能基於種族、性別等因素做出決策

3.4. 差異影響

• 3.4.1. 該原則規定，AI系統不應對任何特定羣體產生負面影響

3.5. 可靠性

• 3.5.1. 可靠性被視為決策過程具有良好基礎、合理和可靠的特性，需考慮可行性、可操作性、可持續性和倫理等因素

• 3.5.2. 準確性（數據完整性和質量）

• 3.5.2.1. 需要認真並持續關注用於訓練AI模型的數據質量、構建模型時所選擇的算法和技術，以及模型的實現和使用方式

• 3.5.3. 一致性

• 3.5.3.1. AI系統應該提供一致的結果，同樣的輸入數據應產生相同的結果

• 3.5.3.2. 要提高AI系統的可靠性可以通過特定的技術、技巧和流程完成

>  3.5.3.2.1. 數據清洗（從訓練數據集中移除“噪聲”數據或異常值）​

>  3.5.3.2.2. 算法調整（對AI算法進行持續改進、使AI算法對噪聲和異常值更敏感）​

>  3.5.3.2.3. 分析處理（涉及調整AI系統的實際輸出，使之更為準確和一致​）

3.6. 魯棒性

• 3.6.1. 是AI模型在遇到預期之外或具有對抗性的數據輸入時，保持其性能和準確性的能力

• 3.6.2. 模型應該能夠處理數據中的異常值和噪聲，並能適應環境變化，而不會對其性能產生顯著影響

• 3.6.3. 輸入驗證

• 3.6.3.1. AI系統在使用輸入數據前應進行驗證，檢查是否存在錯誤或惡意內容

• 3.6.4. 錯誤處理

• 3.6.4.1. 錯誤應當得到優雅的處理

• 3.6.4.2. AI系統在遇到錯誤時不應該崩潰，更不應該產生錯誤或不同的結果

• 3.6.5. 容錯性

• 3.6.5.1. 容錯性是指系統在不丟失數據或功能正常使用的情況下從故障中恢復

• 3.6.5.2. ChatGPT公開發布後幾個月，其輸出準確性就出現了下降

• 3.6.6. 安全性

• 3.6.6.1. AI系統能夠抵禦攻擊

• 3.6.6.2. 意味着系統應該受到保護，防止未經授權的訪問、修改或破壞

• 3.6.7. 數據增強

• 3.6.7.1. 通過故意添加噪聲或異常值來人為增加訓練數據集的規模，這樣做可以使系統在實際環境中更為穩健

• 3.6.8. 集成學習

• 3.6.8.1. 這項技術結合了多個AI系統的預測結果，以產生更加穩健的預測，從而使系統更能抵抗單個系統的錯誤

• 3.6.9. 對抗訓練

• 3.6.9.1. 在對抗性樣本（如經過修改以導致系統出錯的輸入）上訓練AI，可以使AI系統更能抵禦惡意攻擊者的攻擊

3.7. 可解釋性

• 3.7.1. 是指AI系統做出特定決策或採取行動能被人理解的程度

• 3.7.2. 目的

• 3.7.2.1. AI系統的可解釋性應始終與其預期目的保持一致

• 3.7.3. 準確性

• 3.7.3.1. 解釋應該是準確的，反映出AI系統做出特定決策的真實原因

• 3.7.3.2. 意味着解釋應該基於AI系統用於訓練和預測的實際數據

• 3.7.4. 透明度

• 3.7.4.1. 是指能夠查看AI系統使用的數據和算法的能力，這是可解釋性的一個絕對關鍵的要素

• 3.7.5. 相關性

• 3.7.5.1. 解釋應該聚焦於在決策過程中最為關鍵的因素

• 3.7.6. 充分性

• 3.7.6.1. 人們應該掌握足夠的信息來理解AI系統做出特定決策的原因

• 3.7.7. 情境化

• 3.7.7.1. 解釋應當考慮AI系統做出決策的具體情境，並根據受眾和請求解釋的原因進行定製

• 3.7.8. 可審計性

• 3.7.8.1. 定期審計是構成AI系統信任與信心的支柱，通過系統地檢查算法、數據輸入和輸出，確保遵守道德規範、監管要求、組織政策和道德標準

4. 數字前沿永不止步

4.1. AI幾乎肯定會在未來數年成為人們最關注的風險問題領域

4.2. 量子計算

• 4.2.1. 量子計算作為一種革命性的技術無疑最有潛力，或許能夠像現在的AI一樣甚至超過AI，大幅度地改變計算機、網絡安全和風險管理

• 4.2.2. 量子計算是一個新興的計算領域，它利用量子力學的原理和被稱為量子比特的微小、不穩定的數據單元來執行復雜計算任務，並大幅提高計算速度

• 4.2.3. 量子計算的變革潛力無疑將在眾多不同的領域帶來深刻且難以預測的進步

• 4.2.4. 金融機構能夠藉助量子計算開發出新的市場預測模型，並優化投資組合

• 4.2.5. 製藥公司也能利用量子計算快速而準確地模擬分子行為，加速新藥和治療方法的研發

• 4.2.6. 製造商能夠利用量子計算在材料科學上的應用，設計出更堅固、更輕盈、更節能的產品

• 4.2.7. 運輸和物流提供商（包括航空公司、汽車租賃公司以及航運企業）​，都可以通過量子計算進行路線優化和車輛管理，以減少能量消耗和碳排放

• 4.2.8. 量子計算可以更快、更高效、更精確地訓練AI模型和大語言模型，這將極大地提升AI決策的準確性和實用性

4.3. 量子計算不僅僅帶來了機遇，它也不可避免地引入了一些獨特的挑戰

• 4.3.1. 加密風險

• 4.3.1.1. 量子計算機理論上可以破解目前廣泛接受的加密算法，比如那些用於保護個人敏感信息和在線交易的算法

• 4.3.2. 操作複雜性

• 4.3.2.1. 量子計算系統的複雜性需要專業的知識

• 4.3.2.2. 如果沒有合適的知識和處理手段，這些系統的複雜性可能導致運行風險

• 4.3.3. 監管合規

• 4.3.3.1. 隨着量子技術的不斷髮展，它可能會重塑監管框架

• 4.3.3.2. 遵守這些不斷變化的法律和標準需要對可能出現的風險做好管理，不斷調整和對齊計劃以確保合規

• 4.3.4. 戰略一致性

• 4.3.4.1. 將量子計算整合到業務流程中，必須與組織的整體戰略方向和風險偏好保持同步，任何的偏差都可能導致財務、聲譽或戰略風險