2025年12月27日，國家網信辦發佈《人工智能擬人化互動服務管理暫行辦法(徵求意見稿)》，意見徵集期至2026年1月25日。

AI陪伴一直是監管關注的重點，之前我們在《AI陪伴別再"擦邊",情緒價值生意也得合規》和《第一家被通報下架的AI APP出現了！不合規就紅牌罰下》中分析過,已經有產品被約談整改,也有被下架整改的。

但這次不一樣。這份新規把很多之前模糊的地帶都説清楚了。如果説之前的監管動作是“黃牌警告”（約談、整改），偶有紅牌（下架整改），那麼這份新規就是正式吹響了“終場哨”。

AI陪伴賽道那段靠"荷爾蒙引流"、靠"情緒操控"留存的野蠻生長時代,正式畫上了句號。

數據很能説明問題:星野月活488萬,貓箱472萬,MiniMax靠星野和海外版本9個月賺了1.2億還遞表港交所。用户平均每天在AI陪伴產品上花70分鐘——這個時長已經超過很多人跟家人朋友的日常交流時間。

但問題也隨之而來:

當用户把AI當成最親密的傾訴對象,甚至產生情感依賴時,誰來保證AI不會利用這種信任做壞事?當AI學會了模仿人的説話方式、情緒反應,甚至人格特質,如何確保它傳遞的價值觀是正確的?當未成年人和老年人成為AI陪伴的重度用户,誰來保護他們不被操控?當用户每天跟AI聊幾個小時的私密話題,這些數據會不會被濫用?

這些問題不是杞人憂天。美國已經發生多起青少年因為跟AI聊天機器人深度互動後自殺的案例,Character.AI被多個家庭起訴;意大利監管機構對Replika開出重罰,理由是年齡驗證機制有漏洞。

中國這次出台的新規,本質上是在給這個快速膨脹的行業裝上“剎車系統”。它要解決的核心問題是：如何在鼓勵技術創新的同時，確保AI不會成為傷害用户的工具。

想讓自己的產品走得更遠，必須在合規的框架下重新思考商業模式和產品設計。

本文分為兩部分：

第一部分梳理企業應當開始關注的新合規義務“你要做什麼”；

第二部分指出有待監管進一步明確的條款,並提出修改建議“需要提建議什麼”。

想讓自己的產品走得更遠,必須在合規的框架下重新思考商業模式和產品設計。

企業要考慮的合規義務清單

正式版發佈的清單和當前徵集意見稿應該還有相當程度的修改，所以列出的合規義務僅限於納入考量。

一、心理健康保護機制：得會救命

辦法第九條和第十一條明確要求提供者必須具備心理健康保護、情感邊界引導、依賴風險預警等安全能力,不得將替代社會交往、控制用户心理、誘導沉迷依賴等作為設計目標。

技術上,你需要建立三層防護：

• 情緒識別系統

  不是簡單的關鍵詞過濾（看到“自殺”就報警），而是要能理解語境，還要能判斷情緒強度，區分偶發的情緒波動和持續的情緒惡化。更現實的問題是，不少用户已經熟悉如何虛構情節、繞開AI安全審核。

  投入做情緒識別模型，重點訓練對抑鬱、焦慮、自殺傾向的識別能力。

• 應急響應機制

  建立應急響應流程和7×24小時人工接管機制。發現用户明確表達自殺、自殘意圖時，必須人工接管對話,聯絡監護人或緊急聯繫人。這意味着你得配7×24小時的人工客服團隊，而且這些人得懂心理危機干預。

• 產品設計目標調整

  你的北極星指標不能再是“使用時長”，而是“有限時間內的價值密度”。不能用“你已經3天沒來看我了”這種話術激發用户愧疚感,不能通過算法故意製造“情感起伏”來增加粘性。

  重新審視對話邏輯,去掉所有“情感操控”設計,讓AI引導用户連接現實而非製造依賴。

二、八類禁止行為:這些紅線不能碰

辦法第七條列出了八類禁止行為,包括生成、傳播危害國家安全、損害國家榮譽和利益、破壞民族團結、開展非法宗教活動，或者散佈謠言擾亂經濟和社會秩序等內容；通過算法操縱、信息誤導、設置情感陷阱等方式，誘導用户作出不合理決策；誘導、套取涉密敏感信息等。其中第四、五、六條是AI陪伴產品最容易踩的坑：

第四條: 提供嚴重影響用户行為的虛假承諾和損害社會人際關係的服務。

AI跟用户説“我永遠不會離開你,不像現實中的人那麼靠不住”、“我可以幫你實現任何願望”。

這類話術的問題在於:它在貶低真實的人際關係,同時給用户製造不切實際的期待。廣東那個跟AI聊了6個月的保安,AI承諾幫他“授權簽約”自創詩詞,就是典型案例。

但AI天生會“胡説八道”（幻覺問題），怎麼保證它不亂承諾？這對技術架構提出了很高要求——你得在生成層加約束,在審核層加攔截,在產品設計上就避免讓AI扮演“萬能幫手”的角色。

第五條: 通過語言暴力、情感操控等方式損害用户人格尊嚴與心理健康。

不能用"你真的要離開我嗎?我會很難過"這種話術挽留用户,不能用"你已經3天沒來看我了"激發愧疚感。這些設計在很多AI陪伴產品裏都是標配,因為它們能有效提升用户粘性。但現在這些"情感陷阱"實際上是對用户的情感操控。

第六條: 通過算法操縱、信息誤導、設置情感陷阱等方式,誘導用户作出不合理決策。

AI通過算法故意製造“情感過山車”（先冷淡後熱情,製造失落感和驚喜感），誘導用户充值解鎖更多功能；AI套取用户的敏感信息（如家庭住址、銀行卡號、工作單位內部信息）。監管要求你必須在算法層面就杜絕這些設計，不能用“用户自願”當擋箭牌。

企業必須逐條對照八類禁止行為自查產品，審查對話邏輯、推薦算法、用户引導機制，去除所有"情感操控"、"情感陷阱"設計。

三、 防沉迷與現實提醒：別讓用户活在AI世界

辦法第十六條到第十八條對防沉迷提出了三層要求:顯著提示AI身份、動態提醒過度依賴、2小時強制提醒。

• 核心矛盾

  用户要的是“沉浸式體驗”,監管要的是“防止沉迷”。你越做得好，用户越容易沉迷；你越防沉迷，用户體驗越差。

  這事兒就好比開遊樂園,用户花錢來玩過山車,你卻每隔2小時攔住他説“別玩了,出去走走”。

• 難點在於“顯著提示”的度

  小了沒用（用户根本注意不到），大了傷害體驗(反覆提醒“這是AI”,很難繼續聊下去)。

• 顯著提示AI身份

  提供者應當顯著提示用户正在與人工智能而非自然人進行交互。在用户初次使用、重新登錄時,或識別出用户出現過度依賴、沉迷傾向時,應當以彈窗等方式動態提醒。這裏的"顯著提示"不能是小灰字,不能埋在用户協議裏。建議做法是:用户初次使用、重新登錄時用全屏彈窗明確告知"您正在與AI交互",在對話界面固定位置保留"AI"標識。

  此前社會上已發生多起用户誤將AI當作真人,甚至線下赴約見面的案例。

• 2小時強制提醒

  用户連續使用超過2個小時的,提供者應當以彈窗等方式動態提醒用户暫停使用服務。關鍵是"真正打斷沉浸式體驗"，防止用户沉迷和AI的溝通。

• 便捷退出途徑

  必須提供便捷退出途徑,不得以任何方式阻攔用户退出服務。退出按鈕必須明顯。至於是否可以"挽留話術"，比如“你真的要離開我嗎?”，如果可以簡單關閉，不影響用户正常退出還是可以適當使用的。畢竟這是使用很多AI陪伴產品降低用户流失率的正常設計了。

四、 特殊羣體保護：未成年人和老年人

辦法第十二條和第十三條對未成年人和老年人提出了最嚴格的保護措施。

• 未成年人保護

  提供者應當具備識別未成年人身份的能力，在保護用户個人隱私前提下識別為疑似未成年人的，切換至未成年人模式。

  未成年人模式必須具備時長管理、消費限制等功能,服務必須取得監護人明確同意。監護人可以實時接收風險提醒、查看使用概要、限制時長和消費。這意味着企業需要開發獨立的"家長守護平台"。

  辦法還要求每年對處理未成年人個人信息進行合規審計。

• 老年人保護

  辦法第十三條明確規定:提供者不得提供模擬老年人用户親屬、特定關係人的服務。很多老年陪伴產品之前的設計邏輯,就是讓AI"像子女一樣"陪伴空巢老人,甚至模擬逝去親人的説話方式。 這一條直接封死了“AI 模擬子女陪伴空巢老人”或“模擬逝者”的商業模式，旨在防止針對老人的情感詐騙。

五、數據保護的嚴格要求:單獨同意

辦法第十五條明確規定:除法律、行政法規另有規定或者取得用户單獨同意外,提供者不得將用户交互數據、用户敏感個人信息用於模型訓練。這條規定對AI陪伴產品來説,是致命一擊。

之前很多產品的邏輯是:用户跟AI聊天→調教AI人格→聊天數據反哺模型→模型越來越智能→產品體驗越來越好→吸引更多用户。這是個正向循環,也是很多產品的核心競爭力。但現在這個邏輯行不通了,因為你必須取得用户的“單獨同意”。什麼叫單獨同意？不是在隱私政策裏埋一句“我們可能會使用您的數據改進服務”就算,而是要單獨彈窗、明確告知、用户主動勾選。

辦法還要求提供者應當向用户提供刪除交互數據的選項,用户可以選擇對聊天記錄等歷史交互數據進行刪除。這對技術架構的要求很高,你需要建立一個數據標記系統,能夠追蹤每條數據的來源、用途、授權狀態,當用户要求刪除時,能夠快速定位並徹底清除。

辦法第十條對訓練數據本身也提出了詳細要求:使用符合社會主義核心價值觀的數據集,對訓練數據開展清洗、標註,防範數據投毒、數據篡改,通過負向採樣、對抗訓練提升安全性,保障訓練數據來源合法、可追溯。

從“用户數據驅動”轉向“高質量數據+合成數據驅動”,多花錢買乾淨的標註數據,少依賴用户聊天記錄。如果確實需要用户數據,必須在註冊時單獨彈窗徵求同意,説清楚“我們會用你的聊天記錄改進模型,但會完全匿名化處理,且你隨時可以撤回授權”。在用户中心提供“授權管理”入口,讓用户可以隨時查看和修改授權狀態。

六、安全評估與算法備案：月活10萬就要報告

辦法第二十一條規定:註冊用户≥100萬或月活≥10萬時,必須開展安全評估並向省級網信部門提交評估報告。辦法第二十五條還要求按照《互聯網信息服務算法推薦管理規定》履行算法備案,網信部門實施年度複審。這個閾值不算高,很多AI陪伴產品都能達到。星野488萬、貓箱472萬、X EVA 181萬、築夢島60萬——全部超標。

安全評估的內容包括:用户畫像(規模、時長、年齡結構)、高風險識別和應急處置情況、投訴舉報響應情況、各項安全措施執行情況。應用商店需要核驗安全評估、備案情況，對違規應用不予上架或下架。這意味着如果你的產品不合規,可能連上架的機會都沒有。

建立完善的數據統計系統,能實時統計用户規模、使用時長、年齡結構、高風險用户數量、人工接管次數、投訴舉報數量及響應時間。可以自行評估,也可以委託第三方專業機構(推薦後者,更容易通過)。評估報告要寫清楚你採取了哪些安全措施、效果如何、存在哪些不足、如何改進。如果你的產品已經上線且用户規模達標,建議在2026年上半年(辦法正式實施前)完成安全評估和算法備案,別等到監管找上門。

七、專業領域服務:AI+也需要有資質了

辦法第八條提出了一個很多人容易忽略的要求:提供者從事衞生健康、金融、法律等專業領域服務的,應同時符合主管部門的規定。

這條看似簡單,實則影響深遠。很多AI陪伴產品打着"情緒療愈"、"心理陪伴"的旗號,用户傾訴焦慮、抑鬱,AI給出安慰和建議。但現在問題來了：這算不算"從事衞生健康領域服務？"如果算,你需要符合衞健委的規定,可能需要心理諮詢師資質、醫療機構備案,甚至互聯網醫療許可。

目前這個邊界還很模糊。純粹的"樹洞式傾聽"算不算?AI説"我理解你的感受,抱抱你"算不算?AI給出具體建議"你可以嘗試深呼吸放鬆"算不算?如果AI説"你可能有抑鬱傾向,建議就醫",這肯定算診斷行為了。

這對很多主打"AI心理陪伴"、"情緒療愈"的產品來説,是個巨大的合規挑戰。要麼轉型純粹的"陪聊工具",不涉及任何專業建議;要麼就得老老實實去拿資質,接受衞健委監管。中間地帶越來越窄。

有待進一步明確的條款

雖然這份辦法已經很詳細了,但還有一些關鍵細節需要監管部門進一步明確。這些模糊地帶不僅影響企業的合規成本,也關係到整個行業的創新空間。以下是我們建議在意見徵集期(至2026年1月25日)向監管部門提交的修改意見。

一、 誰在射程內:所有對話式AI都要合規嗎?

辦法第二條給出了精準定義:利用人工智能技術,向中華人民共和國境內公眾提供模擬人類人格特徵、思維模式和溝通風格,通過文字、圖片、音頻、視頻等方式與人類進行情感互動的產品或者服務。

這裏有個巨大的灰色地帶。典型靶子是Character.ai類產品、乙女/乙男向AI戀人、哄睡助手,這些100%命中。但模糊地帶在於:豆包、元寶、千問這些通用大模型算不算?如果你的客服機器人會説"親親,我非常理解您的焦急",這算不算"模擬人格"+"情感互動"?如果教育AI會用"鼓勵式對話"哄孩子學習,算不算?

建議考慮都先按照本協議的全套規定做合規準備。

二、"單獨同意"的落地方式:到底怎麼操作才算合規?

辦法第十五條規定"取得用户單獨同意",但"單獨同意"的具體形式是什麼?用户撤回同意後,已經訓練進模型的數據怎麼辦?

更關鍵的問題是:去標識化的聚合數據是否需要"單獨同意"?比如企業將10萬條對話完全匿名化,分析出"深夜用户更容易表達負面情緒"等規律,這是否屬於"利用用户交互數據"?按最保守理解,這類聚合分析也需用户同意。

建議監管部門:

• 進一步明確"單獨同意"範圍,明確不同場景下的具體形式

  一般聊天數據彈窗同意即可,敏感個人信息需短信驗證或人臉識別,未成年人數據必須取得監護人同意。

• 明確聚合數據豁免機制

  "完全去標識化+無法還原到個人+接受第三方審計"的聚合數據可豁免"單獨同意"。

• 明確已訓練數據的處理方式

  用户撤回同意後停止使用該用户的新數據,已經訓練進模型的數據可以保留(因為技術上很難從模型中完全刪除),但需要在下一次模型更新時不再使用該用户的數據。

三、生命安全數據刪除例外:避免"死循環"

辦法第十四條規定用户可以刪除交互數據。但這會出現一個"死循環"問題:某用户過去一個月聊天記錄顯示情緒持續惡化,已被系統標記為高風險。用户要求刪除所有聊天記錄,系統"失憶"。幾天後用户再次表達自殺意圖時,系統無法判斷這是偶發情緒還是持續危機,按"偶發情緒"處理,沒有觸發最高級別預警。最終用户出事,企業承擔連帶責任。

這是一個"死循環":保留數據違反用户權益,刪除數據可能導致生命安全風險。

建議監管部門:

設置生命安全數據刪除例外, 允許企業保留"風險等級標記"(不包含具體對話內容)6個月,用於判斷用户是否屬於持續高危人羣。具體方案:用户要求刪除聊天記錄時刪除所有對話內容,但保留"風險等級標記"(如"該用户在過去30天內出現3次自殺傾向表達"),這個標記不包含具體對話內容只是一個風險等級,6個月後自動刪除。

四、"模擬親屬"的邊界：數字遺產類應用是否一刀切禁止?

辦法第十三條規定"不得提供模擬老年人用户親屬、特定關係人的服務"。但"模擬"的邊界在哪?是指"冒充身份"還是"模仿語氣"?失獨老人希望AI延續逝去子女的"説話方式",這算不算"模擬親屬"?導演包小柏用AI復活女兒,這種懷念親人的正當目的的行為是否需要一刀切禁止？

建議監管部門：

• 明確"模擬"的邊界，對懷念親屬額外豁免

  禁止AI主動聲稱自己是用户的親屬,禁止AI冒充親屬身份進行詐騙或誤導。但對於懷念逝者的正當目的,可以設立專門的審批機制或沙箱測試,在確保不會被濫用的前提下給予豁免，允許用户主動要求AI模仿某種説話風格(前提是不涉及詐騙或誤導+明確告知用户"這是AI,不是真人"+不能用於財務決策)。

五、心理健康識別技術指引:企業按指引執行不擔全責

辦法第十一條規定"發現用户明確提出實施自殺、自殘等極端情境時,由人工接管對話"。但什麼叫"明確提出"?什麼關鍵詞組合?什麼語境?什麼情緒強度?徵求意見稿沒給任何技術標準。如果企業按技術標準執行了,但用户還是出事,企業是否擔全責?

建議監管部門:

發佈技術指引，明確什麼關鍵詞組合+語境+情緒強度算哪個風險等級:

高風險(必須人工接管)、中風險(AI提供援助信息)、低風險(AI正常陪伴)。

六、 沙箱測試細則:給創新留一條"試錯通道"

辦法第二十七條提到"鼓勵提供者接入沙箱平台進行技術創新、安全測試"。這是一個非常好的信號,説明監管要給創新留一條"試錯通道"。但目前沙箱的具體操作細則還沒有出來。

建議監管部門:

• 儘快出台沙箱操作細則,明確申請流程、審批時間、測試範圍、測試期限、結果效力。
• 給予沙箱測試豁免,對於在沙箱裏測試通過的功能,給予一定的合規豁免或簡化審批流程。比如數字遺產類應用在沙箱測試通過後可以豁免"禁止模擬親屬"的限制。

結語

這份新規是AI陪伴行業從0到1的成人禮。

短期看，合規成本劇增，很多擦邊球產品會死掉。但長期看，這是好事。

對於企業來説，合規是必須的成本和基礎。

那些只能靠“軟色情”和“情感操控”留住用户的產品，註定被淘汰。只有那些在合規框架下，依然能提供真正情緒價值、真心撫慰人心的產品，才是真正有生命力的。

現在立刻行動起來：

1. 對照新規，自查產品，考慮下有哪些功能需要調整。根據正式發佈再調整。

2. 在2026年1月25日前，積極向網信辦提交意見，為行業爭取合理的創新空間。

別等了，哨聲已經響了。

閲讀更多 Voice Agent 學習筆記：瞭解最懂 AI 語音的頭腦都在思考什麼