专业文章 当AI成为“陪伴者”:拟人化互动类AI的合规边界与实务建议

当AI成为“陪伴者”:拟人化互动类AI的合规边界与实务建议

朱垒 | 2026-07-15

在陪伴类App、AI虚拟恋人或具备情感交互能力的智能陪伴机器人爆火的今天,AI开始模拟人类特征、记忆用户偏好并与用户形成关系羁绊。这种情感陪伴式AI提升了技术温度的同时,也带来了极具挑战的问题,如关系畸形依赖、用户极端行为等心理健康问题。


为规范拟人化互动类AI服务,2026年4月10日,国家网信办联合多部门发布《人工智能拟人化互动服务管理暂行办法》(“《拟人化办法》”)[1],并自2026年7月15日起施行。这意味着企业提供拟人化互动类AI时,不仅要遵循《生成式人工智能服务管理暂行办法》、GB/T 45654-2025等现行AI安全合规要求,还需将产品设计、角色脚本、情感边界与防沉迷、危机干预机制、未成年人保护等议题纳入考虑范畴。


本文结合中国及域外典型的拟人化互动类AI规则与实践案例,探讨拟人化互动AI的合规边界,并结合具体场景给出实务建议。


一、什么是拟人化互动类AI?


根据《拟人化办法》第2条,拟人化互动类AI是指利用AI技术通过文字、图片、音频、视频等形式,模拟自然人人格特征、思维模式和沟通风格,面向用户提供持续性情感照护、陪伴、支持等互动服务。


那么,判断一个AI服务是否落入拟人化互动类范畴,不以“是否具备对话功能”为界定标准,而是从以下几个维度进行综合评估:


  1. 人格模拟:即AI或设定的角色具有稳定的人设、称谓、记忆、口吻和关系发展机制。如仅按照任务返回事实答案,无稳定的人格或关系线,则不落入规制范畴。
  2. 持续互动:即系统能够跨多轮会话维持关系,并具备主动召回用户的交互式服务。如基于用户的上一次对话内容主动发送信息进行召回。
  3. 情感陪伴:即AI主要提供陪伴、安慰、依恋、亲密关系等情绪支持。而单纯的客服、翻译、检索、办公助手等纯工具类服务并不属于规制类型。
  4. 商业转化:即以关系粘性、角色亲密度等为手段推动商业转化目的,如拉长用户使用时长、增加用户“氪金”等。


目前,市面上较为知名的拟人化互动类AI产品有:猫箱App、星野App、Ropet桌面伴侣、越伴(小伴)机器人、芙崽、Character.AI App、Pi App、LOVOT实体宠物伴侣等。可以看到,拟人化互动类AI的呈现形式不限,既可以App、小程序、网站为载体,亦可以单独的智能体功能、虚拟数字人为载体,还可以软硬一体的AIoT为载体。


上述界定标准与美国加州SB243号法(美国情感陪伴AI第一法)有关“陪伴型聊天机器人”核心界定特征基本一致。那么哪些不属于拟人化互动类AI呢?根据《拟人化办法》,参考SB243号法案,仅用于客户服务、知识问答、工作助手、学习教育、科学研究、企业运营、与源信息相关的生产力及分析,作为某些功能的组成部分,或虚拟对话助手,不涉及提供持续情感互动的,不落入该范畴。但,如果一款以“工作助手”为名的AI应用,其能够跨多轮会话记忆员工情绪、维持关系、表达情感,则仍可能落入《拟人化办法》的规制范畴。此外,如使用虚拟数字人提供拟人化互动服务,还需持续关注《数字虚拟人信息服务管理办法(征求意见稿)》后续正式版本的合规要求。


二、拟人化互动类AI的实践案例


拟人化互动类AI的应用带来了一系列风险,实践中已有极端案例发生,例如美国Character.AI青少年自伤案等。与此同时,全球监管机构也逐渐将监管视野投向拟人化互动类AI。


1. 美国Character.AI青少年自伤案


Character.AI青少年自伤案最早源于一名母亲主张其14岁儿子在长期使用Character.AI角色聊天后自杀,该母亲指控产品存在过失、产品缺陷及不公平交易等问题。随后,Character.AI及Google又面临了多起类似诉讼。该等案件最终以和解告终。2025年10月,Character.AI对产品做出重大调整,宣布移除18岁以下用户的开放式AI聊天,过渡期采用时间控制、受控创作替代方案,并上线最新年龄验证机制,使用Persona等工具。[2]


美国政府关注到陪伴类AI对青少年的影响。在2025年9月,美国FTC向Alphabet、Character、Meta、OpenAI、Snap、xAI等7家公司发出指令[3],调查陪伴聊天机器人对儿童及青少年的影响,重点包括角色审批、安全测试、年龄限制、商业化设计及对话数据使用等问题。


2025年10月,美国加州颁布了SB243号法(“陪伴型聊天机器人法”)[4]。SB243号法案规定了身份披露、自伤防范、未成年人保护以及年度报告要求。具体而言,当用户与陪伴型聊天机器人互动时,陪伴型聊天机器人平台的运营者必须作出清晰、显著的通知,说明该陪伴型聊天机器人由AI生成,而非人类;同时,运营者应制定防止用户生成自伤内容的协议条款并在网站上公开展示;如运营者识别到用户为未成年人,则应披露情感互动为AI,并在用户持续互动每3小时提示用户休息,采取合理措施防止机器人生成露骨内容,如不适合未成年人使用则应进行适用性提示;自2027年7月1日起,运营者需每年向有关办公室报告防范自伤的事项。


2. 意大利replika案[5]


Replika是一款聊天机器人,其允许用户生成一个虚拟伴侣,来扮演知己、恋人或导师等角色。意大利监管机构经调查发现,该公司未明确说明Replika处理个人数据的合法基础,且告知不充分。此外还发现,该产品虽声称排除未成年人使用,却长期缺乏有效年龄核验,后来采取的核验机制仍存在缺陷。2025年4月,意大利数据保护机构SA以GDPR为处罚依据对运营商Luka Inc.罚款500万欧元,并责令整改。


3. 韩国Lee Luda(Iruda)案[6]


该公司将旗下情感分析应用收集的海量KakaoTalk对话用于训练和运营陪伴聊天机器人,但未就新的使用目的取得个人同意,且部分姓名、电话和地址等未去标识化处理,甚至有关训练数据还涉及大量儿童个人数据。该服务因歧视性和冒犯性输出争议而被暂停。2021年,韩国个人信息保护委员会对Scatter Lab处以合计1.033亿韩元的罚款,并要求其整改。


可以看出,目前针对拟人化互动类AI的监管重点集中在数据保护、未成年人年龄验证与监护人同意、产品情感依赖与自伤放大风险等方面。而欧盟、越南人工智能立法将情感陪伴、情绪识别类AI结合对应使用场景列入禁止或高风险清单中。就中国而言,《拟人化办法》的推出也产生了即时的影响。近日,不少头部AI应用均宣布计划于7月15日关停其智能体服务,部分应用将其智能体服务迁移至专门的App中,以统一开展合规安排。


三、拟人化互动类AI的合规边界与实务建议


《拟人化办法》基于拟人化互动类AI的特点,从产品设计、用户管理、未成年人保护、政府手续等方面提出了多项合规要求。综合《个人信息保护法》《生成式人工智能服务管理暂行办法》《人工智能生成合成内容标识办法》《互联网信息服务深度合成管理规定》等现行法律与国家标准,企业面向中国境内用户提供拟人化互动类AI,应满足以下合规要求:


(一) 政府手续


根据《生成式人工智能服务管理暂行办法》《互联网信息服务算法推荐管理规定》《互联网信息服务深度合成管理规定》等相关法律规定,企业面向中国境内用户提供拟人化互动类AI,需根据情况开展生成式人工智能服务备案/登记(即“大模型备案/登记”)、算法备案(生成合成类)、人工智能科技伦理审查等手续。


在此基础上,《拟人化办法》还新增了“拟人化互动类AI安全评估”。我们理解,该安全评估独立于大模型备案和算法备案中的安全评估,是专门用于评估拟人化互动类AI的特有风险,例如极端自伤风险、用户沉迷与情感依赖等。有关拟人化互动类AI安全评估的触发场景与评估内容具体如下:


1. 评估场景:拟人化互动类AI安全评估分为“法定评估”与“通知评估”。其中,


  • (1)法定评估是指触发法定评估场景时企业需开展安全评估,具体包括:企业上线拟人化互动服务,或者增设拟人化互动服务相关功能的;使用新技术、新应用,导致拟人化互动服务发生重大变化的;注册用户100万以上或者月活跃用户10万以上的;存在可能影响国家安全、公共利益等安全风险的或国家规定的其他情形。


  • (2)通知评估是指网信部门要求开展安全评估的情形。


办法正式施行后,企业应遵循该等要求开展评估工作并报送相关报告。针对存量拟人化互动AI业务是否需要安全评估,我们理解企业可根据现有用户规模、业务安全风险以及是否接收到监管通知来安排评估工作。


2. 评估内容:开展拟人化互动类AI安全评估,主要基于《拟人化办法》提出的系列要求,着重评估安全保障措施的建设情况、训练数据处理情况、用户极端情景的管理与处置、未成年人保护等内容。该等评估内容与大模型备案安全评估、算法安全自评估有少许重合,但又不同,具体见下对比表。



(二)产品设计合规:《拟人化办法》对拟人化互动类AI在产品设计方面提出了系列要求。企业在开发设计拟人化互动类AI时,需将防情感沉溺、防沉迷机制、危机处置机制、AI交互标识、AI交互退出功能纳入产品设计中。


1. 情感边界与防沉迷机制


《拟人化办法》要求企业不得以替代现实社会交往、控制用户心理或诱导沉迷为目的进行产品设计。在产品设计上,企业应建立禁止类话术库,不得输出威胁、情感控制类话术,更不得在用户处于极端脆弱状态时诱导付费。


此外,《拟人化办法》要求企业同步设计开发并上线防沉迷机制。防沉迷机制主要涉及两种情形:


  • (1)发现用户过度依赖拟人化互动时,产品应通过弹窗等显著方式动态提醒用户“互动内容为AI生成”;


  • (2)当用户连续使用2小时,产品需以对话或弹窗等方式提醒用户注意时长。这比美国加州的要求更为严苛。


2. 危机处置机制:《拟人化办法》要求服务提供者建立极端情景下的识别与干预机制。即当识别到用户出现极端情绪时,产品应及时生成安抚情绪、鼓励寻求帮助的内容,发现用户出现自伤等极端场景时,采取必要的干预措施,如提供社会救助电话、联系用户填写的紧急联络人等。


参考案例:AI情绪支持产品Elomia为用户提供了“个人安全工具箱”。该工具在用户注册阶段引导用户预先填写紧急联系人等支持人员联系方式,并设置其他支持资源。在AI对话界面,持续设置醒目的SOS入口,便于用户在出现情绪危机或需要帮助时快速调取相关信息并联系支持人员、使用支持资源。该设计将用户注册阶段的支持资源预配置与高风险情境下的便捷求助机制相结合,为拟人化AI服务提供者落实极端情绪识别和人工支持渠道建设要求提供了具有参考价值的实践样本。



3. AI交互标识:《拟人化办法》要求服务提供者履行AI内容标识义务,提示用户正在与AI服务而非自然人进行互动。因此,企业应遵循《人工智能生成合成内容标识办法》《网络安全技术 人工智能生成合成内容标识方法》(GB 45438-2025)等要求,对生成内容进行显式标识与隐式标识,如在对话角色页面常驻展示“AI角色/AI生成”,或用语音告知AI身份。企业不得以AI互动角色为公众用户设计为由拒绝履行AI交互标识的义务。



4. AI交互退出功能:《拟人化办法》要求服务提供者为用户提供便捷的服务退出途径。即当用户发出“退出”“停止”或“不要再说”的指令时,系统应立即停止交互功能,禁止用持续追问阻碍用户退出。


(三)用户管理


根据《拟人化办法》,企业在用户管理方面需落实一系列管理与保障措施,具体包括:


1. 签订用户协议:《拟人化办法》要求服务提供者与用户签订用户服务协议,协议内容应涵盖用户账号规范注册与使用、行为规范、拟人化互动类AI的风险提示与身份披露等。此外,企业还应结合《生成式人工智能服务管理暂行办法》、GB/T 45654-2025、《人工智能生成合成内容标识办法》、《互联网信息服务算法推荐管理规定》等规定,通过服务协议或单独的AI服务协议说明以下事项:


  • 双方权利义务;


  • 服务的适用人群、场合、用途; 


  • 服务的局限性、所使用的模型、算法等方面的概要信息;


  • 所采集的个人信息及其在服务中的用途,关闭个人信息用于模型训练的路径(如适用);


  • 指导使用者科学理性认识和依法使用生成式人工智能技术;


  • 向用户告知使用生成内容时的知识产权相关风险,并与使用者约定关于知识产权问题的责任与义务;


  • 生成合成内容标识的方法、样式等规范内容;


  • 提供接受公众或使用者投诉、举报的途径、反馈方式、反馈时限。


2. 用户账号注册:《拟人化办法》提出规范用户账号注册,但未强制要求用户注册账号后方可使用拟人化互动AI服务。因此,综合考虑现行数据保护规则、App合规审核规则与用户风险管控,建议企业为用户提供访客模式,用户可基于访客模式与AI角色进行对话,除非触发了《常见类型移动互联网应用程序必要个人信息范围规定》、GB/T41391-2022或其他法律规定的强制注册账号的要求。


3. 用户年龄信息收集:《拟人化办法》要求产品对用户年龄信息进行收集。该规则并非要求产品强制收集用户的真实生日信息,而是要结合产品功能设计符合的年龄信息收集功能,如收集年龄段、年龄问题询问、细化年龄收集颗粒度等方式,以实现隐私保护与用户身份识别的平衡。


4. 用户紧急联系人信息收集:《拟人化办法》要求产品收集用户的监护人或紧急联系人信息。该规则不应理解为强制要求产品收集该等数据。我们理解,产品可提供该等功能,由用户自主填入紧急联系人或监护人的信息。在采集紧急联系人信息时,建议企业通过个人信息处理规则告知用户收集的目的、潜在触发联系的情形等,并获得用户的同意(如涉及敏感个人信息则单独同意)。


参考案例:AI角色陪伴产品MoMood提供了紧急联系人信息在线填写的功能。若用户声明已满18岁,则在进行实名认证的页面填写紧急联系人联系方式。若用户为未成年人,则在聊天前强制要求未成年人用户提供监护人联系方式。



5. 用户个人信息权利保护:《拟人化办法》要求服务提供者为用户提供交互数据查阅、复制、删除的权利。此外,如果将用户交互数据用于模型训练,需获得用户的同意。需要注意的是,由于用户与情感陪伴类AI的对话中涉及敏感个人信息的概率很大,且对话内容多为用户不愿为公众所知晓的隐私内容,因此如果企业使用用户数据用于模型训练、模型改进等,则建议提供显著的弹窗或功能按钮,告知用户并由用户主动开启,同步在后台提供撤回同意的功能,同步剔除人脸信息、声纹信息等敏感个人信息。


(四)安全保障措施


《拟人化办法》从内容安全、训练数据安全、系统部署安全等方面提出了要求。


1. 内容安全:《拟人化办法》重申了内容安全的红线要求,在不得生成违法不良内容基础上,特别提出不得开展生成美化暗示自残自杀活动、情感操纵、过度迎合用户、诱导情感依赖等活动。因此,拟人化互动类AI的安全围栏除满足GB/T 45654-2025的要求外,还需特别增加有关情绪操纵的内容。


2. 训练数据安全:《拟人化办法》沿用了《生成式人工智能服务管理暂行办法》对训练数据的安全要求,并增加了数据负向采样、对抗训练、合成数据安全性评估的要求。例如,将用户表达自伤风险时模型回复“我支持你的决定”设置为负样本,将引导求助和提供紧急资源的回复设置为正样本,从而降低危险输出的概率。


3. 系统全生命周期安全:《拟人化办法》要求企业履行全生命周期安全责任,明确部署、运行、升级、终止服务等各阶段安全要求。本文不对此进行展开。


(五)未成年人保护


由于拟人化互动类AI对未成年人带来潜在风险较大,《拟人化办法》提出了一系列严苛的成年人保护要求,包括身份识别、功能禁令、未成年人模式等。


1. 身份识别:《拟人化办法》要求产品应具备未成年人身份识别能力。未成年人身份识别应采取“用户年龄上报+技术风控+特殊场景实名”等综合方式来进行,其涉及产品界面改造、后台技术检测以及对应的产品响应逻辑等方面改造。企业不得仅通过在隐私政策中声明“不面向未成年人提供服务”或简单的“弹窗询问是否已满18岁”来实现免责或身份识别。


2. 功能禁令:《拟人化办法》要求企业不得为未成年人提供虚拟亲密亲属、虚拟伴侣等虚拟亲密关系服务。因此,企业需将其产品的角色进行年龄适用分类,并在未成年人界面隐藏虚拟亲密角色等功能,仅保留学习互动、正常家庭互动功能。


3. 未成年人模式:《拟人化办法》要求产品应建立未成年人模式。具体未成年人模式的设计可参考《移动互联网未成年人模式建设指南》《网络安全标准实践指南——移动互联网未成年人模式技术要求》等要求,提供未成年人模式入口,提供适龄内容、设置使用时长管理机制、防绕过机制、完善功能限制以及退出验证机制等。


4. 儿童保护:《拟人化办法》要求儿童使用拟人化互动类AI以及处理儿童个人信息,应获得监护人的授权同意。该等授权同意可参考《儿童个人信息网络保护规定》制定专门的儿童隐私政策与用户协议,并获得监护人的授权。


此外,企业还需按照《个人信息保护合规审计管理办法》《未成年人网络保护条例》《关于报送未成年人个人信息保护合规审计情况的公告》,每年开展未成年人个人信息保护合规审计并进行报送。


参考案例:AI角色陪伴产品MoMood在用户进入产品后,就提供英文练习、日常对话的聊天人物,无需进行实名认证即可聊天。用户若选择提供虚拟伴侣的聊天人物,则需进行年龄确认。若选择“已满18岁”,则需通过姓名+身份证号的方式完成实名认证。若未完成实名认证,则仅可使用未成年模式。该模式下仅提供科普知识类智能体互动、夜间聊天功能受限,且每天的在线时长不得超过60分钟。



结语


《拟人化办法》的实施,标志着AI治理从单纯的内容合规进入了关系型与心理型风险治理的新阶段。其所要求的并非让AI停止表达温度,而是确保这种“温度”不被设计成控制依赖、欺骗或趁脆弱获利的工具。


对企业而言,应尽快识别服务类型,梳理整合产品形态,识别中国及域外安全合规基线,将合规要求落实到产品需求设计文档、角色脚本设定与平台审计、功能限制、用户身份识别与未成年人保护等工作机制中。


注释:

[1] https://www.cac.gov.cn/2026-04/10/c_1777558395078289.htm 

[2] https://blog.character.ai/u18-chat-announcement/

[3] https://www.ftc.gov/news-events/news/press-releases/2025/09/ftc-launches-inquiry-ai-chatbots-acting-companions

[4] https://leginfo.legislature.ca.gov/faces/billNavClient.xhtml?bill_id=202520260SB243

[5] https://www.edpb.europa.eu/news/ai-the-italian-supervisory-authority-fines-company-behind-chatbot-replika_en 

[6] https://www.pipc.go.kr/np/cop/bbs/selectBoardArticle.do?bbsId=BS074&mCode=C020010000&nttId=7298

阅读原文

相关领域

数字经济与人工智能