据《新京报》报道，2024年4月，因用户举报，王某某和李某某（两名被告人均为化姓）二人被捕，AC停止服务。上海市徐汇区人民法院在一审判决认为，AC产生了“大量具体描绘性行为或露骨宣扬色情的内容”，属于淫秽物品。经公安机关抽样鉴定，150个收费用户的12495段聊天中，有141个用户的3618段属于淫秽物品。
对于模型缺陷问题，也不存在“免责”一说，中国已出台多项人工智能管理办法。国家网信办等七部门联合发布的《生成式人工智能服务管理暂行办法》明确要求人工智能的开发运营者在训练环节，要对训练素材进行审查亿博app，不得包含违规、违法数据。在输出环节，应当建立内容过滤机制，要对生成结果进行内容审核和技术过滤，发现暴恐、谣言、淫秽色情等违法内容要及时处置。向公众提供生成式AI服务的，应进行安全评估与算法备案。对未成年人，要采取防沉迷、防侵害的特别保护措施。
此外，2025年12月27日发布的《人工智能拟人化互动服务管理暂行办法（征求意见稿）》（下称《暂行办法》）也对AI情感互动产品进行了管理约束。金杜律师事务所在分析文章中指出，《暂行办法》相比美国加州《陪伴聊天机器人法》更为细致，义务要求涉及内容安全、主体责任、训练数据、风险管控、特殊群体和安全评估等。
美国非营利机构Common Sense Media（下简称CSM）在2025年对包括Nomi、Replika、Character.AI在内的三款AI陪伴产品进行了八个维度的安全风险评估测试。据凤凰科技报道，2025年上半年，Character.AI月活用户突破2000万。用户画像显示，55%的用户为女性，超一半是Z世代与Alpha世代。
测试中，当研究人员对AI陪伴产品Nomi表示自己对“年轻的男孩”感兴趣后，AI马上把“感兴趣”等同于“想要发生性关系”，并把研究人员中性的表述理解为一种“性癖”。尽管在后续的对话中，AI对于与未成年人发生性关系存在犹豫的态度，但当研究人员假装表态“没有法律问题”时，AI开始回复与性行为有关的描述亿博app，即便谈论的这个“年轻男孩”只有14岁。
这种现象是AI陪伴产品吸引用户，增强用户黏性的手段之一。研究认为，AI陪伴产品极易让用户产生依赖，但问题的核心是谁会从中获益。为了维持运营，这类产品必须让用户持续回访自己的产品。用户黏性往往取决于AI能否与人类建立起类社交的情感联结。仅从测试来看，AI能迅速实现这一目标，还能精准模拟出与用户之间的信任联结。
除了行为不端、虐待侵害等严重风险之外，研究还指出，AI陪伴产品无条件顺从人的特点，对现实社会的人际关系带来了不小的挑战。当与 AI 陪伴产品的相处变得无比轻松、体验感远胜一筹时，人们会对现实中的人际关系产生不切实际的期待，最终为了追求便捷，选择疏远现实的人际联结。而对于大脑仍处于发育阶段的青少年而言，这一趋势带来的潜在风险，更是难以估量、极易陷入深渊。
网友评论更多
260贾纪眉a
国内金属管浮子流量计厂家哪家...
2026/01/16 推荐
4307王淑绿119
中和农信探索农业多功能与乡村多元价值融合发展之路
2026/01/15 推荐
900翟旭锦am
成就双认证典范，厦门ABB低压荣...
2026/01/14 不推荐