当一款AI聊天软件的11.6万用户中,滋生出大量“露骨宣扬色情的内容”,虚拟世界里的淫秽对话,该由谁来担责?上海法院的一纸判决,给出了国内首个明确答案。

2025年9月,上海市徐汇区人民法院一审认定,AI聊天应用“Alien Chat”(下称“AC”)的两名开发者构成制作淫秽物品牟利罪,分别判处四年、一年六个月有期徒刑。

这起国内首起AI服务提供者因涉黄获刑的案件,瞬间引爆科技界与法律界的激烈讨论:私密空间的人机对话是否具备社会危害性?技术提供者需为用户生成内容承担多大责任?AI时代,创新自由与法律边界该如何界定?

今天,是这个案件二审开庭的日子

,我特意选择这个特别的日子写了这篇文章,回顾案件始末和争议焦点,因为

此案二审结果将成为国内AI行业的重要风向标,不仅将明确生成式AI服务提供者在内容监管中的法律责任边界,更将为整个行业的合规发展划定清晰红线,

这个案件在内容监管层面的重要意义可以说是AI时代的“快播案”

!

文章插图

01 案件始末:从情感陪伴工具到涉黄牟利载体

2023年5月,以王某某为法定代表人的科技公司,推出了主打情感陪伴的聊天软件AC。用户注册会员后,可创建或选用他人制作的虚拟角色开展交互聊天,平台定位为年轻群体提供情感支持。

判决书显示,截至案发,AC注册用户达11.6万人,其中付费用户2.4万人,平台累计收取会员充值费超363万元。在其官方社交账号评论区,不少用户评价这款软件“聪明灵活”“限制宽松”,但也有用户吐槽,其他用户与虚拟角色的不当互动“带偏”了AI模型,严重影响自身聊天体验。

2024年4月,因用户举报,王某某、李某某被依法逮捕,AC平台随即停止服务。

02

争议核心:私密人机对话是否构成社会危害?

用户与AI的一对一私密对话,是否具备刑法意义上的社会危害性?这是本案争议的核心焦点。

一审法院认为,AC平台生成了“大量具体描绘性行为或露骨宣扬色情的内容”,已构成淫秽物品。

但反对观点认为,这种一对一的人机私密对话具有封闭性,内容仅对话双方可见,不具备典型的“传播”属性,不应认定为具有社会危害性。

最终法院认定,即便AC平台的色情聊天具有“一对一封闭性”,但海量淫秽内容的滋生已突破社会公序良俗底线,构成社会危害,两名开发者的行为符合制作淫秽物品牟利罪的构成要件。

03

责任归属之争:谁是淫秽内容的“制作者”?

本案另一大争议点,直指淫秽聊天内容的“制作者”认定——究竟是用户,还是平台开发者?

一审法院明确将制作者锁定为被告人王某某、李某某,理由是AC软件经过专门“优化”,目的就是持续生成淫秽色情内容,开发者对输出内容具备实质性控制能力。法院还援引《生成式人工智能服务管理暂行办法》第九条规定,认定生成式AI服务提供者应承担网络信息内容生产者责任。

被告人王某某的辩护律师辩称王某某的初衷是开发情感陪伴工具,修改提示词是为了让大模型更具拟人化特质,以满足用户情感需求,并非有意开发黄色聊天工具。

他认为,用户与AI的一对一聊天内容具有封闭性,未对外传播,不能将聊天内容的制作、传播责任归咎于平台开发者。目前,他已明确表示将在二审中继续为被告人作无罪辩护。

04 用快播案司法遗产来穿透本案的技术困境

,理由是:

虽然AI聊天属于新近出现的领域,但是互联网领域的法律已经相对比较成熟,完全可以借鉴。社会变化层出不穷,法律的智慧却可以透过纷繁复杂的表象,去抓住实质,这也是法律可以作为稳定的社会治理工具的根基。

接下来,我们先分析一下快播案的司法遗产:技术中立不等于无责。

快播案的核心争议曾是“技术中立”原则的边界。快播辩护团队当年提出,快播播放器是技术工具,不存储、不发布内容,不应为用户的侵权行为承担责任。看看吧,辩护律师的观点都如出一辙!

然而,法院判决确立了一个重要原则:技术提供者明知其技术被用于传播违法内容而未采取有效措施制止,构成主观上的故意。快播公司对平台上的淫秽视频“放任不管”,客观上为其传播提供了便利,这成为定罪的关键。

判决书写道:“快播公司明知快播网络服务系统被用于传播淫秽视频,但出于扩大经营、非法牟利目的,拒不履行监管和阻止义务,其行为具有非法牟利性。”

这一判决为互联网平台设立了一个明确的义务标准:不能对平台上的违法内容视而不见。

作为AI模型的生产者,完全可以为了防范内容安全风险,搭建多层安全防护机制,包括敏感词过滤、模型指令训练、上下文实时检测、违规内容定期审核等。

我相信法院在做证据审核时,一定是通过证据判断到了生产者存在监管漏洞,导致了内容的扩散!

当然,如果用户通过“催眠”AI、使用谐音词或行业“黑话”等方式,绕过平台设置的安全防火墙,而平台已经在现有技术水平的基础上做了足够的监管动作,这样的定罪就会存在问题!这方面可能还会存在辩护点。

王某某辩护律师的另外一个辩护点,情感陪伴与涉黄的边界界定,我觉得这个内容也不能成为推翻一审判决的有力辩护点,因为毕竟这家公司是靠会员收费来盈利的,不是单纯的情感陪伴辅助作用,而是其收费点,所以迎合用户需求,甚至是制造用户需求的功能上面,势必在安全合规和用户体验上更倾向于用户体验。

05 行业新规落地:AI安全基线正式明确

值得关注的是,就在AC案一审宣判一个月后,2025年11月1日,《网络安全技术 生成式人工智能服务安全基本要求》正式实施。这份国家标准文件,首次系统界定了生成式AI服务提供者的安全基线要求。

根据标准,生成式AI服务提供者需建立完善的内容过滤机制,防范违法不良信息生成;在内容安全性上,需保证模型生成内容合格率不低于90%;对于明显诱导生成违法不良信息的请求,应直接拒绝回应。

标准的落地实施,意味着AI服务提供者不能再以“技术限制”为由推卸内容安全责任,必须达到明确的安全基准,否则将面临法律风险。

这也为法律尚处于模糊地带的商业情感陪伴领域能否大步向前给出了答案。

这几年被平台限流、封禁的情感博主已经很多了,这本身就是态度,这些人的存在解决了一部分人的心理困惑,但是引导私域的流量却变成了“捞女”等人聚集的流量池。

而这部分从业人士,绝大部分并非心理行业的从业人员,而是纯商业角度引流的前辈,国家对这些人及时出手,其实是对大众的保护,也是对社会风气的引导。

06 深层思考:技术迭代背后的社会价值拷问

AI技术引发的类似社会争议,在国际上已有先例。早在前几年,就曾经偶尔看到一个纪录片,其中一个片段是日本的一个年轻人,对外说已经结婚,他也一直觉得自己是已婚状态,回到家中,看到她的妻子竟然是一个AI。进而揭示出日本的很多年轻人长期沉浸于与AI构建的“完美关系”中,逐渐丧失处理现实人际关系的能力与意愿。

这一现象提醒我们,技术应用带来的影响远超出法律范畴。当AI能够精准提供高度定制化的情感乃至性体验时,可能深刻改变一代人的情感模式、婚恋观与社交习惯。试问这种情况下,还有多少年轻人愿意走出虚拟世界,建立真实的关系?

人类学家发现,婚姻不仅是两个人的结合,更是社会网络的连接点。通过婚姻,家庭与家庭连接,社区网络得以扩展,社会资本自然积累。家庭是基本的社会单元,也是市场的基本消费单元。

AI伴侣关系则完全不同——这是完全内敛的、不产生社会扩展的连接。当越来越多年轻人选择这种封闭关系,社会的整体连接密度将不可避免地下降。传统的邻里关系、家族网络、社区互助系统可能因此弱化。

日本一些乡村地区已经出现“虚拟家庭”现象:年轻人与AI伴侣生活在自己的世界里,不参与社区活动,也不关心邻里事务。这种社会性退缩可能加剧社区空心化。

在人工智能已融入数亿人日常生活的当下,如何厘清技术创新、用户体验与社会责任的边界,已成为亟待破解的时代课题。

无论二审结果如何,AC案都已为AI行业敲响警钟:技术创新永远不能脱离法治框架,商业利益的追逐更不能以牺牲内容安全和社会公序良俗为代价。监管不仅是在禁止,也是在引导,导向良好、长期有利的社会价值!

这场庭审不仅决定两名开发者的命运,更将为中国AI行业划出一条清晰的“红线”。

我是写激动了,对此你又怎么看?你认为AI聊天的“私密边界”在哪里?开发者应该为用户与AI的私密对话承担多大责任?欢迎在评论区分享你的观点!