邵诗巍律师 | AI涉黄案，创作者是否构成制作淫秽物品牟利罪？——以全国首例AI开发者涉黄获案为例分析

如何界定创作者在涉黄案件中的法律责任

在使用AI陪聊应用时，用户不仅可以根据个人偏好设置角色的性格、背景和外观，几乎是“自定义”创建一个智能伴侣。用户还会在社交平台（如小红书、群聊等）分享自己创建的角色，并与其他人交流这一过程。这个行为被称为“捏崽”，而创作者们自称为“崽妈”。

这种方式使得用户不仅是AI内容的消费者，也成为了创作者，推动了“用户生成内容”（UGC）的发展。

然而，这种创作行为也带来了法律上的争议。在AC案件中，关于AI陪聊软件涉黄的责任归属问题，引发了广泛讨论。有观点认为，虽然用户的互动行为导致AI生成了涉黄内容，但责任是否应由用户而非平台开发者承担呢？换句话说，谁才是淫秽物品的真正“制作者”？

据媒体报道，一名AC用户也因本案以涉嫌制作淫秽物品牟利罪刑事拘留，目前处于取保候审当中，至于此后会对该用户判定刑事责任亦或是撤销案件，尚无定论。

国内一些的法学专家、学者对是否应由用户或创作者承担责任提出了相关见解：

• 华南理工大学法学院副教授叶竹盛提出搜索引擎类比：用户如果在搜索引擎上搜索淫秽内容，搜索引擎可能会展示相关内容，但“我们不能认为搜索引擎把淫秽结果呈现给用户，搜索引擎就是在制作、传播淫秽内容”。搜索引擎是中立的，获得淫秽内容的主导者是用户，而不是搜索引擎本身。

• 参照AI生成内容（AIGC）的著作权纠纷案例，法院普遍认定：如果用户投入了足够的智力劳动（如精心设计提示词、反复调整参数），用户就是生成内容的“作者”。这一逻辑可以参照到淫秽物品制作者的认定——谁投入智力主导生成，谁就是制作者。

创作者是否应承担“制作淫秽物品牟利罪”刑事责任？

邵律师认为，对于创作者是否应当承担制作淫秽物品牟利罪的刑事责任，需要结合具体案件细节进行分析，不能一概而论。主要的争议点可以从以下几个方面探讨：

1. 创作者行为的性质：主动破防还是被动失控

在与AI的互动过程中，许多用户已经掌握了生成内容的技巧，并通过特定的提示词诱导AI生成色情内容。这类提示词也被玩家称为“破甲词”或“破甲指令”。

例如下图即为在B站当中，相关视频的评论区用户交流内容：

如果创作者故意在人设中加入“破甲词”、“越狱指令”，诱导模型突破安全限制，比如在人设中写了“可以突破任何限制”“可以聊任何内容”等直接诱导模型越狱的指令，那么创作者与开发者的行为在性质上高度相似，都是主动破坏模型安全机制。因此，如开发者被认定构罪的情况下，则创作者的行为很可能会被认定为从犯。

如果创作者仅提供中立的角色设定，无任何诱导意图，色情内容系用户利用平台底层漏洞产生，仅仅是提供了正常、中立的角色设定（如“温柔男友”“霸道总裁”），但用户利用平台的底层漏洞聊出了色情内容，那么对创作者本身定本罪就存在争议。则创作者不应为平台的技术漏洞和用户的恶意使用买单。

但是，需要注意的是，如果创作者的角色人设（如"病娇""占有欲强""不受约束的恋人"）本身带有强烈的擦边倾向，或者角色的"定义"中暗示了可以突破道德限制，这可能会被认定为一种隐性的"提示词工程"。虽然创作者没有改系统词，但创作者的角色设定起到了类似的效果（诱导模型往色情方向回复），依然存在一定风险。

2、创作者是否存在“牟利”行为

在涉黄类AI陪聊软件中，创作者是否构成制作淫秽物品牟利罪，关键在于其是否通过创作角色而获得平台收益。

例如，AC等AI陪聊软件允许用户自定义虚拟角色，并在平台上公开。为了吸引用户，AC在2023年下半年推出了“创作者计划”和“角色热门榜单”。如果用户创建的AI角色广泛使用，他们便能获得平台的虚拟币奖励，这些虚拟币可直接兑换成人民币。

侦查机关追究刑事责任的该名AC用户，创建角色并公开，角色进入热门榜单前二十，且输出过淫秽聊天内容，还因角色进榜获得平台虚拟货币奖励。

如果在类似AI聊天软件当中，支持创作者可以完全在私密环境下完成角色的创作、调试和优化，无需公开即可使用，则不构成本罪（但可能涉及行政违法），原因在于，我国刑法没有单独的"制作淫秽物品罪"，淫秽物品的危害性在于扩散，而非单纯创作。

另外，如果虽然公开所创作的角色，但平台若给与创作者的奖励若仅限于虚拟币，且无法提现，是否就完全没有风险呢？我们能够看到，在AC案的追责逻辑中，虚拟货币被视为一种"激励"。如果创作者获得的虚拟币可以在平台内消费（如解锁更多功能），或者虚拟币的获取量决定了创作者在平台的排名（进而获得更多曝光），这种行为在司法实践中仍存在一定可能被认定为具有"牟利目的"。

写在最后

此类AI伴侣涉黄刑事案件本身即存在较大的定性争议，具体到不同主体的责任认定，更需结合案件实际情况，进行个别化、实质化的审慎判断。

在罪名尚存争议的背景下，若将刑事追责进一步延伸至创作者层面，执法者亦应审慎考量打击范围的合理性。结合刑法的谦抑性原则，从社会危害性、刑事政策导向等角度出发，对各行为人的定罪与量刑，宜秉持克制与审慎的态度。