4月12日,央视《财经调查》曝光AI“造黄”产业链:提示词、教程、图生视频工具被打包出售,原本需要一定技术门槛才能完成的色情内容制作,被压缩成了购买教程、复制提示词、点击生成的标准流程。

6月,山东胶州警方侦破一起利用AI突破实名认证的案件。犯罪团伙购买姓名、身份证号、证件照等公民个人信息后,使用AI生成眨眼、摇头等动态人脸视频,再通过“虚拟相机”完成平台人脸认证。警方查获AI合成动态人脸视频5万余个,涉案团伙已贩卖实名账号8万余个,非法获利60余万元。

6月29日,深圳市公安局南山分局通报,自媒体从业人员罗某某为博取关注、引流牟利,借助AI工具编造有关东鹏饮料的不实信息并广泛传播,目前已被依法刑事拘留,案件仍在进一步侦办中。

到7月,公安部公布的数据是:2026年上半年,公安机关共侦办利用人工智能工具生成网络谣言案件170余起,依法查处190余人。

把这些案件放在一起,一个现象越来越明显:不少正经AI产品还在寻找稳定的商业模式,黑灰产却已经迅速把AI嵌入诈骗、色情内容、账号交易、虚假营销和网络谣言等成熟产业链。
原因并不是AI创造了多少全新的犯罪方式,而是它首先改变了原有黑灰产生意的成本结构。
AI没有发明新的犯罪,但它把很多犯罪的成本打下来了
诈骗、造谣、非法获取个人信息、制作传播淫秽内容,这些行为在生成式AI出现之前就存在。
AI真正改变的是,一个人完成这些事情需要付出的成本。
过去冒充一个特定身份,可能需要真人出镜、模仿声音、制作证件和维护长期话术;现在,一段公开视频可能成为声音克隆的素材,几张照片可以生成动态人脸,生成式模型能够帮助构造人物背景、润色对话,翻译工具还进一步降低了跨语言交流的门槛。
东南亚诈骗园区已经出现这种工业化趋势。C4ADS在2026年发布的研究中发现,一些诈骗网络正在将AI聊天、翻译、人物设定和员工管理工具嵌入诈骗工作流;路透社此前对缅甸诈骗园区脱身人员的调查,也记录了生成式AI被用于塑造虚假身份、编写更自然的英语对话以及回答潜在受害人的问题。
因此,AI对黑灰产最直接的作用,可以概括为四件事:降低身份伪造成本、降低内容生产成本、降低沟通成本,以及降低规模化运营成本。
过去一个人只能维护几个虚假身份,现在可以同时管理更多账号;过去制作一段假视频需要专业后期,现在模板和模型可以快速生成;过去诈骗团伙需要专门培养不同语言的话务人员,现在机器翻译和生成式AI可以直接介入沟通。

犯罪模式没有完全变,但生产效率变了。
这也是为什么我们今天看到的AI滥用,很多都不是“前所未见的新犯罪”,而是旧的违法犯罪方式获得了一套新的生产工具。
真正容易形成稳定收入的,往往是给产业链“卖铲子”的人
如果只看新闻,最醒目的往往是直接实施诈骗、制作色情内容或者发布虚假视频的人。但从已经披露的案件看,AI黑灰产正在出现越来越明显的上下游分工。
有人负责购买个人信息,有人制作动态人脸,有人注册实名账号;有人开发或包装AI工具,有人销售提示词和教程;再往下,才是使用这些资源实施诈骗、引流、色情内容制作或者其他违法活动的人。
胶州警方侦破的案件就是一个典型例子。团伙并不是自己运营每一个诈骗账号,而是通过购买个人信息、生成动态人脸、突破实名认证,再把已经完成实名的账号卖给下游。8万余个账号形成了一种可以反复交付的“黑灰产原料”。
“AI脱衣”产业链也出现了类似结构。
江苏检察机关披露的一起案件中,孙某并不只是自己制作相关图片,而是把AI生成色情内容的方法包装成软件、教程和付费群组。其运营的相关社群成员累计达2.7万人,其中私密付费群组超过1500人,非法获利10万余元。法院最终以非法利用信息网络罪判处其有期徒刑一年六个月,并处罚金。
这类案件特别值得AI创业者注意,因为它说明一个很重要的问题:
自己没有亲自实施下游犯罪,不代表技术、账号、教程和服务的提供者天然处于刑事风险之外。
但反过来也不能说,只要开发了一款后来被违法使用的AI工具,开发者就当然构成犯罪。
真正需要判断的是,提供者究竟知道什么、为谁提供服务、产品进行了怎样的定制,以及其在整个违法链条中扮演了什么角色。
“我只做技术”不是免责理由,但技术被滥用也不等于技术方有罪
这是AI公司最容易走向两个极端的问题。
一个极端是认为:我是技术公司,只负责模型、接口、数字人、声音克隆或者自动化工具,客户拿去做什么与我无关。
另一个极端则是:只要客户后来违法,技术提供方就一定要承担刑事责任。
这两种理解都不准确。
刑事责任最终仍然需要回到具体行为和主观认知。比如,同样是一套数字人系统,一个客户用于企业客服,一个客户明确要求批量仿冒特定真人、去掉AI标识、绕过平台审核并注册大量虚假账号,技术提供者面对的风险显然不同。
在司法判断中,真正值得关注的往往不是一句“我不知道”,而是一系列客观事实能不能支持这种解释。
客户是否明确告知违法用途?产品是否针对规避实名认证、平台风控或者内容审核进行了专门修改?技术方发现异常后是否继续提供售后?结算方式、订单数量、价格和客户行为是否明显偏离正常商业场景?这些事实共同决定“技术中立”还能不能成立。
现行《网络安全法》也明确规定,任何个人和组织不得提供专门用于非法侵入网络、窃取网络数据等危害网络安全活动的程序、工具;明知他人从事危害网络安全活动的,不得继续提供技术支持、广告推广、支付结算等帮助。修改后的《网络安全法》自2026年1月1日起施行,并首次通过专门条款将人工智能发展与安全纳入网络安全基础法律框架。
所以,对AI公司来说,真正的问题不是“技术有没有原罪”,而是:
当客户用途已经出现明显异常时,你还做了什么。
AI黑灰产最危险的一环,是“真实性”正在变得廉价
胶州案件还有一个特别值得关注的地方:AI已经不只是用来生成内容,而是在攻击互联网平台最基础的“真实性验证”。
过去,平台用身份证、人脸识别、活体检测,是为了确认屏幕后面确实存在某一个真实的人。
但当证件照可以被加工成眨眼、转头的视频,再配合虚拟摄像头输入系统,平台看到的“真人”就可能只是生成内容。
这背后的原料,是人脸信息。
最高人民法院指导性案例192号已经明确,人脸信息具有高度可识别性,属于刑法保护的公民个人信息。未经本人同意且没有其他合法处理依据,非法获取相关信息,达到“情节严重”等法定条件的,可能构成侵犯公民个人信息罪。
需要强调的是,人脸信息属于公民个人信息,并不意味着只要取得若干张人脸照片就当然构成犯罪。具体是否达到刑事入罪标准,还需要结合信息类型、数量、取得方式、用途、违法所得以及造成的后果综合判断。
但AI出现之后,人脸数据的风险价值确实发生了变化。
一张过去可能只被用于精准营销的照片,现在还可能被用于训练换脸模型、生成动态身份、突破实名认证甚至构造完整的数字身份。
对于掌握大量用户照片、声音和视频的AI企业来说,数据来源是否合法、授权是否覆盖实际用途,也就不再只是隐私政策里的一个形式问题。
还有一门生意,是拿“AI能赚钱”本身赚钱
与刑事黑产相比,另一类模式与普通用户距离更近。
它不一定直接使用AI实施犯罪,而是把“AI自动赚钱”包装成本身可以出售的产品。
央广网今年3月调查的“AI自动带货”项目中,有经营者宣传“零粉丝、零基础”“AI自动发布”“半年赚20万元”等效果,并设置3760元、5210元、9510元等不同合作套餐。一些购买者付费后发现,所谓自动生成的视频几乎没有流量,实际收入与宣传相去甚远。报道还提到,广州番禺警方已对其中一家涉事公司以涉嫌诈骗立案。
这类业务的法律评价不能简单归为“诈骗”。
AI培训、软件订阅、带货服务本身都可以是正常商业模式。真正需要区分的是,企业销售的究竟是具有真实功能的产品和服务,还是通过虚构案例、伪造收益、承诺无法实现的回报诱导用户付款。
宣传存在夸大或者引人误解的内容,可能首先涉及广告、市场监管和合同责任;达到消费欺诈条件的,才可能进一步适用消费者权益保护法关于惩罚性赔偿的规则;如果能够证明经营者在收款之初就具有非法占有目的,通过虚构事实、隐瞒真相骗取财物,则可能进一步进入诈骗罪的刑事评价。
所以,“AI课割韭菜”听起来是一个网络梗,但在法律上,不同项目之间的距离可能很远。
AI公司和这些案件之间,真正隔着的是几个具体动作
2025年9月1日起,《人工智能生成合成内容标识办法》和配套强制性国家标准正式施行。
其中有一个很值得AI公司关注的规定:任何组织和个人不得恶意删除、篡改、伪造或者隐匿依法设置的AI生成合成内容标识,也不得为他人实施上述行为提供工具或者服务。
这里说的不是所有普通图片水印,而是规则要求设置的AI生成合成内容标识。
这意味着,当客户提出“把AI标识去掉”“让平台看不出来是生成的”“能不能绕过审核”等要求时,这些需求本身就应该成为风险信号,而不能只被理解为普通的产品功能需求。
对一家正常经营的AI公司来说,真正值得建立的合规体系其实没有想象中那么抽象。
使用真人肖像、声音和人脸数据时,授权链能不能说明来源、用途和期限;接到批量换脸、批量注册账号、规避实名验证等异常订单时,有没有人工审核和拒绝机制;模型生成的内容是否按照规则完成标识;出现投诉和明显违法用途后,企业能不能停止服务并保留相关记录。
如果企业属于网络运营者,《网络安全法》还要求按照网络安全等级保护制度采取监测、记录网络运行状态和网络安全事件的技术措施,并按规定留存相关网络日志不少于六个月。
这些东西平时看起来只是流程。
但真正出现案件时,它们决定的是企业能不能证明:这个客户什么时候来的、提出了什么要求、系统生成了什么、公司发现异常后做了什么,以及企业到底是在正常提供技术服务,还是已经深度进入了另一套业务链条。
律师观察
为什么黑灰产往往比正常企业更早跑通AI变现?并不是因为AI特别适合犯罪,而是黑灰产几乎不承担正常商业模式需要承担的几项成本。
它不需要取得素材授权,不需要考虑数据来源,不需要为人物形象和声音支付许可费用;不需要担心平台规则,也不需要花时间验证商业模式是否长期可持续。只要AI能够让一个虚假身份更真实、让一段内容生成得更快、让一个人同时面对更多目标,技术带来的效率就可以立即被折算成收益。
正经企业恰恰相反。
技术效率之外,还要面对产品、用户、供应链、合规和长期声誉。但如果只看已经发生的案件,会发现所谓“AI黑灰产暴利”也存在很强的幻觉。胶州案件中,8万余个实名账号背后的非法获利是60余万元;孙某经营数万人的社群,非法获利10万余元,换来的是一年六个月的刑期。
所以真正值得AI从业者研究的,并不是哪一条“黑灰产赛道”最赚钱,而是另一件事:
AI正在把过去需要专业技能、人员规模和时间成本才能完成的高风险行为,变成可以复制、批量甚至自动化完成的标准动作。
而企业与这些案件之间的距离,很多时候也不是一句“我们绝不会干坏事”,而是更具体的产品选择:要不要替客户绕过认证,要不要处理来源不清的人脸和声音,要不要提供隐藏AI生成痕迹的功能,发现异常用途以后,是继续交付,还是及时停止。
技术本身没有黑白之分。
但当一款产品开始依赖隐藏真实身份、突破平台风控、批量生成虚假内容或者规避AI标识来获得收入时,它面对的已经不只是产品伦理问题,而是在逐渐接近行政监管与刑事法律共同关注的风险边界。
参考来源:
- 中央广播电视总台《财经调查》,AI“造黄”产业链调查,2026年4月12日
- 新华社,《新华调查丨揭秘“AI换脸”诈骗黑色产业链》,2026年6月22日
- 深圳市公安局南山分局警情通报,2026年6月29日;证券时报、21世纪经济报道相关报道
- 公安部关于“AI换脸”欺诈专项行动进展的通报,2026年7月
- 江苏检察网,《兜售“AI脱衣教程”,判了!》,北京市海淀区检察院提起公诉、法院2026年5月9日一审宣判
- 每日经济新闻,关于张某贩卖“AI一键脱衣”软件被判刑的报道,2026年7月
- 杭州互联网法院(2023)浙0192民初4563号民事判决,最高人民法院案例库入库编号2025-07-2-525-001
- 最高人民法院指导性案例192号,李开祥侵犯公民个人信息刑事附带民事公益诉讼案
- 路透社对缅甸KK园区脱身者的采访;联合早报中文报道,2025年9月15日
- 华盛顿安全研究机构C4ADS关于缅甸电诈园区AI软件平台与设备联网记录的分析,2026年7月
- 钛媒体,《起底东南亚AI军团:专供园区,电诈效率飙升10倍》
- 公安部网安局,山西大同邢某AI仿冒名人直播带货被行政拘留通报,2026年5月7日
- 央视网《新闻+》,AI换脸张文宏推销蛋白棒事件报道,2024年12月18日
- 新华网,《规范AI名人带货乱象 直播电商打响肖像“保卫战”》,2026年5月14日
- 央广网,《啄木鸟消费投诉丨“AI自动带货”培训乱象调查》,2026年3月15日
- 南方周末,《一元引流,天价卖课:“AI财商课”盯上乡村老人》,2026年4月8日
- 趋势科技,《2026诈骗趋势预测》
- 国家互联网信息办公室等四部门,《人工智能生成合成内容标识办法》,国信办通字〔2025〕2号
- 最高人民法院、最高人民检察院,《关于办理侵犯公民个人信息刑事案件适用法律若干问题的解释》
/ END.
*本文为上海曼昆律师事务所的原创文章,仅代表本文作者个人观点,不构成对特定事项的法律咨询和法律意见。如需转载及法律咨询,请添加客服:mankunlawyer。


