腾讯云 EdgeOne 今年四月发过一篇观测文章，说在他们的 AI 爬虫处置数据里，电商类网站的 AI 爬虫访问量排在所有行业第一。有个做优惠券聚合的导购平台，单日被 AI 爬虫命中接近 20 万次。这是厂商口径，不是官方统计，但方向大致可信：拦爬虫的思路正在从维护一份黑名单，转向依据行为判断这个访客究竟是谁、想干什么。
对做 AI 产品的团队来说，这事有两面。你的 Agent、比价功能、选品模型，进货渠道多半就是爬虫；同时你自己的站点、文档、定价页，也正被别人的爬虫读走。一个很老的问题因此被重新问了一遍：网站根目录下那个 robots.txt，我不遵守，会怎么样？
我把这些年的判决翻了一遍。答案不是一句话，是一道阶梯，从根本赔不了钱，一直走到要判刑。
违反 robots.txt，告不了违约
先把这个文件是什么说清楚。
1994 年，荷兰工程师 Martijn Koster 提出，网站可以在根目录放一个文本文件，告诉爬虫哪些目录不必抓。同年 6 月，一群写爬虫的人在邮件组里形成了一份《机器人排除标准》，文档写得很老实：它不是由标准组织备案的官方标准，没有强制执行力，也不能保证所有目前的或未来的爬虫都会使用它。1997 年 Koster 把它提交给互联网工程任务组，想推成行业标准，至今没有被采纳。
上面这些不是我总结的，是北京市高级人民法院在判决书里查明的事实。
它的语法更说明问题。默认值是“允许”：一个网站没放 robots.txt，或者文件内容是空的，就等于对所有爬虫开放；要禁止，才需要专门写一行 Disallow。这个文件的原始设计意图是引导，不是围墙。
所以在中国法下，它不构成合同。
合同要有要约、承诺和当事人的合意，而你的爬虫访问一个网页，没有任何一个环节达成过合意。这就像饭店门口贴着“谢绝自带酒水”，你带了，店家可以请你出去，但没法告你违约，因为双方压根没签过合同。
补一句边界：平台协议和 robots.txt 是两码事。你注册账号时点过的“我已阅读并同意”，那份用户协议是有合同效力的，违反它属于另一个问题。
法院真正审的，是你怎么用这张告示
既然不走合同，走什么？
2020 年 7 月 3 日，北京市高级人民法院在奇虎诉百度案的二审判决里把话说死了：
本案争议的核心并不在于robots协议本身的效力，而在于百度网讯公司、百度在线公司对robots协议的涉案使用行为是否构成反不正当竞争法第二条规定的不正当竞争行为。
法院不评价这份协议有没有效力，只审查当事人拿它干了什么。
落脚点在《反不正当竞争法》第二条：
第二条 经营者在生产经营活动中，应当遵循自愿、平等、公平、诚信的原则，遵守法律和商业道德，公平参与市场竞争。
本法所称的不正当竞争行为，是指经营者在生产经营活动中，违反本法规定，扰乱市场竞争秩序，损害其他经营者或者消费者的合法权益的行为。
案子的背景是当年的 3B 大战。百度的 robots 协议采白名单制，360 搜索上线后一直没被列入，奇虎起诉，两审都判百度构成不正当竞争，赔 20 万元。反方向那个案子里，百度告 360 不守 robots 强行抓取，一审判奇虎赔 70 万元。同一份协议，两个方向都判了不正当竞争。
判决里还有一段类比，是法官自己写的人话：
如果把网站比作一个对公众开放的博物馆，robots协议就相当于在博物馆入口处悬挂的提示牌，告知游客哪些区域不对外开放……提示牌的内容对所有游客应一视同仁，如果要禁止某一类人进入参观，则需要有合理、正当的理由。
顺着这个类比，法院列出了三种能被接受的正当理由：保护网站的内部信息或者敏感信息，维护网站的正常运行，保护社会公共利益。除此之外，按经营主体而不是按信息内容把人挡在门外，就带有针对性和歧视性。
屏蔽你不违法，你抓走做替代品才违法
这把尺子到了非搜索引擎场景，刻度会变。
2016 年 4 月，微博在 m.weibo.cn 的 robots.txt 里单独把今日头条的爬虫 ToutiaoSpider 拉黑，其余爬虫照抓不误。字节跳动起诉索赔 1 亿元，北京知识产权法院一审判微博构成不正当竞争、赔 30 万元。2021 年 10 月 8 日，北京市高级人民法院二审全案改判，驳回字节跳动的全部诉讼请求。
改判的理由有两层。一是二审认定被一审当作商业道德依据的《互联网搜索引擎服务自律公约》，只是搜索引擎服务行业的商业道德，不能当成整个互联网行业通行的商业道德。二是更要紧的这一句：
搜索引擎是给被搜网站带来流量和利益，而非搜索引擎的网络机器人往往不是给被搜网站带来流量，反而可能带走被搜网站的流量。
搜索引擎抓完把用户送回来，AI 爬虫抓完直接给答案，用户不必再访问原站。按这个分野，AI 爬虫站在“带走流量”那一侧。所以网站单方屏蔽某个 AI 爬虫，只要不损害消费者利益、公共利益和竞争秩序，原则上属于企业自主经营权。
同一对当事人还有另一个案子。北京市海淀区人民法院 2021 年 5 月 17 日判决，字节跳动把抓取的微博内容直接搬进“微头条”，构成不正当竞争。
两个判决合起来读，结论相当清晰：我屏蔽你，不违法；你抓走我的内容做出一个替代我的产品，你违法。
北京高院最后留了一句余地：这并不意味着互联网企业设置的任何 robots 协议都能凭自主经营权当然具有正当性。
守了协议，也可能赔上千万
读到这里容易得出一个错误结论：那我老老实实按 robots 写的来抓，总没事了吧。
去年年底二审终结的那个案子给了答案。网智天元运营的“战鹰”舆情产品抓取腾讯新闻数据，累计超过 11 万条，在自己的 App 里提供全文浏览和分析报告，向 SVIP 用户和企业客户收取 4998 元到 16 万元不等的年费。腾讯索赔 3000 万元。
被告的核心抗辩就是这句：腾讯公示的爬虫协议明确允许其他经营者抓取新闻数据，我们是照着协议做的。福州市中级人民法院一审的回应，是这两年数据抓取领域最锋利的一句：
法院明确数据流通应遵循“授权+限制”原则，腾某公司一方允许数据抓取系为了保障公众获取信息，不意味着允许营利性商用。
一审判赔经济损失 200 万元、合理开支 28 万余元，福建省高级人民法院二审驳回双方上诉，维持原判。
允许抓取只回答“能不能取”，不回答“取了能拿去干什么”。
后一个问题由平台协议、竞争秩序和商业道德回答。
另一个数字更吓人。高德的“拥堵延时指数”挂在网站上公开可查，万得通过变换 IP 地址、伪造浏览器标识抓走，放进 WIND 金融终端向付费用户提供，抗辩说这是公开信息、是人工采集的，法院没有采纳。北京市朝阳区人民法院一审判赔 1250 万元，北京知识产权法院二审维持，判赔突破了法定赔偿上限。
公开摆着，不等于免费拿走再卖。
新法把红线从声明挪到了技术
以上判决适用的都是旧法，靠第二条那个一般条款兜底。去年 10 月 15 日起，情况变了。
二次修订的《反不正当竞争法》施行，互联网专条从旧法第十二条挪到了第十三条，并且新增一款专门管数据：
经营者不得以欺诈、胁迫、避开或者破坏技术管理措施等不正当方式，获取、使用其他经营者合法持有的数据，损害其他经营者的合法权益，扰乱市场竞争秩序。
罚则一并给了：
第二十九条 经营者违反本法第十三条第二款、第三款、第四款规定利用网络从事不正当竞争的，由监督检查部门责令停止违法行为，处十万元以上一百万元以下的罚款；情节严重的，处一百万元以上五百万元以下的罚款。
这一款把手段的不正当性写成了明确类型，不必再每个案子都从商业道德讲起。真正要盯紧的是那六个字：技术管理措施。
登录墙、权限校验、接口验签、风控与人机验证、频率限制、付费墙，这些都算，因为它们物理上拦得住你。robots.txt 拦不住任何一次访问，你的爬虫无视它照样取到全部内容，它是声明，不是装置。北京高院在微博那个案子里说得很直白：无论是否遵守，robots 协议都不会起到强制禁止访问的结果。
这个判断跟著作权法同源。《著作权法》第四十九条第三款给技术措施设了“有效”的门槛：
本法所称的技术措施，是指用于防止、限制未经权利人许可浏览、欣赏作品、表演、录音录像制品或者通过信息网络向公众提供作品、表演、录音录像制品的有效技术、装置或者部件。
一行提示文字达不到这个门槛。
所以对照着看，新法罚的是撬锁，不是无视告示。
高德那个案子里的变换 IP、伪造浏览器标识，就是标准的撬锁动作。
越过那道机关，就不是赔钱的事了
再往上一级，性质变了。
第二百八十五条第二款 违反国家规定，侵入前款规定以外的计算机信息系统或者采用其他技术手段，获取该计算机信息系统中存储、处理或者传输的数据，或者对该计算机信息系统实施非法控制，情节严重的，处三年以下有期徒刑或者拘役，并处或者单处罚金；情节特别严重的，处三年以上七年以下有期徒刑，并处罚金。
“情节严重”不是模糊词，法释〔2011〕19 号给了数字：
第一条 非法获取计算机信息系统数据或者非法控制计算机信息系统，具有下列情形之一的，应当认定为刑法第二百八十五条第二款规定的“情节严重”：
（一）获取支付结算、证券交易、期货交易等网络金融服务的身份认证信息十组以上的；
（二）获取第（一）项以外的身份认证信息五百组以上的；
（三）非法控制计算机信息系统二十台以上的；
（四）违法所得五千元以上或者造成经济损失一万元以上的；
（五）其他情节严重的情形。
违法所得 5000 元，经济损失 1 万元。
这个门槛低到很多创业团队没有概念。
被称为全国首例爬虫入刑的那个案子，上海一家公司用爬虫抓取他人服务器里的视频数据，法院以非法获取计算机信息系统数据罪判处被告单位罚金 20 万元，四名被告人分别获刑一年到九个月。江苏常州那起涉 AI 技术非法获取数据案更贴近今天：被告单位的 AI 互动平台绕过某社区电商 App 的加密算法，伪造请求抓走用户数据，又破解私信接口给付费商户投广告，违法所得 600 余万元。
还有一条容易被忽略。最高人民检察院第 36 号指导性案例确认，超出授权范围使用账号、密码登录计算机信息系统，属于侵入计算机信息系统的行为。这条对做 Agent 的团队尤其要紧：你的 Agent 拿着用户给的账号密码登进平台，用户授权了，不代表平台授权了。
三类公司，各该改什么
做 AI 产品、需要抓数据的一方，合规重心要从“有没有遵守 robots”挪到两个地方。
手段上，登录、验签、风控、限速这四道机关，一道都不能绕过，绕过任何一道，性质就从商业纠纷变成撬锁，重了变成刑事案件。用途上，不做原站的实质性替代，不把抓来的数据集本身对外有偿提供。再补一个证据习惯：抓取前存下目标站 robots.txt 的快照，过程中留存频率日志，真被起诉时，这是你证明自己既没规避、也没压垮对方服务器的底气。
被抓的一方，比如电商平台和内容站点，要接受一个现实：robots.txt 单独放着基本没用，它在诉讼里的作用是证明你表达过意思，不是拦住谁。有法律意义的动作是两个。一是把限制落到技术上，登录墙、接口鉴权、频率限制、风控，一旦部署，对方绕过去就直接接通新法第十三条第三款乃至刑法第二百八十五条。二是在平台协议里写明禁止未经许可的商业化使用，这一条在战鹰案里是腾讯胜诉的关键。另外，屏蔽特定爬虫原则上属于自主经营权，但按经营主体做歧视性区分又拿不出正当理由的，仍有被诉风险。
中间那批 Agent 服务商和数据服务商，两头都不占：往上替客户抓别人的数据，往下把数据交付给客户。授权链条要能一路追到最终用户，合同里写清楚数据来源和使用范围的责任分配。别拿技术中立当挡箭牌，福州中院在战鹰案里专门讲过，对合法性的审查需要突破技术中立的形式束缚。
回到开头那个问题。AI 爬虫犯了什么法？
不遵守 robots.txt 这件事本身，什么法都不犯。
但它是一张摆在门口的告示，你无视它之后走出的每一步，都可能踩到别的东西：抢了人家的生意，撬了人家的锁，最后进了人家的系统。判决书里被追究的从来不是那一行 Disallow，是你越过它之后干了什么。
数据这门生意，取之有道四个字现在是有价码的。
如果你正在做 AI 产品，被平台屏蔽了，或者收到了对方的律师函，可以后台留言联系我。
参考来源
• 北京市高级人民法院（2017）京民终487号民事判决书，百度网讯、百度在线与奇虎不正当竞争纠纷二审
• 北京市第一中级人民法院（2013）一中民初字第2668号、（2013）一中民初字第13657号民事判决书
• 北京市高级人民法院（2021）京民终281号民事判决书，微梦创科与字节跳动不正当竞争纠纷二审
• 北京知识产权法院（2017）京73民初2020号民事判决书；北京市海淀区人民法院（2017）京0108民初24530号民事判决书
• 福州市中级人民法院《公开新闻数据≠免费资源，舆情分析岂能任性爬取？》案件通报；中国知识产权报关于福建省高级人民法院二审的报道
• 北京市朝阳区人民法院“朝阳法苑”《抓取并使用导航电子地图数据盈利，法院一审认定构成不正当竞争赔偿1250万》；北京知识产权法院二审维持
• 《中华人民共和国反不正当竞争法》（2025年6月27日第二次修订，2025年10月15日施行）
• 《中华人民共和国刑法》第二百八十五条；《最高人民法院、最高人民检察院关于办理危害计算机信息系统安全刑事案件应用法律若干问题的解释》（法释〔2011〕19号）
• 《中华人民共和国著作权法》（2020年修正）第四十九条
• 《互联网搜索引擎服务自律公约》（中国互联网协会，2012年11月1日）
• 最高人民检察院第36号指导性案例，卫某等人非法获取计算机信息系统数据案
• EdgeOne《AI 爬虫处置实践：电商网站如何防止商品数据被 AI 爬虫抓取》（厂商观测口径，非官方统计）
/ END.
*本文为上海曼昆律师事务所的原创文章，仅代表本文作者个人观点，不构成对特定事项的法律咨询和法律意见。如需转载及法律咨询，请添加客服：mankunlawyer。
