← 返回全球监管资料库

欧盟条例(分阶段适用)

欧盟人工智能法案

主管机关:欧洲联盟首次发布:查阅官方来源

AI 智能摘要

该法案按风险等级规制人工智能系统,禁止特定用途,对高风险系统设定合规与透明度义务,并规定通用人工智能模型与生成式系统的责任。对使用 AI 进行交易监测、信用评估或客户交互的加密资产机构具有直接影响。

在欧盟部署 AI 风控、客服或营销工具的加密资产机构,需要按风险等级承担合规义务,包括透明度与人工监督。

适用对象:使用 AI 的加密资产服务商、技术供应商、合规与风控团队、产品负责人

实施情况:欧盟条例(分阶段适用)

  • 先确定自身是提供者还是部署者,义务不同。
  • 高风险用途需建立风险管理、记录与人工监督机制。
  • 关注分阶段适用日期与后续实施指引。
目录

(具有欧洲经济区相关性的文本)

欧洲议会和欧洲联盟理事会,

鉴于《欧洲联盟运作条约》,特别是其中的第16条和第114条,

鉴于欧洲委员会的提案,

在将立法草案送交各成员国议会之后,

鉴于欧洲经济和社会委员会的意见(1),

鉴于欧洲中央银行的意见(2),

鉴于区域委员会的意见(3),

依照普通立法程序行事(4),

鉴于:

(1)

本条例旨在通过在欧盟范围内为人工智能系统(AI系统)的开发、投放市场、投入使用及使用制定统一的法律框架,从而改善内部市场的运作,并遵循欧盟的价值观,促进以人为本且值得信赖的人工智能(AI)的普及应用,同时确保对健康、安全以及《欧盟基本权利宪章》(以下简称“宪章”)所载的基本权利——包括民主、法治与环境保护——提供高水平的保护,防范欧盟境内人工智能系统可能产生的有害影响,并支持创新。本条例保障基于人工智能的商品和服务的跨境自由流动,从而防止成员国对人工智能系统的开发、营销及使用施加限制,除非该等限制已由本条例明确授权。

(2) 本条例应当依照《宪章》所载的欧盟价值观予以适用,以促进对自然人、企业、民主、法治及环境保护的保护,同时推动创新与就业,并使欧盟在采用可信人工智能方面处于领先地位。

(3) 人工智能系统可以轻松部署于经济领域的众多行业以及社会的诸多层面,包括跨境应用,并且能够在整个欧盟范围内自由流通。部分成员国已着手制定本国法规,以确保人工智能的可信度与安全性,并使其开发与使用符合基本权利义务的要求。然而,各国规则的不一致可能导致内部市场的碎片化,并降低从事人工智能系统开发、进口或使用的经营者的法律确定性。因此,有必要在整个欧盟范围内确保统一且高水平的保护,以实现可信的人工智能;同时,应通过为经营者设定统一的义务,并依据《欧洲联盟运作条约》(TFEU)第114条,在整个内部市场范围内保障对公共利益重大事项及个人权利的统一保护,从而防止因规则差异而阻碍人工智能系统及相关产品和服务在内部市场的自由流通、创新、部署与普及。鉴于本条例就涉及以下特定情形的个人数据处理作出了专门规定:为执法目的而进行的远程生物特征识别、为执法目的而对自然人进行风险评估,以及为执法目的而使用生物特征分类的人工智能系统,因此,在这些特定规则所涉范围内,宜将本条例的法律依据确立为TFEU第16条。

鉴于上述特定规则并援引TFEU第16条,宜事先征询欧洲数据保护委员会的意见。

(4) 人工智能是一类快速发展的技术体系,能够在各行各业及社会活动的各个领域带来广泛的经济、环境和社会效益。通过提升预测能力、优化运营与资源配置,并为个人和组织提供个性化的数字解决方案,人工智能的应用能够为企业带来关键的竞争优势,同时助力实现具有社会与环境价值的积极成果,例如在医疗保健、农业、食品安全、教育培训、媒体、体育、文化、基础设施管理、能源、交通与物流、公共服务、安全、司法、资源与能源效率、环境监测、生物多样性和生态系统的保护与修复,以及气候变化的减缓与适应等领域。

(5) 同时,根据其具体应用情境、使用方式以及技术发展水平的不同,人工智能也可能产生风险,并对受欧盟法律保护的公共利益和基本权利造成损害。此类损害可能是有形的或无形的,包括身体、心理、社会或经济方面的损害。

(6) 鉴于人工智能对社会可能产生的重大影响以及建立信任的必要性,至关重要的是,人工智能及其监管框架应当依据《欧洲联盟条约》(TEU)第2条所载明的欧盟价值观、各条约所确认的基本权利与自由,以及根据《欧洲联盟条约》第6条所确立的《宪章》加以制定。作为前提条件,人工智能应当是一种以人为本的技术,应作为服务于人类的工具,其最终目标是增进人类福祉。

(7) 为确保在健康、安全及基本权利等方面对公共利益提供一致且高水平的保护,应当针对高风险的人工智能系统制定共同规则。这些规则应当符合《宪章》,不具歧视性,并与欧盟的国际贸易承诺相一致。此外,它们还应当考虑到《数字权利与原则欧洲宣言》以及人工智能高级别专家组(AI HLEG)发布的“值得信赖的人工智能伦理指南”。

(8) 因此,有必要建立一套统一的欧盟法律框架,就人工智能制定协调一致的规则,以促进人工智能在内部市场的开发、应用与普及,同时确保高水平地保护公共利益,例如健康与安全,以及受欧盟法律承认并予以保护的基本权利,包括民主、法治和环境保护。为实现这一目标,应当制定规范特定人工智能系统投放市场、投入使用及使用的相关规则,从而保障内部市场的顺畅运行,并使这些系统能够享受商品和服务自由流动的原则。这些规则应当清晰明确且有力地保护基本权利,支持新型创新解决方案,推动形成一个由公共和私营部门主体组成的欧洲生态系统,以符合欧盟价值观的方式开发人工智能系统,并释放整个欧盟各地区数字化转型的潜力。通过制定上述规则以及旨在支持创新、尤其侧重于中小企业(SMEs)和初创企业的相关措施,本条例有助于实现欧盟理事会所提出的“推广以人为本的人工智能理念,并在开发安全、可信、合乎伦理的人工智能方面成为全球领导者”的目标(5),并确保对伦理原则的保护,正如欧洲议会所特别要求的那样(6)。

(9) 适用于高风险人工智能系统投放市场、投入使用及使用的协调一致规则,应当依据欧洲议会和理事会第765/2008号条例(7)、欧洲议会和理事会第768/2008/EC号决定(8)以及欧洲议会和理事会第2019/1020号条例(9)(新立法框架)予以制定。本条例所规定的协调一致规则应当跨领域适用,并且依照新立法框架的规定,不得影响现行的欧盟法律,尤其是关于数据保护、消费者保护、基本权利、就业与劳动者保护以及产品安全等方面的法律;本条例对此类法律构成补充。因此,上述欧盟法律为消费者及其他可能受到人工智能系统不利影响的人士所提供的各项权利与救济措施,包括根据理事会第85/374/EEC号指令(10)就可能造成的损害请求赔偿的权利,均不受影响并继续完全适用。此外,在就业与劳动者保护方面,本条例亦不应影响欧盟社会政策法律及成员国国内劳动法,这些法律在遵守欧盟法律的前提下,涉及就业与工作条件,包括职业健康与安全以及雇主与劳动者之间的关系。

本条例亦不应影响成员国及欧盟层面所承认的基本权利之行使,包括罢工权或采取其他受各成员国特定产业关系制度所涵盖之行动的权利,以及依据本国法律进行集体谈判、订立并执行集体协议或采取集体行动的权利。本条例亦不影响欧洲议会和理事会关于改善平台工作者劳动条件之指令中所规定的旨在提升平台工作者劳动条件的各项条款。此外,本条例旨在通过确立具体要求与义务,包括人工智能系统的透明度、技术文档及记录保存等方面的要求,进一步强化上述现有权利与救济措施的实效性。此外,本条例对人工智能价值链中各相关经营主体所施加的义务,在不损害国家法律的前提下适用,并须符合欧盟法的规定;该等义务旨在限制某些人工智能系统的使用,前提是此类国家法律不在本条例的适用范围内,或其追求的公共利益目标与本条例所追求的目标不同。例如,国家劳动法以及关于保护未成年人(即未满十八周岁者)的法律,鉴于联合国儿童权利公约第25号一般性意见(2021年)有关儿童在数字环境中的权利之规定,只要这些法律并非专门针对人工智能系统且旨在实现其他合法的公共利益目标,则不应受本条例的影响。

(10) 个人数据保护的基本权利尤其受到欧洲议会和理事会颁布的第2016/679号(11)及第2018/1725号(12)条例,以及第2016/680号(13)指令的保障。此外,欧洲议会和理事会颁布的第2002/58/EC号指令(14)亦通过规定终端设备中存储个人数据与非个人数据以及从中访问的相关条件,对私人生活和通信保密予以保护。上述欧盟法律文件为可持续且负责任的数据处理奠定了基础,即便数据集中包含个人数据与非个人数据的混合情形亦然。本条例无意影响现行欧盟关于个人数据处理的法律适用,包括负责监督相关法律执行的独立监管机构之职责与权限。同时,本条例亦不影响人工智能系统提供者与部署者作为数据控制者或处理者所承担的义务,这些义务源自欧盟或成员国有关个人数据保护的法律规定,只要人工智能系统的设计、开发或使用涉及个人数据的处理。此外,有必要明确的是,数据主体仍享有该等欧盟法律赋予其的各项权利与保障,包括与完全自动化个体决策相关的权利,含画像分析在内。

根据本条例确立的人工智能系统投放市场、投入使用及使用的统一规则,应有助于有效实施,并使数据主体得以行使依据欧盟个人数据保护法及其他基本权利所保障的各项权利与救济措施。

(11) 本条例不应影响《欧洲议会和理事会第2022/2065号条例》(15)中关于中介服务提供者责任的规定。

(12) 本条例中“人工智能系统”的概念应当予以明确界定,并应与致力于人工智能领域的国际组织的工作保持密切衔接,以确保法律确定性,促进国际趋同与广泛接受,同时为适应该领域快速的技术发展提供必要的灵活性。此外,该定义应当基于人工智能系统区别于较简单的传统软件系统或编程方法的关键特征,且不应涵盖仅依据自然人所设定规则而自动执行操作的系统。人工智能系统的一项关键特征是其推理能力。所谓推理能力,是指获取输出(如预测、内容、建议或决策)并由此对物理及虚拟环境产生影响的过程,以及人工智能系统能够从输入或数据中推导出模型、算法或二者兼有的能力。在构建人工智能系统时,实现推理的技术包括:通过数据学习以达成特定目标的机器学习方法,以及基于逻辑与知识的方法,即从编码的知识或待解决任务的符号化表示中进行推理。人工智能系统的推理能力超越了单纯的数据处理,使其具备学习、推理或建模的能力。“基于机器”一词表明人工智能系统运行于机器之上。提及显性或隐性目标,则强调人工智能系统既可按照明确设定的目标运行,亦可依据隐性目标运作。

人工智能系统的具体目标可能与其在特定情境下的预期用途存在差异。就本条例而言,“环境”应被理解为人工智能系统所处的运行背景;而由人工智能系统产生的输出则反映了其承担的不同功能,包括预测、内容、建议或决策等。人工智能系统的设计旨在实现不同程度的自主性,即在一定程度上独立于人类干预而采取行动,并具备无需人工介入即可运行的能力。人工智能系统在部署后可能表现出的适应性,是指其自我学习能力,使系统能够在使用过程中不断调整与改进。人工智能系统既可以独立使用,也可以作为产品的一部分,无论该系统是否在物理上集成于产品之中(嵌入式),抑或仅服务于产品的功能而不予集成(非嵌入式)。

(13) 本条例所指的“部署者”概念,应被解释为任何自然人或法人,包括公共机关、机构或其他实体,在其权限范围内使用人工智能系统的情形;但人工智能系统仅用于个人非职业活动的情形除外。根据人工智能系统的类型,该系统的使用可能会对部署者以外的其他人产生影响。

(14) 本条例中使用的“生物特征数据”概念,应当参照《欧盟》2016/679号条例第4条第(14)项、《欧盟》2018/1725号条例第3条第(18)项以及《欧盟》2016/680号指令第3条第(13)项所界定的生物特征数据概念予以解释。生物特征数据可用于自然人的身份认证、身份识别或分类,以及自然人的情绪识别。

(15) 本条例所指的“生物特征识别”概念应界定为:通过将某人的生物特征数据与参考数据库中存储的他人生物特征数据进行比对,以确定该人身份的自动化识别过程,涉及面部、眼动、体型、声音、语调、步态、姿势、心率、血压、气味、击键特征等人体的物理、生理及行为特征;无论该人是否已作出同意。此项定义不包括旨在用于生物特征验证的人工智能系统,此类系统仅用于身份认证,其唯一目的在于确认特定自然人即为其所声称之本人,并仅为获取服务、解锁设备或进入场所的安全权限而确认该自然人的身份。

(16) 本条例所指的“生物特征分类”应被界定为:基于自然人的生物特征数据,将其归入特定类别。此类特定类别可涉及诸如性别、年龄、发色、眼色、纹身、行为或性格特征、语言、宗教、民族少数群体成员身份、性取向或政治倾向等方面。但本规定不适用于那些仅作为与另一项商业服务内在关联的纯粹辅助性功能的生物特征分类系统;即该功能因客观技术原因而无法在没有主服务的情况下单独使用,且该功能或特性的整合并非旨在规避本条例相关规定的适用。例如,在线上市场中用于对人脸或身体特征进行分类的滤镜,因其只能与以允许消费者预览商品在自身形象上的展示并协助其作出购买决策为主的销售服务相关联而构成此类辅助性功能。同样,在线社交网络服务中用于对人脸或身体特征进行分类以便用户添加或修改图片或视频的滤镜,亦可被视为辅助性功能,因为此类滤镜无法脱离该社交网络服务的核心功能——即在线分享内容——而单独使用。

(17)

本条例所指的“远程生物特征识别系统”应当从功能角度予以界定,即一种旨在无需自然人主动参与、通常在远距离条件下,通过将某人的生物特征数据与参考数据库中的生物特征数据进行比对而实现自然人身份识别的人工智能系统,且不论其所采用的具体技术、处理流程或生物特征数据类型如何。此类远程生物特征识别系统通常用于同时感知多人或其行为,从而显著便利在无需自然人主动参与的情况下对其身份的识别。此定义不包括旨在用于生物特征验证的人工智能系统,后者包括身份认证,其唯一目的在于确认特定自然人即为其所声称之本人,并仅为获取服务、解锁设备或获得场所安全访问权限而核实该自然人的身份。作出此项排除的理由在于,与可能在无需自然人主动参与的情况下处理大量人员生物特征数据的远程生物特征识别系统相比,此类系统对自然人基本权利的影响通常较小。就“实时”系统而言,生物特征数据的采集、比对及身份识别均在瞬间、近乎瞬间或无论如何均无明显延迟的情况下完成。因此,不得通过设置轻微延迟的方式规避本条例关于相关人工智能系统“实时”使用的规则。

“实时”系统涉及使用由摄像头或其他具有类似功能的设备生成的“实时”或“准实时”素材,如视频影像。与此相反,“事后”系统则是在生物特征数据已被采集之后,才在较长时间的延迟后进行比对与身份识别。此类系统所涉及的素材,例如由闭路电视摄像机或私人设备生成的照片或视频影像,均是在针对相关自然人使用该系统之前已生成的。

(18)

本条例所称“情绪识别系统”,是指基于自然人的生物特征数据,用于识别或推断其情绪或意图的人工智能系统。该概念涵盖的情绪或意图包括但不限于:快乐、悲伤、愤怒、惊讶、厌恶、尴尬、兴奋、羞愧、轻蔑、满足及愉悦等。但不包括诸如疼痛或疲劳等生理状态,例如用于检测专业飞行员或驾驶员疲劳状态以预防事故的系统。此外,本规定亦不适用于仅对明显可察觉的表情、手势或动作进行单纯检测的情形,除非此类表情、手势或动作系用于识别或推断情绪之目的。上述表情可能包括基本的面部表情,如皱眉或微笑;也可能包括手势,如手、臂或头部的动作;以及声音特征,如提高音量或低声细语等。

(19)

为本条例之目的,“公众可进入空间”一词应理解为指任何可供不特定自然人进入的物理空间,且不论该空间系私人所有还是公共所有,亦不论其用途为何,例如用于商业活动(如商店、餐馆、咖啡馆)、提供服务(如银行、专业机构、酒店业)、体育活动(如游泳池、健身房、体育场)、交通运输(如公交车站、地铁站、火车站、机场及各类交通工具)、娱乐活动(如电影院、剧院、博物馆、音乐会及会议厅)或休闲及其他用途(如公共道路与广场、公园、森林、游乐场)。此外,若某一空间虽存在潜在容量限制或安全方面的约束,但其进入仍需满足某些预先设定的条件,而这些条件可由不特定多数人予以满足,则该空间亦应被认定为公众可进入空间,例如购买门票或交通凭证、事先登记或达到特定年龄等。相反,若某空间的进入仅限于依据欧盟或成员国法律直接涉及公共安全或安保的特定自然人,或者系相关权力主体明确表示意愿所限定,则该空间不应被视为公众可进入空间。单纯从事实上的进入可能性来看,例如门未上锁或围栏敞开,并不能推定该空间即为公众可进入空间;

当存在表明相反情况的标识或情形时,例如禁止或限制进入的标志,则更不应视为公众可进入空间。公司和工厂的场所,以及仅供相关员工和服务提供商进入的办公室和工作场所,均不属于公众可进入空间。公众可进入的空间不包括监狱或边境管控区域。此外,某些空间可能同时包含公众可进入部分与非公众可进入部分,例如私人住宅楼内通往医生办公室或机场的走廊。在线空间不在本条例调整范围内,因其并非物理空间。然而,某一空间是否对公众开放,仍应根据具体个案情况,结合当时具体情况予以判定。

(20)

为在保护基本权利、健康与安全的同时,从人工智能系统中获得最大效益,并实现民主管控,人工智能素养应当使提供者、部署者及受影响者掌握必要的知识,以便就人工智能系统作出知情决策。这些知识可能因相关情境而异,包括理解人工智能系统开发阶段技术要素的正确应用、使用过程中应采取的措施、恰当解读人工智能系统输出结果的方式,以及对于受影响者而言,了解借助人工智能所作决定将如何对其产生影响所需的知识。在本条例适用的背景下,人工智能素养应当为人工智能价值链中的所有相关主体提供确保适当合规及其有效执行所需的洞见。此外,广泛实施人工智能素养措施并采取适当的后续行动,有助于改善工作条件,最终推动欧盟范围内可信人工智能的巩固与创新进程。欧洲人工智能委员会(以下简称“委员会”)应当支持委员会,促进人工智能素养工具的推广,提高公众对人工智能系统使用所带来的益处、风险、保障措施、权利与义务的认识与理解。委员会与成员国应在相关利益攸关方的协作下,推动制定自愿性行为准则,以提升从事人工智能开发、运行与使用人员的人工智能素养水平。

(21)

为确保在整个欧盟范围内实现公平竞争并有效保护个人的权利和自由,本条例所确立的规则应当以非歧视性的方式适用于人工智能系统的提供者,无论其是否在欧盟境内或第三国设立,以及适用于在欧盟境内设立的人工智能系统部署者。

(22)

鉴于其数字化特性,某些人工智能系统即使未在欧盟境内投放市场、投入使用或使用,亦应纳入本条例的适用范围。例如,当一家设在欧盟境内的运营者就某项由人工智能系统执行且被认定为高风险的活动,与一家设在第三国的运营者订立相关服务合同时,即属此种情形。在此情况下,该运营者在第三国使用的人工智能系统虽未在欧盟境内投放市场、投入使用或使用,却可对合法收集并从欧盟境内传输的数据进行处理,并将由此产生的处理结果提供给位于欧盟境内的订约方。为防止规避本条例的规定并确保对位于欧盟境内的自然人提供有效保护,本条例还应适用于设在第三国的人工智能系统的提供者和部署者,前提是该等系统所生成的输出拟在欧盟境内使用。然而,为兼顾现有安排及未来与外国合作伙伴开展信息与证据交换的特殊需求,本条例不应适用于第三国的公共机关以及国际组织;但前提是,该第三国或国际组织须就个人基本权利与自由的保护提供充分保障。在必要时,这亦可能涵盖受第三国委托、为支持此类执法与司法合作而履行特定任务的实体之相关活动。

此类合作框架或协议已由成员国与第三国之间,或由欧盟、欧洲刑警组织及其他欧盟机构与第三国及国际组织之间以双边方式建立。根据本条例负责监督执法与司法机关的主管当局,应当评估上述合作框架或国际协议是否包含足以保障个人基本权利与自由的适当保障措施。在欧盟境内使用此类成果的各成员国主管当局以及欧盟各机构、机关、办事处和机构,仍应承担相应责任,确保其使用符合欧盟法律。当这些国际协定在未来被修订或缔结新的协定时,缔约各方应尽最大努力使这些协定与本条例的要求相一致。

(23)

本条例亦应适用于欧盟各机构、机关、办事处及 agencies 在作为人工智能系统提供者或部署者时的情形。

(24)

如果且仅当人工智能系统被投放市场、投入使用,或在未经修改的情况下用于军事、国防或国家安全目的时,无论从事上述活动的主体是公共部门还是私营部门,均应将其排除在本条例的适用范围之外。就军事和国防目的而言,此种排除既符合《欧盟条约》第4条第2款的规定,也基于《欧盟条约》第五编第二章所涵盖的成员国及欧盟共同防务政策的特殊性;该政策受国际公法调整,因此在涉及致命武力使用以及军事和国防活动中其他人工智能系统的规制方面,国际公法构成了更为适当的法律框架。就国家安全目的而言,此种排除既源于根据《欧盟条约》第4条第2款规定,国家安全仍属成员国的专属管辖范围,也基于国家安全活动的特殊性质与运作需求,以及适用于此类活动的特定国家规则。然而,若为军事、国防或国家安全目的而开发、投放市场、投入使用或使用的某人工智能系统,在临时或永久性地转而用于其他目的(例如民用或人道主义目的、执法或公共安全目的)时,则该系统将纳入本条例的适用范围。在此情形下,将该人工智能系统用于非军事、国防或国家安全目的的实体应当确保该系统符合本条例的要求,除非该系统本身已符合本条例的规定。

对于那些为被排除的目的(即军事、国防或国家安全)以及一个或多个未被排除的目的(例如民用目的或执法目的)而投放市场或投入使用的人工智能系统,均属于本条例的适用范围,相关系统提供者应当确保其符合本条例的规定。在上述情况下,人工智能系统可能属于本条例适用范围这一事实,并不影响从事国家安全、国防及军事活动的各类主体——无论其性质如何——继续将人工智能系统用于国家安全、军事及国防目的的权利;而此类用途已被排除在本条例的适用范围之外。同样,为民事或执法目的而投放市场的人工智能系统,即使经修改后用于军事、国防或国家安全目的,亦不应纳入本条例的适用范围,无论从事上述活动的主体为何种类型。

(25)

本条例应当支持创新,尊重科学自由,并且不得损害研究与开发活动。因此,有必要将其适用范围排除专门出于科学研究与开发目的而开发并投入使用的人工智能系统和模型。此外,还应当确保本条例不会对人工智能系统或模型在投放市场或投入使用之前的研究与开发活动产生其他不利影响。就以产品为导向的人工智能系统或模型的研究、测试与开发活动而言,在相关系统和模型投入使用或投放市场之前,本条例的规定亦不适用。上述排除不影响如下义务:即当因该等研究与开发活动而导致属于本条例适用范围的人工智能系统被投放市场或投入使用时,仍须遵守本条例的规定;同时也不影响关于人工智能监管沙盒以及真实环境测试的相关规定之适用。此外,除专门出于科学研究与开发目的而开发并投入使用的人工智能系统外,任何其他可能用于开展各类研究与开发活动的人工智能系统,均应继续受本条例规定的约束。无论如何,所有研究与开发活动均应按照公认的科学研究伦理与职业标准进行,并符合适用的欧盟法律要求。

(26)

为引入一套与人工智能系统相称且有效的约束性规则,应当遵循明确界定的风险导向方法。该方法应根据人工智能系统可能引发的风险的严重程度和影响范围,相应调整此类规则的类型与内容。因此,有必要禁止某些不可接受的人工智能做法,对高风险的人工智能系统设定具体要求并规定相关运营者的义务,同时对特定的人工智能系统施加透明度义务。

(27)

尽管基于风险的方法是制定一套相称且有效的约束性规则的基础,但有必要回顾由欧盟委员会任命的独立人工智能高级专家组于2019年制定的“可信赖人工智能伦理指南”。在该指南中,AI HLEG提出了七项非约束性的AI伦理原则,旨在确保人工智能的可信赖性和伦理性。这七项原则包括:人类能动性和监督;技术稳健性与安全性;隐私与数据治理;透明度;多样性、非歧视与公平;社会与环境福祉;以及问责制。在不影响本条例及其他适用欧盟法律的法律约束性要求的前提下,这些指南有助于设计出符合《宪章》及欧盟立基价值的连贯、可信赖且以人为本的人工智能系统。根据AI HLEG的指南,“人类能动性和监督”是指人工智能系统应被开发并用作服务于人的工具,尊重人的尊严与个人自主权,并以能够由人类适当控制和监督的方式运行。“技术稳健性与安全性”是指人工智能系统的开发与使用应当具备应对问题的稳健性,并能抵御任何试图改变其用途或性能的行为,从而防止第三方的非法使用,同时最大限度地减少意外损害。

“隐私与数据治理”是指人工智能系统的开发与使用应当遵守隐私与数据保护的相关规定,并对数据进行处理时达到高质量与高完整性的标准。“透明度”是指人工智能系统的开发与使用应当确保适当的可追溯性与可解释性,同时使人类意识到其正在与人工智能系统进行沟通或互动,并充分告知部署方该人工智能系统的功能与局限性,以及相关当事人其享有的权利。“多样性、非歧视与公平”是指人工智能系统的开发与使用应当吸纳多元主体参与,促进平等准入、性别平等与文化多样性,同时避免任何为欧盟或成员国法律所禁止的歧视性影响与不公平偏见。社会与环境福祉是指人工智能系统应在可持续且环境友好的方式下开发和使用,并以惠及全人类的方式加以应用,同时对个人、社会及民主制度的长期影响进行监测与评估。在可能的情况下,这些原则的应用应当体现在人工智能模型的设计与使用之中。无论如何,它们都应作为本条例项下行为准则制定的基础。鼓励包括产业界、学术界、民间社会以及标准化组织在内的所有利益相关方,在适当情况下将伦理原则纳入自愿性最佳实践与标准的制定过程中。

(28)

除人工智能具有诸多有益用途外,它亦可能被滥用,并为操纵、剥削及社会控制等行为提供新颖而强大的工具。此类做法尤为有害且具有虐待性,应当予以禁止,因为它们违背了欧盟所秉持的尊重人的尊严、自由、平等、民主与法治的价值观,以及《宪章》中载明的基本权利,包括不受歧视的权利、数据保护权、隐私权和儿童权利。

(29)

具有人工智能功能的操纵性技术可用于促使他人从事其不愿从事的行为,或通过引导其作出决策而对其实施欺骗,从而削弱并损害其自主性、决策能力和自由选择权。那些以实质性扭曲人类行为为目的或产生实质性扭曲效果的人工智能系统,若极有可能造成重大损害,尤其是对身体、心理健康或经济利益产生足够严重之不利影响者,尤为危险,因而应当予以禁止。此类人工智能系统运用潜意识层面的组件,如音频、图像、视频等刺激物,这些刺激物超出了人类的感知范围;或者采用其他操纵性或欺骗性手段,以人们并未自觉意识到的方式削弱或损害其自主性、决策能力或自由选择权,即便人们已意识到这些手段,仍可能被误导,或无法加以控制与抵制。例如,借助脑机接口或虚拟现实技术,可更有效地掌控向个体呈现的各类刺激信息,从而在显著有害的程度上实质性地扭曲其行为。此外,人工智能系统还可能利用个人或特定群体因年龄、残疾(依据欧洲议会和理事会第2019/882号指令(16)所界定)或其他社会经济状况而存在的脆弱性,使这些人更容易遭受剥削,例如生活在极端贫困中的人群、少数民族或宗教少数群体。

此类人工智能系统若被投放市场、投入使用或用于以实质性扭曲个人行为为目的或产生实质性扭曲效果,并且该行为已造成或极有可能造成对本人或其他个人或群体的重大损害,包括可能随时间累积的损害,则应予禁止。然而,当行为扭曲系由人工智能系统之外、且不在提供者或部署者可控范围内的外部因素所致时,难以认定存在故意扭曲行为的意图;此类因素往往难以合理预见,因而人工智能系统的提供者或部署者亦无法采取有效措施予以防范。在任何情况下,只要此类损害系由具有操纵性或剥削性的、基于人工智能的实践所导致,提供者或部署者无需具备造成重大损害的主观意图。针对此类人工智能实践的禁止规定与欧洲议会和理事会2005/29/EC号指令(17)中的相关规定相辅相成;尤其是,无论相关行为是否通过人工智能系统实施,一切导致消费者经济或财务损害的不正当商业行为均在任何情形下被禁止。本条例中关于操纵性和剥削性实践的禁止规定不应影响医疗治疗领域的合法实践,例如精神疾病的心理治疗或身体康复,前提是这些实践依照适用法律及医疗标准开展,例如获得当事人或其法定代理人的明确同意。

此外,符合适用法律的常见且正当的商业实践,例如广告领域中的做法,本身不应被视为构成有害的、具有操纵性的、基于人工智能的实践。

(30)

基于自然人的生物特征数据(如个人的面部或指纹)而建立的生物特征分类系统,若用于推断或推测个人的政治观点、工会会员身份、宗教或哲学信仰、种族、性生活或性取向,应当予以禁止。但该禁令不应适用于依照欧盟或成员国法律合法获取的生物特征数据集所进行的标注、筛选或分类活动,例如根据发色或眼色对图像进行排序等,此类活动在执法领域中可予使用。

(31)

由公共或私人主体对自然人实施社会评分的人工智能系统,可能导致歧视性后果,并使某些群体遭到排斥。此类系统可能侵犯人的尊严权和不受歧视的权利,以及平等与正义的价值观。这类人工智能系统基于与个人社会行为相关的多维度数据,在多种情境下,或依据已知、推断或预测的个人特征及人格特质,对自然人或其所属群体进行评估或分类。由此类人工智能系统得出的社会评分,可能在与原始数据生成或收集情境无关的社会场景中,导致对自然人或整个群体的不利或有害待遇;或者导致与其社会行为严重程度不相称、缺乏正当理由的不利待遇。因此,应禁止采用此类不可接受的评分做法并产生上述不利或有害后果的人工智能系统。但该禁令不应影响根据欧盟及成员国法律为特定目的而依法开展的自然人评估活动。

(32)

在公共可访问场所为执法目的而使用人工智能系统对自然人进行“实时”远程生物特征识别,对相关个人的权利和自由具有特别严重的侵扰性,其程度足以影响广大民众的私人生活,引发持续监控之感,并间接抑制集会自由及其他基本权利的行使。用于自然人远程生物特征识别的人工智能系统可能存在技术上的不准确性,从而导致结果偏差并产生歧视性后果。此类可能的偏差结果及歧视性影响在涉及年龄、族裔、种族、性别或残疾等方面尤为显著。此外,由于此类实时运行系统的即时性及其在使用过程中缺乏进一步核查或更正的机会,使得相关个人在执法活动的背景下或受其影响时,其权利和自由面临更高的风险。

(33)

因此,除在详尽列举且严格限定的情形下外,应禁止为执法目的使用此类系统;唯有在这些情形中,该使用系为实现重大公共利益所必需,且该公共利益的重要性足以 outweigh 风险。上述情形包括:搜寻特定犯罪受害人,包括失踪人员;针对自然人生命或人身安全的特定威胁,或恐怖袭击;以及定位或识别本条例附件所列刑事犯罪的实施者或嫌疑人,前提是该等犯罪在相关成员国依法可处以至少四年有期徒刑或拘役,并且其定义符合该成员国法律的规定。依据本国法律设定的上述有期徒刑或拘役门槛,有助于确保相关犯罪具有足够严重性,从而可能正当化“实时”远程生物特征识别系统的使用。此外,本条例附件所载的刑事犯罪清单以欧盟理事会框架决定2002/584/JHA(18)所列32项犯罪为基础,并考虑到实践中某些犯罪相较于其他犯罪更有可能具有实际相关性,即在对不同所列刑事犯罪的实施者或嫌疑人的定位或识别过程中,为实现这一目标而诉诸“实时”远程生物特征识别技术,在不同程度上可能是必要且相称的,同时亦需考虑各类犯罪在危害或潜在负面后果的严重程度、发生概率及影响范围方面的显著差异。

此外,根据欧洲议会和理事会于2022年通过的指令(EU)2022/2557第2条第(4)款之定义,关键基础设施遭受严重破坏亦可能构成对自然人生命或人身安全的紧迫威胁;若此类关键基础设施遭到破坏或损毁,将导致对个人生命或人身安全的紧迫威胁,包括通过严重影响向民众提供基本生活物资或妨碍国家核心职能的履行等方式。另外,本条例还应保障执法、边境管控、移民或庇护主管机关依照欧盟及成员国法律就身份核查所规定的条件,在当事人在场的情况下开展身份核查的能力。特别地,执法机关、边境管控部门、移民或庇护管理机构应当能够依据欧盟法律或本国法律,使用信息系统识别在身份核查过程中拒绝接受身份确认或者无法说明或证明其身份的人员,而无需根据本条例事先取得授权。例如,这可能涉及一名犯罪嫌疑人,因其不愿透露身份,或因意外事故或医疗状况而无法向执法机关提供身份信息。

(34)

为确保这些系统得到负责任且适度的使用,还应当明确,在每一项详尽列举且范围严格限定的情形下,均应考虑若干要素,尤其是与引发请求的情境性质、该等使用对所有相关人士之权利与自由所生之影响,以及为此类使用所设定之保障措施与条件有关的事项。此外,在公共可进入场所为执法目的而使用“实时”远程生物特征识别系统时,仅得用于确认特定目标对象之身份,且其使用期限、地理范围及个人适用范围均应严格限于必要之限度,并特别考量有关威胁、受害人或犯罪行为人的证据或线索。在公共可进入场所使用实时远程生物特征识别系统,仅当相关执法机关已完成基本权利影响评估,并且除本条例另有规定外,已将该系统登记于本条例所规定的数据库中时,方可予以授权。上述各情形下的人员参考数据库,均应与各自的具体使用场景相适应。

(35)

在公共可访问场所为执法目的使用“实时”远程生物识别身份识别系统,应当事先获得成员国司法机关或独立行政机构的明确且具体的授权,该决定具有约束力。原则上,此类授权应在使用人工智能系统以识别一人或多个人之前取得。在确有正当理由且情况紧急的情况下,可以允许例外情形,即当使用相关系统的必要性使得在启动该人工智能系统之前实际上客观上无法获得授权时。在此类紧急情况下,人工智能系统的使用应严格限制在绝对必要的最低限度,并须遵守国家法律规定的适当保障措施和条件,同时由执法机关针对每个具体紧急使用情形予以明确说明。此外,在上述情形下,执法机关应当及时提出该项授权申请,并说明未能提前申请的理由,不得无故拖延,最迟不得超过24小时。如该授权被拒绝,则与该授权相关的实时生物识别身份识别系统的使用应立即停止,所有与此类使用有关的数据均应予以销毁和删除。此类数据包括人工智能系统在使用过程中直接获取的输入数据,以及与该授权相关的使用结果和输出信息;但不包括依据其他欧盟或国家法律合法获取的输入数据。

无论如何,任何仅基于远程生物识别身份识别系统输出结果而对个人产生不利法律效力的决定均不得作出。

(36)

为确保其任务按照本条例及国家相关规定的各项要求得以履行,有关的市场监督机构和国家数据保护机构应当就实时生物特征识别系统的每一次使用情况予以通报。已获通报的市场监督机构和国家数据保护机构应当向委员会提交关于实时生物特征识别系统使用情况的年度报告。

(37)

此外,在本条例所确立的全面框架内,有必要规定:在某一成员国境内依据本条例进行的此类使用,仅在该成员国已在本国法律的详细规则中明确决定允许此种使用的前提下方可实施。因此,各成员国根据本条例仍可自由选择完全不设此类可能性,或者仅针对本条例所列明的、能够正当化授权使用的部分目的作出相关规定。上述国家规则应在通过后三十日内通报委员会。

(38) 为执法目的而在公共可访问场所使用人工智能系统对自然人进行实时远程生物特征识别,必然涉及生物特征数据的处理。本条例中依据《欧盟运作条约》第16条、在特定例外情形下禁止此类使用的相关规定,应作为特别法,优先于《(EU)2016/680号指令》第10条所载关于生物特征数据处理的规定予以适用,从而对该类使用及其所涉生物特征数据的处理作出全面规范。因此,此类使用及处理仅在符合本条例所确立之框架的前提下方可进行;在此框架之外,主管机关如为执法目的而使用此类系统并据此处理相关数据,则不得以《(EU)2016/680号指令》第10条所列理由为依据。在此背景下,本条例并不旨在为依据《(EU)2016/680号指令》第8条进行的个人数据处理提供法律依据。然而,在公共可访问场所出于执法以外之目的使用实时远程生物特征识别系统,包括由主管机关所为者,不应纳入本条例所确立的针对执法目的之该类使用的专门框架。因此,此类非执法目的之使用无须遵守本条例项下的授权要求,亦不受可能赋予该授权效力的国家法律之相应细化规则之约束。

(39) 除根据本条例规定,在公共可访问场所为执法目的使用实时远程生物特征识别系统的情形外,任何涉及在使用人工智能系统进行生物特征识别过程中处理的生物特征数据及其他个人数据的行为,均应继续遵守《欧盟》2016/680号指令第10条所规定的各项要求。对于非执法目的,依据《欧盟》2016/679号条例第9条第1款以及《欧盟》2018/1725号条例第10条第1款的规定,除该等条款所列有限例外情形外,禁止处理生物特征数据。在适用《欧盟》2016/679号条例第9条第1款时,针对非执法目的的远程生物特征识别应用,已由各国数据保护主管机关作出禁止性决定。

(40) 根据《欧盟条约》和《欧盟运作条约》所附的关于英国和爱尔兰在自由、安全与司法领域地位的第21号议定书第6a条的规定,爱尔兰不受本条例第5条第1款第1项第(g)目(就其适用于警察合作及刑事司法合作领域活动中使用生物特征分类系统的情形而言)、第5条第1款第1项第(d)目(就其适用于该条款所涵盖的人工智能系统之使用的情形而言)、第5条第1款第1项第(h)目、第5条第2款至第6款以及第26条第10款的约束;上述规定系依据《欧盟运作条约》第16条制定,涉及成员国在开展属于《欧盟运作条约》第三部分第五编第四章或第五章范围内的活动时对个人数据的处理。在这些情形下,爱尔兰不受那些要求遵守依据《欧盟运作条约》第16条制定之规定的刑事司法合作或警察合作形式相关规则的约束。

(41) 根据《欧盟条约》和《欧盟运作条约》所附的关于丹麦地位的第22号议定书第2条及第2a条的规定,丹麦不受本条例第5条第1款第(g)项(就其适用于在警务合作与刑事司法合作领域中使用生物特征分类系统的情形而言)、第5条第1款第(d)项(就其适用于该条款所涵盖的人工智能系统之使用的情形而言)、第5条第1款第(h)项第(2)至第(6)款以及第26条第10款的约束;上述规定系依据《欧盟运作条约》第16条制定,并且涉及成员国在开展属于《欧盟运作条约》第三部分第五编第四章或第五章范围内的活动时对个人数据的处理。

(42) 鉴于无罪推定原则,欧盟境内的自然人应始终根据其实际行为予以评判。自然人不得仅因其个人画像、人格特质或诸如国籍、出生地、居住地、子女数量、负债水平或车辆类型等特征而被基于人工智能预测的行为所评判,除非存在合理怀疑该自然人参与了某一刑事活动,且该怀疑须以客观可验证的事实为依据,并经由人工评估予以确认。因此,凡旨在评估自然人实施犯罪的可能性或仅凭对其个人画像及人格特质和特征的分析来预测实际或潜在刑事犯罪发生的风险评估,均应予以禁止。无论如何,该项禁令并不适用于那些并非基于对个人的画像或其人格特质与特征的风险分析,例如:人工智能系统基于可疑交易评估企业发生金融欺诈的可能性,或海关当局利用风险分析工具根据已知贩运路线预测毒品或非法物品的所在地等情形。

(43) 禁止将通过从互联网或闭路电视监控录像中无针对性地抓取面部图像而创建或扩充面部识别数据库的人工智能系统投放市场、用于特定目的或投入使用,因为此种做法会加剧大规模监控的氛围,并可能导致对包括隐私权在内的基本权利的严重侵犯。

(44) 对于旨在识别或推断情绪的人工智能系统的科学依据,存在严重担忧,尤其是在情绪表达在不同文化和情境中乃至同一人内部都存在显著差异的情况下。此类系统的主要缺陷包括可靠性有限、缺乏特异性和普遍适用性不足。因此,基于自然人的生物特征数据来识别或推断其情绪或意图的人工智能系统可能导致歧视性后果,并可能侵犯相关个人的权利与自由。鉴于工作或教育场景中的权力失衡,加之这些系统的侵入性特征,此类系统可能会导致对特定自然人或整个群体的不利或有害待遇。因此,应禁止将用于在与工作和教育相关的情境中检测个人情绪状态的人工智能系统投放市场、投入使用或加以使用。但该禁令不应适用于仅出于医疗或安全目的而投放市场的AI系统,例如用于治疗用途的系统。

(45) 联盟法律所禁止的行为,包括数据保护法、非歧视法、消费者保护法以及竞争法,均不应受本条例的影响。

(46) 高风险人工智能系统只有在符合某些强制性要求的情况下,方可投放欧盟市场、投入使用或使用。这些要求应当确保在欧盟境内提供或其输出结果在欧盟境内被使用的高风险人工智能系统,不会对欧盟法律所承认并保护的重要公共利益构成不可接受的风险。根据《新立法框架》的规定,并经由委员会发布的《2022年关于实施欧盟产品规则的“蓝色指南”》(20)予以阐明,一般原则是:对于同一产品,可能同时适用多项欧盟协调立法中的法律文件,例如欧洲议会和理事会颁布的《条例(EU)2017/745》(21)和《条例(EU)2017/746》(22),或者《指令2006/42/EC》(23)。这是因为产品的上市或投入使用仅在该产品符合所有适用的欧盟协调立法时方可进行。为确保一致性并避免不必要的行政负担或成本,对于含有一个或多个高风险人工智能系统的相关产品,其供应商在如何以最优化的方式确保该等产品符合本条例以及本条例附件中列明的欧盟协调立法的各项要求方面,应当享有一定的灵活性。被认定为高风险的人工智能系统应仅限于那些对欧盟境内人员的健康、安全及基本权利产生重大不利影响的系统;

同时,此种限制应当尽可能减少对国际贸易可能造成的任何潜在阻碍。

(47) 人工智能系统可能对人员的健康与安全产生不利影响,尤其是在这些系统作为产品安全组件运行时。为实现欧盟协调立法旨在促进产品在内部市场自由流通、确保只有安全且符合相关要求的产品方可进入市场的目标,有必要充分预防并降低因产品的数字化组件(包括人工智能系统)而可能引发的安全风险。例如,无论是用于制造业还是个人辅助与护理领域的自主性日益增强的机器人,都应当能够在复杂环境中安全运行并履行其功能。同样,在生命与健康攸关的医疗领域,日益精密的诊断系统以及支持人类决策的系统也必须具备可靠性和准确性。

(48) 当将某一人工智能系统归类为高风险时,该系统对《宪章》所保护的基本权利造成的不利影响之程度尤为相关。这些权利包括:人的尊严权、尊重私人生活和家庭生活的权利、个人数据保护权、言论与信息自由、集会与结社自由、不受歧视的权利、受教育的权利、消费者保护、劳动者权利、残疾人权利、性别平等、知识产权、获得有效救济与公正审判的权利、辩护权与无罪推定原则,以及良好行政管理的权利。除上述权利外,还应特别强调,儿童享有《宪章》第24条及《联合国儿童权利公约》所载的特定权利;而后者在关于数字环境的第25号一般性意见中得到了进一步阐释。这两项法律文书均要求充分考虑儿童的脆弱性,并为其福祉提供必要的保护与照顾。此外,在评估人工智能系统可能造成的损害严重程度时,还应当考虑到《宪章》所确立并由欧盟政策予以落实的高水平环境保护这一基本权利,尤其是在涉及人员健康与安全方面。

(49) 关于作为产品或系统安全组件的高风险人工智能系统,或者本身属于欧洲议会和理事会第300/2008号条例(24)、欧洲议会和理事会第167/2013号条例(25)、欧洲议会和理事会第168/2013号条例(26)、欧洲议会和理事会第2014/90/EU号指令(27)、欧洲议会和理事会第2016/797号指令(28)、欧洲议会和理事会第2018/858号条例(29)、欧洲议会和理事会第2018/1139号条例(30)以及欧洲议会和理事会第2019/2144号条例(31)所涵盖范围内的产品或系统,宜对上述法规作出相应修订,以确保委员会在依据这些法规制定任何相关授权法案或实施法案时,能够基于各行业的技术和监管特殊性,在不干扰其中已确立的治理、合格评定及执法机制与主管机关的前提下,充分考虑本条例中规定的高风险人工智能系统的强制性要求。

(50) 对于那些作为产品安全组件,或者本身即为产品的人工智能系统,若其属于本条例附件所列的某些欧盟协调立法的适用范围,则在相关产品依据该适用的欧盟协调立法接受第三方合格评定机构的合格评定程序时,宜将其按照本条例归类为高风险。特别是,此类产品包括机械、玩具、电梯、用于潜在爆炸性环境的设备和防护系统、无线电设备、承压设备、休闲船舶设备、索道装置、燃烧气体燃料的器具、医疗器械、体外诊断医疗器械、汽车及航空领域的产品。

(51)

根据本条例将某人工智能系统归类为高风险,并不必然意味着该系统的安全组件所属的产品,或该人工智能系统本身作为产品,亦根据适用于该产品的相关欧盟协调立法所确立的标准被视为高风险。这种情况尤其适用于第(EU)2017/745号和第(EU)2017/746号法规,在这些法规中,针对中等风险和高风险产品均规定了由第三方进行的合格评定。

(52)

关于独立的人工智能系统,即除作为产品安全组件或本身即为产品之外的高风险人工智能系统,若根据其预期用途,该系统对人的健康与安全或基本权利构成较高危害风险,并且同时考虑可能造成的危害严重程度及其发生的可能性,且其使用领域属于本条例中明确规定的若干特定预先界定的范围,则宜将其归类为高风险。此类系统的认定依据与委员会未来通过授权法案所采纳的高风险人工智能系统清单修订所采用的方法和标准相同,以兼顾技术发展的快速步伐以及人工智能系统使用方式可能出现的变化。

(53) 同样重要的是澄清,在本条例所规定的预先界定的特定领域中,某些人工智能系统可能并不会对这些领域所保护的法益构成重大损害风险,因为它们并未实质性地影响决策过程,亦未对相关法益造成重大损害。就本条例而言,所谓“不实质性影响决策结果的人工智能系统”,应理解为该系统对决策的实质内容及其结果(无论是人类决策还是自动化决策)均不产生任何影响。不实质性影响决策结果的人工智能系统的情形可包括以下一种或多种条件同时满足的情况:其一,该人工智能系统旨在执行一项范围狭窄的程序性任务,例如将非结构化数据转化为结构化数据的人工智能系统、将 incoming 文档分类归入不同类别的系统,或者用于在大量申请中识别重复项的人工智能系统。此类任务性质极为狭窄且有限,因而仅带来有限的风险,而这种风险并不会因在本条例附件所列的高风险应用场景下使用该人工智能系统而进一步加剧。其二,该人工智能系统所执行的任务旨在改进先前已完成的人类活动之结果,而该人类活动可能与本条例附件所列的高风险用途相关。鉴于上述特征,该人工智能系统仅为人类活动提供了一层辅助,从而相应降低了整体风险。

例如,此类情形适用于那些旨在改善先前起草文件中语言表达的人工智能系统,如提升专业语气、学术风格,或使文本符合特定品牌传播信息的要求。其三,该人工智能系统旨在检测决策模式或与既往决策模式的偏离情况。由于该人工智能系统的使用是在已有人类评估的基础上进行,且其本身并不旨在取代或影响该评估,因此风险得以降低,前提是仍需经过适当的人工审核。此类人工智能系统包括但不限于:在教师具有特定评分模式的情况下,能够事后核查教师是否偏离该评分模式,从而提示潜在的不一致或异常情况。第四项条件应当是:该人工智能系统旨在执行一项仅作为附件所列人工智能系统相关评估之预备性工作的任务,从而使得该系统输出结果对后续评估可能产生的影响极低,不足以构成风险。该项条件尤其涵盖用于文件处理的智能解决方案,其中包括索引、检索、文本与语音处理以及数据与其他数据源的关联等多种功能,或用于初始文件翻译的人工智能系统。

无论如何,若某人工智能系统在本条例附件所列的高风险应用场景中实施了《欧盟》2016/679号条例第4条第(4)项、《欧盟》2016/680号指令第3条第(4)项或《欧盟》2018/1725号条例第3条第(5)项所指的“画像”行为,则应被视为对健康、安全或基本权利构成重大危害的风险。为确保可追溯性和透明度,依据上述条件认定某一人工智能系统不属于高风险的提供者,应在该系统投放市场或投入使用前编制评估文件,并应根据要求向国家主管当局提供该文件。此类提供者还应当履行义务,将该人工智能系统登记于本条例设立的欧盟数据库中。为进一步指导本条例附件所列人工智能系统在例外情况下被认定为非高风险的具体实施条件,委员会应在征询高级别专家组意见后,制定相关指南,明确该具体实施方式,并辅以一份详尽的清单,列举高风险人工智能系统的实际应用案例及非高风险应用案例。

(54) 由于生物特征数据属于个人数据的特殊类别,因此在相关欧盟及成员国法律允许的情况下,若干关键用途的生物识别系统应被归类为高风险。旨在对自然人进行远程生物识别的技术性不准确性可能导致结果偏差,并引发歧视性后果。此类偏差与歧视性后果的风险尤其涉及年龄、族裔、种族、性别或残疾等因素。因此,鉴于其所带来的风险,远程生物识别系统应当被归类为高风险。此种分类不适用于仅用于生物特征验证(包括身份认证)的人工智能系统,其唯一目的在于确认特定自然人即为其所声称的身份,并仅为获取某项服务、解锁设备或安全进入场所而确认该自然人的身份。此外,基于生物特征数据、依据《欧盟》2016/679号条例第9条第1款所保护的敏感属性或特征进行生物特征分类的人工智能系统,只要未被本条例禁止,以及未被本条例禁止的情绪识别系统,均应被归类为高风险。仅用于实施网络安全和个人数据保护措施的生物识别系统,不应被视为高风险的人工智能系统。

(55) 关于关键基础设施的管理和运行,对于拟作为欧盟指令(EU)2022/2557附件第8点所列的关键数字基础设施、道路交通以及水、燃气、供暖和电力供应等领域的安全组件而使用的AI系统,将其划分为高风险类别是恰当的。这是因为此类系统的失效或故障可能在大规模范围内危及人员的生命与健康,并导致社会和经济活动的正常开展出现显著中断。关键基础设施的安全组件,包括关键数字基础设施的安全组件,是指用于直接保护关键基础设施的物理完整性或人员与财产的健康与安全的系统,但这些组件并非该系统正常运行所必需。此类组件的失效或故障可能直接引发对关键基础设施物理完整性的威胁,进而对人员与财产的健康与安全构成风险。仅用于网络安全目的的组件不应被认定为安全组件。此类关键基础设施的安全组件示例包括用于监测水压的系统或云计算中心的火灾报警控制系统。

(56) 在教育领域部署人工智能系统,对于推动高质量的数字化教育与培训、使所有学习者和教师能够获得并共享必要的数字技能与素养(包括媒体素养和批判性思维),从而积极参与经济、社会以及民主进程,具有重要意义。然而,在教育或职业培训中使用的人工智能系统,尤其是那些用于决定准入或录取、将人员分配至各级教育及职业培训机构或项目、评估个人的学习成果、判定个体适宜的教育水平并实质性影响其将接受或可获得的教育与培训水平,或者用于监测与识别学生在考试中的违规行为的系统,应当被归类为高风险人工智能系统,因为这些系统可能决定一个人一生的教育与职业发展轨迹,进而影响其谋生能力。若此类系统设计或使用不当,可能会造成高度侵入性,并侵犯受教育与培训的权利以及不受歧视的权利,同时延续历史上的歧视模式,例如针对女性、特定年龄群体、残障人士,或具有特定种族、民族背景或性取向的人群。

(57) 在就业、劳动者管理以及获得个体经营机会等领域中使用的人工智能系统,尤其是用于人员招聘与选拔、作出影响劳动关系条款的决策、晋升及终止劳动关系合同、依据个人行为、人格特质或特征分配工作任务,以及对处于劳动关系合同中的人员进行监控或评估的人工智能系统,亦应被归类为高风险系统,因为这些系统可能对相关人员的未来职业前景、生计及其劳动者权益产生显著影响。相关劳动关系应当以有意义的方式吸纳雇员以及通过委员会2021年工作计划所提及的平台提供服务的人员参与其中。在招聘全过程以及对处于劳动关系合同中的人员进行评估、晋升或留任的过程中,此类系统可能延续历史上的歧视模式,例如针对女性、特定年龄群体、残疾人,或具有特定种族、民族背景或性取向的人员。此外,用于监控上述人员绩效与行为的人工智能系统还可能损害其数据保护与隐私方面的基本权利。

(58) 另一个需要特别关注的人工智能系统应用领域,是个人获取并享有某些基本的私人及公共服务与福利的权利,这些权利对于个人充分参与社会生活或提高生活水平至关重要。尤其是,向公共机关申请或领取基本公共援助福利与服务的自然人,例如医疗服务、社会保障福利、以及在生育、疾病、工伤事故、失能、老年或失业等情形下提供保护的社会服务,还有社会与住房援助等,通常依赖于这些福利与服务,并在与相关主管机关的关系中处于弱势地位。如果人工智能系统被用于决定上述福利与服务是否应当予以授予、拒绝、削减、撤销或追回,包括判断受益人是否有权合法享有此类福利或服务,那么这些系统可能会对个人的生计产生重大影响,并可能侵犯其基本权利,如社会保护权、不受歧视权、人格尊严权或获得有效救济的权利,因此应被归类为高风险系统。尽管如此,本条例不应妨碍公共行政领域创新方法的发展与应用;只要这些系统不会对法人和自然人造成高风险,便有望从更广泛地使用合规且安全的人工智能系统中获益。

此外,用于评估自然人信用评分或信用状况的人工智能系统也应被归类为高风险人工智能系统,因为它们决定了相关主体获取金融资源或诸如住房、电力及电信服务等基本服务的资格。用于上述目的的人工智能系统可能导致对个人或群体的歧视,并可能延续基于种族或民族出身、性别、残疾、年龄或性取向等的历史性歧视模式,或者产生新的歧视性影响。然而,根据欧盟法律为检测金融服务提供过程中的欺诈行为以及出于审慎监管目的而用于计算信贷机构和保险企业资本要求的人工智能系统,在本条例项下不应被视为高风险系统。此外,旨在用于对自然人在健康保险和人寿保险领域进行风险评估与定价的人工智能系统,亦可能对个人的生计产生重大影响;若未经过适当的设计、开发与使用,此类系统可能侵犯其基本权利,并对个人的生命与健康造成严重后果,包括导致金融排斥与歧视。最后,用于评估和分类自然人拨打的紧急呼叫,或用于调度及确定紧急第一响应服务(包括警察、消防员和医疗救助等)优先级的人工智能系统,以及用于紧急医疗患者分诊系统的相关人工智能系统,亦应被归类为高风险,因其在关乎个人生命、健康及其财产的极为关键的情境下作出决策。

(59) 鉴于其角色与职责,执法机关在涉及人工智能系统某些特定用途时所采取的行动往往呈现出显著的权力失衡,并可能导致对自然人的监控、逮捕或剥夺其人身自由,以及对《宪章》所保障的基本权利造成其他不利影响。特别是,如果该人工智能系统未使用高质量数据进行训练,在性能、准确性或稳健性方面未能达到适当要求,或者在投放市场或投入使用前未经过妥善的设计与测试,则可能以歧视性或其他不正确、不公正的方式对特定人群加以识别或归类。此外,诸如获得有效救济和公正审判的权利、辩护权以及无罪推定等重要程序性基本权利的行使也可能受到阻碍,尤其是在此类人工智能系统缺乏充分的透明度、可解释性和相关文档记录的情况下。因此,对于那些在相关欧盟及成员国法律允许使用的、且在执法领域中准确度、可靠性与透明度尤为重要的若干人工智能系统,宜将其划分为高风险类别,以避免产生不利影响、维护公众信任并确保问责机制与有效救济途径。

鉴于相关活动的性质及其伴随的风险,这些高风险的人工智能系统尤其应当包括:由执法机关或代表执法机关使用,或者由欧盟各机构、组织、办事处或代理机构为支持执法机关而用于评估自然人成为刑事犯罪受害者的风险的人工智能系统,例如测谎仪及类似工具;用于在刑事犯罪的调查或起诉过程中评估证据可靠性的系统;以及在本条例未予禁止的前提下,不单纯基于对自然人或群体的画像、人格特质与特征分析、或既往犯罪行为的评估,而是用于评估自然人实施犯罪或再次犯罪风险的系统,特别是在侦查、调查或起诉刑事犯罪过程中的画像应用。专门用于税务和海关机关以及根据欧盟反洗钱法律开展信息分析行政任务的金融情报单位之行政程序的人工智能系统,不应被归类为由执法机关为预防、发现、调查和起诉刑事犯罪而使用之高风险人工智能系统。执法机关及其他相关机关对人工智能工具的使用不应成为造成不平等或排斥的因素。人工智能工具的使用对嫌疑人辩护权利的影响不应被忽视,尤其是难以获取有关这些系统运作机制的实质性信息,以及由此导致在法庭上对其结果提出质疑的困难,特别是在接受调查的自然人方面。

(60) 在移民、庇护及边境管控管理领域使用的人工智能系统,会对那些往往处于特别脆弱境地并依赖于相关公共主管机关行为结果的人群产生影响。因此,在这些情境下所使用的人工智能系统的准确性、非歧视性以及透明度尤为重要,以确保相关人群的基本权利得到尊重,尤其是其自由流动权、不受歧视权、私人生活与个人数据保护权、国际保护权以及良好行政管理权。因此,对于在相关欧盟法律及国家法律允许范围内拟由或代表相关公共主管机关,或者由承担移民、庇护及边境管控管理领域任务的欧盟机构、机关、办事处或机构所使用的人工智能系统,应将其归类为高风险系统,包括测谎仪及类似工具,用于评估进入成员国领土或申请签证、庇护的自然人所构成的特定风险;用于协助相关公共主管机关对庇护、签证及居留许可申请及其相关投诉进行审查,包括对证据可靠性的相关评估,以确定申请人是否符合相应身份资格;以及用于在移民、庇护及边境管控管理背景下探测、识别或确认自然人身份,但不包括对旅行证件的核查。

本条例所涵盖的移民、庇护及边境管控管理领域的人工智能系统,应当遵守欧洲议会和理事会第810/2009号条例(32)、欧洲议会和理事会第2013/32/EU号指令(33)以及其他相关欧盟法律所规定的相关程序要求。在移民、庇护及边境管控管理领域使用的人工智能系统,无论在任何情况下均不得被成员国或欧盟机构、机关、办事处或机构用作规避其根据1951年7月28日在日内瓦签署、经1967年1月31日议定书修订的《关于难民地位的公约》所承担的国际义务的手段。同时,此类系统亦不得以任何方式侵犯不推回原则,或剥夺进入欧盟领土的安全且有效的法律途径,包括获得国际保护的权利。

(61) 某些旨在用于司法管理和民主程序的人工智能系统,鉴于其对民主、法治、个人自由以及获得有效救济和公正审判的权利可能产生的重大影响,应当被归类为高风险。特别是,为应对潜在的偏见、错误和不透明性风险,凡拟由司法机关或代表司法机关使用,以协助司法机关研究并解释事实与法律,并将法律适用于具体案件事实的人工智能系统,均应被视为高风险。此外,那些旨在由替代性争议解决机构用于上述目的的人工智能系统,若其替代性争议解决程序的处理结果对当事人产生法律效力,亦应被认定为高风险。人工智能工具的运用可以辅助法官的决策权或维护司法独立,但不应取代之:最终的决策权仍须由人类行使。然而,人工智能系统的高风险分类不应扩展至仅用于纯粹辅助性行政活动的人工智能系统,此类活动并不影响个案中的实际司法运作,例如对裁判文书、文件或数据进行匿名化或假名化处理,以及人员之间的沟通、行政事务等。

(62) 在不损害欧洲议会和理事会第2024/900号条例(34)所规定规则的前提下,为应对《宪章》第39条所载明的选举权遭受不当外部干预的风险,以及对民主与法治可能产生的不利影响,旨在影响选举或公投结果、或在选举或公投中影响自然人投票行为的人工智能系统,应被归类为高风险人工智能系统;但其输出结果不会直接作用于自然人的系统除外,例如从行政与后勤角度用于组织、优化及架构政治竞选活动的工具。

(63) 本条例将某人工智能系统归类为高风险人工智能系统这一事实,不应被解释为表明该系统的使用在其他欧盟法律或与欧盟法相兼容的国家法律下即属合法,例如有关个人数据保护、测谎仪及其他类似工具或用于检测自然人情绪状态的系统的相关法律。任何此类使用仍应完全依照《宪章》以及适用的欧盟次级法律和国家法律所规定的相关要求进行。本条例不应被视为为处理个人数据(包括特殊类别个人数据,在相关情况下)提供了法律依据,除非本条例另有明确规定。

(64) 为降低市场上投放或投入使用之高风险人工智能系统所带来的风险,并确保高度的可信赖性,应针对高风险人工智能系统适用若干强制性要求,同时考虑该人工智能系统的预期用途及使用情境,并依据提供者所建立的风险管理体系予以实施。提供者为遵守本条例之强制性要求而采取的措施,应当充分考量人工智能领域普遍认可的最新技术发展水平,且须与实现本条例目标相称并具有效力。根据《欧盟产品规则实施“蓝色指南”2022》中所作的说明,基于新立法框架,一般原则是:对于同一产品,可能同时适用多项欧盟协调立法中的法律文件,因为只有当该产品符合所有适用的欧盟协调立法时,方可被投放市场或投入使用。本条例所涵盖的人工智能系统的潜在危害涉及与现有欧盟协调立法不同的方面,因此本条例的要求将对现行欧盟协调立法体系形成补充。例如,内含人工智能系统的机械或医疗器械产品,可能会产生相关欧盟协调立法中规定的健康与安全基本要求未予覆盖的风险,因为该部门性法律并未针对人工智能系统特有的风险作出规定。这便要求各项立法文件得以同步且相互补充地予以适用。

为确保一致性,避免不必要的行政负担及成本,对于含有一个或多个高风险人工智能系统的某一产品,其提供者在同时适用本条例以及基于新立法框架、并列于本条例附件中的欧盟协调立法之要求时,应在如何以最优化方式确保该类产品符合所有适用的欧盟协调立法要求方面享有一定的灵活性。此种灵活性可表现为,例如,由提供者决定将本条例所要求的部分必要测试与报告程序、信息及文件,整合至其已有的、依据新立法框架并列于本条例附件中的现有欧盟协调立法所要求的相关文件与程序之中。但无论如何,此举均不得削弱提供者履行所有适用要求的法定义务。

(65) 风险管理体系应当由一个贯穿高风险人工智能系统整个生命周期、经过规划并持续运行的连续性、迭代式流程构成。该流程旨在识别并降低人工智能系统对健康、安全及基本权利所构成的相关风险。风险管理体系应当定期审查并更新,以确保其持续有效性,并就依据本条例作出的任何重大决策与采取的行动予以充分说明与记录。该流程应确保提供者能够识别风险或不利影响,并针对人工智能系统在预期用途及合理可预见的不当使用情境下,对其健康、安全及基本权利可能造成的已知且合理可预见的风险,采取相应的缓解措施,包括人工智能系统与其运行环境之间相互作用可能产生的潜在风险。风险管理体系应当根据人工智能领域的最新技术发展水平,采取最为适当的风险管理措施。在确定最适当的风险管理措施时,提供者应当对所作选择予以记录并作出说明,并在必要时邀请专家及外部利益相关方参与。在识别高风险人工智能系统的合理可预见的不当使用情形时,提供者应当涵盖那些虽未被预期用途直接涵盖、亦未在使用说明中明确载明,但基于特定人工智能系统的具体特征及其使用方式,仍可合理预期会因人类行为而产生的使用场景。

任何与高风险人工智能系统按照其预期用途或在合理可预见的不当使用条件下之使用相关的已知或可预见情形,若可能导致健康、安全或基本权利方面的风险,均应当纳入提供者所提供的使用说明之中,以确保部署方在使用该高风险人工智能系统时能够知悉并予以充分考虑。依据本条例为应对合理可预见的不当使用而识别并实施的风险缓解措施,不应要求提供者对该高风险人工智能系统另行开展专门培训。然而,鼓励提供者视需要和适当情况,考虑采取此类额外培训措施,以进一步降低合理可预见的不当使用风险。

(66) 有关要求应适用于高风险人工智能系统,涉及风险管理、所用数据集的质量与相关性、技术文档与记录保存、透明度及向部署方提供信息、人类监督,以及系统的稳健性、准确性与网络安全。这些要求对于有效降低对健康、安全和基本权利的风险而言是必要的。鉴于尚无其他合理可行的、限制程度较低的措施,上述要求并不构成对贸易的不合理限制。

(67) 高质量的数据及其获取途径在为众多人工智能系统提供结构并确保其性能方面发挥着至关重要的作用,尤其是在采用模型训练相关技术时,旨在确保高风险人工智能系统能够按预期安全运行,并且不会成为欧盟法律所禁止的歧视源。用于训练、验证和测试的高质量数据集需要实施适当的数据治理与管理措施。用于训练、验证和测试的数据集,包括其中的标签,应当具有相关性、充分的代表性,并且在最大程度上无错误、完整,以满足系统的预期用途。为便于遵守欧盟数据保护法,例如《条例》(EU)2016/679,数据治理与管理措施应当在涉及个人数据的情况下,包含关于数据收集原始目的的透明度。此外,数据集还应具备适当的统计特性,特别是在涉及高风险人工智能系统拟使用的人群或群体方面,尤其应当关注如何减轻数据集中可能存在的偏差,这些偏差很可能影响人员的健康与安全、对基本权利产生负面影响,或者导致欧盟法律所禁止的歧视,特别是在数据输出会影响未来操作输入(反馈回路)的情形下。例如,偏差可能内在于基础数据集中,尤其是在使用历史数据时;也可能在系统于现实环境中部署时产生。

人工智能系统所提供的结果可能会受到此类内在偏差的影响,而这些偏差往往逐渐累积,从而延续并加剧现有的歧视现象,尤其是针对某些弱势群体,包括种族或民族群体。关于数据集应在最大程度上做到完整且无错误的要求,不应妨碍在人工智能系统的开发与测试过程中采用隐私保护技术。特别是,数据集应当根据其预期用途所需,在必要范围内考虑那些与人工智能系统拟应用的具体地理、情境、行为或功能环境相关的特征、属性或要素。为满足与数据治理相关的各项要求,可以借助第三方机构提供的经认证的合规服务,包括对数据治理、数据集完整性以及数据训练、验证和测试实践的核查,从而确保符合本条例的数据要求。

(68) 为开发和评估高风险人工智能系统,某些主体,如供应商、指定机构以及其他相关实体,例如欧洲数字创新中心、测试与实验设施以及研究人员,应当能够在与其活动领域相关的范围内访问并使用高质量的数据集,这些活动领域与本条例密切相关。由欧盟委员会建立的欧洲通用数据空间,以及为公共利益而促进企业之间及企业与政府之间的数据共享,将有助于为人工智能系统的训练、验证和测试提供可信、可问责且非歧视性的高质量数据访问途径。例如,在医疗健康领域,欧洲健康数据空间将以保护隐私、安全、及时、透明且可信的方式,并在适当的制度治理框架下,促进对健康数据的非歧视性访问,以及基于这些数据集的人工智能算法的训练。此外,包括行业主管部门在内的相关主管当局,在提供或支持数据访问的同时,亦可协助为人工智能系统的训练、验证和测试提供高质量数据。

(69) 隐私权和个人数据保护权必须在整个人工智能系统的生命周期内得到保障。在此方面,欧盟数据保护法中规定的数据最小化原则以及设计和默认的数据保护原则,在处理个人数据时同样适用。为确保遵守上述原则,服务提供者可采取的措施不仅包括匿名化和加密,还包括使用能够将算法部署于数据端的技术,从而在无需各方之间传输或复制原始数据或结构化数据的情况下训练人工智能系统,但此等做法不得损害本条例所规定的数据治理要求。

(70) 为保护他人免受人工智能系统偏见可能引发的歧视,服务提供者在特殊情况下,且仅限于为确保与高风险人工智能系统相关的偏见检测与纠正之目的而严格必要时,可在符合自然人基本权利与自由的适当保障措施,并在同时满足本条例以及《欧盟》2016/679号条例、《欧盟》2018/1725号条例和《欧盟》2016/680号指令所规定的所有适用条件的前提下,基于《欧盟》2016/679号条例第9条第2款第(g)项及《欧盟》2018/1725号条例第10条第2款第(g)项所指的重大公共利益,得以处理特殊类别个人数据。

(71) 获得关于高风险人工智能系统如何开发及其在整个生命周期内如何运行的可理解信息,对于实现这些系统的可追溯性、验证其是否符合本条例下的各项要求,以及对其运行情况和上市后监测至关重要。为此,必须保存相关记录并提供技术文档,其中应包含评估该人工智能系统是否符合相关要求及促进上市后监测所必需的信息。此类信息应当涵盖系统的总体特征、功能与局限性、所使用的算法、数据、训练、测试与验证流程,以及有关风险管理体系的相关文件,并以清晰、全面的形式予以呈现。技术文档应当在整个人工智能系统生命周期内得到及时更新。此外,高风险人工智能系统在技术上应当能够通过日志等方式,在系统整个生命周期内自动记录各类事件。

(72) 为解决与某些人工智能系统不透明性和复杂性相关的关切,并帮助部署者履行本条例项下的义务,应在高风险人工智能系统投放市场或投入使用前,要求其具备透明度。高风险人工智能系统的设计应当使部署者能够理解该系统的工作原理、评估其功能,并掌握其优势与局限性。高风险人工智能系统应当附有适当的信息,以使用说明的形式呈现。此类信息应当涵盖该人工智能系统的特性、能力及其性能局限;包括与该高风险人工智能系统使用相关的已知及可预见情形,其中包括可能影响系统行为与性能的部署者操作;以及在何种情况下该人工智能系统可能导致对健康、安全和基本权利的风险;此外,还应说明由提供者预先确定并经合规性评估的变更事项,以及相关的人工监督措施,包括有助于部署者解释人工智能系统输出结果的措施。透明度,包括随附的使用说明,应当协助部署者正确使用该系统,并支持其作出知情决策。部署者应当能够在充分考虑适用于自身的义务的前提下,更好地选择拟使用的系统,了解其预期用途与禁止用途,并以恰当的方式正确使用该人工智能系统。

为提高使用说明中所载信息的易读性和可及性,在适当情况下,应当纳入示例性说明,例如关于该人工智能系统的局限性以及其预期用途与禁止用途的示例。提供者应当确保所有文件资料,包括使用说明在内,均包含有意义、全面、易于获取且易于理解的信息,并充分考虑目标部署者的实际需求及可预见的知识水平。使用说明应当以目标部署者能够轻松理解的语言提供,具体语言由相关成员国予以确定。

(73) 高风险人工智能系统的设计与开发应当确保自然人能够对其运行进行监督,保证其按照预期用途使用,并在其整个生命周期内有效应对相关影响。为此,系统提供者应在系统投放市场或投入使用前明确适当的人员监督措施。特别是在必要时,这些措施应当确保系统内置有不可被自身规避的运行限制,并对人工操作员作出响应;同时,被赋予人员监督职责的自然人应当具备履行该职责所需的能力、培训及权限。此外,还应根据实际情况,确保高风险人工智能系统配备相应机制,以指导并告知被赋予人员监督职责的自然人,在何时、如何以及是否需要介入以避免不利后果或风险,或者在系统未能按预期运行时予以停止。鉴于某些生物特征识别系统出现错误匹配可能对个人造成重大影响,有必要对该类系统规定更为严格的人员监督要求,即部署方不得依据该系统得出的识别结果采取任何行动或作出决定,除非该结果已由至少两名自然人分别核实并确认。这些自然人可以来自一个或多个实体,包括操作或使用该系统的人员。该项要求不应造成不必要的负担或延误,且不同人员的独立核查结果只需自动记录于系统生成的日志中即可。

考虑到执法、移民、边境管控及庇护等领域的特殊性,当欧盟法律或成员国法律认为适用该项要求不相称时,该要求不应予以适用。

(74) 高风险人工智能系统在其整个生命周期内应保持稳定运行,并根据其预期用途,按照公认的最新技术水平,达到适当的准确性、稳健性和网络安全水平。委员会以及相关组织和利益攸关方应充分考虑如何降低该人工智能系统的风险及其负面影响。预期的性能指标应在随附的使用说明中予以明确声明。供应商应当以清晰易懂的方式向部署方传达上述信息,避免产生误解或误导性陈述。欧盟关于法定计量的法律,包括欧洲议会和理事会颁布的第2014/31/EU号指令(35)和第2014/32/EU号指令(36),旨在确保测量结果的准确性,并促进商业交易的透明度与公平性。在此背景下,委员会应与相关利益攸关方及机构,如计量和基准测试主管机构等合作,酌情鼓励制定适用于人工智能系统的基准标准和测量方法。同时,委员会还应关注并与致力于人工智能相关计量及相应测量指标的国际伙伴开展协作。

(75) 技术稳健性是高风险人工智能系统的一项关键要求。这些系统应当能够抵御因自身局限性或其所处环境中的限制(例如错误、故障、不一致以及意外情况)而可能导致的有害或其他不良行为。因此,应当采取技术和组织措施以确保高风险人工智能系统的稳健性,例如通过设计和开发适当的技术解决方案来预防或最大限度地减少有害或其他不良行为的发生。此类技术解决方案可包括在出现特定异常情况或运行超出预设边界时,使系统能够安全中断运行的机制(如故障安全方案)。未能防范上述风险可能导致安全影响,或对基本权利产生不利影响,例如由于人工智能系统作出错误决策或生成错误或带有偏见的输出所致。

(76) 网络安全在确保人工智能系统能够抵御恶意第三方利用其漏洞而试图改变其用途、行为、性能或损害其安全属性方面发挥着至关重要的作用。针对人工智能系统的网络攻击可能利用人工智能特有的资产,例如训练数据集(如数据投毒)或已训练的模型(如对抗性攻击或成员推断),也可能利用人工智能系统数字资产或其底层信息通信技术基础设施中的漏洞。为确保网络安全水平与风险相适应,高风险人工智能系统的提供者应当采取适当措施,例如安全控制措施,并根据需要同时考虑其底层信息通信技术基础设施的情况。

(77) 在不影响本条例所规定的稳健性和准确性相关要求的前提下,属于欧洲议会和理事会关于含数字要素产品横向网络安全要求的法规适用范围内的高风险人工智能系统,可根据该法规通过满足其中规定的基本网络安全要求来证明其符合本条例的网络安全要求。当高风险人工智能系统满足欧洲议会和理事会关于含数字要素产品横向网络安全要求的法规中的基本要求时,在欧盟根据该法规签发的合格声明或其部分内容中已证明达到这些要求的范围内,应被视为符合本条例所规定的网络安全要求。为此,根据欧洲议会和理事会关于含数字要素产品横向网络安全要求的法规对被认定为本条例所指高风险人工智能系统的含数字要素产品进行的网络安全风险评估,应当考虑针对人工智能系统在网络韧性方面的风险,即未经授权的第三方试图改变其用途、行为或性能的风险,包括数据投毒或对抗性攻击等人工智能特有的漏洞,以及在必要时,按照本条例的要求考虑对基本权利构成的风险。

(78) 本条例规定的合格评定程序应当适用于受欧洲议会和理事会关于具有数字要素产品的横向网络安全要求的法规所涵盖、且根据本条例被归类为高风险人工智能系统的具有数字要素的产品的基本网络安全要求。然而,该规定不应导致降低受欧洲议会和理事会关于具有数字要素产品的横向网络安全要求的法规所涵盖的关键性具有数字要素产品的必要保障水平。因此,作为对该规定的例外,对于那些属于本条例适用范围、同时依据欧洲议会和理事会关于具有数字要素产品的横向网络安全要求的法规被认定为重要且关键的具有数字要素产品,并适用本条例附件中规定的基于内部管控的合格评定程序的人工智能系统,在涉及该法规的基本网络安全要求时,应适用欧洲议会和理事会关于具有数字要素产品的横向网络安全要求的法规中的合格评定规定。在此情形下,就本条例所涵盖的其他所有方面,均应适用本条例附件中规定的基于内部管控的相应合格评定条款。鉴于ENISA在网络安全政策方面的知识与专长,以及根据欧洲议会和理事会第2019/881号条例(37)赋予ENISA的相关职责,委员会应当就人工智能系统网络安全相关事宜与ENISA开展合作。

(79) 适当的做法是由特定的自然人或法人——即提供者——对高风险人工智能系统的投放市场或投入使用承担责任,无论该自然人或法人是否为该系统的设计者或开发者。

(80) 作为《联合国残疾人权利公约》的缔约方,欧盟及其成员国在法律上有义务保护残疾人免受歧视并促进其平等地位,确保残疾人在与他人平等的基础上获得信息和通信技术及系统的访问权,并保障残疾人的隐私权。鉴于人工智能系统的重要性及其应用日益广泛,将通用设计原则应用于所有新技术和服务,应当确保所有可能受到人工智能技术影响或使用这些技术的人群,包括残疾人,都能以充分尊重其固有尊严和多样性的方式,享有全面且平等的访问权。因此,提供者必须确保完全遵守无障碍要求,包括欧洲议会和理事会颁布的(EU)2016/2102号指令(38)以及(EU)2019/882号指令。提供者应通过设计确保符合上述要求。为此,必要的措施应当尽可能地融入高风险人工智能系统的设计之中。

(81) 供应商应当建立健全的质量管理体系,确保完成规定的合格评定程序,编制相关文件,并建立完善的上市后监测体系。对于根据相关欧盟部门法负有质量管理体系义务的高风险人工智能系统供应商,应当有权将本条例所规定质量管理体系的要素纳入其依据该其他部门法已有的质量管理体系之中。在今后由委员会采纳的标准化活动或指南中,亦应考虑本条例与现行部门法之间的互补性。为自身使用而投入使用高风险人工智能系统的公共机构,可以根据所在行业特点以及相关公共机构的职权和组织架构,在国家或地区层面已采用的质量管理体系框架内,酌情采纳并实施本条例有关质量管理体系的规定。

(82) 为确保本条例得到有效执行,并为经营者营造公平的竞争环境,同时考虑到数字产品存在多种不同的提供方式,在任何情况下,均应确保在欧盟境内设立的自然人或法人能够向主管当局提供有关人工智能系统合规性的全部必要信息。因此,在其人工智能系统于欧盟境内投入使用之前,在第三国设立的供应商应当通过书面授权指定一名在欧盟境内设立的授权代表。该授权代表在确保那些未在欧盟境内设立的供应商所投放市场或投入使用的高风险人工智能系统的合规性方面发挥着关键作用,并作为其在欧盟境内的联络人。

(83) 鉴于人工智能系统价值链的性质及其复杂性,并根据《新立法框架》的要求,必须确保法律确定性并促进对本条例的遵从。因此,有必要明确该价值链上相关经营者的角色及其具体义务,例如可能参与人工智能系统开发的进口商和分销商。在某些情况下,这些经营者可能同时承担多重角色,因而应当累计履行与其各角色相关的全部相关义务。例如,某一经营者可能同时担任分销商和进口商的角色。

(84) 为确保法律确定性,有必要明确,在特定条件下,任何分销商、进口商、部署者或其他第三方均应被视为高风险人工智能系统的提供者,并因此承担所有相关义务。此种情形包括:该方在其已投放市场或已投入使用之高风险人工智能系统上标注其名称或商标,但不影响合同约定中有关义务分配的安排;或者对该已投放市场或已投入使用之高风险人工智能系统作出重大修改,使其仍符合本条例规定的高风险人工智能系统标准;又或者对尚未被认定为高风险且已投放市场或已投入使用的通用型人工智能系统进行目的变更,致使该人工智能系统根据本条例被认定为高风险人工智能系统。上述规定在不损害依据新立法框架制定的某些欧盟协调立法中更为具体的规定的前提下适用,而本条例亦应与这些协调立法一并适用。例如,《2017/745号欧盟法规》第16条第2款关于某些变更不应被视为可能影响设备符合适用要求的修改之规定,仍应适用于属于该法规所界定的医疗器械范畴的高风险人工智能系统。

(85) 通用人工智能系统本身可能被用作高风险人工智能系统,也可能作为其他高风险人工智能系统的组成部分。因此,鉴于其特殊性质,并为确保人工智能价值链上责任的公平分担,此类系统的提供者应当——无论其是否可能被其他提供者直接用作高风险人工智能系统,或作为高风险人工智能系统的组成部分——且除非本条例另有规定,均应与相关高风险人工智能系统的提供者密切合作,以促使后者遵守本条例项下的相关义务,并配合根据本条例设立的主管当局。

(86) 在本条例规定的条件下,如果最初将该人工智能系统投放市场或投入使用之提供者不再被视为本条例意义上的提供者,且该提供者未明确排除该人工智能系统转变为高风险人工智能系统的可能性时,前述提供者仍应密切合作,提供必要的信息,并给予合理预期的技术访问及其他协助,以满足本条例所规定的各项义务,特别是在涉及高风险人工智能系统符合性评估方面。

(87)

此外,对于属于基于新立法框架的欧盟协调立法适用范围内的产品之安全组件的高风险人工智能系统,若该系统未单独投放市场或投入使用,则该立法所界定的产品制造商应当遵守本条例规定的提供者的义务,并尤其应当确保嵌入最终产品的该人工智能系统符合本条例的要求。

(88)

在人工智能价值链中,多方主体往往提供人工智能系统、工具和服务,同时也提供被提供者用于构建人工智能系统的各类组件或流程,其目的包括模型训练、模型再训练、模型测试与评估、软件集成,以及模型开发的其他环节。这些主体在价值链中对将其人工智能系统、工具、服务、组件或流程集成至高风险人工智能系统的提供者发挥着重要作用,因此应当通过书面协议向该提供者提供必要的信息、能力、技术访问及其他协助,且上述协助应基于公认的行业技术水平,以使该提供者能够充分履行本条例所规定的各项义务,同时不得损害其自身的知识产权或商业秘密。

(89) 第三方若向公众提供除通用人工智能模型之外的工具、服务、流程或人工智能组件,且这些工具、服务、流程或人工智能组件系以自由开放源代码许可方式提供,则不应被强制遵守针对人工智能价值链各环节责任的要求,尤其是针对已使用或集成这些工具、服务、流程或人工智能组件的提供方。对于开发此类自由开放源代码工具、服务、流程或人工智能组件的开发者,应鼓励其采用广泛认可的文档编制实践,如模型卡片和数据表,以此促进人工智能价值链上的信息共享,从而推动欧盟境内可信人工智能系统的建设。

(90) 委员会可以制定并推荐高风险人工智能系统提供者与供应用于或集成于高风险人工智能系统的工具、服务、组件或流程的第三方之间的自愿示范合同条款,以促进价值链上的协作。在制定此类自愿示范合同条款时,委员会还应考虑特定行业或商业场景下可能适用的合同要求。

(91) 鉴于人工智能系统的性质及其使用可能带来的安全风险和对基本权利的潜在影响,包括在现实环境中确保对人工智能系统性能进行适当监控的必要性,为部署者设定特定责任是适当的。部署者尤其应当采取适当的技术和组织措施,以确保其按照使用说明使用高风险人工智能系统;同时,还应针对人工智能系统的运行监控以及记录保存等方面规定若干义务,视具体情况而定。此外,部署者应当确保被指派执行本条例所规定的使用说明及人工监督职责的人员具备必要的能力,特别是具有足够的人工智能素养、培训水平以及履行相关职责所需的权限。上述义务不影响根据欧盟或成员国法律就高风险人工智能系统所规定的其他部署者义务。

(92) 本条例不影响雇主根据欧盟或成员国法律及实践,包括欧洲议会和理事会颁布的第2002/14/EC号指令(39),就启用或使用人工智能系统所作决定向劳动者或其代表进行告知或同时进行告知与协商的义务。在其他法律文书中有关告知或告知与协商义务的条件尚未满足的情况下,仍有必要确保劳动者及其代表获知工作场所拟部署高风险人工智能系统的相关信息。此外,该项知情权系辅助性且不可或缺,旨在实现本条例所依据的基本权利保护之目的。因此,本条例应当就此规定相应的告知义务,但不得影响劳动者现有的任何权利。

(93) 尽管与人工智能系统相关的风险可能源于这些系统的设计方式,但同样也可能源自其使用方式。因此,高风险人工智能系统的部署者在确保基本权利得到保护方面发挥着至关重要的作用,这与提供者在开发该人工智能系统时所承担的义务相辅相成。部署者最能了解高风险人工智能系统将如何被具体使用,因而能够识别出在开发阶段因对使用情境、可能受到影响的个人或群体(包括弱势群体)有更为精准的认识而未能预见的潜在重大风险。本条例附件中列明的高风险人工智能系统的部署者还负有向自然人提供信息的重要职责,并且在作出或协助作出涉及自然人的决策时,如适用,应当告知相关自然人其正受到该高风险人工智能系统的使用影响。此类信息应当包括该系统预期实现的目的及其所作出的决策类型。此外,部署者还应当告知相关自然人其根据本条例享有的获得解释的权利。就用于执法目的的高风险人工智能系统而言,该项义务应当依照《欧盟》2016/680号指令第13条予以实施。

(94)

任何为执法目的而使用人工智能系统进行生物特征识别时涉及的生物特征数据处理,均须遵守《欧盟》2016/680号指令第10条的规定;该条规定,此类处理仅在严格必要的情况下方可进行,并须对数据主体的权利和自由采取适当保障措施,且须经欧盟或成员国法律授权。经授权的此类使用还应当符合《欧盟》2016/680号指令第4条第1款所载的各项原则,包括合法性、公平性和透明性、目的限制、准确性以及存储限制。

(95)

在不影响适用的欧盟法律,特别是《欧盟》2016/679号条例和《欧盟》2016/680号指令的前提下,鉴于事后远程生物特征识别系统的高度侵入性,其使用应当受到相应保障措施的约束。事后远程生物特征识别系统在使用时,应当始终遵循相称性、合法性和严格必要性的原则,并且在被识别人员、地点、时间范围等方面具有针对性,同时以依法获取的视频资料构成的封闭数据集为基础。无论如何,事后远程生物特征识别系统不得在执法框架内被用于实施无差别的监控。此外,事后远程生物特征识别的相关条件亦不得成为规避实时远程生物特征识别之禁止规定及严格例外情形的依据。

(96) 为有效保障基本权利,高风险人工智能系统的部署者——包括受公法管辖的法人、提供公共服务的私人主体,以及本条例附件所列的某些高风险人工智能系统(如银行或保险机构)的部署者——在投入使用前应当开展基本权利影响评估。具有公共性质且对个人至关重要的服务亦可由私人主体提供。提供此类公共服务的私人主体往往与教育、医疗、社会服务、住房、司法等领域的公共利益任务相关联。基本权利影响评估旨在使部署者识别可能受影响的个人或群体的基本权利所面临的具体风险,并明确在这些风险实际发生时应采取的应对措施。该评估应在高风险人工智能系统投入使用前进行,并在部署者认为相关因素发生任何变化时予以更新。评估应当明确部署者在其预期用途范围内使用该高风险人工智能系统的相关流程,同时说明系统拟使用的时段与频率,以及在具体使用情境下可能受到影响的特定自然人及群体类别。此外,评估还应识别可能对上述个人或群体的基本权利产生影响的具体损害风险。在开展此项评估时,部署者应当综合考虑有助于恰当评估影响的相关信息,包括但不限于高风险人工智能系统提供方在使用说明中提供的资料。

基于已识别的风险,部署者应当确定在相关风险实际发生时应采取的措施,例如针对特定使用情境制定治理安排,如按照使用说明实施人工监督机制,或建立投诉处理与救济程序,因为这些措施有助于在具体应用场景中降低对基本权利的风险。完成该项影响评估后,部署者应当向相关市场监督主管机关予以通报。在适当情况下,为收集开展影响评估所必需的相关信息,高风险人工智能系统的部署者,尤其是在人工智能系统应用于公共部门时,可以邀请相关利益攸关方参与此类影响评估的实施,并设计在风险实际发生时应采取的应对措施,这些利益攸关方包括:可能受到该人工智能系统影响的群体代表、独立专家以及民间社会组织。欧洲人工智能办公室(AI办公室)应当制定一份问卷模板,以促进合规并减轻部署者的行政负担。

(97) 通用人工智能模型的概念应当予以明确界定,并与人工智能系统的概念加以区分,以确保法律上的确定性。该定义应基于通用人工智能模型的关键功能特征,尤其是其通用性以及能够胜任广泛且多样化的任务的能力。此类模型通常通过多种方法(如自监督学习、无监督学习或强化学习)在海量数据上进行训练。通用人工智能模型可通过多种方式投放市场,包括借助库、应用程序编程接口(API)、直接下载或以物理拷贝的形式提供。这些模型还可进一步修改或微调为新的模型。尽管人工智能模型是人工智能系统的重要组成部分,但其本身并不构成人工智能系统。人工智能模型需要附加诸如用户界面等其他组件,方可成为人工智能系统。人工智能模型通常被集成并构成人工智能系统的一部分。本条例针对通用人工智能模型及其可能引发系统性风险的通用人工智能模型制定了专门规则,这些规则同样适用于当此类模型被集成或构成人工智能系统一部分的情形。应当明确的是,通用人工智能模型提供者的相关义务自该模型投放市场之时起即予适用。

当通用人工智能模型的提供者将其自有模型集成至其在市场上提供或投入使用的AI系统中时,该模型应被视为已投放市场,因此除适用于AI系统的义务外,本条例中关于模型的相关义务仍继续适用。无论如何,当自有模型仅用于不涉及向第三方提供产品或服务且不影响自然人权利的纯内部流程时,上述针对模型规定的义务均不适用。鉴于其潜在的重大负面影响,具有系统性风险的通用人工智能模型应始终受本条例相关义务的约束。本定义不应涵盖那些在投放市场前仅用于研究、开发及原型制作活动的人工智能模型。此规定不影响在上述活动结束后该模型被投放市场时遵守本条例的义务。

(98)

鉴于模型的通用性除其他因素外,还可由若干参数决定,因此,至少具有十亿个参数、并基于海量数据通过大规模自监督学习进行训练的模型,应被视为具备显著的通用性,并能胜任多种不同的任务。

(99)

大型生成式人工智能模型是通用型人工智能模型的典型代表,因为它们能够灵活地生成各类内容,如文本、音频、图像或视频等,从而轻松应对多种多样的特定任务。

(100)

当通用型人工智能模型被集成到某一人工智能系统中,或构成该系统的一部分时,若由于这种集成使该系统具备服务于多种用途的能力,则该系统应被视为通用型人工智能系统。通用型人工智能系统既可直接使用,也可进一步集成至其他人工智能系统中。

(101) 通用型人工智能模型的提供者在人工智能价值链中具有特殊的角色与责任,因其提供的模型可能成为一系列下游系统的基础,而这些下游系统通常由下游提供者所部署,这就要求其对相关模型及其能力有充分的理解,以便将其模型整合至自身产品之中,并履行本条例或其他法规项下的各项义务。因此,应当制定相称的透明度措施,包括编制并持续更新相关文档,以及向下游提供者提供有关该通用型人工智能模型使用情况的信息。通用型人工智能模型的提供者应当编制并及时更新技术文档,以备应要求向人工智能办公室及各成员国主管当局提供。此类文档所应包含的最低限度要素应当在本条例的具体附件中予以明确。鉴于技术发展的不断演进,欧盟委员会应当被授权通过委托法案对上述附件进行修订。

(102) 根据允许公开共享、且用户可自由访问、使用、修改并重新分发其自身或经修改版本的自由开源许可发布的软件和数据,包括模型,能够促进市场中的研究与创新,并为欧盟经济提供重要的增长机遇。根据自由开源许可发布的通用人工智能模型,若其参数(包括权重)、模型架构信息以及模型使用信息均向公众开放,则应被视为确保高度透明度和开放性的模型。此外,当该许可允许用户在注明原模型提供方、遵守相同或相当的分发条款的前提下运行、复制、分发、研究、修改并改进软件和数据(包括模型)时,亦应被视为自由开源许可。

(103) 自由且开源的人工智能组件涵盖软件与数据,包括模型以及通用人工智能模型、工具、服务或人工智能系统的处理流程。自由且开源的人工智能组件可通过多种渠道提供,包括在开放源代码仓库中进行开发。就本条例而言,凡以收费或其他方式实现货币化的人工智能组件,包括通过提供技术支持或其他服务、借助与该人工智能组件相关的软件平台,或者出于除专门用于提升软件安全性、兼容性或互操作性之外的其他目的而使用个人数据的情形,均不应享受针对自由且开源的人工智能组件所规定的例外情形;但微型企业之间的交易除外。仅将人工智能组件通过开放源代码仓库予以公开这一事实本身,并不构成货币化行为。

(104) 根据免费且开源许可发布的通用人工智能模型的提供者,其参数(包括权重)、模型架构信息以及模型使用信息均向公众公开的,应当在透明度相关要求方面适用例外规定;除非该等模型被认为存在系统性风险,在此情形下,模型具有透明性并附带开源许可这一事实不应被视为足以排除其遵守本条例所规定义务的理由。无论如何,鉴于以免费且开源许可发布通用人工智能模型并不必然披露用于模型训练或微调的数据集的实质性信息,亦未充分说明如何据此确保对著作权法的合规性,因此,针对通用人工智能模型在透明度相关要求方面的豁免,不应涵盖以下义务:即编制有关模型训练所用内容的摘要,以及制定并实施一项旨在遵守欧盟著作权法的政策,特别是识别并遵守《欧洲议会和理事会关于版权的指令》(EU)2019/790第4条第3款规定的权利保留条款。(40)

(105) 通用型人工智能模型,尤其是能够生成文本、图像及其他内容的大型生成式人工智能模型,既为艺术家、作者及其他创作者带来了独特的创新机遇,也对其创作内容的产生、传播、使用与消费方式提出了挑战。此类模型的开发与训练需要获取海量的文本、图像、视频及其他数据。在此过程中,文本与数据挖掘技术可能被广泛用于检索与分析上述受著作权及相关权利保护的内容。任何对受著作权保护内容的使用,均须获得相关权利人的授权,除非适用相应的著作权例外与限制规定。欧盟第2019/790号指令引入了若干例外与限制条款,允许在特定条件下为文本与数据挖掘之目的对作品或其他客体进行复制与提取。根据该规则,权利人可选择保留其作品或其他客体的相关权利,以禁止文本与数据挖掘活动,但出于科学研究目的者除外。若权利人已以适当方式明确保留了该项选择权,则通用型人工智能模型的提供者如欲对该等作品开展文本与数据挖掘活动,必须事先取得权利人的授权。

(106) 将通用人工智能模型投放至欧盟市场的提供者应当确保遵守本条例中的相关义务。为此,通用人工智能模型的提供者应当制定一项政策,以遵守欧盟有关著作权及相关权利的法律,特别是识别并遵守权利人根据《(EU)2019/790号指令》第4条第3款所作出的权利保留声明。任何将通用人工智能模型投放至欧盟市场的提供者均应履行该项义务,无论支撑这些通用人工智能模型训练的与著作权相关的行为发生在何地。此举旨在确保通用人工智能模型提供者之间的公平竞争环境,防止任何提供者通过适用低于欧盟规定的著作权标准而在欧盟市场获取竞争优势。

(107) 为提高用于通用人工智能模型预训练及训练的数据透明度,包括受著作权法保护的文本与数据,此类模型的提供者宜编制并公开一份关于用于训练该通用人工智能模型之内容的详尽摘要。在充分考虑保护商业秘密及机密商业信息之必要性的同时,该摘要应具有较为全面的涵盖范围,而非过于技术化,以便使包括著作权人在内的相关利害关系方能够依据欧盟法律行使其权利并予以有效维护,例如通过列明用于模型训练的主要数据集合或数据集,如大型私人或公共数据库、数据档案等,并对所使用的其他数据来源作出说明性阐述。人工智能办公室宜为此类摘要提供模板,该模板应当简洁、实用,便于模型提供者以叙述性方式提交所需摘要。

(108)

关于通用人工智能模型提供者应当制定遵守欧盟著作权法的政策,并公开其用于训练的内容摘要的义务,人工智能办公室应监督该提供者是否已履行上述义务,但无需对训练数据的著作权合规性进行逐项核查或逐一评估。本条例不影响依据欧盟法律规定的著作权规则之执行。

(109)

对通用人工智能模型提供者所适用的义务之履行,应当与其模型提供者的类型相适应并保持适当的比例;对于以非专业或科学研究目的开发或使用模型的主体,不强制要求其履行相关义务,但仍应鼓励其自愿遵守这些要求。在不损害欧盟著作权法的前提下,上述义务的履行应当充分考虑提供者的规模,并为中小企业(包括初创企业)提供简化的合规方式,确保相关成本不过高,且不会抑制此类模型的使用。在对模型进行修改或微调的情况下,通用人工智能模型提供者的相关义务应仅限于该等修改或微调部分,例如通过在现有技术文档中补充有关修改的信息,包括新的训练数据来源,以此作为履行本条例所规定的价值链义务的一种方式。

(110)

通用人工智能模型可能带来系统性风险,这些风险包括但不限于:与重大事故、关键部门中断以及对公共健康与安全造成严重后果相关的任何实际或合理可预见的负面影响;对民主进程、公共安全及经济安全造成的任何实际或合理可预见的负面影响;以及非法、虚假或歧视性内容的传播。应当认识到,系统性风险会随着模型能力与覆盖范围的提升而增加,且可能贯穿模型生命周期的各个环节,并受到滥用情形、模型可靠性、模型公平性与安全性、模型自主程度、其获取工具的能力、新型或组合模态的应用、发布与分发策略、移除防护措施的可能性以及其他因素的影响。特别是,国际层面迄今已明确指出,有必要关注以下风险:潜在的故意滥用或与人类意图对齐相关之非预期控制问题;化学、生物、放射性和核风险,例如准入门槛降低的方式,包括用于武器研发、设计获取或使用的情形;进攻性网络能力,例如漏洞发现、利用或作战应用得以实现的途径;交互与工具使用的效应,例如控制物理系统并干扰关键基础设施的能力;模型自我复制或“自繁殖”以及训练其他模型所带来的风险;模型引发有害偏见与歧视进而危及个人、社区或社会的风险;

助长虚假信息传播或侵害隐私从而威胁民主价值与人权的风险;以及某一特定事件可能引发连锁反应,导致显著负面效应,甚至波及整个城市、某一领域活动或整个社区的风险。

(111)

有必要建立一套方法,用于将通用人工智能模型归类为具有系统性风险的通用人工智能模型。鉴于系统性风险源于特别强大的能力,若某一通用人工智能模型具备高影响力的能力——该能力应依据适当的技术工具与方法予以评估——或者因其覆盖范围而对内部市场产生重大影响,则该模型应被视为存在系统性风险。所谓通用人工智能模型中的高影响力能力,是指其能力达到或超过目前最先进的通用人工智能模型所具备的能力水平。模型的全部能力范围可能在其投入市场后,或在部署方与模型交互时才得以更全面地理解。根据本条例生效时的最新技术水平,以浮点运算次数衡量的通用人工智能模型训练过程中所消耗的累计计算量,是评估模型能力的相关近似指标之一。用于训练的累计计算量涵盖所有旨在提升模型部署前能力的活动与方法所产生的计算,例如预训练、合成数据生成以及微调等。因此,应当设定一个初始的浮点运算次数阈值;一旦某通用人工智能模型达到该阈值,即推定其属于具有系统性风险的通用人工智能模型。该阈值应随时间不断调整,以反映技术和产业领域的变化,如算法改进或硬件效率提升,并辅以用于评估模型能力的基准与指标。

为此,人工智能办公室应当与科学界、产业界、民间社会及其他相关专家开展协作。上述阈值以及用于评估高影响力能力的工具与基准,均应能有效预测通用人工智能模型的通用性、其能力及其相关的系统性风险,并可考虑该模型的上市方式或可能影响的用户数量等因素。为完善这一制度,欧盟委员会还应有权作出个别决定,认定某一通用人工智能模型为具有系统性风险的通用人工智能模型,前提是经核实该模型的能力或影响已达到或超过既定阈值所对应的水平。该决定应当基于对本条例附件中所列的具有系统性风险的一般用途人工智能模型认定标准的整体评估作出,这些标准包括训练数据集的质量或规模、业务用户和最终用户的数量、其输入与输出模式、自主程度与可扩展性,以及其所能访问的工具等。在经由被认定为具有系统性风险的一般用途人工智能模型的提供者提出有理由的请求后,委员会应当予以考虑,并可决定重新评估该一般用途人工智能模型是否仍被认为存在系统性风险。

(112) 还有必要明确一项针对具有系统性风险的通用人工智能模型的分类程序。凡达到高影响能力适用门槛的通用人工智能模型,应被推定为具有系统性风险的通用人工智能模型。提供者应当在满足相关要求之日或知悉其通用人工智能模型将满足导致该推定的要求之日起最迟两周内,向人工智能办公室予以通报。鉴于浮点运算次数这一门槛的设定,通用人工智能模型的训练需要周密的规划,包括预先分配计算资源,因此,通用人工智能模型的提供者往往能够在训练完成前即知晓其模型是否可能达到该门槛。在此类通报中,提供者应当能够证明,基于其特定特征,某通用人工智能模型在特殊情况下并不构成系统性风险,因而不应被归类为具有系统性风险的通用人工智能模型。此类信息对于人工智能办公室提前预判具有系统性风险的通用人工智能模型进入市场具有重要价值,同时也有助于提供者尽早与人工智能办公室开展沟通。尤其就拟以开源形式发布的通用人工智能模型而言,该等信息尤为重要;因为在开源发布之后,为确保遵守本条例项下各项义务而采取必要措施可能会变得更加困难。

(113) 若委员会获悉某通用人工智能模型符合被归类为具有系统性风险的通用人工智能模型的要求,而该情况此前尚未被知晓,或相关提供者未向委员会予以通报,则委员会应有权作出相应认定。此外,应建立一套合格预警机制,确保人工智能办公室除自身开展的监测活动外,亦能通过科学专家组获知那些可能被归类为具有系统性风险的通用人工智能模型。

(114) 提供具有系统性风险的通用人工智能模型的供应商,除应履行针对通用人工智能模型供应商规定的各项义务外,还应当承担旨在识别并降低此类风险、确保达到适当网络安全保护水平的义务,无论该模型是以独立模型形式提供,还是嵌入于人工智能系统或产品之中。为实现上述目标,本条例应当要求供应商开展必要的模型评估工作,特别是在首次投放市场之前,包括对模型进行对抗性测试并予以记录,必要时还可通过内部测试或独立的外部测试加以实施。此外,具有系统性风险的通用人工智能模型供应商应当持续评估并降低系统性风险,例如制定风险管理政策,如问责与治理机制,实施上市后监测,在模型整个生命周期内采取适当措施,并与人工智能价值链上的相关主体开展合作。

(115)

具有系统性风险的通用人工智能模型提供者应当评估并降低可能存在的系统性风险。如果尽管已采取措施识别并防范与可能引发系统性风险的通用人工智能模型相关的各类风险,该模型的开发或使用仍导致严重事件发生,通用人工智能模型提供者应当毫不拖延地对事件进行跟踪,并向委员会及各成员国主管当局报告所有相关信息以及可能采取的纠正措施。此外,提供者还应在整个模型生命周期内,视情况确保模型及其物理基础设施达到适当的网络安全防护水平。针对因恶意使用或遭受攻击而产生的系统性风险所采取的网络安全防护措施,应充分考虑模型意外泄露、未经授权的发布、安全措施被规避以及抵御网络攻击、未经授权访问或模型被盗等情况。此类防护可通过保护模型权重、算法、服务器和数据集等方式加以实现,例如通过实施信息安全方面的操作安全措施、制定专门的网络安全政策、采用适当的技术解决方案及既定方案,以及根据具体情况和相关风险配置相应的网络与物理访问控制措施。

(116)

人工智能办公室应当鼓励并促进行为准则的制定、审查与修订工作,并充分考虑国际通行做法。所有通用型人工智能模型的提供者均可受邀参与。为确保这些行为准则反映最新技术发展水平,并妥善兼顾多元化的观点,人工智能办公室应当与相关国家主管机关开展合作,并在适当情况下,就此类准则的制定咨询民间社会组织及其他相关利益攸关方和专家,包括科学专家组。行为准则应当涵盖通用型人工智能模型以及存在系统性风险的通用型人工智能模型提供者的义务。此外,在涉及系统性风险方面,行为准则还应有助于建立欧盟层面关于系统性风险类型与性质的风险分类体系,并明确其来源。同时,行为准则亦应聚焦于具体的风险评估与缓解措施。

(117)

行业准则应当成为通用人工智能模型提供者切实履行本条例所规定各项义务的核心工具。提供者应当能够依据行业准则证明其已履行相关义务。委员会可通过实施性法案决定批准某项行业准则,并使其在欧盟范围内具有普遍效力;或者,在本条例生效时,若尚未制定完成行业准则或该行业准则被人工智能办公室认定为不适当的情况下,委员会亦可另行制定适用于相关义务的统一规则。一旦经人工智能办公室评估并公布为适合涵盖相关义务的协调标准,遵守该欧洲协调标准即应赋予提供者符合性推定。此外,如无行业准则或协调标准可供使用,或者提供者选择不依赖上述标准,通用人工智能模型的提供者亦可采用其他适当方式证明其合规性。

(118)

本条例通过为在欧盟境内将人工智能系统和人工智能模型投放市场、投入使用或加以使用的相关市场主体施加若干要求与义务,对其予以规范;同时,该条例亦补充了《2022/2065号条例》所规制的、在其服务中嵌入此类系统或模型的中介服务提供者的相关义务。就此类系统或模型被嵌入指定的超大型在线平台或超大型在线搜索引擎的情形而言,其应适用《2022/2065号条例》所规定的风险管理体系。因此,在未出现且尚未在该等模型中识别出《2022/2065号条例》未予涵盖的重大系统性风险之前,本条例的相关义务应被视为已得到履行。在此框架下,超大型在线平台及超大型在线搜索引擎的提供者有义务评估其服务的设计、运行及使用过程中可能产生的系统性风险,包括服务中所采用的算法系统设计如何可能导致此类风险,以及因潜在滥用而引发的系统性风险;此外,上述提供者还须采取适当措施以减轻相关风险,并充分尊重基本权利。

(119)

鉴于创新的快速步伐以及欧盟法律框架内各类数字服务的技术演进,特别是考虑到其使用者的使用习惯与感知,本条例所适用的人工智能系统可能以《2022/2065号条例》意义上的中介服务或其组成部分的形式提供;该条例应当以技术中立的方式予以解释。例如,人工智能系统可用于提供在线搜索引擎服务,尤其是在诸如在线聊天机器人之类的人工智能系统原则上对所有网站进行检索,并将检索结果纳入其现有知识库,进而利用更新后的知识生成整合了多种信息来源的单一输出时,此种情形尤为典型。

(120) 此外,本条例对特定人工智能系统的提供者和部署者施加的义务,旨在确保能够识别并披露这些系统输出系人为生成或经操控的事实,对于有效实施《2022/2065号条例》具有特别重要的意义。这尤其适用于超大型在线平台或超大型在线搜索引擎的提供者所承担的义务,即识别并缓解因传播人为生成或经操控的内容而可能引发的系统性风险,尤其是此类内容对民主进程、公共讨论及选举过程可能造成的实际或可预见的负面影响,包括通过虚假信息等方式所产生的影响。

(121)

标准化应在为服务提供者提供技术解决方案方面发挥关键作用,以确保其符合本条例的规定,并与最新技术水平保持一致,从而促进创新以及单一市场的竞争力和增长。根据欧洲议会和理事会第(EU)No 1025/2012号条例第2条第1款(c)项所界定的协调标准,通常被认为反映了最新技术水平,服务提供者应通过遵守这些标准来证明其符合本条例的要求。因此,应当鼓励在标准制定过程中实现各相关利益攸关方的均衡代表性,特别是中小企业、消费者组织以及环境和社会领域的利益攸关方,且须依照第(EU)No 1025/2012号条例第5条和第6条的规定进行。为便于合规,委员会应毫不拖延地发布标准化请求。在拟定标准化请求时,委员会应当征询咨询论坛及委员会的意见,以汇集相关专业知识。然而,在缺乏适用的协调标准参考的情况下,委员会经与咨询论坛协商后,可通过实施性法案就本条例下的某些要求制定通用规范。该通用规范应作为一项特殊性的后备方案,用于在以下情形下便利服务提供者履行本条例规定的义务:即任何欧洲标准化组织均未接受相关标准化请求;或相关协调标准未能充分解决基本权利方面的关切;

或协调标准不符合请求内容;或适当协调标准的采纳出现延误。若协调标准的采纳延迟系因该标准的技术复杂性所致,委员会在考虑制定通用规范之前,应当予以审慎评估。在制定通用规范时,鼓励委员会与国际伙伴及国际标准化机构开展合作。

(122) 在不妨碍使用协调标准和通用规范的前提下,对于那些基于反映其 intended 使用的特定地理、行为、情境或功能环境的数据进行训练与测试的高风险人工智能系统,应当推定其符合本条例所规定的数据治理要求中的相关措施。在不损害本条例中关于稳健性和准确性的要求的情况下,根据《欧盟》2019/881号条例第54条第3款的规定,凡已依据该条例下的网络安全方案获得认证或出具符合性声明且其相关参考已在《欧洲联盟官方公报》上公布的高风险人工智能系统,在该网络安全证书、符合性声明或其部分内容涵盖本条例网络安全要求的范围内,应推定其符合本条例的网络安全要求。上述规定不影响该网络安全方案的自愿性质。

(123) 为确保高风险人工智能系统的高度可信性,此类系统在投放市场或投入使用前,应当接受合格评定。

(124) 为尽量减轻经营者的负担并避免任何可能的重复,对于那些与现有基于新立法框架的欧盟协调立法所涵盖的产品相关的高风险人工智能系统,应当将其对本条例要求的符合性评估纳入该法律已规定的合格评定程序之中。因此,本条例相关要求的适用不应影响相关欧盟协调立法项下合格评定的具体逻辑、方法或总体结构。

(125)

鉴于高风险人工智能系统的复杂性及其所伴随的风险,有必要针对涉及公告机构的高风险人工智能系统制定一套适当的合格评定程序,即所谓的第三方合格评定。然而,鉴于目前专业产品安全领域上市前认证机构的实践经验以及所涉风险性质的差异,在本条例实施的初始阶段,宜将高风险人工智能系统中除与产品相关者之外的其他系统的第三方合格评定范围予以限定。因此,此类系统的合格评定原则上应由提供者在其自身责任下进行,仅以用于生物识别的人工智能系统为例外。

(126)

为在必要时开展第三方合格评定,经通知的机构应当由国家主管当局依据本条例予以通知,前提是其符合一系列要求,特别是关于独立性、能力、不存在利益冲突以及适当的网络安全要求。上述机构的通知应由国家主管当局通过委员会根据第768/2008/EC号决定附件I第R23条所开发并管理的电子通知工具,发送至委员会及其他成员国。

(127)

根据欧盟在世界贸易组织《技术性贸易壁垒协定》项下的承诺,只要第三国依法设立的合格评定机构符合本条例的适用要求,并且欧盟已就此达成相关协议,则有必要促进对这些机构所出具的合格评定结果的相互承认。在此背景下,委员会应积极探讨为此目的可能采用的国际机制,尤其是推动与第三国缔结相互承认协议。

(128)

遵循欧盟协调立法所规制产品之实质性修改的普遍认定标准,每当发生可能影响高风险人工智能系统符合本条例要求的变更(例如操作系统或软件架构的变更),或者当该系统的预期用途发生改变时,均应将该人工智能系统视为新的人工智能系统,并重新进行合格评定。然而,对于在投放市场或投入使用后仍持续“学习”的人工智能系统而言,其算法及性能发生的变更——即自动调整功能实现方式的变更——不应被视为实质性修改,前提是这些变更已由提供者事先确定,并在进行合格评定时予以评估。

(129) 高风险人工智能系统应当加贴CE标志,以表明其符合本条例的要求,从而得以在内部市场内自由流通。对于嵌入产品的高风险人工智能系统,应当加贴实体CE标志,并可辅以数字CE标志;而对于仅以数字化形式提供的高风险人工智能系统,则应当使用数字CE标志。各成员国不得对符合本条例规定要求并加贴CE标志的高风险人工智能系统的投放市场或投入使用设置不合理的障碍。

(130) 在特定条件下,创新技术的快速可得性对于保障人员健康与安全、保护环境与应对气候变化以及促进整个社会的发展可能至关重要。因此,在涉及公共安全或自然人生命与健康保护、环境保护以及关键工业与基础设施资产保护等特殊情形下,市场监督机构应当有权批准尚未经过合格评定的人工智能系统投放市场或投入使用。在本条例所规定的正当理由情形下,执法机关或民防机关可在未获得市场监督机构许可的情况下,将特定高风险人工智能系统投入使用,但前提是应在使用过程中或使用后及时提出相关许可申请,且不得无故拖延。

(131) 为便于委员会及各成员国在人工智能领域的相关工作,并提高对公众的透明度,除适用现有欧盟协调立法范围内的产品相关人工智能系统外,其他高风险人工智能系统的提供者,以及认为本条例附件中所列高风险应用场景中的某人工智能系统依据豁免规定不属于高风险的人工智能系统提供者,均应将其自身及其人工智能系统相关信息登记于由委员会设立并管理的欧盟数据库。在使用本条例附件中所列高风险应用场景中的任何人工智能系统之前,作为公共机关、机构或实体的高风险人工智能系统部署者,应当在该数据库中进行登记,并选择其拟使用的系统;其他部署者则可自愿进行登记。该部分欧盟数据库应当向公众免费开放,相关信息应当易于检索、清晰易懂且机器可读。此外,欧盟数据库还应具备良好的用户友好性,例如提供包括关键词在内的搜索功能,使普通公众能够查询与高风险人工智能系统登记及本条例附件中所列高风险人工智能系统对应的应用场景相关的必要信息。对于高风险人工智能系统的任何重大变更,亦应在欧盟数据库中予以登记。

就执法、移民、庇护及边境管控等领域的高风险人工智能系统而言,其登记义务应在欧盟数据库的安全非公开部分履行。对该安全非公开部分的访问权限应严格限于委员会以及各成员国负责其本国部分的市场监督机构。而涉及关键基础设施领域的高风险人工智能系统,则仅需在国家层面进行登记。根据《条例(EU)2018/1725》,欧盟数据库的控制方应为委员会。为确保欧盟数据库的全面功能性,在其投入使用时,有关数据库的设置程序应当包括由委员会制定的功能规范以及独立审计报告。委员会在履行其作为欧盟数据库数据控制者的职责时,应当充分考虑网络安全风险。为最大限度地提升公众对欧盟数据库的可获取性和使用率,欧盟数据库及其通过该数据库提供的相关信息,均应符合《指令(EU)2019/882》的相关要求。

(132) 某些旨在与自然人互动或生成内容的人工智能系统,无论其是否被认定为高风险系统,都可能带来特定的冒充或欺骗风险。因此,在某些情况下,这些系统的使用应当受到特定的透明度义务约束,但不影响针对高风险人工智能系统的相关要求与义务,并且应设置有针对性的例外情形,以充分考虑执法活动的特殊需求。特别是,自然人应当被告知其正在与人工智能系统进行互动,除非从合理知情、谨慎且善于观察的自然人的视角来看,该情况已显而易见,且需结合具体情境及使用背景予以判断。在履行该项义务时,对于因年龄或残疾而属于弱势群体的自然人,应当根据其特征予以适当考量,尤其是在该人工智能系统亦旨在与上述群体互动的情况下。此外,当自然人接触到通过处理其生物特征数据而能够识别或推断其情绪、意图,或者将其归入特定类别的人工智能系统时,也应当予以告知。此类特定类别可能涉及性别、年龄、发色、眼色、纹身、个人特质、民族出身、个人偏好及兴趣等方面。上述信息及通知应当以便于残疾人获取的形式提供。

(133) 各类人工智能系统能够生成大量合成内容,而这些内容越来越难以被人类与由人类创作的真实内容相区分。此类系统的广泛可得性及其不断增强的能力对信息生态系统的完整性与信任度产生了重大影响,引发了大规模的虚假信息传播与操纵、欺诈、冒充以及消费者误导等新型风险。鉴于上述影响、技术发展的迅猛速度,以及追踪信息来源所需的新方法与新技术,有必要要求相关系统提供商嵌入能够以机器可读格式进行标记,并识别输出系由人工智能系统而非人类生成或篡改的技术解决方案。此类技术和方法应在技术可行的范围内具备充分的可靠性、互操作性、有效性与稳健性,并应综合考虑现有技术或其组合,例如水印、元数据标识、用于证明内容来源与真实性的密码学方法、日志记录技术、指纹或其他适当的技术手段。在履行该项义务时,提供商还应当充分考量不同类型内容的特殊性与局限性,以及该领域相关的技术与市场发展状况,同时参考公认的行业技术水平。此类技术和方法既可在人工智能系统层面实施,也可在人工智能模型层面实施,包括生成内容的通用型人工智能模型,从而便于下游人工智能系统提供商履行该项义务。

为保持比例原则,宜规定本项标记义务不适用于主要承担标准编辑辅助功能的人工智能系统,或对部署方提供的输入数据及其语义未产生实质性改变的人工智能系统。

(134) 鉴于人工智能系统提供者所采用的技术解决方案,那些使用人工智能系统生成或操纵图像、音频或视频内容的部署者,若该等内容与现有人员、物品、地点、实体或事件高度相似,并足以使人误以为其真实或可信(即深度伪造),亦应以清晰且易于辨识的方式予以披露,明确标注该内容系经由人工智能生成或操纵,并说明其人工来源。对这一透明度义务的遵守不应被解释为意味着人工智能系统的使用或其输出会妨碍《宪章》所保障的言论自由以及艺术与科学自由权利,尤其是在相关内容属于明显具有创造性、讽刺性、艺术性、虚构性或类似性质的作品或节目时,但须同时采取适当措施,以保障第三方的权利与自由。在此类情形下,本条例所规定的针对深度伪造的透明度义务仅限于以适当方式披露此类生成或操纵内容的存在,且该披露方式不得妨碍作品的展示或欣赏,包括其正常利用与使用,同时确保作品的实用性和质量不受影响。此外,在人工智能生成或操纵的文本以向公众传达公共利益相关事项为目的而发布的情况下,亦宜考虑设定类似的披露义务;

但前提是该人工智能生成的内容已通过人工审核或编辑控制程序,且由自然人或法人对该内容的发布承担编辑责任。

(135) 在不影响透明度义务的强制性和全面适用性的前提下,委员会还可以鼓励并促进在欧盟层面制定行为准则,以推动有关识别和标注人为生成或被操纵内容的义务的有效实施,包括支持采取切实可行的安排,以便在适当情况下使检测机制得以获取,并促进与价值链上其他相关方的合作,传播相关内容或核查其真实性和来源,从而使公众能够有效区分人工智能生成的内容。

(136) 本条例对特定人工智能系统之提供者及部署者所施加的义务,旨在使其能够识别并披露该等系统之输出系人为生成或经操控,此等义务对于有效实施《欧盟》2022/2065号条例尤为重要。尤其就超大型在线平台或超大型在线搜索引擎之提供者而言,其有义务识别并减轻因传播人为生成或经操控之内容而可能引发的系统性风险,特别是此类内容对民主进程、公民话语及选举过程所产生的实际或可预见之负面影响,包括通过虚假信息所致之影响。根据本条例要求对人工智能系统生成之内容进行标识的规定,并不影响《欧盟》2022/2065号条例第16条第6款所规定的托管服务提供者依据该条例第16条第1款处理所接收之非法内容通知之义务,亦不应影响对该特定内容违法性的评估与决定。该项评估应仅依据有关内容合法性之相关规则予以作出。

(137) 对本条例所涵盖的人工智能系统履行透明度义务,不应被解释为表明该人工智能系统的使用或其输出在本条例或其他欧盟及成员国法律下均属合法,并且应不影响欧盟或国家法律中规定的其他人工智能系统部署者所承担的透明度义务。

(138) 人工智能是一类发展迅速的技术体系,需要受到监管监督,并为其提供安全、可控的试验空间,同时确保负责任的创新以及适当保障措施和风险缓释手段的落实。为建立一个能够促进创新、面向未来并具备抵御颠覆能力的法律框架,各成员国应当确保其国家主管机关在国家层面至少设立一个人工智能监管沙盒,以便在这些系统投放市场或投入使用之前,在严格的监管监督下开展创新型人工智能系统的开发与测试。各成员国亦可通过参与现有监管沙盒,或与其他一个或多个成员国的主管机关共同设立沙盒的方式履行此项义务,前提是此种参与方式能够为相关成员国提供同等水平的全国性覆盖。人工智能监管沙盒可以采取实体、数字或混合形式设立,并可容纳实体产品及数字产品。设立机关还应确保人工智能监管沙盒具备充分的运行资源,包括财政资源和人力资源。

(139) 人工智能监管沙盒的目标应当是在开发与上市前阶段建立受控的实验与测试环境,以促进人工智能创新,并确保创新型人工智能系统符合本条例及其他相关欧盟和成员国法律。此外,人工智能监管沙盒还应旨在增强创新主体的法律确定性,以及主管当局对人工智能应用所带来的机遇、新兴风险及其影响的监督与理解,从而为当局和企业开展监管学习提供便利,包括为未来调整法律框架做好准备;同时支持与参与该人工智能监管沙盒的各主管部门之间的合作与最佳实践分享,并通过消除中小企业(包括初创企业)面临的障碍等方式,加快其进入市场。人工智能监管沙盒应在整个欧盟范围内广泛设立,尤其应注重其对中小企业(包括初创企业)的可及性。参与人工智能监管沙盒的活动应聚焦于那些导致服务提供者及潜在服务提供者在欧盟境内进行创新、开展人工智能试验并推动基于证据的监管学习方面存在法律不确定性的问题。因此,对人工智能监管沙盒中的人工智能系统的监管范围应当涵盖其开发、训练、测试与验证等环节,直至相关系统投入市场或投入使用之前;同时,还应覆盖可能需要启动新的合格评定程序的重大变更的概念与发生情形。

在上述人工智能系统的开发与测试过程中发现的任何重大风险,均应采取适当的缓解措施;如未能有效缓解,则应当暂停相关开发与测试进程。在适当情况下,设立人工智能监管沙盒的各国主管当局应当与其他相关主管机构开展协作,包括负责基本权利保护监督的机构,并可允许人工智能生态系统中的其他参与方,如国家或欧洲标准化组织、公告机构、测试与实验设施、研究与实验实验室、欧洲数字创新中心以及相关利益攸关方和民间社会组织等,参与其中。为确保在整个联盟范围内统一实施并实现规模经济,宜就人工智能监管沙盒的实施制定共同规则,并建立相关主管当局在沙盒监管方面开展合作的框架。根据本条例设立的人工智能监管沙盒不应影响其他法律关于设立旨在确保遵守除本条例以外之法律的其他沙盒的规定。在适当情况下,负责这些其他监管沙盒的相关主管当局应考虑将此类沙盒亦用于确保人工智能系统符合本条例要求的益处。经国家主管当局与人工智能监管沙盒参与方达成一致后,亦可在该监管沙盒框架内开展并在其监督下进行真实环境下的测试。

(140) 本条例应为人工智能监管沙盒中的服务提供者及潜在服务提供者提供法律依据,使其在符合《欧盟》2016/679号条例第6条第4款和第9条第2款(g)项、以及《欧盟》2018/1725号条例第5条、第6条和第10条的规定,并且不损害《欧盟》2016/680号指令第4条第2款和第10条的前提下,仅在特定条件下,将为其他目的而收集的个人数据用于在人工智能监管沙盒内开发某些符合公共利益的人工智能系统。此外,《欧盟》2016/679号条例、《欧盟》2018/1725号条例以及《欧盟》2016/680号指令项下数据控制者的其他义务和数据主体的权利仍继续适用。特别是,本条例不应构成《欧盟》2016/679号条例第22条第2款(b)项以及《欧盟》2018/1725号条例第24条第2款(b)项所指的法律依据。人工智能监管沙盒中的服务提供者及潜在服务提供者应当确保采取适当的保障措施,并与主管当局开展合作,包括遵循其指导意见,以迅速且善意的方式采取行动,充分降低在该沙盒内进行开发、测试和实验过程中可能产生的任何对安全、健康及基本权利的重大风险。

(141) 为加快本条例附件所列高风险人工智能系统的开发进程并使其尽快投入市场,重要的是,此类系统的提供者或潜在提供者亦可在不参与人工智能监管沙盒的情况下,享受在真实世界条件下测试该等系统之专门制度。然而,在此类情形下,鉴于此类测试可能对个人产生的影响,本条例应确保为提供者或潜在提供者制定适当且充分的保障措施与条件。此类保障措施应包括但不限于:要求自然人就参与真实世界条件下的测试作出知情同意,但执法领域除外,因为在该领域寻求知情同意将妨碍人工智能系统的测试实施。根据本条例,受试者就参与此类测试所作的同意,与数据主体依据相关数据保护法律对其个人数据处理所作的同意相互独立且互不影响。此外,还应尽可能降低风险,并便于主管当局实施监督,因此要求潜在提供者向主管市场监督机构提交真实世界测试计划,在欧盟数据库的相关专门栏目中予以登记(存在若干有限例外),对测试期限设定限制,并针对特定弱势群体采取额外保护措施;同时,还需订立书面协议,明确潜在提供者与部署方的角色与责任,以及由参与真实世界测试的主管人员实施有效监督。

此外,还应考虑增设其他保障措施,以确保人工智能系统的预测、建议或决策能够被有效撤销并予以忽略,同时在受试者撤回参与测试之同意时,个人数据得到妥善保护并予删除,且此等处理不得损害其作为数据主体依据欧盟数据保护法所享有的权利。关于数据传输方面,亦应规定:仅为实现真实世界条件下的测试目的而收集并处理的数据,仅可在已落实符合欧盟法律规定的适当且适用之保障措施的情况下方可传输至第三国,特别是应当依照欧盟数据保护法律项下有关个人数据传输之依据进行操作;而对于非个人数据,则应依据欧盟法律相关规定采取相应保障措施,例如欧洲议会和理事会颁布的《2022/868号条例》(42)及《2023/2854号条例》(43)。

(142) 为确保人工智能能够带来社会与环境方面的积极成果,鼓励各成员国通过拨付充足资源(包括公共资金和欧盟资金),支持并推动旨在实现社会与环境有益目标的人工智能解决方案的研发工作;在符合相关资格与遴选标准的前提下,尤其应考虑那些致力于实现上述目标的项目。此类项目应当以跨学科合作为原则,由人工智能开发者、不平等与非歧视问题专家、无障碍领域专家、消费者权益保护专家、环境权益保护专家以及数字权利领域的专家,还有学术界人士共同参与。

(143) 为促进并保护创新,有必要特别考虑作为人工智能系统提供者或部署者的中小企业(包括初创企业)的利益。为此,各成员国应制定针对此类经营者的相关举措,包括开展意识提升活动及信息沟通工作。对于在欧盟境内设有注册办事处或分支机构的中小企业(包括初创企业),只要其符合资格条件和遴选标准,成员国应当为其提供优先接入人工智能监管沙盒的渠道;同时,在满足相同条件与标准的前提下,亦不得排除其他提供者及潜在提供者进入该沙盒。成员国应当充分利用现有渠道,并在必要时设立专门面向中小企业(包括初创企业)、部署者及其他创新主体,以及视情况而定的地方公共当局的沟通渠道,通过提供指导并解答有关本条例实施过程中的各类疑问,支持中小企业在其发展全过程中获得必要的帮助。在适当情况下,这些渠道应当协同合作,形成合力,确保向中小企业(包括初创企业)及部署者提供的指导意见具有一致性与统一性。此外,成员国还应当便利中小企业及其他相关利益攸关方参与标准化制定进程。同时,在指定机构设定合格评定费用时,应当充分考虑作为中小企业(包括初创企业)的提供者的特殊利益与需求。

委员会应当通过透明的磋商机制定期评估中小企业(包括初创企业)的认证与合规成本,并与各成员国携手努力降低此类成本。例如,与强制性文件编制及与主管机关沟通相关的翻译费用,可能对提供者及其他经营者构成重大负担,尤其是规模较小的主体。成员国应当尽可能确保,其所确定并认可的、用于相关提供者文件编制及与经营者沟通的语言之一,能够被尽可能多的跨境部署者所广泛理解。为切实回应中小企业(包括初创企业)的特定需求,委员会应当应董事会之请求,就本条例所涵盖的各领域提供标准化模板。此外,委员会应通过为所有供应商和部署方提供一个易于使用、涵盖本条例相关信息的统一信息平台,组织适当的宣传活动以提高对本条例所生义务的认识,并评估和促进与人工智能系统相关的公共采购程序中最佳实践的趋同,从而补充成员国的努力。那些直到最近仍根据欧盟委员会2003/361/EC号建议附件(44)之含义被认定为小型企业的中型企业,也应当能够获得上述支持措施,因为这些新兴的中型企业有时可能缺乏确保正确理解并遵守本条例所需的法律资源和培训。

(144) 为促进并保护创新,人工智能按需平台以及由委员会和成员国在欧盟或国家层面实施的各类相关欧盟资助计划与项目,例如“数字欧洲”计划、“地平线欧洲”计划等,应根据实际情况,为实现本条例的目标作出贡献。

(145) 为最大限度降低因市场缺乏相关知识与专业能力而带来的实施风险,并便利服务提供者(尤其是中小企业及初创企业)和公告机构遵守本条例规定的各项义务,人工智能按需平台、欧洲数字创新中心以及由委员会和成员国在欧盟或国家层面设立的测试与实验设施,应当为本条例的实施提供支持。在其各自使命与职权范围内,人工智能按需平台、欧洲数字创新中心及测试与实验设施尤其能够向服务提供者和公告机构提供技术和科学方面的支持。

(146) 此外,鉴于部分经营者的规模极其微小,并为确保创新成本的相称性,宜允许微型企业以简化的方式履行一项最为昂贵的义务,即建立质量管理体系;此种简化方式可在不降低保护水平、不影响高风险人工智能系统相关要求合规性的前提下,减轻这些企业的行政负担并降低成本。欧盟委员会应当制定相关指南,明确微型企业以该简化方式应当满足的质量管理体系各项要素。

(147) 欧盟委员会应在可能范围内,便利依据任何相关欧盟协调立法设立或认可、并在该等协调立法所涵盖的产品或设备的合格评定过程中履行相关任务的机构、团体或实验室获取检测与试验设施的途径。尤其就根据第(EU) 2017/745号和第(EU) 2017/746号法规设立的医疗器械领域的专家小组、专业实验室及参考实验室而言,情况尤为如此。

(148) 本条例应当建立一套治理框架,既能够在国家层面协调并支持本条例的实施,又能在欧盟层面提升相关能力,并吸纳人工智能领域的各利益攸关方参与。为有效落实并确保本条例得到执行,有必要建立一个能够协调各方行动并在欧盟层面构建中央专业能力的治理框架。人工智能办公室由委员会第45号决定设立,其使命是发展欧盟在人工智能领域的专业知识与能力,并为落实欧盟有关人工智能的法律作出贡献。各成员国应当为人工智能办公室履行职责提供便利,以支持欧盟层面专业知识与能力的培育,并强化数字单一市场的运作。此外,还应设立一个由各成员国代表组成的理事会、一个旨在整合科学界力量的科学专家组,以及一个负责在欧盟和国家层面就本条例的实施吸纳利益攸关方意见的咨询论坛。欧盟专业知识与能力的建设还应当充分利用现有资源与专长,特别是通过与其他法律在欧盟层面执法过程中所建立的相关机制形成协同效应,以及与欧盟层面的相关倡议(如欧洲高性能计算联合事业体和“数字欧洲”计划下的人工智能测试与实验设施)实现联动。

(149) 为促进本条例的顺利、有效且协调一致的实施,应当设立一个委员会。该委员会应当体现人工智能生态系统的各方利益,并由各成员国的代表组成。委员会应承担多项咨询职能,包括就与本条例实施相关的事项发表意见、提出建议或提供咨询,涵盖执法事务、技术规范以及与本条例所确立要求相关的现有标准;同时,还应就与人工智能有关的具体问题向委员会和各成员国及其国家主管当局提供咨询意见。为使各成员国在指定其委员会代表时具有一定的灵活性,此类代表可以是来自公共机构的任何人员,但须具备相应的专业能力和职权,以促进国家层面的协调并推动委员会各项任务的实现。委员会应当设立两个常设分组,分别为市场监督机构和公告机构就相关议题提供合作与交流的平台。其中,市场监督常设分组应作为本条例项下《2019/1020号条例》第30条所指的行政合作小组(ADCO)。根据该条例第33条的规定,委员会应当通过开展市场评估或研究等方式支持市场监督常设分组的活动,特别是旨在识别本条例中需要市场监督机构之间进行具体且紧急协调的方面。委员会可根据需要设立其他常设或临时分组,以专门审议特定议题。

此外,委员会还应当酌情与欧盟相关机构、专家小组及网络开展合作,这些机构和网络活跃于相关欧盟法律框架之下,尤其是那些依据欧盟关于数据、数字产品和服务的相关法律而开展工作的机构和网络。

(150) 为确保利益相关方参与本条例的实施与适用,应设立一个咨询论坛,向委员会和欧盟委员会提供咨询意见和技术专长。为确保在商业与非商业利益之间以及在商业利益类别内部(尤其是中小企业及其他企业)实现多元化且均衡的利益相关方代表性,该咨询论坛应包括但不限于:产业界、初创企业、中小企业、学术界、民间社会(含社会伙伴),以及基本权利机构、欧洲网络与信息安全局(ENISA)、欧洲标准化委员会(CEN)、欧洲电工标准化委员会(CENELEC)和欧洲电信标准协会(ETSI)。

(151) 为支持本条例的实施与执行,特别是人工智能办公室对通用型人工智能模型的监测活动,应当设立一个由独立专家组成的科学专家组。构成该科学专家组的独立专家应当基于其在人工智能领域的最新科学或技术专长予以遴选,并在履行职责时秉持公正、客观的原则,同时确保在其履职及开展相关活动过程中所获取的信息与数据的保密性。为促进成员国有效实施本条例所需国家能力的提升,各成员国应有权就其执法活动向构成该科学专家组的专家库申请支持。

(152)

为支持对人工智能系统的充分执法并强化各成员国的能力,应当建立并面向各成员国开放欧盟人工智能测试支持机构。

(153)

成员国在本条例的适用与执行中发挥着关键作用。为此,各成员国应至少指定一个通知机构和至少一个市场监督机构作为本国主管当局,以监督本条例的适用与实施。成员国可根据其特定的国家组织特点和需求,决定任命任何类型的公共实体来履行本条例所指的本国主管当局职责。为提高成员国方面的组织效率,并在成员国及欧盟层面面向公众及其他相关方设立单一联络点,各成员国应指定一个市场监督机构作为单一联络点。

(154)

本国主管当局应当独立、公正、无偏地行使职权,以确保其活动与任务的客观性原则得到维护,并保障本条例的适用与实施。这些主管当局的成员应当避免从事任何与其职责不相容的行为,并须遵守本条例规定的保密义务。

(155)

为确保高风险人工智能系统提供者能够基于高风险人工智能系统的使用经验,对其系统及设计开发过程加以改进,并及时采取一切可能的纠正措施,所有提供者均应建立并实施上市后监测体系。在相关情况下,上市后监测还应当包括对与其他人工智能系统(包括其他设备和软件)之间交互情况的分析。上市后监测不应涉及部署方的敏感运营数据,尤其是执法机关所掌握的数据。该体系亦是确保能够更高效、更及时地应对那些在投放市场或投入使用后仍持续“学习”的人工智能系统所带来的潜在风险的关键所在。在此背景下,还应当要求提供者建立向有关主管当局报告其人工智能系统使用过程中发生的任何严重事件的制度,即指导致人员死亡或严重健康损害、关键基础设施管理与运行遭受严重且不可逆的中断、违反旨在保护基本权利的欧盟法律义务,或者造成财产或环境严重损害的事件或故障。

(156) 为确保本条例所规定的各项要求与义务得到适当且有效的执行,而本条例属于欧盟协调立法,因此应全面适用由第2019/1020号(欧盟)条例确立的市场监督与产品合规制度。根据本条例指定的市场监督机构应当享有本条例及第2019/1020号(欧盟)条例所规定的一切执法权力,并应独立、公正、无偏地行使这些权力并履行其职责。尽管大多数人工智能系统不受本条例项下特定要求与义务的约束,但当相关人工智能系统存在本条例所界定的风险时,市场监督机构仍可对其采取相应措施。鉴于属于本条例适用范围的欧盟各机构、机关和组织具有特殊性质,宜指定欧洲数据保护监督员作为其主管的市场监督机构。上述安排不影响成员国另行指定本国主管当局。市场监督活动不得影响受监管实体在欧盟法律要求其保持独立性时独立履行其职责的能力。

(157) 本条例不影响负责监督保护基本权利的欧盟法律适用的相关国家公共机关或机构的职权、任务、权力及其独立性,包括平等机构和数据保护主管机构。在履行其职责所必需的情况下,这些国家公共机关或机构还应当有权查阅根据本条例制作的任何文件。应当设立专门的保障程序,以确保对那些对健康、安全和基本权利构成风险的人工智能系统予以充分且及时的执法。该程序应适用于对健康、安全和基本权利构成风险的高风险人工智能系统、已投放市场、投入使用或被用于违反本条例所规定的禁止性做法的人工智能系统,以及已违反本条例规定的透明度要求而被提供的并构成风险的人工智能系统。

(158) 联盟金融服务法律包括适用于受监管金融机构在提供相关服务过程中所遵循的内部治理及风险管理规则与要求,其中包括其使用人工智能系统的情形。为确保本条例以及联盟金融服务法律相关规则与要求项下义务得到连贯一致的适用与执行,负责监督和执行上述法律的主管当局,尤其是根据欧洲议会和理事会第575/2013号条例(46)以及第2008/48/EC号指令(47)、第2009/138/EC号指令(48)、第2013/36/EU号指令(49)、第2014/17/EU号指令(50)和第(EU)2016/97号指令(51)所界定的主管当局,应在各自职权范围内被指定为负责监督本条例实施的主管当局,包括就受监管及受监督金融机构所提供或使用的人工智能系统开展市场监督活动;除非成员国决定另行指定其他机构履行此类市场监督职责。上述主管当局应享有本条例及第(EU)2019/1020号条例赋予的一切权力,以确保本条例各项要求与义务得到切实履行,包括开展事后市场监督活动之权力;该等监督活动可根据需要整合至其依据相关联盟金融服务法律所建立的现有监管机制与程序之中。

此外,宜规定:当作为本条例项下的市场监督机构行事时,负责监督依据第2013/36/EU号指令所监管之信贷机构的国家主管当局——这些机构参与由理事会第1024/2013号条例(52)设立的单一监管机制——应当在其市场监督活动中发现任何可能对欧洲中央银行依据该条例所规定的审慎监管任务具有潜在意义的信息后,及时向欧洲中央银行报告。为进一步增强本条例与适用于依据第2013/36/EU号指令所监管之信贷机构的相关规则之间的协调一致性,亦宜将供应商在风险管理、上市后监测及文件记录等方面的部分程序性义务纳入第2013/36/EU号指令项下的既有义务与程序之中。为避免出现重叠,还应在以下方面考虑对提供者的质量管理体系以及高风险人工智能系统部署者所承担的监测义务作出有限的例外规定:上述规定适用于受《2013/36/EU号指令》监管的信贷机构。

同样的制度也应适用于根据《2009/138/EC号指令》规定的保险和再保险公司及保险控股公司,以及根据《(EU) 2016/97号指令》规定的保险中介,以及其他依据相关欧盟金融服务法律确立的内部治理、安排或流程要求而受到约束的各类金融机构,以确保金融领域的统一性和公平待遇。

(159) 本条例附件所列的、在生物特征识别领域内用于执法、移民、庇护及边境管控管理,或用于司法与民主程序管理的高风险人工智能系统之各市场监督机构,均应具备有效的调查与纠正权力,至少包括获取正在处理的所有个人数据以及履行其职责所需全部信息的权力。市场监督机构应当能够完全独立地行使上述权力。根据本条例对其获取敏感运营数据权限的任何限制,均不得影响其依据《欧盟》2016/680号指令所享有的相关权力。本条例项下向国家数据保护机构披露数据的任何排除规定,均不应影响这些机构在本条例范围之外的现有或未来权力。

(160) 市场监督机构和委员会应当能够提出联合活动建议,包括由市场监督机构单独或与委员会共同开展的联合调查,其目的在于促进合规、识别不合规行为、提高意识并就本条例向特定类别的高风险人工智能系统提供指导;这些系统被认定在两个或多个成员国境内均构成严重风险。旨在促进合规的联合活动应当依照《欧盟》2019/1020号条例第9条的规定予以实施。人工智能办公室应当为联合调查提供协调支持。

(161) 有必要明确在欧盟层面和国家层面关于基于通用人工智能模型构建的人工智能系统的职责与权限。为避免权限重叠,当某一人工智能系统基于通用人工智能模型且该模型与系统由同一提供者提供时,应由欧盟层面的AI办公室负责监管,并为此目的赋予其《条例(EU)2019/1020》所指的市场监督机构之权力。在其他所有情形下,各国市场监督机构仍负责对人工智能系统的监管。然而,对于那些可被部署方直接用于至少一项被归类为高风险用途的通用型人工智能系统,市场监督机构应当与AI办公室合作开展合规性评估,并相应地向委员会及其他市场监督机构通报相关情况。此外,若市场监督机构因无法获取与该高风险人工智能系统所基于的通用人工智能模型相关的特定信息而无法完成对该系统的调查时,市场监督机构有权请求AI办公室提供协助。在此类情况下,《条例(EU)2019/1020》第六章有关跨境案件相互协助的程序应当予以适当适用。

(162)

为充分利用欧盟层面的集中化专业能力和协同效应,对通用人工智能模型提供者所承担义务的监督与执法权应由委员会行使。人工智能办公室应当能够采取一切必要措施,就通用人工智能模型相关事项监测本条例的有效实施情况。该办公室有权根据自身主动开展的监测活动结果,或依据本条例规定的条件,应市场监督机构的要求,对通用人工智能模型提供者可能存在的违规行为进行调查。为支持人工智能办公室的有效监测工作,本条例还应规定下游提供者可以就通用人工智能模型及系统相关规则可能存在的违规行为提出投诉。

(163) 为补充通用人工智能模型的治理体系,科学专家组应当支持人工智能办公室的监督活动,并在特定情况下向人工智能办公室发出经核实的预警,以触发后续跟进措施,例如开展调查。此种情形应适用于科学专家组有理由怀疑某通用人工智能模型在欧盟层面构成具体且可识别的风险之时。此外,当科学专家组有理由怀疑某通用人工智能模型符合被归类为具有系统性风险的通用人工智能模型的标准时,亦应适用上述规定。为使科学专家组具备履行上述职责所需的信息,应当建立一种机制,允许科学专家组请求委员会要求相关提供者提交文件或信息。

(164) 人工智能办公室应当有权采取必要措施,以监督本条例所规定的通用人工智能模型提供者履行相关义务的情况并确保其合规。人工智能办公室应依据本条例赋予的职权对可能存在的违规行为开展调查,包括要求提供相关文件和信息、进行评估,以及要求通用人工智能模型提供者采取相应措施。在开展评估时,为借助独立的专业知识,人工智能办公室可以委托独立专家代为实施评估工作。对于相关义务的履行,除其他方式外,可通过要求采取适当措施予以强制执行,包括针对已识别的系统性风险采取风险缓释措施,以及限制该模型投放市场、予以撤回或召回等措施。作为一项保障机制,在本条例规定的程序性权利之外确有需要的情况下,通用人工智能模型提供者还应当享有《欧盟》2019/1020号条例第18条所规定的程序性权利;上述规定应在不损害本条例所规定的更为具体的程序性权利的前提下,作相应适用。

(165) 依照本条例的要求开发非高风险人工智能系统,有望在欧盟范围内推动更具伦理性和可信度的人工智能的广泛应用。对于非高风险的人工智能系统提供商,应当鼓励其制定行为准则,并建立相应的治理机制,以促进自愿性地采纳部分或全部适用于高风险人工智能系统的强制性要求;上述要求应根据相关系统的预期用途及较低的风险水平加以调整,并充分考虑现有技术解决方案以及行业最佳实践,例如模型与数据卡片等工具。此外,还应鼓励所有人工智能系统(无论是否属于高风险)及其人工智能模型的提供商和部署方,在自愿基础上进一步落实与之相关的额外要求,例如:欧盟《可信人工智能伦理指南》中的各项要素、环境可持续性、人工智能素养提升措施、人工智能系统的包容性与多样性设计与开发——包括对弱势群体的关注及面向残障人士的可访问性——利益相关方的参与,必要时吸纳企业、民间社会组织、学术界、科研机构、工会以及消费者保护组织等相关利益攸关方共同参与人工智能系统的研发与设计,以及开发团队的多元化构成,包括性别平衡等方面。

为确保这些自愿性行为准则切实有效,其制定应当以明确的目标和关键绩效指标为基础,以便衡量目标的实现情况。同时,此类准则的制定还应采取包容性方式,必要时吸纳企业、民间社会组织、学术界、科研机构、工会以及消费者保护组织等相关利益攸关方的参与。委员会还可制定各类倡议,包括行业层面的举措,以促进降低阻碍人工智能开发领域跨境数据交换的技术壁垒,涵盖数据访问基础设施、不同类型数据之间的语义与技术互操作性等方面。

(166) 重要的是,与本条例所界定的非高风险产品相关的人工智能系统,尽管无需遵守针对高风险人工智能系统所设定的要求,但在投放市场或投入使用时仍应确保安全。为实现这一目标,欧洲议会和理事会颁布的第2023/988号条例(53)将作为一项安全网予以适用。

(167) 为确保欧盟及各成员国层面主管当局之间开展值得信赖且建设性的合作,所有参与本条例实施的各方均应根据欧盟或成员国法律,尊重在履行其职责过程中获取的信息和数据的保密性。其在履行职责和开展活动时,应当特别注意保护知识产权、商业秘密及机密商业信息,保障本条例的有效实施,维护公共利益和国家安全利益,确保刑事及行政程序的完整性,并保护涉密信息的完整性。

(168) 本条例的遵守应当通过施加处罚及其他强制措施予以保障。成员国应当采取一切必要措施,确保本条例的各项规定得到实施,包括针对违反本条例的行为设定有效、相称且具有威慑力的处罚,并遵守一事不再理原则。为加强并统一针对违反本条例行为的行政罚款,应当就某些特定违法行为设定行政罚款的最高限额。在评估罚款金额时,成员国应当在个案中充分考虑具体情况下的所有相关因素,尤其应当考虑到违法行为的性质、严重程度及持续时间及其后果,以及经营者的规模,特别是当该经营者为中小企业(包括初创企业)时。欧洲数据保护监督员应当有权对属于本条例适用范围的欧盟机构、 agencies 和机关处以罚款。

(169) 根据本条例对通用人工智能模型提供者施加的义务,其合规性应当能够通过包括罚款在内的手段予以强制执行。为此,还应针对违反上述义务的行为设定适当的罚款额度,其中包括未遵守欧盟委员会依据本条例所要求采取的措施的情形,但须依照比例原则适用相应的时效限制。根据《欧盟运作条约》的规定,欧盟委员会依本条例作出的所有决定均应接受欧洲联盟法院的审查,包括欧洲联盟法院依据《欧盟运作条约》第261条就处罚事项所享有的无限管辖权。

(170) 联盟法和成员国法律已为因使用人工智能系统而使其权利和自由受到不利影响的自然人和法人提供了有效的救济途径。在不影响上述救济途径的前提下,任何有理由认为本条例遭到违反的自然人或法人,均有权向相关市场监督机构提出投诉。

(171) 受影响人有权在以下情况下获得解释:当部署者的决定主要基于属于本条例适用范围内的某些高风险人工智能系统的输出结果,且该决定产生法律效力或以类似方式对相关人士产生重大影响,而这些人士认为该影响对其健康、安全或基本权利造成不利后果时。该解释应当清晰且具有实质意义,并为受影响人行使自身权利提供依据。获得解释的权利不适用于根据欧盟或成员国法律存在例外或限制的人工智能系统之使用,且仅在欧盟法律尚未规定该项权利的范围内适用。

(172) 作为本条例违规行为举报人的人员应受欧盟法律保护。因此,欧洲议会和理事会颁布的第(EU)2019/1937号指令(54)应当适用于本条例违规行为的报告以及对报告此类违规行为人员的保护。

(173) 为确保监管框架在必要时能够作出相应调整,应将依据《欧盟运作条约》第290条制定相关法律文件的权力授予委员会,以修订以下事项:人工智能系统不被视为高风险情形的认定条件、高风险人工智能系统的清单、有关技术文档的规定、欧盟符合性声明的内容、符合性评估程序的相关规定、适用于基于质量管理体系评估及技术文档评估之符合性评估程序的高风险人工智能系统之界定规定、一般用途人工智能模型分类规则中的阈值、基准与指标(包括对这些基准与指标的补充)、具有系统性风险的一般用途人工智能模型的指定标准、一般用途人工智能模型提供者的技术文档以及一般用途人工智能模型提供者的透明度信息。尤为重要的是,委员会在开展前期准备工作时,应当按照2016年4月13日关于“更好立法”的机构间协议所确立的原则,进行充分的磋商,包括专家层面的磋商;且此类磋商应严格遵循该协议的规定。特别是,为确保欧洲议会和理事会平等参与委托法案的制定过程,委员会应在向成员国专家提供所有文件的同时,亦向欧洲议会和理事会提供相同文件,并确保其专家能够系统性地列席负责起草委托法案的委员会专家小组会议。

(174) 鉴于技术的快速发展以及有效实施本条例所需的专业技术,委员会应在2029年8月2日前及此后每四年对本条例进行一次评估与审查,并向欧洲议会和理事会提交报告。此外,考虑到本条例适用范围所产生的影响,委员会应每年对是否有必要修订高风险人工智能系统清单及禁止性做法清单进行一次评估。同时,至2028年8月2日及此后每四年,委员会应就以下事项向欧洲议会和理事会作出评估并提交报告:本条例附件中高风险领域标题清单的修订必要性、透明度义务所涵盖的人工智能系统、监督与治理体系的有效性,以及关于通用型人工智能模型节能开发标准化成果的进展情况,包括是否需要采取进一步措施或行动。最后,至2028年8月2日及此后每三年,委员会应评估旨在促进除高风险人工智能系统之外的其他人工智能系统落实相关要求的自愿行为准则的影响与有效性,并视情况考虑是否需为这类人工智能系统制定其他附加要求。

(175) 为确保本条例的实施条件统一,应将执行权力授予委员会。该等权力应当依据欧洲议会和理事会第(EU)No 182/2011号条例(56)行使。

(176)

鉴于本条例的目标,即在确保对健康、安全以及《宪章》所载基本权利(包括民主、法治及环境保护)提供高水平保护的同时,促进以人为本且值得信赖的人工智能的普及应用,并防范人工智能系统在欧盟境内产生的有害影响,同时支持创新,而这一目标无法由各成员国充分实现,反而由于行动的规模或其影响,更适合在欧盟层面加以实现,因此,根据《欧盟条约》第5条规定的辅助性原则,欧盟可以采取相应措施。依照该条所载的比例原则,本条例的范围不超出为实现上述目标所必需的限度。

(177)

为确保法律确定性,为经营者提供适当的适应期,并避免对市场造成干扰,包括通过确保人工智能系统使用的连续性,本条例适用于在一般适用日期之前已投放市场或投入使用的高风险人工智能系统,但仅限于自该日期起,这些系统在其设计或预期用途方面发生重大变更的情形。有必要澄清的是,在此方面,“重大变更”这一概念应被理解为与本条例仅针对高风险人工智能系统所采用的“实质性修改”概念在实质上等同。在特殊情况下并基于公共问责的要求,作为本条例附件所列法律文件中确立的大规模信息技术系统的组成部分的人工智能系统运营者,以及拟由公共当局使用之高风险人工智能系统运营者,应当分别在2030年底前和2030年8月2日前采取必要措施,以符合本条例的相关要求。

(178)

鼓励高风险人工智能系统的提供者在过渡期内自愿开始遵守本条例的相关义务。

(179)

本条例自2026年8月2日起生效。然而,鉴于以某些方式使用人工智能所伴随的不可接受风险,本条例中的禁止性规定以及一般性条款应自2025年2月2日起即行适用。尽管这些禁止性规定的全部效力将在本条例的治理机制与执法体系建立后方始全面生效,但为充分考量不可接受的风险并对其余相关程序(如民事法律程序)产生影响,提前实施上述禁止性规定仍具重要意义。此外,与治理机制及合格评定体系相关的基础设施应在2026年8月2日前投入运行,因此有关指定机构及治理结构的规定应自2025年8月2日起适用。鉴于技术进步及通用型人工智能模型应用的迅猛发展,针对通用型人工智能模型提供者的义务亦应自2025年8月2日起生效。为使相关提供者能够及时证明其合规性,行为准则应于2025年5月2日前制定完毕。人工智能办公室应当根据技术发展情况,确保分类规则与程序保持最新状态。同时,各成员国应当制定并向欧盟委员会通报有关处罚的规则,包括行政罚款,并确保在本条例生效之日之前得到适当且有效的实施。因此,有关处罚的规定应自2025年8月2日起适用。

(180) 欧洲数据保护监督员和欧洲数据保护委员会已根据《2018/1725号条例》第42条第1款和第2款的规定进行了咨询,并于2021年6月18日发表了其联合意见,

特此制定本条例:

一般规定

第一章 · 第一条

标的物

1. 本条例的目的是改善内部市场的运作,促进以人为本且值得信赖的人工智能(AI)的广泛应用,同时确保在欧盟范围内,针对人工智能系统可能产生的有害影响,对健康、安全以及《宪章》所载的基本权利——包括民主、法治和环境保护——提供高水平的保护,并支持创新。

2. 本条例规定:

(a)

在欧盟境内投放市场、投入使用及使用人工智能系统的统一规则;

(b)

对某些人工智能实践的禁止性规定;

(c) 针对高风险人工智能系统的具体要求及其运营者的义务;

(d) 针对某些人工智能系统的统一透明度规则;

(e) 关于通用型人工智能模型投放市场的统一规则;

(f) 关于市场监测、市场监管、治理及执法的相关规则;

(g)

支持创新的措施,尤其侧重于中小企业,包括初创企业。

第一章 · 第2条

范围

1. 本条例适用于:

(a)

在欧盟境内或第三国设立或所在地的供应商,无论其是否在欧盟境内或第三国设立或所在地,凡将人工智能系统投放市场或投入使用,或者将通用型人工智能模型投放市场的;

(b)

其设立地或所在地在欧盟境内的人工智能系统部署者;

(c) 其设立地或所在地在第三国的供应商和部署者,但其人工智能系统所产生的输出结果在欧盟境内被使用的;

(d) 人工智能系统的进口商和分销商;

(e) 将人工智能系统与其产品一同以自身名称或商标投放市场或投入使用的制造商;

(f) 非欧盟境内设立的供应商的授权代表;

(g)

位于欧盟境内的相关个人。

2. 对于根据第6条第1款被归类为高风险人工智能系统的、且涉及附录I B部分所列的欧盟协调立法所涵盖产品的相关人工智能系统,仅适用第6条第1款、第102至109条以及第112条。第57条仅在其适用范围内,即当本条例关于高风险人工智能系统的要求已被纳入该欧盟协调立法时方可适用。

3. 本条例不适用于欧盟法律管辖范围之外的区域,且在任何情况下均不得影响成员国在国家安全方面的职权,无论由成员国委托承担与该等职权相关任务的实体为何种类型。

本条例不适用于那些仅出于军事、国防或国家安全目的而被投放市场、投入使用或在未经修改的情况下被使用的AI系统,无论从事上述活动的主体为何种类型。

本条例不适用于那些未在欧盟境内投放市场或投入使用,但其输出结果仅在欧盟境内用于军事、国防或国家安全目的的AI系统,无论从事上述活动的主体为何种类型。

4. 本条例既不适用于第三国的公共机关,也不适用于根据第1款属于本条例适用范围的国际组织;前提是这些机关或组织在与欧盟或一个或多个成员国开展执法及司法合作的国际合作或协议框架内使用AI系统,且该第三国或国际组织已就个人基本权利和自由的保护提供充分的保障措施。

5. 本条例不影响《2022/2065号条例》第二章中有关中介服务提供者责任规定的适用。

6. 本条例不适用于专门为了科学研究与开发目的而开发并投入使用的AI系统或AI模型及其输出。

7. 关于个人数据保护、隐私及通信保密的欧盟法律适用于与本条例所规定的权利和义务相关而处理的个人数据。本条例不影响《欧盟》2016/679号条例或《欧盟》2018/1725号条例,亦不影响《2002/58/EC号指令》或《欧盟》2016/680号条例,但不影响本条例第10条第5款及第59条的规定。

8. 本条例不适用于在人工智能系统或人工智能模型投放市场或投入使用之前开展的任何研究、测试或开发活动。此类活动应当依照适用的欧盟法律进行。在真实世界条件下的测试不在该除外范围之内。

9. 本条例不影响其他与消费者保护及产品安全相关的欧盟法律文件所规定的规则。

10. 本条例不适用于以纯粹个人非职业活动使用人工智能系统的自然人作为部署者的相关义务。

11. 本条例不妨碍欧盟或各成员国维持或制定对劳动者更为有利的法律、法规或行政规定,以保护其在雇主使用人工智能系统方面的权利,亦不妨碍鼓励或允许适用对劳动者更为有利的集体协议。

12. 本条例不适用于根据自由和开源许可证发布的AI系统,除非这些系统被投放市场或投入使用,作为高风险AI系统,或者作为属于第5条或第50条所涵盖的AI系统。

第一章 · 第三条

定义

为本条例之目的,适用下列定义:

(1)

“人工智能系统”是指一种基于机器的系统,其设计旨在以不同程度的自主性运行,并且在部署后可能表现出适应性;该系统出于明确或隐含的目标,根据其所接收的输入推断如何生成输出,例如预测、内容、推荐或决策,而这些输出能够影响物理或虚拟环境;

(2) “风险”是指危害发生概率与该危害严重程度的结合;

(3) “提供者”是指开发人工智能系统或通用型人工智能模型,或者委托他人开发并将其投放市场或以其自身名称或商标投入使用的人或法人、公共机关、机构或其他主体,无论是否收取费用;

(4) “部署者”是指在其权限范围内使用人工智能系统的自然人或法人、公共机关、机构或其他主体,但不包括该人工智能系统仅用于个人非职业活动的情形;

(5) “授权代表”是指位于或设立于欧盟境内的自然人或法人,其已从人工智能系统或通用型人工智能模型的提供者处获得并接受书面授权,分别代表该提供者履行和执行本条例所规定的义务及程序;

(6) “进口商”是指位于或设立于欧盟境内的自然人或者法人,其将带有第三国境内设立的自然人或者法人的名称或者商标的人工智能系统投放市场;

(7) “分销商”是指供应链中除提供者或者进口商之外的自然人或者法人,其将人工智能系统投放至欧盟市场;

(8) “运营者”是指提供者、产品制造商、部署者、授权代表、进口商或者分销商;

(9) “投放市场”是指首次将人工智能系统或者通用目的人工智能模型投放至欧盟市场;

(10) “在市场上提供”是指在商业活动中,为在欧盟市场进行分销或者使用而供应人工智能系统或者通用目的人工智能模型,无论是否收取费用;

(11) “投入使用”是指将人工智能系统首次直接供应给部署者使用,或者由其在欧盟境内按照预定用途自行使用;

(12) “预定用途”是指提供者所设定的人工智能系统的使用目的,包括具体的使用情境和条件,该等信息应当载于提供者在使用说明、宣传或者销售材料以及声明中所提供的资料,亦应载于技术文档之中;

(13) “合理可预见的误用”是指以不符合其预期用途的方式使用人工智能系统,但该使用方式可能源于合理可预见的人类行为或与其他系统的交互,包括其他人工智能系统;

(14) “安全组件”是指产品或人工智能系统中用于实现该产品或人工智能系统安全功能的部件,其失效或故障将危及人员或财产的健康与安全;

(15) “使用说明”是指供应商提供的、旨在告知部署者特别是人工智能系统的预期用途及其正确使用的相关信息;

(16) “人工智能系统的召回”是指旨在促使已提供给部署者的人工智能系统被退回供应商、停止使用或使其无法继续使用的任何措施;

(17)

“人工智能系统的撤回”是指旨在防止供应链中的人工智能系统在市场上继续销售的任何措施;

(18)

“人工智能系统的性能”是指人工智能系统实现其预期目的的能力;

(19)

“通知机构”是指负责建立并实施有关合格评定机构的评估、指定和通知程序及其监督工作的国家主管机构;

(20)

“合格评定”是指证明第三章第二节关于高风险人工智能系统所规定的要求是否已得到满足的过程;

(21)

“合格评定机构”是指从事第三方合格评定活动的机构,包括检测、认证和检验;

(22)

“指定机构”是指根据本条例及其他相关欧盟协调立法予以指定的合格评定机构;

(23)

“重大修改”是指在人工智能系统投放市场或投入使用后,对其作出的、未在其提供者最初进行的符合性评估中被预见或计划的变更;该等变更导致该人工智能系统对第三章第二节所规定要求的符合性受到影响,或者致使该人工智能系统的预期用途发生改变;

(24)

“CE标志”是指提供者通过该标志表明其人工智能系统符合第三章第二节以及其它适用的欧盟协调立法中关于加贴该标志的规定的要求;

(25)

“上市后监测体系”是指人工智能系统提供者为收集并审查其所投放市场或投入使用的人工智能系统在使用过程中获得的经验而开展的一切活动,旨在识别是否有必要立即采取任何必要的纠正或预防措施;

(26)

“市场监管机构”是指根据(EU)2019/1020号条例开展相关活动并采取相应措施的国家主管机构;

(27)

“协调标准”是指根据(EU)No 1025/2012号条例第2条第1款第c项所定义的协调标准;

(28)

“通用技术规范”是指根据(EU)No 1025/2012号条例第2条第4款所定义的一套技术规范,用以实现本条例所确立的某些要求。

(29)

“训练数据”是指通过拟合人工智能系统的可学习参数而用于训练该系统的数据;

(30)

“验证数据”是指用于对已训练的人工智能系统进行评估,并对其不可学习的参数及学习过程进行调优的数据,以防止欠拟合或过拟合等情况的发生;

(31)

“验证数据集”是指一个独立的数据集,或者作为固定或可变划分的一部分的训练数据集;

(32)

“测试数据”是指用于对该人工智能系统进行独立评估的数据,以便在该系统投放市场或投入使用之前确认其预期性能;

(33)

“输入数据”是指提供给人工智能系统或由其直接获取的数据,该数据是系统产生输出的基础;

(34)

“生物特征数据”是指通过特定技术处理而获得的与自然人的物理、生理或行为特征相关的个人数据,例如面部图像或指纹数据;

(35)

“生物特征识别”是指通过将某自然人的生物特征数据与数据库中存储的其他自然人的生物特征数据进行比对,从而自动识别其身体、生理、行为或心理特征,以确定该自然人身份的过程;

(36)

“生物特征验证”是指通过将自然人的生物特征数据与其先前提供的生物特征数据进行比对,实现的自动化、一对一的身份验证,包括身份认证;

(37)

“特殊类别个人数据”是指《欧盟》2016/679号条例第9条第1款、《欧盟》2016/680号指令第10条以及《欧盟》2018/1725号条例第10条第1款所提及的个人数据类别;

(38) “敏感运营数据”是指与预防、发现、调查或起诉刑事犯罪活动相关的运营数据,其披露可能危及刑事诉讼程序的完整性;

(39) “情绪识别系统”是指一种人工智能系统,旨在根据自然人的生物特征数据识别或推断其情绪或意图;

(40) “生物特征分类系统”是指一种人工智能系统,旨在根据自然人的生物特征数据将其归入特定类别,除非该系统仅为另一项商业服务的附带功能且出于客观技术原因而严格必要;

(41) “远程生物特征识别系统”是指一种人工智能系统,旨在无需自然人主动参与的情况下对其进行识别,通常通过将某人的生物特征数据与参考数据库中的生物特征数据进行比对来实现;

(42) “实时远程生物特征识别系统”是指一种远程生物特征识别系统,其中生物特征数据的采集、比对与识别均在无显著延迟的情况下完成,不仅包括即时识别,还包括为防止规避而设置的有限短时延迟;

(43) “后远程生物特征识别系统”是指除实时远程生物特征识别系统之外的其他远程生物特征识别系统;

(44) “公共可访问空间”是指任何由公共或私人拥有的、可供不特定数量自然人进入的物理场所,无论是否适用某些准入条件,亦无论是否存在潜在的容量限制;

(45) “执法机关”是指:

(a)

任何有权预防、调查、侦查或起诉刑事犯罪,或者执行刑事处罚的公共机关,包括防范和制止对公共安全的威胁;或

(b)

任何其他依据成员国法律被赋予行使公共权力和公共职能的机构或实体,其目的为预防、调查、侦查或起诉刑事犯罪,或者执行刑事处罚,包括防范和制止对公共安全的威胁;

(46) “执法”是指由执法机关实施或代表执法机关开展的活动,旨在预防、调查、侦查或起诉刑事犯罪,或者执行刑事处罚,包括防范和制止对公共安全的威胁;

(47) “AI办公室”是指根据2024年1月24日委员会决定所规定的、负责促进人工智能系统和通用人工智能模型的实施、监测与监督,以及人工智能治理的委员会职能;本条例中对“AI办公室”的提及应解释为对委员会的提及;

(48) “国家主管机关”是指通知机关或者市场监督机关;就由欧盟各机构、 agencies、办事处及组织投入使用或使用的人工智能系统而言,本条例中对国家主管机关或市场监督机关的提及应解释为对欧洲数据保护监督员的提及;

(49) “严重事件”是指人工智能系统的事件或故障,该事件或故障直接或间接导致下列任何一种情况:

(a)

人员死亡或者对人员健康造成严重损害;

(b)

对关键基础设施的管理或运行造成严重且不可逆转的中断;

(c) 违反旨在保护基本权利的欧盟法律义务;

(d) 对财产或环境造成严重损害;

(50) “个人数据”指《欧盟》2016/679号条例第4条第(1)项所界定的个人数据;

(51)

“非个人数据”是指《欧盟》2016/679号条例第4条第(1)款所界定的个人数据以外的数据;

(52)

“画像分析”是指《欧盟》2016/679号条例第4条第(4)款所界定的画像分析;

(53) “真实世界测试计划”是指一份文件,其中描述了在真实世界条件下进行测试的目标、方法、地理范围、人群范围和时间范围、监测措施、组织安排以及实施方式;

(54) “沙盒计划”是指参与的提供者与主管当局之间达成一致的文件,其中描述了在沙盒内开展活动的目标、条件、时限、方法及各项要求;

(55) “人工智能监管沙盒”是指由主管当局设立的受控框架,根据沙盒计划,在监管监督下,为人工智能系统的提供者或潜在提供者提供在限定时间内开发、训练、验证并视情况在真实世界条件下测试创新性人工智能系统的机会;

(56) “人工智能素养”是指使提供者、部署者及受影响人员能够在本条例所规定的各自权利与义务框架内,对人工智能系统的部署作出知情决策,并对其机遇与风险以及可能造成的危害形成充分认知的技能、知识与理解;

(57) “在真实条件下进行测试”是指在实验室或其它模拟环境之外的真实条件下,为实现其预定目的而对人工智能系统进行的临时性测试,旨在收集可靠且稳健的数据,并评估和验证该人工智能系统是否符合本条例的要求;只要满足第57条或第60条所规定的全部条件,此种测试不被视为本条例意义上的将该人工智能系统投放市场或投入使用;

(58) 就真实条件下的测试而言,“受试者”是指参与在真实条件下进行测试的自然人;

(59) “知情同意”是指受试者在获悉与自身参与决定相关的所有测试事项后,对其自愿、明确、无歧义地表示愿意参加特定的真实条件下的测试;

(60) “深度伪造”是指由人工智能生成或操纵的图像、音频或视频内容,其外观与现有人员、物体、地点、实体或事件相似,并可能使人误以为其真实或可信;

(61) “广泛侵权”是指任何违反保护个人利益的欧盟法律的行为或不作为,其:

(a)

已经损害或者极有可能损害居住在至少两个成员国(除其所属成员国之外)的个人的集体利益,其中:

(i) 该作为或不作为的发生地或实施地;

(ii) 有关提供者,或者在适用情况下其授权代表所在地或设立地;或

(iii) 当侵权行为由部署者实施时,该部署者所在地;

(b)

已经造成、正在造成或者很可能造成个人集体利益的损害,并且具有共同特征,包括相同的违法行为或者相同的利益受到侵害,同时在至少三个成员国由同一经营者实施;

(62) “关键基础设施”是指《欧盟》2022/2557号指令第2条第(4)项所界定的关键基础设施;

(63) “通用人工智能模型”是指一种人工智能模型,包括通过大规模自监督方式利用大量数据进行训练的人工智能模型,该模型表现出显著的通用性,能够胜任多种不同的任务,无论该模型以何种方式投放市场,均可集成到各类下游系统或应用中,但不包括用于上市前研究、开发或原型设计活动的人工智能模型;

(64) “高影响能力”是指与最先进的通用人工智能模型所记录的能力相匹配或超过这些能力的能力;

(65) “系统性风险”是指一种特定于通用人工智能模型高影响力能力的风险,因其广泛的影响范围,或因其对公共卫生、安全、公共秩序、基本权利或整个社会产生的实际或合理可预见的负面影响,而对欧盟市场产生重大影响,并可能在整个价值链中大规模传播;

(66) “通用人工智能系统”是指基于通用人工智能模型、并具备服务于多种用途的能力的人工智能系统,既可直接使用,也可集成到其他人工智能系统中;

(67) “浮点运算”是指任何涉及浮点数的数学运算或赋值操作;浮点数是实数的一个子集,通常在计算机中以固定精度的整数乘以固定基数的整数指数的形式表示;

(68) “下游提供者”是指提供人工智能系统(包括通用人工智能系统)的主体,该主体将人工智能模型进行集成,无论该人工智能模型是由其自身提供并实现垂直整合,还是由另一实体基于合同关系提供。

第一章 · 第四条

人工智能素养

人工智能系统的提供者和部署者应当采取措施,尽其所能确保其工作人员以及代表其从事人工智能系统运行与使用的其他人员具备充分的人工智能素养水平,同时应当考虑其技术知识、经验、教育与培训情况,以及人工智能系统拟应用的环境,并兼顾人工智能系统所面向的个人或群体。

禁止的人工智能实践

第二章 · 第五条

禁止的人工智能实践

1. 下列人工智能实践应当予以禁止:

(a)

将任何部署潜意识技术、超出个人意识范围,或故意采用操纵性或欺骗性手段的人工智能系统投放市场、投入使用或加以使用,其目的或效果在于通过显著削弱个人或群体作出知情决策的能力,从而实质性地扭曲其行为,使其作出在正常情况下不会作出的决定,并因此造成该人、他人或群体遭受重大损害;

(b)

将任何利用自然人或特定人群因年龄、残疾或特定社会经济状况而存在的脆弱性的人工智能系统投放市场、投入使用或加以使用,其目的或效果在于实质性地扭曲该人或属于该群体之人的行为,从而造成或极有可能造成该人或其他人遭受重大损害;

(c) 将人工智能系统用于对自然人或人群在一定时期内基于其社会行为或已知、推断或预测的个人特征或人格特质进行评估或分类,且该社会评分导致以下任一或两种情形:

(i) 在与数据最初生成或收集的背景无关的社会情境中,对特定自然人或人群实施的不利或不公正待遇;

(ii) 对特定自然人或人群实施的不利或不公正待遇,该待遇与其社会行为或其严重程度不相称或缺乏正当理由;

(d) 为评估或预测某自然人实施刑事犯罪的风险,仅基于对该自然人的画像分析或对其人格特质及特征的评估,而将人工智能系统投放市场、用于此特定目的或加以使用的做法;但本项禁止不适用于那些用于辅助人类评估某人是否参与刑事活动的人工智能系统,此类系统已基于与刑事活动直接相关且客观可验证的事实;

(e) 将通过无针对性地从互联网或闭路电视监控录像中抓取人脸图像来创建或扩充面部识别数据库的人工智能系统投放市场、用于此特定目的或加以使用的做法;

(f) 在工作场所和教育机构等领域,将人工智能系统用于推断自然人情绪的做法,但若该人工智能系统的使用系出于医疗或安全目的,则不在此限。

(g)

在市场上投放、为特定目的投入使用,或使用基于个人生物特征数据对自然人进行分类的生物特征分类系统,以推断或推测其种族、政治观点、工会会员身份、宗教或哲学信仰、性生活或性取向;本项禁止不适用于对合法获取的生物特征数据集(如图像)进行的任何标记或筛选,亦不适用于在执法领域内对生物特征数据进行的分类;

(h)

在公共可访问场所为执法目的使用“实时”远程生物特征识别系统,除非且仅在该等使用对于下列某一目标而言确属必要时:

(i) 针对绑架、人口贩运或对人类实施性剥削的具体受害者的搜寻,以及对失踪人员的搜寻;

(ii) 防止对自然人的生命或人身安全构成的具体、重大且迫在眉睫的威胁,或者防止真实且当前存在或真实且可预见的恐怖袭击威胁;

(iii) 为开展刑事调查或起诉,或执行附件二所列罪行的刑事处罚而对涉嫌实施犯罪行为的人进行定位或识别,且该等罪行在相关成员国应处以至少四年有期徒刑或拘役。

第一款第(h)项的规定不影响《欧盟》2016/679号条例第9条关于为执法目的以外处理生物特征数据的规定。

2. 在公共可访问场所为执法目的使用“实时”远程生物特征识别系统,以实现第一款第一 subparagraph 第(h)项所述的任何目标时,该系统仅得用于确认被明确锁定之个人的身份,并且应当考虑以下要素:

(a)

导致可能使用该系统的具体情况的性质,特别是如果不使用该系统将造成的损害之严重性、发生概率及规模;

(b)

使用该系统对所有相关人士的权利与自由所产生的后果,特别是这些后果的严重性、发生概率及规模。

此外,在公共可访问场所为本条第1款第1项第(h)目所述的任何目的而使用“实时”远程生物特征识别系统,应当符合与依据授权其使用的国家法律相一致的必要且相称的保障措施和条件,特别是在时间、地域及人员方面的限制方面。在公共可访问场所使用“实时”远程生物特征识别系统,仅在执法机关已按照第27条的规定完成基本权利影响评估,并根据第49条将该系统登记于欧盟数据库后方可获准。然而,在有充分正当理由的紧急情况下,可在未登记于欧盟数据库的情况下先行使用此类系统,但须在不无故拖延的情况下尽快完成相关登记。

3. 为第1款第1项第(h)目及第2款之目的,任何在公共可进入场所中为执法目的而使用“实时”远程生物特征识别系统的行为,均须经由该系统拟予使用的成员国之司法机关或具有约束力的独立行政机构事先批准;该批准应基于有理由的申请,并依照第5款所述的国家法律详细规定作出。然而,在确有正当理由的紧急情况下,可在未获批准的情况下先行启动该系统的使用,但须在不无故拖延的情况下尽快提出相关批准申请,最迟不得超过24小时。如该批准被拒绝,则该系统的使用应立即停止,且与该使用相关的所有数据以及所得结果和输出均应立即予以销毁并删除。

有权的司法机关或者作出具有约束力决定的独立行政机构,仅在其根据提交给其的客观证据或明确线索确信相关“实时”远程生物特征识别系统的使用对于实现请求中所指明的第1款第1项第(h)目规定的某一目标而言是必要且相称的情况下,方可予以授权;并且该使用应严格限于在时间期限以及地理范围和人员范围方面所必需的限度。该机关在对申请作出决定时,应当考虑第2款所述的各项要素。任何仅依据“实时”远程生物特征识别系统输出结果而对个人产生不利法律效力的决定均不得作出。

4. 在不损害第3款的前提下,为执法目的而在公共可进入场所使用“实时”远程生物特征识别系统的行为,均应按照第5款所述的国家规定,向有关市场监督主管机关及国家数据保护主管机关予以通报。该通报至少应当包含第6款所规定的信息,且不得包含敏感的运营数据。

5. 一成员国可以决定规定,在公共可进入场所内,为执法目的,在第1款第1项第(h)目以及第2款和第3款所列的限度与条件下,允许完全或部分授权使用“实时”远程生物特征识别系统。有关成员国应当在其国内法中制定关于第3款所述授权的申请、颁发、行使以及监督与报告等方面的必要详细规则。这些规则还应当明确规定,对于第1款第1项第(h)目所列的哪些目标,包括该款第(h)(iii)项所指的哪些刑事犯罪,主管当局可以被授权为执法目的而使用上述系统。成员国应当在上述规则通过后最迟30日内将其通报欧盟委员会。成员国可以根据欧盟法律,对远程生物特征识别系统的使用制定更为严格的法律规定。

6. 根据第4款的规定,已获知在公共可访问场所为执法目的使用“实时”远程生物特征识别系统的成员国的国家市场监督机构和国家数据保护机构,应当向委员会提交关于此类使用的年度报告。为此,委员会应当向各成员国以及国家市场监督和数据保护机构提供一份模板,其中应包含有关根据第3款就授权申请作出的、由有管辖权的司法机关或具有约束力的独立行政机构所作出的决定的数量及其结果的信息。

7. 委员会应当基于各成员国根据第6款所述年度报告所提供的汇总数据,公布关于在公共可访问场所为执法目的使用“实时”远程生物特征识别系统的年度报告。该等年度报告不得包含相关执法活动的敏感操作数据。

8. 本条不影响适用于人工智能应用违反其他欧盟法律情形下的禁止性规定。

高风险人工智能系统

人工智能系统被划分为高风险的分类

第一节 · 第六条

高风险人工智能系统的分类规则

1. 不论人工智能系统是单独投放市场还是独立于(a)项和(b)项所述产品而投入使用,只要同时满足以下两个条件,该人工智能系统即被视为高风险:

(a)

该人工智能系统拟用作某产品的安全组件,或者该人工智能系统本身即为一种产品,并且属于附件I所列的欧盟协调立法所涵盖的产品;

(b)

根据(a)项规定,其安全组件为该人工智能系统的相关产品,或者该人工智能系统本身作为产品,均须依据附件I所列的欧盟协调立法接受第三方合格评定,以实现该产品的上市或投入使用。

2. 除第1款所述的高风险人工智能系统外,附件III中所列的人工智能系统亦应被视为高风险。

3. 作为对第2款的例外规定,若附件III中所列的人工智能系统不会对自然人的健康、安全或基本权利构成重大危害风险,包括不会实质性影响决策结果,则该系统不被视为高风险。

第一款适用于下列任一条件得到满足的情形:

(a)

该人工智能系统仅用于执行一项狭窄的程序性任务;

(b)

该人工智能系统旨在改进先前已完成的人类活动的结果;

(c) 该人工智能系统旨在检测决策模式或与既往决策模式的偏差,且不得在未经适当的人工复核的情况下取代或影响先前已完成的人工评估;或

(d) 该人工智能系统旨在为附件三所列使用场景相关之评估执行一项准备性任务。

尽管有第一款的规定,但凡附件三所指的人工智能系统对自然人进行画像分析的,均应被视为高风险。

4. 认为附件三所指的人工智能系统不属于高风险的提供者,应当在该系统投放市场或投入使用前对其评估予以记录。此类提供者须遵守第49条第2款规定的注册义务。应国家主管当局的要求,该提供者应当提交其评估的相关文件。

5. 欧盟委员会应在征询欧洲人工智能委员会(以下简称“委员会”)意见后,最迟于2026年2月2日,制定并公布指导方针,以依照第96条规定具体落实本条,并附上一份详尽的清单,列举高风险与非高风险人工智能系统的实际应用案例。

6. 委员会依据第97条有权制定授权法案,以通过在本条第3款第2项中增设新的条件或对其予以修改的方式,对之进行修订;但仅限于存在确凿且可靠的证据表明,某些人工智能系统虽属于附件III的适用范围,却不会对自然人的健康、安全或基本权利构成重大危害风险的情形。

7. 委员会应依据第97条制定授权法案,以通过删除本条第3款第2项中所规定的任何条件的方式,对之进行修订;但仅限于存在确凿且可靠的证据证明此举对于维持本条例所规定的健康、安全及基本权利之保护水平确属必要的情形。

8. 根据本条第6款和第7款所通过的对本条第3款第2项所规定条件的任何修订,均不得降低本条例所规定的健康、安全及基本权利之整体保护水平,并应确保与依据第7条第1款所制定的授权法案保持一致,同时充分考虑市场与技术的发展变化。

第一节 · 第七条

附件三的修正案

1. 委员会根据第97条被授权通过委托法案,以增列或修改高风险人工智能系统之使用场景,但仅限于同时满足以下两项条件的情形:

(a)

该等人工智能系统拟用于附件III所列的任何领域;

(b)

该等人工智能系统存在对健康与安全造成损害的风险,或对基本权利产生不利影响的风险,且该等风险与附件III中已提及的高风险人工智能系统所造成的损害或不利影响的风险相当或更为严重。

2. 在评估第1款第(b)项所述条件时,委员会应当考虑下列标准:

(a)

该人工智能系统的预期用途;

(b)

该人工智能系统已被使用或可能被使用的程度;

(c) 该人工智能系统所处理及使用的数据的性质与数量,特别是是否处理特殊类别个人数据;

(d) 该人工智能系统自主行动的程度,以及人类是否能够对可能导致潜在损害的决定或建议予以否决的可能性;

(e) 该人工智能系统的使用已经对健康与安全造成损害、对基本权利产生不利影响,或者引发了关于此类损害或不利影响发生可能性的重大担忧的程度,例如通过向国家主管机关提交的报告或有据可查的指控,或其他相关报告予以证明;

(f) 此类损害或不利影响的潜在程度,特别是就其强度以及其影响多人或对特定人群造成不成比例影响的能力而言;

(g)

受到潜在损害或遭受不利影响的人群在多大程度上依赖于人工智能系统所产生的结果,尤其是由于实际或法律原因而无法合理地选择拒绝该结果;

(h)

权力失衡的程度,或者受到潜在损害或遭受不利影响的人群相对于人工智能系统部署方处于弱势地位的程度,特别是基于身份、权威、知识、经济或社会状况,或年龄等因素;

(i) 涉及人工智能系统的产出结果在多大程度上易于纠正或逆转,同时考虑可用于纠正或逆转的技术解决方案;其中,对健康、安全或基本权利产生不利影响的结果不应被视为易于纠正或逆转;

(j) 人工智能系统的部署对于个人、群体或整个社会所带来的利益的大小与可能性,包括可能提升产品安全性的方面;

(k)

现行欧盟法律在多大程度上规定:

(i) 与人工智能系统所带来风险相关的有效补救措施,但不包括损害赔偿请求;

(ii) 防止或大幅降低这些风险的有效措施。

3. 委员会根据第97条有权通过授权法案,对附件III中的清单进行修订,删除同时满足以下两个条件的高风险人工智能系统:

(a)

有关的高风险人工智能系统在考虑第2款所列标准后,不再对基本权利、健康或安全构成任何重大风险;

(b)

删除该系统不会降低欧盟法律下对健康、安全及基本权利的整体保护水平。

高风险人工智能系统的相关要求

第二节 · 第八条

符合要求

1. 高风险人工智能系统应当遵守本节所规定的要求,同时考虑其预期用途以及人工智能及相关技术的公认技术水平。在确保符合这些要求时,应当将第9条所述的风险管理体系予以考虑。

2. 当某一产品包含人工智能系统,且该系统适用本条例的要求以及附件I A部分所列的欧盟协调立法的要求时,供应商应当负责确保其产品完全符合所有适用的欧盟协调立法下的相关要求。为确保第1款所述的高风险人工智能系统符合本节规定的要求,并为实现一致性、避免重复并最大限度地减轻额外负担,供应商可以选择将其就产品所提供的必要测试与报告程序、信息及文件,适当整合到附件I A部分所列的欧盟协调立法中已有的、且必需的相关文件与程序之中。

第二节 · 第九条

风险管理体系

1. 应当针对高风险人工智能系统建立、实施、记录并维持一套风险管理体系。

2. 风险管理体系应当被理解为一个贯穿高风险人工智能系统整个生命周期的持续性迭代过程,需要定期进行系统的审查与更新。该体系应当包括以下步骤:

(a)

确定并分析在高风险人工智能系统按照其预期用途使用时可能对健康、安全或基本权利造成的已知及合理可预见的风险;

(b)

评估在高风险人工智能系统按照其预期用途使用以及在合理可预见的误用情形下可能出现的风险;

(c) 根据第72条所述的上市后监测系统所收集的数据分析结果,评估可能产生的其他风险;

(d) 采取适当且有针对性的风险管理措施,以应对根据(a)项所识别的风险。

3. 本条所指的风险仅限于那些可通过高风险人工智能系统的开发或设计,或者通过提供充分的技术信息而得到合理缓解或消除的风险。

4. 第2款第(d)项所述的风险管理措施应当充分考虑本节所规定各项要求合并适用所产生的影响及可能的相互作用,以便在实施相关措施以满足这些要求时实现适当平衡,从而更有效地降低风险。

5. 第2款第(d)项所述的风险管理措施应当确保与每一项危害相关的剩余风险以及高风险人工智能系统的总体剩余风险均被判定为可接受。

在确定最为适当的风险管理措施时,应当确保以下事项:

(a)

尽可能通过高风险人工智能系统的充分设计与开发,在技术上可行的范围内消除或降低依据第2款识别并评估的风险;

(b)

在适当情况下,采取适当的缓解与控制措施,以应对无法消除的风险;

(c) 提供第13条所要求的信息,并在适当情况下向部署者提供必要的培训。

为消除或降低与高风险人工智能系统使用相关的风险,应当充分考虑部署者的专业技术知识、经验、教育背景、预期接受的培训,以及该系统拟使用的推定情境。

6. 高风险人工智能系统应当接受测试,以确定最适当且有针对性的风险管理措施。测试应当确保高风险人工智能系统在其预期用途下表现稳定,并符合本节所规定的要求。

7. 测试程序可以包括根据第60条在真实条件下进行的测试。

8. 高风险人工智能系统的测试应当在开发过程中的任何适当阶段进行,且无论如何均应在该系统投放市场或投入使用之前完成。测试应当依据事先设定的、与高风险人工智能系统预期用途相适应的指标和概率阈值进行。

9. 在实施第1至第7款规定的风险管理体系时,提供者应当考虑,鉴于其预期用途,该高风险人工智能系统是否可能对未满18周岁的人员以及酌情对其他弱势群体产生不利影响。

10. 对于那些根据欧盟法律其他相关条款须遵守内部风险管理程序要求的高风险人工智能系统提供者,第1至第9款所述的各项内容可以作为其依据该法律建立的风险管理程序的一部分,或者与其相结合。

第二节 · 第十条

数据与数据治理

1. 高风险人工智能系统若采用基于数据训练人工智能模型的技术,应当在使用符合第2至第5款所述质量标准的训练、验证和测试数据集的基础上进行开发。

2. 训练、验证和测试数据集应当适用与其所预期用途相适应的数据治理与管理措施。这些措施尤其应当涵盖:

(a)

相关的设计选择;

(b)

数据收集过程及数据来源;就个人数据而言,还应包括数据收集的最初目的;

(c) 相关的数据预处理操作,例如标注、标记、清洗、更新、丰富及聚合;

(d) 假设的设定,特别是关于数据所应衡量与反映的信息方面的假设;

(e) 对所需数据集的可获得性、数量及适用性的评估;

(f) 针对可能影响人员健康与安全、对基本权利产生负面影响或导致欧盟法律所禁止之歧视的潜在偏差进行审查,尤其是在数据输出会影响未来运行输入的情况下;

(g)

为发现、预防并减轻根据第(f)点所识别的可能偏差而采取的适当措施;

(h)

确定妨碍遵守本条例的相关数据缺口或不足之处,以及如何弥补这些缺口和不足之处。

3. 训练、验证和测试数据集应当具有相关性,充分代表性,并且在最大程度上无错误且完整,以满足其预期用途。这些数据集应当具备适当的统计特性,包括在适用情况下,针对高风险人工智能系统拟使用的人群或群体的相关特性。上述数据集的这些特征可以在单个数据集层面实现,也可以通过多个数据集的组合来达到。

4. 数据集应当根据其预期用途的要求,考虑与高风险人工智能系统拟使用之特定地理、情境、行为或功能环境相关的特殊特征或要素。

5. 在为确保依照本条第(2)款第(f)项和第(g)项的规定对高风险人工智能系统进行偏见检测与纠正所严格必需的范围内,此类系统的提供者可以例外地处理特殊类别个人数据,但须采取适当措施保障自然人的基本权利和自由。除《欧盟》2016/679号条例、《欧盟》2018/1725号条例以及《欧盟》2016/680号指令中规定的条款外,此类处理还必须同时满足以下全部条件:

(a)

偏见检测与纠正无法通过处理其他数据(包括合成数据或匿名化数据)得到有效实现;

(b)

特殊类别个人数据受到个人数据再利用的技术限制,并采取最先进的安全与隐私保护措施,包括假名化处理;

(c) 特殊类别个人数据须采取相关措施,确保所处理的个人数据得到妥善保护、严格管控,并配备适当的保障机制,包括对访问权限实施严格的控制与记录,以防止滥用,并确保只有经授权人员在承担相应保密义务的情况下方可访问该等个人数据;

(d) 特殊类别个人数据不得被其他方传输、转移或以任何方式予以访问;

(e) 特殊类别个人数据应在偏差得以纠正或其保存期限届满时予以删除,以两者中较早者为准;

(f) 根据《欧盟》2016/679号条例、《欧盟》2018/1725号条例以及《欧盟》2016/680号指令所要求的处理活动记录,应当载明为何为发现并纠正偏差而严格必要地处理特殊类别个人数据,以及为何无法通过处理其他数据实现该目的。

6. 对于不采用涉及人工智能模型训练技术的高风险人工智能系统之开发,第2至第5款仅适用于测试数据集。

第二节 · 第十一条

技术文档

1. 高风险人工智能系统的技术文档应当在该系统投放市场或投入使用之前编制,并保持最新状态。

技术文档的编制应当能够证明该高风险人工智能系统符合本节规定的要求,并以清晰、全面的方式向各国主管当局和指定机构提供评估该人工智能系统是否符合上述要求所需的信息。技术文档至少应当包含附件IV所列的各项内容。中小企业,包括初创企业,可以采用简化方式提供附件IV中规定的技术文档各项内容。为此,委员会应当制定一种针对小型和微型企业需求的简化版技术文档格式。当中小企业,包括初创企业,选择以简化方式提供附件IV所要求的信息时,应当使用本款所述的格式。指定机构应当在合格评定过程中接受该格式。

2. 当与附件I A部分所列的欧盟协调立法所涵盖的产品相关的高风险人工智能系统被投放市场或投入使用时,应当编制一套统一的技术文档,其中包含第1款所列的所有信息以及相关法律文件所要求的信息。

3. 委员会获授权根据第97条采纳委托法案,以便在必要时修订附件IV,从而确保鉴于技术进步,技术文件能够提供评估该系统是否符合本节所规定要求所需的所有信息。

第二节 · 第12条

记录保存

1. 高风险人工智能系统在技术上应当能够在其整个生命周期内自动记录事件(日志)。

2. 为确保高风险人工智能系统的运行具备与其预期用途相适应的可追溯性,日志记录功能应当能够记录以下相关事件:

(a)

识别可能导致该高风险人工智能系统出现第79条第1款所指风险或发生重大变更的情形;

(b)

促进第72条所述的上市后监测;以及

(c) 监控第26条第5款所述的高风险人工智能系统运行情况。

3. 对于附件III第1点(a)所指的高风险人工智能系统,其日志记录功能至少应当提供:

(a)

记录每次使用该系统的时段(每次使用的开始日期和时间以及结束日期和时间);

(b)

系统用于核对输入数据的参考数据库;

(c) 导致匹配查询的输入数据;

(d) 核实结果过程中涉及的自然人身份信息,如第14条第5款所述。

第二节 · 第13条

向部署者提供透明度与信息

1. 高风险人工智能系统应当按照确保其运行具有充分透明度的方式进行设计和开发,以便部署方能够解释系统的输出并予以适当使用。为实现第3节所规定的提供者与部署方的相关义务,应当确保适当类型与程度的透明度。

2. 高风险人工智能系统应当附有以适当数字格式或其他形式提供的使用说明,其中包含简明、完整、准确且清晰的信息,该等信息应当与部署方相关、易于获取并易于理解。

3. 使用说明至少应当包含以下信息:

(a)

提供者的身份及其联系方式,以及在适用情况下其授权代表的身份及其联系方式;

(b)

高风险人工智能系统的特性、功能及性能局限,包括:

(i) 其预期用途;

(ii) 准确性水平,包括其指标、稳健性以及第15条所述的网络安全性能,这些均系高风险人工智能系统经测试与验证后可预期达到的水平,以及任何已知或可预见的可能影响该预期准确性、稳健性和网络安全水平的情形;

(iii) 任何已知或可预见的情形,与按照其预期用途或在合理可预见的误用情形下使用高风险人工智能系统相关,可能导致对第九条第二款所述健康、安全或基本权利造成风险;

(iv) 在适用情况下,高风险人工智能系统的技术能力和特性,以提供与其输出相关的解释性信息;

(v) 在适当情况下,该系统针对其 intended 使用对象的特定个人或群体的表现情况;

(vi)

在适当情况下,关于输入数据的规格说明,或所使用的训练、验证和测试数据集的任何其他相关信息,同时考虑高风险人工智能系统的预期用途;

(vii)

在适用情况下,使部署者能够解释高风险人工智能系统的输出并予以适当使用的相关信息;

(c) 供应商在首次符合性评估时预先确定的对高风险人工智能系统及其性能的变更(如有);

(d) 第十四条所述的人工监督措施,包括为便于部署者解释高风险人工智能系统输出而采取的技术措施;

(e) 所需的计算与硬件资源、高风险人工智能系统的预期使用寿命,以及为确保该人工智能系统正常运行所需的任何必要维护与保养措施,包括其频率,尤其是涉及软件更新的部分;

(f) 在相关情况下,对高风险人工智能系统中所包含的机制的描述,该机制使部署者能够根据第12条的规定,妥善收集、存储和解释日志。

第二节 · 第十四条

人工监督

1. 高风险人工智能系统应当在设计和开发过程中,包括配备适当的人机交互工具,确保在其使用期间能够得到有效的人工监督。

2. 人工监督应当旨在预防或最大限度地减少因高风险人工智能系统按照其预期用途使用,或在合理可预见的误用情形下使用时可能产生的对健康、安全或基本权利的风险,尤其是在采取本节规定的其他要求后此类风险仍然存在的情况下。

3. 监督措施应当与高风险人工智能系统的风险程度、自主水平及使用情境相适应,并通过以下两种类型之一或同时采用这两种类型的措施予以保障:

(a)

在技术可行的情况下,由提供者在高风险人工智能系统投放市场或投入使用前将其内置的措施;

(b)

由提供者在高风险人工智能系统投放市场或投入使用前确定、并适合由部署方实施的措施。

4. 为落实第1款、第2款和第3款的规定,高风险人工智能系统应当以适当且相称的方式向被赋予人工监督职责的自然人提供,以便:

(a)

为正确理解高风险人工智能系统的相关能力与局限性,并能够对其运行进行适当监控,包括识别并处理异常、故障及意外性能表现;

(b)

保持对自动依赖或过度依赖高风险人工智能系统输出之潜在倾向的警觉(即自动化偏差),尤其是在用于向自然人提供信息或决策建议的高风险人工智能系统中;

(c) 正确解读高风险人工智能系统的输出结果,同时考虑所采用的解释工具与方法等;

(d) 在任何特定情况下,决定不使用该高风险人工智能系统,或者以其他方式忽略、覆盖或逆转该系统的输出结果;

(e) 对高风险人工智能系统的运行实施干预,或通过“停止”按钮或其他类似程序使系统安全停机。

5. 对于附件三第1(a)点所述的高风险人工智能系统,本条第3款所指的措施应当确保:除经由至少两名具备必要能力、培训及权限的自然人另行核实并确认之外,部署方不得基于该系统得出的识别结果采取任何行动或作出任何决定。

至少由两名自然人分别进行核查的要求,不适用于为执法、移民、边境管控或庇护目的而使用的高风险人工智能系统;在这些情形下,欧盟或成员国法律认为适用该要求有失相称。

第二节 · 第15条

准确性、稳健性和网络安全

1. 高风险人工智能系统应当按照能够达到适当水平的准确性、稳健性和网络安全性的要求进行设计和开发,并在其整个生命周期内始终保持这些方面的稳定性能。

2. 为解决如何衡量第1款所规定的适当水平的准确性与稳健性以及其他相关性能指标的技术问题,委员会应当与相关利益攸关方及诸如计量与基准测试权威机构等组织合作,根据需要鼓励制定基准测试标准和测量方法。

3. 高风险人工智能系统的准确性水平及相关准确性指标应当在随附的使用说明中予以明示。

4. 高风险人工智能系统应当尽可能具备抵御系统内部或其运行环境中可能出现的错误、故障或不一致性的能力,尤其是因与自然人或其他系统交互而产生的此类问题。为此,应当采取相应的技术和组织措施。

高风险人工智能系统的稳健性可通过技术冗余方案来实现,其中可能包括备份机制或故障安全预案。

在投放市场或投入使用后仍持续学习的高风险人工智能系统,应当以能够消除或尽可能降低可能存在的偏见输出影响未来运行输入(反馈回路)的风险的方式进行开发,并确保此类反馈回路得到妥善处理,采取适当的缓解措施。

5. 高风险人工智能系统应当具备抵御未经授权的第三方利用系统漏洞改变其用途、输出或性能的能力。

旨在确保高风险人工智能系统网络安全的技术解决方案,应当与相关情形及风险相适应。

用于应对人工智能特有漏洞的技术解决方案,应当在适当情况下包括预防、检测、响应、解决并控制以下攻击的措施:试图操纵训练数据集(数据投毒),或用于训练的预训练组件(模型投毒),以及旨在诱使人工智能模型出错的输入(对抗样本或模型规避),还有机密性攻击或模型缺陷。

高风险人工智能系统提供者、部署者及其他相关方的义务

第三节 · 第十六条

高风险人工智能系统提供者的义务

高风险人工智能系统提供者应当:

(a)

确保其高风险人工智能系统符合第2节所规定的要求;

(b)

在高风险人工智能系统上,或者在无法做到的情况下在其包装或随附文件上(视情况而定),标明其名称、注册商号或注册商标以及可联系的地址;

(c) 建立符合第17条规定的质量管理体系;

(d) 保存第18条所述的文件资料;

(e) 在其控制之下时,保存第19条所述的由其高风险人工智能系统自动生成的日志;

(f) 确保该高风险人工智能系统在投放市场或投入使用前,通过第43条所述的相关合格评定程序;

(g)

按照第47条的规定起草欧盟符合性声明;

(h)

在高风险人工智能系统上,或者在无法做到的情况下在其包装或随附文件上,加贴CE标志,以表明其符合本条例的规定,具体按照第48条执行;

(i) 遵守第49条第1款所述的注册义务;

(j) 采取必要的纠正措施,并按照第20条的规定提供相关信息;

(k)

应国家主管当局的合理请求,证明高风险人工智能系统符合第2节规定的要求;

(l)

确保高风险人工智能系统符合根据(EU) 2016/2102号指令和(EU) 2019/882号指令规定的无障碍要求。

第三节 · 第十七条

质量管理体系

1. 高风险人工智能系统提供者应当建立质量管理体系,以确保符合本条例的规定。该体系应当以书面政策、程序和说明的形式予以系统化、规范化记录,并至少包括以下方面:

(a)

用于确保合规的策略,包括对合格评定程序的遵守以及高风险人工智能系统变更管理程序;

(b)

用于高风险人工智能系统设计、设计控制和设计验证的技术、程序及系统性措施;

(c) 用于高风险人工智能系统的开发、质量控制和质量保证的技术、程序及系统性措施;

(d) 在高风险人工智能系统开发之前、期间及之后应当实施的检查、测试与验证程序,以及这些程序的实施频率;

(e) 应当采用的技术规范,包括相关标准;在未完全适用相关协调标准或其未能涵盖第2节所列全部相关要求的情况下,应当采取的手段,以确保高风险人工智能系统符合上述要求;

(f) 用于数据管理的系统和程序,包括数据获取、数据收集、数据分析、数据标注、数据存储、数据过滤、数据挖掘、数据聚合、数据保留以及在高风险人工智能系统投放市场或投入使用之前和为此目的而进行的任何其他数据相关操作;

(g)

第九条所述的风险管理系统;

(h)

根据第七十二条设立、实施并维护上市后监测系统;

(i) 根据第七十三条有关严重事件报告的相关程序;

(j) 与国家主管当局、其他相关当局(包括提供或支持数据访问的机构)、公告机构、其他经营者、客户或其他利益攸关方进行沟通的处理方式;

(k)

用于保存所有相关文件和信息的系统和程序;

(l)

资源管理,包括与供应安全相关的措施;

(m)

一套问责框架,明确规定管理层及其他工作人员在本款所列各项方面的职责。

2. 第一款所述各方面的实施应当与提供者组织的规模相称。无论如何,提供者均应遵守为确保其高风险人工智能系统符合本条例所要求的严格程度和保护水平。

3. 那些根据相关欧盟部门法负有质量管理体系义务或同等职能的高风险人工智能系统提供者,可以将第1款所列各项内容纳入其依据该法律建立的质量管理体系之中。

4. 对于那些根据欧盟金融服务法对其内部治理、安排或流程设有要求的金融机构而言,除本条第1款第(g)、(h)和(i)项外,其建立质量管理体系的义务,应被视为通过遵守相关欧盟金融服务法规定的内部治理安排或流程规则而得以履行。为此,应当考虑第40条所提及的任何协调标准。

第三节 · 第十八条

文件保存

1. 提供者应当在高风险人工智能系统投放市场或投入使用后十年内,向国家主管当局提供以下文件:

(a)

第十一条所指的技术文档;

(b)

第十七条所指的质量管理体系相关文件;

(c) 在适用情况下,由公告机构批准的变更相关文件;

(d) 在适用情况下,由公告机构作出的决定及其他文件;

(e) 第四十七条所指的欧盟符合性声明。

2. 各成员国应当规定,在提供者或其设在其境内的授权代表于上述期限届满前破产或停止经营活动的情况下,第一款所述文件仍应按照该款规定的期限向国家主管当局提供的具体条件。

3. 根据欧盟金融服务法律对其内部治理、安排或流程有相应要求的金融机构类提供者,应当将技术文档作为依据相关欧盟金融服务法律保存的文件的一部分予以保留。

第三节 · 第十九条

自动生 成 的 日志

1. 高风险人工智能系统提供者应当在其控制范围内,保存第12条第1款所述的由其高风险人工智能系统自动生成的日志。在不影响适用的欧盟或成员国法律的前提下,该等日志应当按照高风险人工智能系统的预期用途予以保存,保存期限至少为六个月,除非适用的欧盟或成员国法律另有规定,特别是关于个人数据保护的欧盟法律。

2. 作为受欧盟金融服务法律关于其内部治理、安排或流程要求约束的金融机构的提供者,应当将其高风险人工智能系统自动生成的日志作为依据相关金融服务法律所保存的文件资料的一部分予以留存。

第三节 · 第二十条

纠正措施与告知义务

1. 高风险人工智能系统提供者,如认为或有理由认为其已投放市场或投入使用的高风险人工智能系统不符合本条例规定,应当立即采取必要的纠正措施,使该系统符合规定、予以撤回、禁用或召回,视具体情况而定。其应当相应地通知有关高风险人工智能系统的经销商,并在适用情况下通知部署者、授权代表及进口商。

2. 如高风险人工智能系统存在第79条第1款所指的风险,且提供者获悉该风险时,应当与报告的部署者(如适用)合作,立即调查原因,并将不符合规定的性质以及已采取的相关纠正措施等情况,及时通报负责该高风险人工智能系统的市场监管机构,并在适用情况下通报根据第44条为该高风险人工智能系统颁发证书的公告机构。

第三节 · 第21条

与主管当局的合作

1. 高风险人工智能系统提供者应当在主管当局提出合理请求时,以该主管当局能够轻松理解的语言,并使用相关成员国所指定的欧盟机构官方语言之一,向该主管当局提供证明该高风险人工智能系统符合第2节所规定要求所需的一切信息和文件。

2. 在主管当局提出合理请求的情况下,提供者还应当根据具体情况,向提出请求的主管当局提供第12条第1款所述的高风险人工智能系统的自动生成日志,但仅限于该等日志在其控制范围内的部分。

3. 主管当局依据本条规定获取的任何信息,均应按照第78条规定的保密义务予以处理。

第三节 · 第二十二条

高风险人工智能系统提供者的授权代表

1. 在将其高风险人工智能系统投放欧盟市场之前,设于第三国的提供者应当通过书面授权委托书指定一名在欧盟境内设立的授权代表。

2. 提供者应当确保其授权代表能够履行从提供者处收到的授权委托书中所规定的各项任务。

3. 授权代表应当履行其从提供者处收到的授权委托书中所规定的各项任务。其应当根据主管当局的要求,以欧盟机构的官方语言之一向市场监督机构提供该授权委托书的副本。就本条例而言,该授权委托书应当赋予授权代表执行下列任务的权力:

(a)

核实第47条所述的欧盟符合性声明以及第11条所述的技术文件是否已编制,并核实提供者是否已实施适当的合格评定程序;

(b)

在高风险人工智能系统投放市场或投入使用后十年内,应随时向主管当局以及第74条第10款所述的国家机关或机构提供以下资料:指定该授权代表的提供者的联系方式、第47条所述的欧盟符合性声明副本、技术文件,以及如适用,由公告机构出具的证书;

(c) 在收到有理由的请求时,向主管当局提供所有必要的信息和文件,包括本款第(b)项所述的信息,以证明高风险人工智能系统符合第2节所规定的要求;同时,在该等日志由提供者控制的范围内,允许查阅第12条第1款所述的由高风险人工智能系统自动生成的日志;

(d) 在收到有理由的请求时,与主管当局合作,就其针对高风险人工智能系统采取的任何行动予以配合,特别是为降低和缓解该高风险人工智能系统所带来的风险;

(e) 在适用情况下,遵守第49条第1款所述的登记义务;或者,若登记由提供者自行办理,则确保附件VIII A部分第3点所述的信息准确无误。

授权代表的授权应使其在与确保本条例合规相关的所有事项上,除或代替提供者,均可直接接受主管当局的联系。

4. 授权代表如认为或有合理理由认为提供者的行为违反了本条例规定的义务,应当终止其授权。在此情形下,其应立即通知相关市场监督机构,并在适用情况下,通知相关公告机构,说明终止授权的原因。

第三节 · 第二十三条

进口商的义务

1. 在将高风险人工智能系统投放市场之前,进口商应当通过核实以下事项,确保该系统符合本条例的规定:

(a)

高风险人工智能系统的提供者已按照第43条的规定实施了相关合格评定程序;

(b)

提供者已根据第11条及附件IV编制了技术文件;

(c) 该系统贴有规定的CE标志,并附有第47条所述的欧盟符合性声明及使用说明;

(d) 提供者已根据第22条第1款指定了一名授权代表。

2. 如进口商有充分理由认为某高风险人工智能系统不符合本条例规定、系伪造或附有伪造文件,则在该系统被纠正至符合规定之前,不得将其投放市场。如该高风险人工智能系统存在第79条第1款所指的风险,进口商应当就此通知该系统的提供者、授权代表以及市场监督机构。

3. 进口商应当在其高风险人工智能系统及其包装或随附文件(如适用)上标明其名称、注册商号或注册商标,以及可供联系的地址。

4. 进口商应当确保,在高风险人工智能系统处于其责任期间,其储存或运输条件(如适用)不会危及其符合第2节所规定的要求。

5. 进口商应当在高风险人工智能系统投放市场或投入使用后,保存由公告机构出具的证书副本(如适用)、使用说明以及第47条所述的欧盟符合性声明,保存期限为10年。

6. 进口商应当根据相关主管当局的合理请求,提供所有必要的信息和文件,包括第5款所述的内容,以证明高风险人工智能系统符合第2节规定的要求,并且所使用的语言应当便于该等主管当局理解。为此,进口商还应当确保技术文档能够向上述主管当局提供。

7. 进口商应当就其投放市场的高风险人工智能系统,配合相关主管当局采取的一切措施,特别是为降低和减轻该系统所带来的风险而采取的措施。

第三节 · 第二十四条

分销商的义务

1. 在将高风险人工智能系统投放市场之前,经销商应当核实该系统是否贴有规定的CE标志,并附有第47条所述的欧盟符合性声明副本及使用说明;同时,还应当确认该系统的提供者和进口商(如适用)已分别履行了第16条第(b)项和第(c)项以及第23条第3款所规定的相关义务。

2. 如经销商根据其所掌握的信息认为或有合理理由认为某高风险人工智能系统不符合第2节规定的要求,则在该系统符合上述要求之前,不得将其投放市场。此外,若该高风险人工智能系统存在第79条第1款所指的风险,经销商应当就此通知该系统的提供者或进口商(如适用)。

3. 经销商应当确保,在其负责期间,该高风险人工智能系统的储存或运输条件(如适用)不会危及其符合第2节规定的要求。

4. 经销商如基于其所掌握的信息,认为或有合理理由认为其已投放市场的高风险人工智能系统不符合第2节所规定的要求,应当采取必要纠正措施以使该系统符合上述要求,或者将其从市场上撤回或召回;亦应确保提供者、进口商或相关经营者(视情况而定)采取上述纠正措施。若该高风险人工智能系统存在第79条第1款所指的风险,经销商应当立即通知该系统的提供者或进口商以及主管该高风险人工智能系统的有关当局,并详细说明不合规情形及已采取的任何纠正措施。

5. 应相关主管当局的合理请求,高风险人工智能系统的经销商应当向该当局提供为证明该系统符合第2节所规定要求而需的所有信息和文件,包括根据第1至第4款所采取的各项措施的相关资料。

6. 经销商应当就其投放市场的高风险人工智能系统,配合相关主管当局采取的一切行动,特别是为降低或减轻该系统所带来的风险而采取的措施。

第三节 · 第25条

人工智能价值链各环节的责任

1. 任何分销商、进口商、部署者或其他第三方,就本条例而言,均应被视为高风险人工智能系统的提供者,并在下列任何情形下,适用第16条项下提供者的义务:

(a)

其将自身名称或商标标注于已投放市场或已投入使用之高风险人工智能系统上,但不影响有关合同约定另行分配相关义务的情形;

(b)

其对已投放市场或已投入使用之高风险人工智能系统作出重大修改,以致该系统仍根据第6条规定属于高风险人工智能系统的情形;

(c) 其改变人工智能系统(包括通用目的人工智能系统)的预期用途,而该系统尚未被认定为高风险且已投放市场或投入使用,以致相关人工智能系统根据第6条规定成为高风险人工智能系统的情形。

2. 在出现第1款所述情形时,最初将该人工智能系统投放市场或投入使用的提供者,在本条例的适用范围内不再被视为该特定人工智能系统的提供者。该初始提供者应当与新提供者密切合作,并提供必要的信息,以及为履行本条例规定的各项义务所必需的合理技术访问和其他协助,特别是在涉及高风险人工智能系统符合性评估方面。但若初始提供者已明确说明其人工智能系统不得被改造为高风险人工智能系统,因而不适用移交相关文件的义务,则本款不适用。

3. 对于属于附件I A部分所列欧盟协调立法涵盖产品的安全组件的高风险人工智能系统,产品制造商应被视为该高风险人工智能系统的提供者,并在下列任一情形下适用第16条规定的义务:

(a)

高风险人工智能系统与该产品一同以产品制造商的名称或商标投放市场;

(b)

高风险人工智能系统在该产品投放市场后,以产品制造商的名称或商标投入使用。

4. 高风险人工智能系统的提供者以及向高风险人工智能系统提供所使用或集成的人工智能系统、工具、服务、组件或流程的第三方,应当通过书面协议明确约定基于公认技术现状所需的信息、能力、技术访问及其他协助事项,以使高风险人工智能系统的提供者能够充分履行本条例规定的各项义务。但本款不适用于依据自由开源许可证向公众提供除通用型人工智能模型之外的工具、服务、流程或组件的第三方。

人工智能办公室可以制定并推荐高风险人工智能系统提供者与向其提供用于或集成于高风险人工智能系统的工具、服务、组件或流程的第三方之间合同的自愿示范条款。在制定上述自愿示范条款时,人工智能办公室应当考虑特定行业或商业场景下可能适用的合同要求。该自愿示范条款应当予以公布,并以易于使用的电子格式免费提供。

5. 第2款和第3款不影响根据欧盟及成员国法律遵守并保护知识产权、商业秘密及营业秘密的必要性。

第三节 · 第二十六条

高风险人工智能系统部署者的义务

1. 高风险人工智能系统的部署者应当采取适当的技术和组织措施,以确保其按照随系统附带的使用说明使用该等系统,具体依照第3款和第6款的规定。

2. 部署者应当为具备必要能力、培训和权限以及相应支持的自然人指派人工监督。

3. 第1款和第2款规定的义务,不影响根据欧盟或国家法律规定的其他部署者义务,亦不影响部署者为实施供应商所指示的人工监督措施而自行组织资源与活动的自由。

4. 在不损害第1款和第2款的前提下,就部署者对输入数据行使控制权的部分而言,该部署者应当确保输入数据与高风险人工智能系统的预期用途相关且具有充分的代表性。

5. 部署者应当依据使用说明对高风险人工智能系统运行情况进行监测,并在必要时按照第72条的规定通知提供者。如部署者有理由认为,按照使用说明使用该高风险人工智能系统可能导致其出现第79条第1款所指的风险时,应当毫不拖延地通知提供者或分销商以及相关市场监督机构,并暂停该系统的使用。如部署者发现严重事件,还应当立即首先通知提供者,随后通知进口商或分销商及相关市场监督机构。若部署者无法联系到提供者,则适用第73条的相应规定。本项义务不适用于执法机关作为部署者的敏感运营数据。

对于受欧盟金融服务法律关于内部治理、安排或流程要求约束的金融机构而言,第一款规定的监测义务视为通过遵守相关金融服务法律规定的内部治理安排、流程及机制而得以履行。

6. 高风险人工智能系统的部署者应当在其控制范围之内,保存该高风险人工智能系统自动生成的日志,保存期限应与该高风险人工智能系统的预期用途相适应,且至少为六个月;除非适用的欧盟法律或成员国法律另有规定,特别是关于个人数据保护的欧盟法律。

作为受欧盟金融服务法律中有关内部治理、安排或流程要求约束的金融机构的部署者,应当将上述日志作为依据相关欧盟金融服务法律所保存的文件资料的一部分予以保留。

7. 在工作场所投入使用或使用高风险人工智能系统之前,作为雇主的部署者应当告知职工代表及受影响的劳动者,其将受到该高风险人工智能系统的使用影响。该项告知应当在适用情况下,按照欧盟及成员国有关向劳动者及其代表提供信息的相关法律和实践所规定的规则与程序进行。

8. 作为公共机关或欧盟机构、组织、办事处或机构的高风险人工智能系统的部署者,应当遵守第49条所述的登记义务。当此类部署者发现其拟使用的高风险人工智能系统尚未在第71条所述的欧盟数据库中登记时,不得使用该系统,并应当通知其供应商或分销商。

9. 在适用情况下,高风险人工智能系统的部署者应当依据本条例第13条所提供的信息,履行其根据《欧盟》2016/679号条例第35条或《欧盟》2016/680号指令第27条开展数据保护影响评估的义务。

10. 在不影响《欧盟》2016/680号指令的前提下,在针对涉嫌或已被判定犯有刑事罪行之人的定向搜查调查框架内,用于事后远程生物特征识别的高风险人工智能系统之部署者应当事先或在无不当延误且不迟于48小时内,向具有约束力并可接受司法审查的司法机关或行政机关申请使用该系统的许可;但基于与该犯罪直接相关且客观可验证的事实而进行的对潜在嫌疑人之初步识别情形除外。每次使用均应限于为调查特定刑事犯罪所绝对必要的范围。

如根据第一款规定申请的许可被拒绝,则与该申请许可相关的事后远程生物特征识别系统的使用应当立即停止,且与该高风险人工智能系统之使用相关的个人数据应当予以删除。

在任何情况下,此类用于远程后身份识别的高风险人工智能系统均不得以非针对性的方式用于执法目的,且该使用不得与任何刑事犯罪、刑事诉讼程序、真实且当前存在的或真实且可预见的刑事犯罪威胁,或特定失踪人员的搜寻存在任何关联。应当确保,执法机关不得仅依据此类远程后身份识别系统的输出结果作出对个人产生不利法律效力的决定。

本款不影响《欧盟》2016/679号条例第9条以及《欧盟》2016/680号指令第10条关于生物特征数据处理的规定。

无论其用途或部署方为何,此类高风险人工智能系统的每一次使用均应在相关警务档案中予以记录,并应根据要求向相关市场监督机构及国家数据保护机构提供,但与执法相关的敏感操作数据除外。本项规定不影响《欧盟》2016/680号指令赋予监管机构的职权。

部署方应当就其使用远程后身份识别系统的情况向相关市场监督机构及国家数据保护机构提交年度报告,但与执法相关的敏感操作数据除外。上述报告可以汇总编制,以涵盖多个部署情况。

成员国可以根据欧盟法律,对使用远程后置生物特征识别系统制定更为严格的法律规定。

11. 在不影响本条例第50条规定的前提下,附件III所列的高风险人工智能系统之部署者,如该系统作出或协助作出与自然人相关的决策,应当告知相关自然人其正受到该高风险人工智能系统的使用。对于用于执法目的的高风险人工智能系统,应适用指令(EU)2016/680第13条的规定。

12. 部署者应当就主管当局为实施本条例而针对该高风险人工智能系统采取的任何措施予以配合。

第三节 · 第二十七条

高风险人工智能系统的基本权利影响评估

1. 在部署第6条第2款所述的高风险人工智能系统之前,除拟在附件III第2点所列领域使用的高风险人工智能系统外,作为公法主体或提供公共服务的私人实体的部署者,以及附件III第5点(b)和(c)项所述的高风险人工智能系统的部署者,应当对其使用该系统可能产生的对基本权利的影响进行评估。为此,部署者应当开展一项包括以下内容的评估:

(a)

对部署者在其预定用途范围内使用该高风险人工智能系统的相关流程的描述;

(b)

对每种高风险人工智能系统拟使用的时间段及其使用频率的描述;

(c) 在特定情境下,可能受到其使用影响的自然人及群体的类别;

(d) 根据本款第(c)项所确定的自然人或群体类别,结合供应商依据第13条提供的信息,对其可能产生影响的具体损害风险的描述;

(e) 根据使用说明实施人类监督措施的情况的描述;

(f) 在上述风险实际发生时应采取的措施,包括内部治理安排及投诉机制。

2. 第一款规定的义务适用于高风险人工智能系统首次投入使用之时。在类似情形下,部署者可以依据先前开展的基本权利影响评估或由供应商已实施的现有影响评估。若在高风险人工智能系统的使用过程中,部署者认为第一款所列任何要素发生变更或不再符合最新情况时,应当采取必要措施对相关信息予以更新。

3. 在完成本条第一款所述评估后,部署者应当将其结果通知市场监督机构,并将本条第五款所指的填写完毕的模板作为通知的一部分一并提交。在第四十六条第一款规定的情形下,部署者可免于履行该项通知义务。

4. 若本条规定的任何义务已通过根据《欧盟》2016/679号条例第35条或《欧盟》2016/680号指令第27条开展的数据保护影响评估得以满足,则本条第一款所述的基本权利影响评估应当对该数据保护影响评估予以补充。

5. 人工智能办公室应当制定一份问卷模板,包括通过自动化工具的方式,以便利部署者以简化方式履行其在本条项下的各项义务。

通知机关和公告机构

第四节 · 第二十八条

通知机关

1. 每个成员国应当指定或设立至少一个通知机构,负责制定并实施针对合格评定机构的评估、指定与通知程序,以及对其开展监督。这些程序应当由所有成员国的通知机构共同协作制定。

2. 成员国可以决定,第1款所述的评估与监督工作由符合《第765/2008号条例》定义并依照其规定的国家认可机构承担。

3. 通知机构的设立、组织和运作方式应当确保其与合格评定机构之间不存在利益冲突,并保障其各项活动的客观性和公正性。

4. 通知机构的组织方式应当确保:有关合格评定机构通知事项的决策由与该等机构评估工作不同的人员作出。

5. 通知机构不得提供任何由合格评定机构所从事的活动,亦不得以商业或竞争性方式提供任何咨询服务。

6. 通知机构应当根据第78条的规定,妥善保护其所获取信息的保密性。

7. 通知机关应当配备足够数量的胜任人员,以确保其任务得到妥善履行。胜任人员应当具备与其职责相适应的专业知识,必要时还应涵盖信息技术、人工智能及法律等领域,包括对基本权利的监督。

第四节 · 第二十九条

认证机构申请通报

1. 合格评定机构应当向其设立所在成员国的通知机关提交通知申请。

2. 通知申请应当附有对合格评定活动、所采用的合格评定模块以及该合格评定机构声称具备能力的人工智能系统类型的说明,并附上由国家认可机构签发的、证明该合格评定机构符合第31条所规定要求的认可证书(如存在)。

任何与申请人作为 notified body 在其他欧盟协调立法下已获指定相关的有效文件,均应予以补充。

3. 如相关合格评定机构无法提供认可证书,则应当向通知机关提交所有用于核实、认可并定期监督其是否符合第31条所规定要求所需的文件证据。

4. 对于根据其他欧盟协调立法被指定的 notified body,与其指定相关的所有文件和证书均可在适当情况下用于支持其依据本条例进行的指定程序。 notified body 应当在其第2款和第3款所述文件发生任何相关变更时及时更新,以便负责 notified body 的主管机关能够持续监测并核实其是否始终符合第31条所规定的所有要求。

第四节 · 第三十条

通知程序

1. 通知机关仅得通知已满足第31条所规定要求的合格评定机构。

2. 通知机关应当通过由委员会开发并管理的电子通知工具,向委员会及其他成员国通报第1款所述的每一合格评定机构。

3. 本条第2款所述的通知应当包括有关合格评定活动的全部详细信息、所适用的合格评定模块或模块组合、涉及的人工智能系统类型,以及相关的胜任能力证明。如通知并非基于第29条第2款所述的认证证书,通知机关应当向委员会及其他成员国提供能够证明该合格评定机构具备相应能力,并且已建立相关安排以确保该机构将接受定期监督并持续符合第31条所规定要求的书面证据。

4. 有关合格评定机构仅在以下情况下方可开展经 notified body 的相关活动:即在通知机关发出的通知中包含第29条第2款所述的认证证书时,自通知之日起两周内未收到委员会或其他成员国的异议;或者在通知机关发出的通知中包含第29条第3款所述的书面证据时,自通知之日起两个月内未收到委员会或其他成员国的异议。

5. 如有异议,委员会应当立即与相关成员国及合格评定机构进行磋商。据此,委员会应当决定该授权是否合理。委员会应当将其决定通知有关成员国及相关合格评定机构。

第四节 · 第31条

与公告机构有关的要求

1. 公告机构应当根据成员国的国家法律设立,并具有法人资格。

2. 公告机构应当满足履行其职责所必需的组织、质量管理体系、资源及流程要求,以及适当的网络安全要求。

3. 公告机构的组织结构、职责分配、汇报关系及其运作方式应当确保对其绩效以及其所开展的合格评定活动结果的信心。

4. 公告机构在开展与其所评估的高风险人工智能系统相关的合格评定活动时,应当独立于该系统的提供者。同时,公告机构还应当独立于任何对所评估的高风险人工智能系统具有经济利益的其他经营者,以及该提供者的任何竞争对手。但上述规定并不妨碍合格评定机构为自身业务运营所必需的已评估高风险人工智能系统的使用,亦不禁止将此类高风险人工智能系统用于个人目的。

5. 任何合格评定机构、其最高管理层以及负责实施其合格评定任务的人员,均不得直接参与高风险人工智能系统的设计、开发、营销或使用活动,亦不得代表从事上述活动的各方。他们不得从事任何可能与其所获通知的合格评定活动相关的判断独立性或诚信相冲突的活动。此项规定尤其适用于咨询服务。

6. 被通知机构应当按照确保其活动的独立性、客观性和公正性的要求进行组织和运作。被通知机构应当制定并实施相应的组织架构与程序,以保障公正性,并在其整个组织体系、工作人员及评估活动中推广并贯彻公正性原则。

7. 被通知机构应当制定并实施书面程序,确保其工作人员、委员会、子公司、分包商以及任何相关机构或外部机构的人员,在开展合格评定活动过程中,依照第78条的规定,对其所掌握的信息予以保密,除非法律另有要求披露。被通知机构的工作人员在执行本条例项下的各项任务时,应对所获取的一切信息承担职业保密义务,但向其开展活动所在成员国的通知机关除外。

8. 公告机构应当制定程序,以开展相关活动,并充分考虑提供者的规模、其所处的行业、其组织结构以及相关人工智能系统的复杂程度。

9. 公告机构应当为其合格评定活动投保适当的责任保险,除非其设立所在成员国依据本国法律承担相应责任,或者该成员国本身直接负责相关合格评定工作。

10. 公告机构应当能够以其最高的职业操守和特定领域的必要能力,履行本条例项下的所有职责,无论这些职责是由公告机构自身执行,还是在其授权下并由其承担责任而由他人代为执行。

11. 公告机构应当具备足够的内部能力,以有效评估由外部方代表其开展的各项任务。公告机构应当长期配备充足的行政、技术、法律及科学人员,这些人员应具有与相关类型的人工智能系统、数据及其计算处理相关的经验和知识,并熟悉第2节所规定的要求。

12. 公告机构应当参与第38条所述的协调活动。此外,它们还应当直接参与或派代表参加欧洲标准化组织,或者确保其对相关标准保持充分了解并及时更新。

第四节 · 第三十二条

与公告机构相关要求的符合性推定

当合格评定机构证明其符合相关协调标准或其部分条款所规定的要求,且该等标准的引用已在《欧盟官方公报》上公布时,就其所适用的协调标准涵盖的相关要求而言,应推定其符合第31条的规定。

第四节 · 第三十三条

公告机构的子公司及分包活动

1. 当 notified body 将与合格评定相关的特定任务进行分包,或借助其子公司时,应当确保该分包商或子公司符合第31条所规定的要求,并相应地通知主管机关。

2. Notified bodies 应对其任何分包商或子公司所执行的任务承担全部责任。

3. 只有在获得提供方同意的情况下,方可将相关活动进行分包或由子公司实施。Notified bodies 应当将其子公司的名单向公众公开。

4. 关于对分包商或子公司资质的评估以及其依据本条例所开展工作的相关文件,自分包终止之日起五年内,应随时供主管机关查阅。

第四节 · 第34条

公告机构的运营义务

1. 公告机构应当按照第43条规定的合格评定程序,对高风险人工智能系统进行符合性验证。

2. 公告机构在开展相关活动时,应当避免给提供者造成不必要的负担,并充分考虑提供者的规模、其所处的行业、其组织结构以及所涉高风险人工智能系统的复杂程度,特别是在减轻《2003/361/EC号建议》所指的微型和小型企业的行政负担及合规成本方面。尽管如此,公告机构仍应遵守为确保高风险人工智能系统符合本条例要求而必需的严格程度与保护水平。

3. 公告机构应当根据要求向第28条所述的指定机构提供并提交所有相关文件,包括提供者的相关文件,以便该指定机构开展其评估、指定、通知及监督活动,并促进本节所规定的评估工作。

第四节 · 第三十五条

通知机构的识别编号及名单

1. 委员会应当为每个获通知的机构分配一个唯一的识别号码,即使该机构根据一项以上的欧盟法律文件获得通知。

2. 委员会应当公开公布根据本条例获得通知的机构名单,其中包括其识别号码以及其所获通知的活动范围。委员会应当确保该名单及时更新。

第四节 · 第三十六条

通知的变更

1. 通知机关应当通过第30条第2款所述的电子通知工具,将指定机构通知中的任何相关变更通报给委员会及其他成员国。

2. 第29条和第30条规定的程序适用于指定范围的扩展。

对于除指定范围扩展之外的通知变更,应当适用第(3)至第(9)款规定的程序。

3. 当指定机构决定停止其合格评定活动时,应当尽快通知通知机关及相关提供方;如为计划性停止,则至少应在停止活动前一年予以通知。在该指定机构停止活动后,其签发的证书仍可在九个月内保持有效,但前提是另有指定机构已书面确认将承担该等证书所涵盖的高风险人工智能系统之相关责任。该后续指定机构应当在上述九个月期限届满前,对受影响的高风险人工智能系统完成全面评估,并在此基础上签发新的证书。若指定机构已停止活动,通知机关应当撤销其指定资格。

4. 当通知机关有充分理由认为某一公告机构不再符合第31条规定的各项要求,或者未能履行其义务时,该通知机关应当毫不拖延地以最大谨慎态度对该事项展开调查。在此过程中,通知机关应当将所提出的异议告知相关公告机构,并给予其陈述意见的机会。如通知机关认定该公告机构不再符合第31条规定的各项要求,或未能履行其义务,应当根据未满足上述要求或未履行义务的严重程度,酌情采取限制、暂停或撤销其指定的措施,并立即相应地通知欧盟委员会及其他成员国。

5. 在其指定被暂停、限制或全部或部分撤销的情况下,该公告机构应当在10日内通知相关服务提供者。

6. 在指定被限制、暂停或撤销的情形下,通知机关应当采取适当措施,确保妥善保管相关公告机构的档案,并应其他成员国的通知机关以及市场监督机构的要求予以提供。

7. 在指定被限制、暂停或撤销的情形下,通知机关应当:

(a)

评估由公告机构签发的证书所受到的影响;

(b)

在向委员会及其他成员国通报指定变更后的三个月内,提交一份关于其调查结果的报告;

(c) 要求被通知机构在主管部门确定的合理期限内,暂停或撤销任何不当签发的证书,以确保市场上高风险人工智能系统持续符合相关要求;

(d) 向委员会及各成员国通报其所要求暂停或撤销的证书情况;

(e) 向提供者注册营业地所在成员国的国家主管当局提供所有与其要求暂停或撤销的证书有关的必要信息;该主管当局应在必要时采取适当措施,以避免对健康、安全或基本权利构成潜在风险。

8. 除不当签发的证书以及指定已被暂停或限制的情形外,在下列任一情况下,相关证书仍应保持有效:

(a)

通知机关在暂停或限制措施实施后一个月内确认,受该暂停或限制影响的证书不存在对健康、安全或基本权利构成风险,并且已就纠正该暂停或限制所采取的行动制定时间表;或

(b)

通知机关已确认,在暂停或限制期间,不会签发、修改或重新签发与该暂停或限制相关的任何证书,并说明被通知机构是否具备在暂停或限制期内继续监督并对其已签发的现有证书承担责任的能力;若通知机关认定被通知机构不具备支持其已签发的现有证书的能力,则该证书所涵盖系统的提供者应当在暂停或限制发生后的三个月内,以书面形式向其注册营业地所在成员国的国家主管当局确认,由另一家具备资质的被通知机构临时承担被通知机构的职能,在暂停或限制期间对相关证书进行监督并继续承担责任。

9. 除不当签发的证书以及已被撤销指定的情况外,在下列情形下,证书的有效期为九个月:

(a)

证书所涵盖的高风险人工智能系统提供者的注册营业地所在成员国的国家主管当局已确认,相关高风险人工智能系统不存在对健康、安全或基本权利构成的风险;且

(b)

另一家公告机构已书面确认,其将立即承担这些人工智能系统的责任,并在撤销指定之日起十二个月内完成评估。

在第一款所述情形下,证书所涵盖系统提供者营业所在地的成员国国家主管当局可以将证书的临时有效期每次延长三个月,但累计不得超过十二个月。

承担因指定变更而受到影响的公告机构职能的国家主管当局或公告机构应当立即将此情况通知欧盟委员会、其他成员国及其他公告机构。

第四节 · 第37条

对公告机构能力的质疑

1. 委员会应在必要时,对所有存在理由怀疑某公告机构能力或其持续符合第31条所规定要求及其适用职责的案件进行调查。

2. 公告机关应根据委员会的要求,向其提供与相关公告机构的公告事项或其能力维持有关的所有相关信息。

3. 委员会应确保在其依据本条规定开展的调查过程中获取的所有敏感信息均按照第78条的规定予以保密处理。

4. 如委员会认定某公告机构不符合或不再符合其公告要求,应当相应通知该公告机关所属的成员国,并要求其采取必要的纠正措施,包括在必要时暂停或撤销该公告。如该成员国未采取必要的纠正措施,委员会可通过实施性法案暂停、限制或撤销该指定。该实施性法案应当依照第98条第2款所述的审查程序予以通过。

第四节 · 第38条

公告机构的协调

1. 委员会应当确保,就高风险人工智能系统而言,根据本条例开展合格评定程序的各指定机构之间建立并有效运作适当的协调与合作机制,该机制应以行业性指定机构小组的形式予以实施。

2. 各指定机构应当确保其指定的机构直接或通过指定代表参与第1款所述小组的工作。

3. 委员会应当促进各指定机构之间的知识与最佳实践交流。

第四节 · 第三十九条

第三国合格评定机构

根据与欧盟缔结协议的第三国法律设立的合格评定机构,经授权后可以开展本条例规定的公告机构活动,前提是其符合第31条所规定的要求,或者能够确保达到同等水平的合规性。

标准、合格评定、证书、注册

第五节 · 第四十条

协调标准与标准化成果

1. 高风险人工智能系统或通用型人工智能模型,若符合经协调的标准或其部分条款,且该等标准的引用已在《欧盟官方公报》上依照第(EU)No 1025/2012号条例予以公布,则在该等标准涵盖相关要求或义务的范围内,应推定其符合本章第2节所规定的要求,或者在适用情况下,符合本条例第V章第2节和第3节所规定的义务。

2. 根据第(EU)No 1025/2012号条例第10条的规定,委员会应在不无故拖延的情况下,发布涵盖本章第2节所规定全部要求的标准化请求,并在适用情况下,发布涵盖本条例第V章第2节和第3节所规定义务的标准化请求。该标准化请求还应当就报告与文档编制流程提出交付成果要求,以提升人工智能系统的资源效能,例如降低高风险人工智能系统在其生命周期内的能源及其他资源消耗,并推动通用型人工智能模型的节能开发。在拟定标准化请求时,委员会应当征询委员会及有关利益相关方的意见,包括咨询论坛。

在向欧洲标准化组织发出标准化请求时,委员会应当明确指出,相关标准必须清晰、一致,并与现有欧盟协调立法所涵盖产品的各领域制定的标准相衔接;同时,这些标准应旨在确保在欧盟境内投放市场或投入使用的高风险人工智能系统或通用目的人工智能模型符合本条例规定的相关要求或义务。

委员会应当要求欧洲标准化组织根据《欧盟》第1025/2012号条例第24条的规定,提供其为实现本款第一项和第二项所述目标所作出的最大努力的证明。

3. 标准化过程的参与方应当致力于促进人工智能领域的投资与创新,包括通过提高法律确定性,以及提升欧盟市场的竞争力和增长,从而有助于加强全球范围内的标准化合作,并充分考虑人工智能领域内与欧盟价值观、基本权利及利益相一致的现有国际标准;此外,还应完善多方利益相关者治理机制,确保利益的均衡代表性和所有相关利益攸关方的有效参与,具体依照《欧盟》第1025/2012号条例第5条、第6条和第7条的规定。

第五节 · 第41条

通用规范

1. 欧盟委员会可以采取实施性法案,就本章第2节所列要求或在适用情况下就第五章第2节和第3节所列义务制定共同技术规范,前提是下列条件均已满足:

(a)

根据《欧盟条例》(EU)No 1025/2012第10条第1款的规定,欧盟委员会已请求一个或多个欧洲标准化组织为本章第2节所列要求或在适用情况下为第五章第2节和第3节所列义务起草一项协调标准,并且:

(i) 该请求未被任何欧洲标准化组织接受;或者

(ii) 针对该请求的协调标准未能在依据《欧盟第1025/2012号条例》第10条第1款规定的期限内予以发布;或者

(iii) 相关的协调标准未能充分解决基本权利方面的关切;或者

(iv) 协调标准不符合该请求;以及

(b)

根据《欧盟条例》(EU)No 1025/2012的规定,尚未在《欧盟官方公报》上公布任何涉及本章第2节所列要求或在适用情况下涉及第五章第2节和第3节所列义务的协调标准的相关信息,且预计在合理期限内亦不会公布此类信息。

在起草通用规范时,委员会应当征求第67条所述咨询论坛的意见。

本款第一 subparagraph 所指的实施行为应当依照第98条第2款所述的审查程序予以通过。

2. 在拟定实施行为草案之前,委员会应当将认为本条第1款所规定的条件已得到满足的情况告知第22条所指的委员会。

3. 符合第1款所述共同规范或其部分的高风险人工智能系统或通用目的人工智能模型,应当推定为符合本章第2节所规定的要求,或者在适用情况下,符合第五章第2节和第3节所规定的义务,前提是该等共同规范涵盖上述要求或义务。

4. 当某一欧洲标准化组织采纳了一项协调标准并将其提交委员会以便在《欧盟官方公报》上公布其引用信息时,委员会应当依据第1025/2012号条例对该协调标准进行评估。当《欧盟官方公报》刊登了对某项协调标准的引用时,委员会应当废止第1款所指的实施行为,或者废止其中涵盖本章第2节所规定相同要求的部分,或者在适用情况下,废止涵盖第五章第2节和第3节所规定相同义务的部分。

5. 高风险人工智能系统或通用目的人工智能模型的提供者如未遵守第1款所述的共同规范,应当充分说明其已采取符合本章第2节所规定要求的技术解决方案,或者在适用情况下,已至少达到与该等要求相当的第V章第2节和第3节所规定的义务。

6. 如某一成员国认为某项共同规范未能完全满足第2节所规定的要求,或者在适用情况下未能履行第V章第2节和第3节所规定的义务,该成员国应当向委员会提交详细说明并予以通报。委员会应对该信息进行评估,并在适当情况下对制定相关共同规范的实施法案作出修订。

第五节 · 第四十二条

某些要求的符合性推定

1. 高风险人工智能系统,如其训练与测试所用数据反映了该系统拟被使用的特定地理、行为、情境或功能环境,则应推定其符合第10条第4款规定的相关要求。

2. 已根据《欧盟条例》(EU)2019/881项下的网络安全方案获得认证,或已出具符合性声明且其相关参考已在《欧洲联盟官方公报》上公布的高风险人工智能系统,在其网络安全证书、符合性声明或其中部分涵盖本条例第15条所载网络安全要求的范围内,应推定其符合该等要求。

第五节 · 第四十三条

合格评定

1. 对于附件三第1点所列的高风险人工智能系统,当提供者在证明该高风险人工智能系统符合第2节规定的要求时,已适用第40条所述的协调标准,或者在适用情况下,已适用第41条所述的通用规范,则提供者应当根据以下情况选择下列其中一种合格评定程序:

(a)

附件六所述的内部管控;或

(b)

由公告机构参与的、附件七所述的质量管理体系评估及技术文件评估。

在证明高风险人工智能系统符合第2节规定的要求时,提供者应当遵循附件七规定的合格评定程序,具体情形如下:

(a)

第40条所述的协调标准不存在,且第41条所述的通用规范亦不可用;

(b)

提供者未适用,或仅部分适用该协调标准;

(c) 第(a)项所述的通用规范虽存在,但提供者未予适用;

(d) 第(a)项所述的一项或多项协调标准已发布并附有限制,且仅限于该标准中受限制的部分。

为适用附件VII所述的合格评定程序之目的,提供者可选择任一公告机构。然而,若该高风险人工智能系统拟由执法机关、移民或庇护主管机关,或者由欧盟各机构、机关、办事处或代理机构投入使用,则第74条第8款或第9款所指的市场监督机构(视具体情况而定)应作为公告机构行事。

2. 对于附件III第2至8点所述的高风险人工智能系统,提供者应当遵循附件VI所规定的基于内部管控的合格评定程序,该程序不涉及公告机构的参与。

3. 对于受附件I A部分所列欧盟协调立法管辖的高风险人工智能系统,提供者应当按照相关法律文件的要求执行相应的合格评定程序。本章第2节的规定适用于此类高风险人工智能系统,并构成该评定程序的一部分。此外,附件VII第4.3、4.4、4.5点以及第4.6点第五段的规定亦应予以适用。

为实施上述评定程序,根据相关法律文件获准公告的公告机构有权对高风险人工智能系统是否符合第2节规定的要求进行核查,但前提是该等公告机构已在其依据相关法律文件所开展的公告程序中,就其是否符合第31条第4、5、10及11款所载要求进行了评估。

在附件一A部分所列的法律行为允许产品制造商选择不接受第三方合格评定的情况下,前提是该制造商已适用涵盖所有相关要求的所有协调标准,则该制造商仅在其同时适用了第41条所述的、涵盖本章第2节所列全部要求的协调标准或在适用情形下的共同规范时,方可行使该项选择权。

4. 已经经过合格评定程序的高风险人工智能系统,如发生实质性修改,无论该修改后的系统是否拟进一步投放市场,抑或仍由当前部署方继续使用,均应重新接受合格评定程序。

对于在投放市场或投入使用后仍持续学习的高风险人工智能系统,其性能以及由提供者在首次合格评定时预先确定并载于附件四第2点(f)项所述技术文件中的相关信息之变更,不视为实质性修改。

5. 欧盟委员会有权根据第97条采纳授权法案,以依据技术进步对附件六和附件七进行修订。

6. 委员会依据第97条有权制定授权法案,以修订本条第1款和第2款,从而将附件III第2至8点所指的高风险人工智能系统纳入附件VII或其部分所规定的合格评定程序。委员会在制定此类授权法案时,应充分考虑基于附件VI所述内部管控的合格评定程序在防范或最大限度降低此类系统对健康与安全以及基本权利构成的风险方面的有效性,同时兼顾公告机构是否具备充足的能力与资源。

第五节 · 第四十四条

证书

1. 由公告机构依据附件七签发的证书,应当以相关成员国主管当局能够易于理解的语言编制。

2. 证书的有效期以其载明的期限为准;对于适用附件一的人工智能系统,有效期不得超过五年;对于适用附件三的人工智能系统,有效期不得超过四年。应提供方的申请,经按照适用的合格评定程序重新评估后,证书的有效期可以每次延长不超过五年(适用于附件一的人工智能系统)或不超过四年(适用于附件三的人工智能系统)。对证书所作的任何补充部分,在其所补充的原证书有效期内均保持有效。

3. 当公告机构认定某一人工智能系统不再符合第2节规定的要求时,应当在考虑相称性原则的前提下,暂停或撤销已签发的证书,或者对该证书施加限制措施;除非该系统的提供方已在公告机构设定的合理期限内采取适当纠正措施,确保其符合上述要求。公告机构应当说明作出该决定的理由。

应当设立针对公告机构决定的申诉程序,包括对已签发的合格证书的决定。

第五节 · 第四十五条

公告机构的信息义务

1. 认可机构应当将下列事项告知通知机关:

(a)

根据附件 VII 的要求颁发的任何欧盟技术文件评估证书、该等证书的任何补充文件以及任何质量管理体系批准;

(b)

根据附件 VII 的要求颁发的任何欧盟技术文件评估证书或质量管理体系批准被拒绝、限制、暂停或撤销的情况;

(c) 影响其通知范围或条件的任何情形;

(d) 其从市场监督机构收到的有关合格评定活动的信息请求;

(e) 应要求,其在通知范围内开展的合格评定活动以及所开展的其他活动,包括跨境活动和分包活动。

2. 每个认可机构应当将其以下信息告知其他认可机构:

(a)

其已拒绝、暂停或撤销的质量管理体系批准,并应要求提供其已颁发的质量体系批准;

(b)

其已拒绝、撤销、暂停或以其他方式限制的欧盟技术文件评估证书及其任何补充文件,并应要求提供其已颁发的该等证书和/或补充文件。

3. 每个指定机构应当向其他开展涉及相同类型人工智能系统之类似合格评定活动的指定机构提供与不合格及(经请求)合格评定结果相关的信息。

4. 指定机构应当依照第78条的规定,确保其所获取信息的保密性。

第五节 · 第四十六条

豁免符合性评定程序

1. 依据第43条的例外规定,并经提出充分正当理由的申请,任何市场监督机构均可在相关成员国境内,出于公共安全、保护人员生命与健康、环境保护或保护关键工业与基础设施资产等特殊原因,批准特定高风险人工智能系统投放市场或投入使用。该批准应为有限期限,直至完成必要的符合性评估程序为止,同时应充分考虑支持该项例外规定的特殊理由。上述程序应在不无故拖延的情况下予以完成。

2. 在因公共安全方面的特殊紧急情况,或者当自然人的生命或人身安全面临具体、重大且迫在眉睫的威胁时,执法机关或民防机关可在未取得第1款所述授权的情况下启用特定高风险人工智能系统,但前提是该授权须在使用过程中或使用后及时提出申请。若第1款所述授权被拒绝,则该高风险人工智能系统的使用应立即停止,且所有由此产生的结果及输出均应立即予以销毁。

3. 第一款所述的授权仅在市场监督机构认定该高风险人工智能系统符合第二条要求时方可颁发。市场监督机构应当将依据第一款和第二款颁发的任何授权通报欧盟委员会及其他成员国。此项义务不适用于与执法机关活动相关的敏感运营数据。

4. 在收到第三款所述信息后的十五个日历日内,若任何成员国或欧盟委员会未就某一成员国市场监督机构依据第一款颁发的授权提出异议,则该授权应被视为合理有效。

5. 在收到第3款所述通知后的15个日历日内,如有任何成员国对另一成员国市场监督机构所颁发的授权提出异议,或者委员会认为该授权违反欧盟法律,亦或成员国关于第3款所述体系符合性的结论缺乏依据时,委员会应当立即与相关成员国展开磋商。有关经营者应当被征询意见,并有权陈述其观点。在此基础上,委员会应当决定该授权是否具有正当性。委员会应当将其决定送达相关成员国及有关经营者。

6. 如委员会认定该授权不具正当性,则由相关成员国的市场监督机构予以撤销。

7. 对于与附录I A部分所列适用欧盟协调立法之产品相关的高风险人工智能系统,仅适用该欧盟协调立法中规定的合格评定豁免条款。

第五节 · 第四十七条

欧盟符合性声明

1. 提供者应当为每一高风险人工智能系统制定一份书面的、机器可读的、以实体形式或电子签名方式签署的欧盟符合性声明,并在该高风险人工智能系统投放市场或投入使用后,将其保存于国家主管当局可供查阅之处,期限为十年。欧盟符合性声明应当明确其所针对的高风险人工智能系统。应相关国家主管当局之请求,应当提交欧盟符合性声明的副本。

2. 欧盟符合性声明应当载明相关高风险人工智能系统符合第2节所规定的要求。欧盟符合性声明应当包含附件V中列明的信息,并且应当翻译成成员国国家主管当局能够容易理解的语言,这些成员国是指该高风险人工智能系统被投放市场或提供使用的成员国。

3. 当高风险人工智能系统同时受其他欧盟协调立法的规制,而该等立法亦要求出具欧盟符合性声明时,应当就适用于该高风险人工智能系统的全部欧盟法律制定一份统一的欧盟符合性声明。该声明应当包含识别与之相关的欧盟协调立法所需的所有信息。

4. 通过制定欧盟符合性声明,提供者应当对其遵守第2节所规定要求承担相应责任。提供者应当根据需要及时更新欧盟符合性声明。

5. 委员会根据第97条的规定,有权通过授权法案,对附件V进行修订,更新该附件中载明的欧盟符合性声明的内容,以引入因技术进步而变得必要的相关要素。

第五节 · 第四十八条

CE标志

1. CE标志应当遵守《第765/2008号条例》第30条所规定的通用原则。

2. 对于以数字化方式提供的高风险人工智能系统,仅当可通过其访问界面或通过易于获取的机器可读代码或其他电子手段轻松访问时,方可使用数字CE标志。

3. 高风险人工智能系统的CE标志应当以明显、清晰且不可擦除的方式加贴。如因该高风险人工智能系统的性质而无法实现或不适宜如此加贴,则应根据具体情况将其加贴于包装或随附文件上。

4. 在适用情况下,CE标志后应当附加负责第43条所述合格评定程序的公告机构的识别号码。该公告机构识别号码应当由该机构本身加贴,或者在其指示下由提供者或其授权代表加贴。此外,在任何提及该高风险人工智能系统符合CE标志要求的宣传材料中,亦应当标明该识别号码。

5. 当高风险人工智能系统同时受其他欧盟法律规制且该法律亦规定加贴CE标志时,CE标志应当表明该高风险人工智能系统亦符合该其他法律的要求。

第五节 · 第四十九条

注册

1. 在将附件三所列的高风险人工智能系统投放市场或投入使用之前,除附件三第2点所述的高风险人工智能系统外,提供者或者在适用情况下由其授权代表应当将其自身及其系统在第71条所述的欧盟数据库中进行登记。

2. 在将提供者根据第6条第3款认定不属于高风险的人工智能系统投放市场或投入使用之前,该提供者或者在适用情况下由其授权代表应当将其自身及该系统在第71条所述的欧盟数据库中进行登记。

3. 在将附件三所列的高风险人工智能系统投入使用或使用之前,除附件三第2点所列的高风险人工智能系统外,作为公共机关、欧盟机构、组织、办公室或机构,或者代表其行事的人员,应当在其自身进行登记,并选择该系统及其使用情况,在第71条所述的欧盟数据库中予以登记。

4. 对于附件三第1、6和7点所指的高风险人工智能系统,在执法、移民、庇护及边境管控管理领域,本条第1、2和3款所述的登记应当在第71条所述的欧盟数据库的安全非公开部分进行,并且仅包括下列相关信息(视具体情况而定):

(a)

附件八A部分第1至10点,但不包括第6、8和9点;

(b)

附件八第B部分第1至5点以及第8和第9点;

(c) 附件八第C部分第1至3点;

(d) 附件九第1、2、3及5点。

只有本款第一 subparagraph 所列的欧盟数据库之相应受限部分,方可由委员会及第74条第8款所述的国家主管机关访问。

5. 附件三第2点所指的高风险人工智能系统应当在国家层面予以登记。

针对特定人工智能系统的提供者与部署者的透明度义务

第四章 · 第五十条

某些人工智能系统提供者和部署者的透明度义务

1. 提供者应当确保旨在与自然人直接交互的人工智能系统在设计和开发过程中,使相关自然人知悉其正在与人工智能系统进行交互;但若从一名合理知情、谨慎且细心的自然人视角出发,结合具体情形及使用背景来看,该交互显而易见地属于人工智能系统,则不适用此项义务。本项义务不适用于依法获准用于侦查、预防、调查或追究刑事犯罪的人工智能系统,但须为第三方的权利与自由提供适当保障;除非此类系统亦向公众开放以用于举报刑事犯罪。

2. 提供人工智能系统(包括通用型人工智能系统)的主体,若其生成合成音频、图像、视频或文本内容,应当确保该人工智能系统的输出以机器可读格式加以标注,并能够被识别为人工生成或经人为操控的内容。提供者应当在其技术解决方案在技术上可行的范围内,确保其有效性、互操作性、稳健性和可靠性,同时充分考虑各类内容的特殊性与局限性、实施成本以及相关技术标准所反映的公认技术水平。但本义务不适用于以下情形:人工智能系统仅发挥对常规编辑的辅助功能,或者未实质性改变部署方所提供的输入数据及其语义;亦或依照法律规定被授权用于侦查、预防、调查或追究刑事犯罪的情形。

3. 情感识别系统或生物特征分类系统的部署方应当就该系统的运行情况向受其影响的自然人予以告知,并按照适用的《欧盟》2016/679号条例、《欧盟》2018/1725号条例以及《欧盟》2016/680号指令的规定处理个人数据。但本义务不适用于依法获准用于侦查、预防或调查刑事犯罪的生物特征分类及情感识别人工智能系统,前提是已采取适当措施保障第三方的权利与自由,并符合欧盟法律的相关规定。

4. 生成或操纵构成深度伪造的图像、音频或视频内容的人工智能系统的部署者,应当披露该内容系经由人工智能生成或操纵。但法律授权用于侦查、预防、调查或起诉刑事犯罪的情形除外。若该内容属于明显具有艺术性、创造性、讽刺性、虚构性或类似性质的作品或节目,则本款规定的透明度义务仅限于以适当方式披露该等生成或操纵内容的存在,且该披露不得妨碍作品的展示或观赏。

生成或操纵以向公众通报公共利益事项为目的而发布的文本的人工智能系统的部署者,应当披露该文本系经由人工智能生成或操纵。但法律授权用于侦查、预防、调查或起诉刑事犯罪的情形,或者该人工智能生成的内容已通过人工审核或编辑控制程序处理,且自然人或法人对该内容的发布负有编辑责任的情形除外。

5. 第1至第4款所述的信息应当以清晰且易于辨识的方式,在首次互动或接触之时或最迟于此之前提供给相关自然人。该信息应当符合适用的无障碍要求。

6. 第1至第4款不影响第三章所规定的各项要求与义务,亦不损害欧盟或成员国法律为人工智能系统部署者设定的其他透明度义务。

7. 人工智能办公室应当鼓励并促进在欧盟层面制定行为准则,以推动有关识别和标注人为生成或篡改内容之义务的有效落实。委员会可依据第56条第6款规定的程序,通过实施性法案批准上述行为准则。如委员会认为该准则不够充分,可依据第98条第2款规定的审查程序,通过实施性法案规定落实相关义务的共同规则。

通用人工智能模型

分类规则

第一节 · 第51条

将通用人工智能模型归类为具有系统性风险的通用人工智能模型

1. 通用人工智能模型如符合下列任一条件,应被归类为具有系统性风险的通用人工智能模型:

(a)

其具备经由适当的技术工具与方法论评估得出的高影响力能力,包括相关指标与基准;

(b)

根据委员会的决定,无论系依职权作出还是基于科学专家组提出的合格警示,其能力或影响程度等同于(a)项所列情形,并参照附件十三中规定的标准予以认定。

2. 当用于该通用人工智能模型训练的累计计算量以浮点运算次数计超过10^25时,应推定其根据第1款(a)项规定具备高影响力能力。

3. 委员会应当依据第97条制定授权法案,对本条第1款和第2款所列阈值进行修订,并在必要时,针对算法改进或硬件效率提升等技术发展动态,补充相关基准与指标,以确保上述阈值能够反映最新技术水平。

第一节 · 第52条

程序

1. 当通用人工智能模型符合第51条第1款第(a)项所述条件时,相关提供者应当毫不拖延地向委员会进行通报,且无论如何应在该条件满足之日或知悉其将被满足之日起两周内完成通报。该通报应当包含足以证明相关条件已获满足的必要信息。如委员会获悉某通用人工智能模型存在系统性风险但未收到相关通报,委员会可决定将其认定为具有系统性风险的模型。

2. 符合第51条第1款第(a)项所述条件的通用人工智能模型的提供者,可在提交通报时附上充分论证的说明,以证明在特殊情况下,尽管该模型符合上述条件,但由于其特定特征并不构成系统性风险,因而不应被归类为具有系统性风险的通用人工智能模型。

3. 如委员会认定根据第2款提交的论证不充分,且相关提供者未能证明该通用人工智能模型因其特定特征而不构成系统性风险,则委员会应驳回该等论证,并将该通用人工智能模型视为具有系统性风险的通用人工智能模型。

4. 委员会可以依据附件十三中规定的标准,依职权或根据科学专家组依照第90条第1款(a)项提出的合格警示,将某一通用人工智能模型认定为存在系统性风险。

委员会获授权根据第97条采取委托立法行为,以通过明确并更新该附件中所列标准的方式对附件十三进行修订。

5. 对于其模型已被依据第4款认定为具有系统性风险的通用人工智能模型的提供者,如提出有理由的请求,委员会应当予以考虑,并可决定依据附件十三中规定的标准重新评估该通用人工智能模型是否仍被视为存在系统性风险。此类请求应当包含自作出认定决定以来出现的客观、详尽且新的理由。提供者最早可在认定决定作出后六个月提出重新评估申请。若委员会在重新评估后决定维持该通用人工智能模型作为具有系统性风险的认定,则提供者最早可在该决定作出后六个月再次提出重新评估申请。

6. 委员会应当确保公布一份具有系统性风险的通用人工智能模型清单,并持续更新该清单,但此规定不影响根据欧盟及成员国法律遵守并保护知识产权以及商业秘密或机密商业信息的必要性。

通用型人工智能模型提供者的义务

第二节 · 第53条

通用型人工智能模型提供者的义务

1. 通用型人工智能模型的提供者应当:

(a)

编制并及时更新该模型的技术文档,包括其训练与测试过程以及评估结果;该等文档至少应当载明附件XI所列信息,以便应要求向人工智能办公室及各成员国主管当局提供;

(b)

编制、及时更新并向拟将该通用型人工智能模型集成至其人工智能系统的相关系统提供者提供相关信息与文档。在不损害根据欧盟及成员国法律应当遵守并保护知识产权以及商业秘密或机密商业信息的前提下,该等信息与文档应当:

(i) 使人工智能系统的提供者能够充分了解该通用型人工智能模型的能力与局限,并履行本条例项下的相关义务;以及

(ii) 至少包含附件XII所列各项要素;

(c) 制定一项政策,以确保遵守欧盟有关著作权及相关权利的法律规定,特别是通过采用最新技术等方式,识别并遵守依据《指令(EU)2019/790》第4条第3款所作出的权利保留声明;

(d) 按照人工智能办公室提供的模板,编制并公开发布一份关于通用人工智能模型训练所用内容的足够详尽的摘要。

2. 第1款第(a)项和第(b)项所规定的义务不适用于以下情形:提供者发布的AI模型采用自由开放源代码许可,允许对该模型进行访问、使用、修改和分发,并且其参数(包括权重)、模型架构信息以及模型使用信息均向公众公开。但该例外不适用于具有系统性风险的通用型AI模型。

3. 通用型AI模型的提供者应当在委员会及各成员国主管当局依据本条例行使职权时,按照需要予以配合。

4. 通用型AI模型的提供者可在尚未发布统一标准之前,依据第56条所指的行为准则来证明其符合本条第1款所规定的各项义务。当相关欧洲统一标准涵盖上述义务时,遵守该等标准即赋予提供者相应的合规推定。未遵循经批准的行为准则或未符合欧洲统一标准的通用型AI模型提供者,应当向委员会提交其他适当的合规方式以供评估。

5. 为便于遵守附件XI,特别是其中第2(d)和(e)点的规定,委员会有权根据第97条采纳授权法案,以详细规定测量与计算方法,从而确保相关文件具有可比性和可验证性。

6. 委员会有权根据第97条第2款采纳授权法案,以便根据不断发展的技术进步对附件XI和XII进行修订。

7. 根据本条规定获取的任何信息或文件,包括商业秘密,均应按照第78条规定的保密义务予以处理。

第二节 · 第54条

通用型人工智能模型提供者的授权代表

1. 在将通用人工智能模型投放至欧盟市场之前,位于第三国的提供者应当通过书面授权委托书指定一名在欧盟境内设立的授权代表。

2. 提供者应当确保其授权代表能够履行从提供者处收到的授权委托书中所规定的各项任务。

3. 授权代表应当履行从提供者处收到的授权委托书中所规定的各项任务。其应当应要求向人工智能办公室提供该授权委托书的副本,并使用欧盟各机构的官方语言之一。就本条例而言,该授权委托书应当赋予授权代表以下职责:

(a)

核实附件XI中规定的技术文件是否已编制完成,以及提供者是否已履行第53条及(如适用)第55条所提及的各项义务;

(b)

在通用人工智能模型投放市场后十年内,向人工智能办公室及各国主管当局提供附件XI中规定的技术文件副本,并提供委任该授权代表的提供者的联系方式;

(c) 应人工智能办公室的合理请求,向其提供所有必要信息和文件,包括(b)项所述内容,以证明其符合本章规定的各项义务;

(d) 应在收到合理请求时,与人工智能办公室及主管当局合作,就其针对通用目的人工智能模型采取的任何行动提供协助,包括该模型被集成至在欧盟境内投放市场或投入使用的AI系统的情形。

4. 授权代表的授权范围应使其在与确保本条例合规相关的所有事项上,除可由提供者直接应对外,亦可由人工智能办公室或主管当局直接向其提出要求。

5. 授权代表如认为或有理由认为提供者的行为违反了本条例项下的义务,应当终止其授权。在此情形下,还应当立即向人工智能办公室通报授权终止及其原因。

6. 本条所规定的义务不适用于以下情形:即以允许访问、使用、修改和分发该模型的自由开源许可证发布的通用目的人工智能模型,且其参数(包括权重)、模型架构信息以及模型使用信息均已公开披露;但若该通用目的人工智能模型存在系统性风险,则不适用上述豁免规定。

具有系统性风险的通用人工智能模型提供者的义务

第三节 · 第55条

具有系统性风险的通用人工智能模型提供者的义务

1. 除第53条和第54条所列义务外,具有系统性风险的通用人工智能模型提供者应当:

(a)

按照反映最新技术水准的标准化协议和工具开展模型评估,包括对模型进行对抗性测试并予以记录,以识别并降低系统性风险;

(b)

评估并降低可能源自于具有系统性风险的通用人工智能模型之开发、投放市场或使用的、在欧盟层面的各类系统性风险及其来源;

(c) 及时跟踪、记录并向人工智能办公室以及在适当情况下向各国主管当局报告有关严重事件及相关纠正措施的必要信息;

(d) 确保具有系统性风险的通用人工智能模型及其物理基础设施达到适当的网络安全保护水平。

2. 具有系统性风险的通用人工智能模型提供者,可在尚未发布统一标准之前,依据第56条所指的行为准则来证明其符合本条第1款规定的义务。当欧洲统一标准涵盖上述义务时,遵守该等标准即赋予提供者符合相关要求的推定。对于未遵循经批准的行为准则或未遵守欧洲统一标准的具有系统性风险的通用人工智能模型提供者,应当向委员会提交经评估认定的其他适当合规方式。

3. 根据本条规定获取的任何信息或文件,包括商业秘密,均应按照第78条规定的保密义务予以处理。

行业规范

第四节 · 第五十六条

行业规范

1. 人工智能办公室应当鼓励并促进在欧盟层面制定行为准则,以有助于本条例的正确实施,并兼顾国际通行做法。

2. 人工智能办公室与委员会应当力求确保这些行为准则至少涵盖第53条和第55条所规定的义务,包括以下事项:

(a)

确保根据市场和技术发展情况,第53条第1款(a)项和(b)项所述信息保持最新状态的措施;

(b)

用于培训的内容摘要应具备的适当详细程度;

(c) 在适当情况下,对欧盟层面系统性风险的类型与性质及其来源进行识别;

(d) 用于评估和管理欧盟层面系统性风险的措施、程序及方式,包括相关文件记录;上述措施、程序及方式应当与风险相称,充分考虑其严重程度与发生概率,并结合人工智能价值链中此类风险可能出现和实现的具体情形,妥善应对相关挑战。

3. 人工智能办公室可以邀请所有通用型人工智能模型的提供者以及相关国家主管机关参与行为准则的制定工作。民间社会组织、产业界、学术界及其他相关利益攸关方,如下游服务提供者和独立专家,亦可为该过程提供支持。

4. 人工智能办公室与委员会应致力于确保各行为准则明确阐明其具体目标,并载明相关承诺或措施,包括在适当情况下纳入关键绩效指标,以保障这些目标的实现;同时,还应充分考虑欧盟层面所有利益相关方的需求与利益,包括受影响的个人。

5. 人工智能办公室应确保各行为准则的参与方定期向人工智能办公室报告其承诺与所采取措施的落实情况及其成效,包括依据相关关键绩效指标进行的评估。关键绩效指标及报告义务应当体现不同参与方在规模与能力方面的差异。

6. 人工智能办公室与委员会应定期监测并评估各参与方对行为准则目标的实现情况及其对本条例正确实施的贡献。人工智能办公室与委员会还应审查行为准则是否涵盖第53条和第55条规定的各项义务,并定期监测与评估其目标的达成情况。此外,他们应当公布关于行为准则适当性的评估结果。

委员会可通过一项实施性法案批准某项行为准则,并使其在整个欧盟范围内具有普遍效力。该实施性法案应根据第98条第2款所述的审查程序予以通过。

7. 人工智能办公室可以邀请所有通用型人工智能模型的提供者遵守行为准则。对于那些不构成系统性风险的通用型人工智能模型提供者,其遵守义务可仅限于第53条所规定的各项要求,除非其明确表示有意加入完整的行为准则。

8. 人工智能办公室应当根据实际情况,鼓励并促进对行为准则的审查与调整,特别是在新兴标准出现时。人工智能办公室还应协助评估现有各类标准。

9. 行为准则最迟应于2025年5月2日前制定完成。人工智能办公室应当采取必要措施,包括依照第7款的规定邀请相关提供者参与。

如至2025年8月2日仍未完成行为准则的制定,或者人工智能办公室经依据本条第6款进行评估后认为该准则尚不充分,则委员会可通过实施性法案,就第53条和第55条所规定之义务的履行制定统一规则,其中包括本条第2款所述的相关事项。此类实施性法案应当按照第98条第2款所规定的审查程序予以通过。

支持创新的措施

第六章 · 第五十七条

人工智能监管沙盒

1. 成员国应当确保其主管当局在国家层面至少设立一个人工智能监管沙盒,并于2026年8月2日前投入运行。该沙盒亦可与其他成员国的主管当局联合设立。委员会可以为人工智能监管沙盒的设立与运行提供技术支持、咨询及工具。

第一款规定的义务亦可通过参与现有沙盒的方式予以履行,前提是该参与能够为相关成员国提供同等水平的国家覆盖范围。

2. 在区域或地方层面,或者与其他成员国的主管当局联合设立的人工智能监管沙盒亦可予以设立。

3. 欧洲数据保护监督员亦可为欧盟各机构、机关、办事处及 agencies 设立人工智能监管沙盒,并依照本章规定行使各国主管当局的职责与任务。

4. 成员国应当确保第1款和第2款所述的主管当局分配充足的资源,以有效且及时地遵守本条的规定。在适当情况下,国家主管当局应当与其他相关当局开展合作,并可允许人工智能生态系统中的其他参与方介入。本条规定不影响根据欧盟或成员国法律设立的其他监管沙盒。成员国应当确保监督这些其他沙盒的主管当局与国家主管当局之间保持适当的合作水平。

5. 根据第1款设立的人工智能监管沙盒应当提供一个受控环境,以促进创新,并在特定的沙盒计划框架内,在有限时间内便利创新型人工智能系统的开发、训练、测试和验证;该计划由提供者或潜在提供者与主管当局共同商定。此类沙盒可以包括在其内部进行的现实条件下的测试。

6. 主管当局应当在人工智能监管沙盒内酌情提供指导、监督和支持,以便识别各类风险,特别是对基本权利、健康与安全、测试、缓解措施及其有效性等方面的风险,并评估其是否符合本条例以及在沙盒内受监督的相关欧盟法和成员国法律所规定的义务与要求。

7. 主管当局应当向参与人工智能监管沙盒的提供者及潜在提供者提供关于监管预期以及如何履行本条例所规定的要求与义务的指导。

应人工智能系统提供者或潜在提供者的请求,主管当局应当出具一份关于其在沙盒内成功开展的各项活动的书面证明。主管当局还应当提供一份退出报告,详细说明在沙盒内开展的活动及其相关结果和学习成果。提供者可以利用上述文件,在符合性评估程序或相关市场监督活动中证明其对本条例的遵守情况。在此方面,国家主管当局提供的退出报告及书面证明应当被市场监督机构和指定机构予以积极考虑,以在合理范围内加快符合性评估程序的推进。

8. 在遵守第78条保密规定的前提下,并经提供者或潜在提供者同意,委员会及管理局有权查阅退出报告,并在其依据本条例履行职责时酌情予以考虑。如提供者或潜在提供者与国家主管当局均明确同意,该退出报告可通过本条所述的单一信息平台向公众公开。

9. 人工智能监管沙盒的设立应当旨在促进以下目标:

(a)

提高法律确定性,以实现对本条例或在相关情况下其他适用的欧盟及国家法律的合规;

(b)

通过与参与人工智能监管沙盒的有关当局开展合作,支持最佳实践的分享;

(c) 促进创新与竞争力,并推动人工智能生态系统的形成与发展;

(d) 为基于证据的监管学习作出贡献;

(e) 便利并加速人工智能系统进入欧盟市场,尤其是在由中小企业(包括初创企业)提供时。

10. 各成员国主管当局应当确保,在创新型人工智能系统涉及个人数据处理,或者在其他方面属于其他成员国主管当局或负责提供或支持数据访问的主管当局的监管职责范围之内时,各成员国的数据保护主管当局以及其他相关主管当局均应参与该人工智能监管沙盒的运行,并在其各自职责和权限范围内对该等事项实施监督。

11. 人工智能监管沙盒不得影响负责监管沙盒的主管机关(包括区域或地方层级的主管机关)的监督权或纠正权。在该类人工智能系统的开发与测试过程中,如发现对健康安全及基本权利构成重大风险的情形,应当采取适当措施予以缓解。国家主管机关有权在无法采取有效缓解措施的情况下,临时或永久中止测试程序或暂停参与沙盒活动,并将相关决定通知人工智能办公室。国家主管机关应在相关法律规定的范围内行使监督职权,在针对具体的人工智能监管沙盒项目实施法律规定时,依法行使其自由裁量权,以支持欧盟范围内的人工智能创新。

12. 参与人工智能监管沙盒的提供者及潜在提供者,应根据适用的欧盟及成员国责任法,对其在沙盒内开展的实验活动对第三方造成的任何损害承担法律责任。然而,只要潜在提供者遵守其参与的具体方案及条款条件,并善意遵循国家主管当局提供的指导意见,则有关当局不得因违反本条例而对其处以行政罚款。若其他负责适用欧盟及成员国法律的主管当局积极参与了沙盒内人工智能系统的监督并提供了合规指导,则就该等法律而言亦不得处以行政罚款。

13. 人工智能监管沙盒应当按照适当方式设计并实施,以便在必要时促进各国主管当局之间的跨境合作。

14. 各国主管当局应当在委员会框架内协调其活动并开展合作。

15. 各国主管当局应当将设立沙盒的情况通报人工智能办公室及委员会,并可请求其提供支持与指导。人工智能办公室应当公开发布已规划及已设立的沙盒清单,并及时予以更新,以促进人工智能监管沙盒之间的更多互动及跨境合作。

16. 国家主管当局应当自人工智能监管沙盒设立之日起一年后起,每年向人工智能办公室及委员会提交年度报告,并在沙盒终止前提交最终报告。上述报告应当载明各沙盒实施的进展情况与成效,包括最佳实践、发生的事件、汲取的经验教训,以及关于沙盒设立的建议;同时,在相关情况下,还应就本条例及其授权法案和实施性法案的适用情况,以及由沙盒内主管当局监督的其他欧盟法律的适用情况提出建议。国家主管当局应当通过线上方式向公众公开上述年度报告或其摘要。委员会在履行本条例项下职责时,应当酌情将上述年度报告予以考虑。

17. 委员会应当开发一个单一且专用的界面,汇集所有与人工智能监管沙盒相关的信息,以便利益攸关方能够与人工智能监管沙盒进行互动,向主管当局提出咨询,并根据第62条第1款第c项的规定,就嵌入人工智能技术的创新产品、服务及商业模式的合规性寻求不具约束力的指导意见。委员会应当在必要时主动与国家主管当局开展协调。

第六章 · 第五十八条

人工智能监管沙盒的详细安排及其运行机制

1. 为避免欧盟范围内出现碎片化,委员会应当通过实施性法案,明确规定人工智能监管沙盒的设立、发展、实施、运行及监督的具体安排。该等实施性法案应当包含以下事项的共同原则:

(a)

参与人工智能监管沙盒的资格与遴选标准;

(b)

人工智能监管沙盒的申请、参与、监测、退出及终止程序,包括沙盒计划与退出报告;

(c) 适用于参与者的条款与条件。

上述实施性法案应当依照第98条第2款所述的审查程序予以通过。

2. 第1款所述的实施性法案应当确保:

(a)

人工智能监管沙盒向任何符合资格与遴选标准的人工智能系统申请方或潜在申请方开放,相关标准应当透明且公平;同时,各成员国主管当局应当在申请提交后三个月内将决定通知申请人;

(b)

人工智能监管沙盒应当提供广泛而平等的准入机会,并能够满足参与需求;申请方及潜在申请方亦可与部署方及其他相关第三方以合作形式提交申请。

(c) 人工智能监管沙盒的详细安排及有关条件应尽可能支持各国主管当局设立并运行其人工智能监管沙盒时的灵活性;

(d) 为中小企业,包括初创企业,提供免费进入人工智能监管沙盒的渠道,但国家主管当局可依法以公平、相称的方式收取例外费用;

(e) 通过人工智能监管沙盒的学习成果,协助现有及潜在的提供者履行本条例项下的合格评定义务,并自愿适用第95条所述的行为准则;

(f) 人工智能监管沙盒有助于促进人工智能生态系统内其他相关主体的参与,例如公告机构和标准化组织、中小企业(包括初创企业)、各类企业、创新者、测试与实验设施、研究与实验实验室以及欧洲数字创新中心、卓越中心、个人研究人员等,从而推动并便利其与公共部门和私营部门之间的合作;

(g)

申请、遴选、参与及退出人工智能监管沙盒的相关程序、流程和行政要求应当简便易懂,并以清晰明确的方式予以告知,以便于法律和行政能力有限的中小企业(包括初创企业)参与;同时,在整个欧盟范围内应实现流程的统一简化,以避免碎片化,并确保由某一成员国或欧洲数据保护监督员设立的人工智能监管沙盒所颁发的参与资格在全欧盟范围内得到相互承认并产生同等法律效力。

(h)

参与人工智能监管沙盒的期限应当与项目的复杂程度和规模相适应,并可由国家主管机关予以延长;

(i) 人工智能监管沙盒有助于开发用于测试、基准测试、评估以及解释与监管学习相关的AI系统各维度的工具和基础设施,例如准确性、稳健性和网络安全,以及旨在降低对基本权利和社会整体风险的措施。

3. 在人工智能监管沙盒中的潜在提供者,尤其是中小企业和初创企业,在相关情况下应被引导至部署前的服务,如关于本条例实施的指导,以及其他增值服务,例如标准化文件和认证方面的协助、测试与实验设施、欧洲数字创新中心及卓越中心等。

4. 当国家主管机关认为有必要在根据本条设立的人工智能监管沙盒框架内开展受监督的真实环境测试时,应当与参与方就此类测试的具体条款和条件,特别是适当的保障措施达成一致,以保护基本权利、健康与安全。必要时,还应当与其他国家主管机关合作,以确保在整个欧盟范围内采取一致的做法。

第六章 · 第五十九条

在人工智能监管沙盒中,为公共利益开发某些人工智能系统而对个人数据的进一步处理

1. 在人工智能监管沙盒中,为其他目的依法收集的个人数据,仅可在满足以下全部条件时,为开发、训练和测试沙盒内的特定人工智能系统之目的而予以处理:

(a)

人工智能系统应当由公共机关或其他自然人或法人开发,以维护重大公共利益,并且涉及下列一个或多个领域:

(i) 公共安全与公共卫生,包括疾病检测、诊断、预防、控制与治疗,以及医疗保健体系的改善;

(ii) 高水平的环境保护与质量提升、生物多样性保护、污染防治、绿色转型措施、气候变化减缓与适应措施;

(iii) 能源可持续性;

(iv) 交通系统与出行、关键基础设施及网络的安全与韧性;

(v) 公共行政与公共服务的效率与质量;

(b)

所处理的数据对于遵守第三章第二节所提及的一项或多项要求而言是必要的,且在这些要求无法通过处理匿名化、合成或其他非个人数据得到有效满足的情况下。

(c) 存在有效的监控机制,以识别在沙盒实验过程中是否可能出现《欧盟》2016/679号条例第35条及《欧盟》2018/1725号条例第39条所指的对数据主体权利和自由的高风险,并具备及时缓解这些风险、必要时停止处理的应对机制;

(d) 在沙盒环境中拟处理的任何个人数据均处于由潜在提供者控制的功能上独立、隔离且受保护的数据处理环境中,且仅授权人员方可访问该等数据;

(e) 提供者仅得依据欧盟数据保护法进一步共享最初收集的数据;在沙盒中产生的任何个人数据不得向沙盒之外进行共享;

(f) 在沙盒环境中对个人数据的任何处理既不会导致影响数据主体的措施或决定,亦不会影响其依据欧盟个人数据保护法律所享有的权利之适用;

(g)

在沙盒环境中处理的任何个人数据均通过适当的技术与组织措施予以保护,并在参与沙盒活动终止或个人数据达到其保存期限届满时予以删除;

(h)

在沙盒机制框架下处理个人数据的日志,应当保存至参与沙盒机制的整个期间,除非欧盟法律或成员国法律另有规定;

(i) 一份关于人工智能系统训练、测试和验证过程及其依据的完整而详尽的说明,应与测试结果一并作为附件IV所指技术文档的一部分予以保存;

(j) 在主管当局的网站上公布在沙盒环境中开发的人工智能项目的简要概述、其目标及预期成果;该项义务不适用于与执法、边境管控、移民或庇护机关活动相关的敏感运营数据。

2. 为预防、调查、侦查或起诉刑事犯罪,以及执行刑罚之目的,包括防范和制止对公共安全的威胁,在执法机关的控制和责任之下,人工智能监管沙盒中的个人数据处理应当依据特定的欧盟或成员国法律,并遵守第1款所述的相同累积性条件。

3. 第1款不影响那些排除为该法律中明确提及的目的之外处理个人数据的欧盟或成员国法律,亦不影响规定为开发、测试或训练创新性人工智能系统所必需的个人数据处理之依据,或任何其他符合欧盟个人数据保护法律的合法依据。

第六章 · 第六十条

在人工智能监管沙盒之外的现实条件下对高风险人工智能系统进行测试

1. 在人工智能监管沙盒之外的现实条件下对高风险人工智能系统进行测试,可由附件三所列高风险人工智能系统的提供者或潜在提供者依照本条以及本条所述的现实条件测试计划予以实施,但不得影响第五条规定的禁止性规定。

委员会应当通过实施性法案,明确规定现实条件测试计划的具体内容。该等实施性法案应当按照第九十八条第二款所述的审查程序予以通过。

本款不影响与附件一中所列受欧盟协调立法管辖的产品相关的高风险人工智能系统在现实条件下的测试方面的欧盟法律或国家法律。

2. 提供者或潜在提供者可以在其人工智能系统投放市场或投入使用之前,随时自行或者与一个或多个部署者或潜在部署者合作,在现实条件下对附件三所指的高风险人工智能系统进行测试。

3. 根据本条在现实条件下对高风险人工智能系统进行的测试,不影响任何根据欧盟法律或国家法律所要求的伦理审查。

4. 提供者或潜在提供者仅可在下列所有条件均得到满足的情况下,方可开展现实条件下的测试:

(a)

提供商或拟提供商已制定真实世界测试计划,并将其提交至拟开展真实世界条件下测试的成员国的市场监督机构;

(b)

拟开展真实世界条件下测试的成员国的市场监督机构已批准该真实世界条件下的测试及相应的真实世界测试计划;如该市场监督机构在30日内未予答复,则视为该真实世界条件下的测试及真实世界测试计划已获批准;如国家法律未规定默示批准,则该真实世界条件下的测试仍须经许可方可进行;

(c) 除附件三第1、6和7点所指的执法、移民、庇护及边境管控领域的高风险人工智能系统提供者或拟提供者,以及附件三第2点所指的高风险人工智能系统提供者外,其他提供者或拟提供者已按照第71条第4款的规定,以全欧盟唯一的单一识别号码并附上附件九中规定的信息,就真实环境下的测试进行了登记;对于附件三第1、6和7点所指的执法、移民、庇护及边境管控领域的高风险人工智能系统提供者或拟提供者,已根据第49条第4款(d)项的规定,在欧盟数据库的安全非公开部分,以全欧盟唯一的单一识别号码并附上其中规定的信息,就真实环境下的测试进行了登记;而附件三第2点所指的高风险人工智能系统提供者或拟提供者,则已按照第49条第5款的规定,就真实环境下的测试进行了登记。

(d) 在真实环境中进行测试的提供者或拟提供者须在欧盟境内设立,或者已委任一名在欧盟境内设立的法律代表;

(e) 为真实环境测试之目的而收集和处理的数据,仅在已实施符合欧盟法律规定的适当且适用的保障措施的情况下,方可被传输至第三国。

(f) 在真实世界条件下的测试持续时间不得超过实现其目的所必需的期限,且无论如何不得超过六个月;经提供者或拟提供者事先向市场监督机构通报并说明延长该期限的必要性后,该期限可再延长六个月;

(g)

在真实世界条件下参与测试的主体中,因年龄或残疾而属于弱势群体的人员应得到适当保护;

(h)

当提供者或拟提供者与一个或多个部署者或拟部署者合作组织真实世界条件下的测试时,后者应当被告知与决定是否参与相关的所有测试事项,并获得第13条所述的人工智能系统相关使用说明;提供者或拟提供者与部署者或拟部署者应当订立协议,明确双方的角色与责任,以确保遵守本条例以及其它适用的欧盟和国家法律关于真实世界条件测试的规定;

(i) 在真实世界条件下进行测试的受试者已根据第61条的规定作出知情同意;或者,在执法情形下,若寻求知情同意将妨碍人工智能系统的测试,则该测试及其在真实世界条件下的结果不得对受试者产生任何不利影响,且其个人数据应在测试完成后予以删除;

(j) 在真实世界条件下的测试由提供者或拟提供者以及部署者或拟部署者有效监督,相关监督人员应具备相应领域的适当资质,并拥有履行其职责所需的必要能力、培训及权限;

(k)

人工智能系统的预测、建议或决策能够被有效撤销并予以忽略。

5. 在真实世界条件下的测试中的任何受试者,或其依法指定的代表(视情况而定),均可随时通过撤回其知情同意的方式退出测试,且无需承担任何不利后果,亦无需提供任何理由,并可要求立即永久删除其个人数据。撤回知情同意的行为不影响已开展的相关活动。

6. 根据第75条的规定,各成员国应当赋予其市场监督机构以下权力:要求提供者及拟提供者提供相关信息、开展未经事先通知的远程或现场检查,以及对现实条件下的测试活动及相关高风险人工智能系统进行核查。市场监督机构应当运用上述权力,确保现实条件下的测试活动安全开展。

7. 在现实条件下的测试过程中发现的任何严重事件,均应当按照第73条的规定报告给国家市场监督机构。提供者或拟提供者应当立即采取缓解措施;如未能及时采取,则应当暂停现实条件下的测试活动,直至相关缓解措施落实,或者另行终止该测试活动。在测试活动被终止的情况下,提供者或拟提供者应当建立一套程序,以便迅速召回相关的人工智能系统。

8. 提供者或拟提供者应当就将在其拟开展现实条件下的测试活动的成员国境内的市场监督机构,通报有关测试活动的暂停或终止情况以及最终结果。

9. 提供者或拟提供者应当根据适用的欧盟及成员国责任法,对其在现实条件下的测试活动中造成的任何损害承担法律责任。

第六章 · 第六十一条

在人工智能监管沙盒之外的现实条件下参与测试的知情同意

1. 为依据第60条在真实世界条件下开展测试之目的,应在受试者参与此类测试之前,并在其已获知有关以下内容的简明、清晰、相关且易于理解的信息后,取得其自由给予的知情同意:

(a)

真实世界条件下测试的性质与目的,以及与其参与可能相关的不便之处;

(b)

真实世界条件下测试的实施条件,包括受试者参与的预计时长;

(c) 其权利及关于其参与的保障措施,特别是其有权随时拒绝参与并退出真实世界条件下的测试,且不会因此遭受任何不利后果,亦无需提供任何理由;

(d) 关于请求撤销或不予采纳人工智能系统所作出的预测、建议或决定的相关安排;

(e) 根据第60条第4款第(c)项规定的真实世界条件下测试的欧盟统一唯一识别号码,以及可获取更多信息的提供方或其法定代理人的联系方式。

2. 知情同意书应当注明日期并予以记录,且应向受试者或其法定代理人提供一份副本。

第六章 · 第六十二条

针对服务提供者和部署者,尤其是中小企业,包括初创企业的措施

1. 成员国应当采取下列措施:

(a)

向在欧盟境内设有注册办事处或分支机构的中小企业,包括初创企业,在符合资格条件和遴选标准的前提下,提供优先接入人工智能监管沙盒的途径;上述优先接入并不排除其他中小企业,包括本款所述以外的初创企业,只要其亦符合资格条件和遴选标准,即可接入人工智能监管沙盒;

(b)

针对中小企业,包括初创企业、部署方以及必要时的地方公共当局,组织开展专门的宣传与培训活动,以促进本条例的实施;

(c) 利用现有专用渠道,并在适当情况下设立新的沟通渠道,与中小企业,包括初创企业、部署方及其他创新主体,以及必要时的地方公共当局保持联系,为其提供咨询并解答有关本条例实施的问题,包括参与人工智能监管沙盒的相关事宜;

(d) 促进中小企业及其他相关利益攸关方参与标准化制定过程。

2. 在依据第43条确定合格评定费用时,应当充分考虑中小企业供应商,包括初创企业的具体利益与需求,并根据其规模、市场规模及其他相关指标相应降低收费标准。

3. 人工智能办公室应当履行下列职责:

(a)

提供本条例所涵盖各领域的标准化模板,具体由委员会在其请求中予以规定;

(b)

开发并维护一个单一的信息平台,为全欧盟范围内的所有经营者提供与本条例相关的易于使用的信息;

(c) 组织适当的宣传活动,以提高对本条例所产生义务的认识;

(d) 评估并促进人工智能系统相关公共采购程序中最佳实践的趋同。

第六章 · 第六十三条

针对特定经营者的豁免

1. 根据第2003/361/EC号建议所界定的微型企业,可在不拥有该建议所指的合伙企业或关联企业的前提下,以简化方式遵守本条例第17条所要求的质量管理体系中的某些要素。为此,委员会应针对微型企业的需求,制定有关可采用简化方式予以遵守的质量管理体系要素的指南,同时不得影响保护水平或对高风险人工智能系统相关要求的合规必要性。

2. 本条第1款不得解释为免除经营者履行本条例中规定的任何其他要求或义务,包括第9条、第10条、第11条、第12条、第13条、第14条、第15条、第72条和第73条所确立的要求。

治理

联盟层面的治理

第一节 · 第六十四条

人工智能办公室

1. 委员会应当通过人工智能办公室,发展欧盟在人工智能领域的专业知识与能力。

2. 成员国应当为本条例所载的人工智能办公室所承担的各项任务提供便利。

第一节 · 第65条

欧洲人工智能委员会的设立与结构

1. 特此设立欧洲人工智能委员会(以下简称“委员会”)。

2. 委员会由每个成员国各派一名代表组成。欧洲数据保护监督员以观察员身份参与。人工智能办公室亦列席委员会会议,但不参与表决。对于所讨论议题与其相关的情形,委员会可按个案邀请其他国家及欧盟主管机关、机构或专家出席会议。

3. 每名代表由其所属成员国指定,任期三年,可续任一次。

4. 成员国应当确保其在委员会中的代表:

(a)

在其本国具备相应的职权与能力,以便为实现第66条所述的委员会任务作出积极贡献;

(b)

被指定为与委员会对接的唯一联络点,并在适当情况下,根据成员国的实际需求,作为与利益相关方对接的唯一联络点;

(c) 被赋予促进其本国各相关主管机关在本条例实施方面的协调一致的职责,包括为履行其在委员会中的职责而收集相关数据与信息。

5. 成员国的指定代表应当以三分之二多数通过理事会的议事规则。该议事规则尤其应当规定主席的遴选程序、任期以及职责范围,投票的具体安排,以及理事会及其各分组活动的组织方式。

6. 理事会应当设立两个常设分组,分别为市场监管机构和公告机构就各自相关问题提供合作与交流的平台。

市场监管常设分组应当作为本条例所指的行政合作小组(ADCO),其职能依照《欧盟》2019/1020号条例第30条的规定执行。

理事会可以根据需要设立其他常设或临时分组,以专门审议特定议题。在适当情况下,可以邀请第67条所述咨询论坛的代表以观察员身份参加此类分组或其特定会议。

7. 理事会的组织与运作应当确保其各项活动的客观性和公正性。

8. 理事会由成员国的一名代表担任主席。人工智能办公室负责为理事会提供秘书处服务,应主席要求召集会议,并根据本条例及理事会议事规则规定的任务编制会议议程。

第一节 · 第66条

委员会的职责

委员会应当向委员会和各成员国提供建议并予以协助,以促进本条例的一致且有效实施。为此目的,委员会尤其可以:

(a)

促进负责实施本条例的各国主管当局之间的协调,并在与相关市场监督机构合作且经其同意的前提下,支持第74条第11款所述的市场监督机构的联合活动;

(b)

在各成员国之间收集并共享技术和监管方面的专业知识及最佳实践;

(c) 就本条例的实施提供咨询意见,特别是在有关通用人工智能模型规则的执行方面;

(d) 促进各成员国行政实践的协调统一,包括与第46条所述的符合性评估程序的豁免、人工智能监管沙盒的运作,以及第57条、第59条和第60条所述的真实环境测试等相关事项;

(e) 应委员会的要求或依职权,就与本条例的实施及其一致且有效适用相关的任何事项发布建议和书面意见,包括:

(i) 关于根据本条例制定和实施行为准则及实践守则,以及委员会相关指南的情况;

(ii) 根据第112条对本条例进行的评估与审查,包括涉及第73条所述严重事件报告以及第71条所述欧盟数据库的运行情况、委托或实施性法案的制定,以及本条例与附件I所列欧盟协调立法之间可能存在的衔接;

(iii) 关于第三章第二节所规定要求的技术规范或现有标准;

(iv) 关于第40条和第41条所述协调标准或通用规范的使用;

(v) 各类趋势,例如欧洲在人工智能领域的全球竞争力、人工智能在欧盟的普及程度以及数字技能的发展状况;

(vi)

有关人工智能价值链不断演变的类型学趋势,特别是由此产生的问责制方面的影响;

(vii)

关于根据第7条对附件III进行修订的潜在必要性,以及根据第112条对第5条进行可能修订的潜在必要性,并应充分考虑相关现有证据及技术领域的最新发展;

(f) 支持委员会促进人工智能素养、公众意识,以及对人工智能系统应用所带来的益处、风险、保障措施、权利与义务的理解。

(g)

促进市场经营者和有关主管当局就本条例所规定的相关概念形成共同标准和共识,包括通过协助制定基准指标;

(h)

适当情况下,与其他欧盟机构、机关、办事处和机构以及相关的欧盟专家组和网络开展合作,特别是在产品安全、网络安全、竞争、数字与媒体服务、金融服务、消费者保护、数据及基本权利保护等领域;

(i) 为与第三国主管当局及国际组织的有效合作作出贡献;

(j) 协助各国主管当局和委员会发展实施本条例所需的组织与技术专长,包括为参与实施本条例的成员国工作人员的培训需求评估提供支持;

(k)

协助人工智能办公室支持各国主管当局建立和发展人工智能监管沙盒,并促进各人工智能监管沙盒之间的合作与信息共享;

(l)

为指导文件的制定作出贡献并提供相关建议;

(m)

就人工智能领域的国际事务向委员会提供建议;

(n)

就有关通用型人工智能模型的合格警报向委员会提供意见;

(o)

收集成员国关于通用人工智能模型相关预警的意见,以及在人工智能系统监测与执法方面的国家经验和做法,尤其是那些整合了通用人工智能模型的系统。

第一节 · 第67条

咨询论坛

1. 应设立一个咨询论坛,以提供技术专长并为委员会和专员会提供建议,同时为其在本条例下的各项任务作出贡献。

2. 咨询论坛的成员应体现利益相关方的均衡选择,包括产业界、初创企业、中小企业、民间社会及学术界。咨询论坛的成员构成应在商业利益与非商业利益之间保持平衡,并且在商业利益类别内,还应兼顾中小企业及其他经营主体。

3. 委员会应根据第2款所列标准,从人工智能领域具有公认专业能力的利益相关方中任命咨询论坛的成员。

4. 咨询论坛成员的任期为两年,可最多延长至四年。

5. 基本人权局、ENISA、欧洲标准化委员会(CEN)、欧洲电工标准化委员会(CENELEC)以及欧洲电信标准协会(ETSI)应为咨询论坛的永久成员。

6. 咨询论坛应制定其议事规则。它应根据第2款所列标准,在其成员中选举产生两名联合主席。联合主席的任期为两年,可连任一次。

7. 咨询论坛每年至少召开两次会议。咨询论坛可以邀请专家及其他利益相关方参加其会议。

8. 咨询论坛可应理事会或委员会之请求,拟定意见、建议及书面意见。

9. 咨询论坛得根据需要设立常设或临时性分组,以审议与本条例目标相关的具体问题。

10. 咨询论坛应当就其活动编制年度报告,并将该报告予以公开。

第一节 · 第68条

独立专家科学小组

1. 委员会应当通过一项实施性法案,就设立一个由独立专家组成的科学专家组(以下简称“科学专家组”)作出规定,该专家组旨在支持本条例项下的执法活动。该项实施性法案应当依照第98条第2款所述的审查程序予以通过。

2. 科学专家组应当由委员会根据人工智能领域履行第3款所列任务所需的最新科学或技术专长遴选的专家组成,并且应当能够证明其符合下列全部条件:

(a)

在人工智能领域具备特定的专业知识、能力和科学或技术专长;

(b)

独立于任何人工智能系统或通用型人工智能模型的提供者;

(c) 能够勤勉、准确且客观地开展各项活动。

委员会在与理事会协商后,应当根据实际需要确定专家组的专家人数,并确保性别和地域上的公平代表性。

3. 科学专家组应当为人工智能办公室提供建议和支持,特别是在以下任务方面:

(a)

就通用型人工智能模型和系统而言,支持本条例的实施与执行,特别是通过:

(i) 根据第90条,向人工智能办公室通报通用型人工智能模型在欧盟层面可能存在的系统性风险;

(ii) 为评估通用人工智能模型和系统能力的工具与方法学的发展作出贡献,包括通过基准测试等方式;

(iii) 就具有系统性风险的通用人工智能模型的分类提供意见;

(iv) 就各类通用人工智能模型和系统的分类提供意见;

(v) 为工具和模板的开发作出贡献;

(b)

应市场监督机构的要求,为其工作提供支持;

(c) 在不影响市场监督机构职权的前提下,支持第74条第11款所指的跨境市场监督活动;

(d) 支持人工智能办公室在根据第81条开展的欧盟保障程序框架内履行其职责。

4. 科学专家组的专家应当以公正、客观的态度履行其职责,并确保在其执行任务和开展活动过程中所获取的信息和数据的保密性。专家在行使第3款规定的职责时,不得寻求或接受任何人的指示。每位专家均应提交利益声明,并予以公开。人工智能办公室应当建立相关制度和程序,以主动管理和防范潜在的利益冲突。

5. 第1款所述的实施法案应当包含有关科学专家组及其成员发布警报以及为履行科学专家组职责而请求人工智能办公室提供协助的条件、程序和具体安排的规定。

第一节 · 第69条

成员国对专家库的访问权限

1. 成员国可以邀请科学专家组的专家,以支持其根据本条例开展的执法活动。

2. 成员国可能需要为专家提供的咨询与支持支付费用。费用的构成与水平,以及可收回成本的范围与结构,应当在第68条第1款所指的实施法案中予以规定,并应充分考虑本条例得到适当实施的目标、成本效益,以及确保所有成员国都能有效获得专家支持的必要性。

3. 委员会应当根据需要,便利成员国及时获取专家的支持,并确保由欧盟人工智能测试支持(依据第84条)与本条项下的专家所提供的各项支持活动能够高效组织,从而实现最佳的附加价值。

国家主管机关

第二节 · 第70条

国家主管机关及单一联络点的指定

1. 各成员国应当设立或指定至少一个通知机构和至少一个市场监督机构作为本国的主管当局,以实施本条例。上述国家主管当局应当独立、公正、无偏地行使职权,以确保其活动与职责的客观性,并保障本条例的适用与实施。该等主管当局的成员应当避免从事任何与其职责相抵触的行为。在遵守上述原则的前提下,根据成员国的组织需求,上述活动与职责可以由一个或多个指定机构履行。

2. 成员国应当向委员会通报通知机构和市场监督机构的名称及其职责,以及此后发生的任何变更。成员国应当于2025年8月2日前通过电子通信方式公开有关主管当局及单一联络点的联系方式。成员国应当指定一家市场监督机构作为本条例的单一联络点,并将该单一联络点的名称通报委员会。委员会应当将各单一联络点的名单予以公开。

3. 成员国应当确保其国家主管当局获得充足的技术、财务和人力资源,并配备必要的基础设施,以便有效履行本条例规定的各项职责。特别是,国家主管当局应当拥有足够数量的常设人员,其能力和专业知识应包括对人工智能技术、数据及数据处理、个人数据保护、网络安全、基本权利、健康与安全风险的深入了解,以及对现行标准和法律要求的熟悉程度。成员国应当每年评估并视需要更新本款所述的能力与资源要求。

4. 国家主管当局应当采取适当措施,以确保达到适当的网络安全水平。

5. 在履行其职责时,国家主管当局应当遵守第78条所规定的保密义务。

6. 成员国应当在2025年8月2日前,以及此后每两年一次,向委员会报告国家主管当局的财务和人力资源状况,并对其充分性作出评估。委员会应当将上述信息转交董事会,供其讨论并提出可能的建议。

7. 委员会应当促进国家主管当局之间的经验交流。

8. 国家主管当局可以就本条例的实施提供指导和建议,特别是针对包括初创企业在内的中小企业,并在适当情况下考虑欧盟委员会及董事会的相关指导和建议。每当国家主管当局拟就其他欧盟法律所涵盖领域的某一人工智能系统提供指导和建议时,应当根据具体情况咨询该领域相关欧盟法律下的国家主管当局。

9. 当欧盟各机构、机关、办事处或代理机构属于本条例的适用范围时,欧洲数据保护监督员应作为其监管的主管当局。

欧盟高风险人工智能系统数据库

第八章 · 第71条

附件三所列高风险人工智能系统的欧盟数据库

1. 欧盟委员会应当与各成员国合作,建立并维护一个欧盟数据库,该数据库载有本条第2款和第3款所述的、根据第49条和第60条登记的第6条第2款所指的高风险人工智能系统的信息,以及根据第6条第3款不被视为高风险且依据第6条第4款和第49条登记的人工智能系统的信息。在制定该数据库的功能规格时,欧盟委员会应当征询相关专家的意见;在更新该数据库的功能规格时,欧盟委员会应当征询欧洲数据保护委员会的意见。

2. 附件VIII A部分和B部分所列数据应当由提供者或者在适用情况下由授权代表录入欧盟数据库。

3. 附件VIII C部分所列数据应当由部署者录入欧盟数据库,该部署者为公共当局、机构或组织,或者代表此类主体行事,并且应当依照第49条第3款和第4款的规定进行录入。

4. 除第49条第4款及第60条第4款(c)项所指之部分外,依据第49条规定登记于欧盟数据库中的信息,应以用户友好的方式向公众开放并可供查阅。该信息应当便于导航且可机器读取。依据第60条规定登记的信息,除非拟提供者或提供者已同意亦向公众开放,否则仅限市场监督机构及委员会访问。

5. 欧盟数据库仅在为依照本条例收集与处理信息所必需的范围内,方可包含个人数据。该等信息应包括负责登记系统且具有代表提供者或部署者(视具体情况而定)之法律权限的自然人的姓名及联系方式。

6. 欧盟数据库的控制者为委员会。委员会应向提供者、拟提供者及部署者提供充分的技术与行政支持。欧盟数据库应当符合适用的无障碍要求。

市场后监测、信息共享与市场监管

市场后监测

第一节 · 第72条

供应商的上市后监测及高风险人工智能系统的上市后监测计划

1. 提供者应当按照与人工智能技术性质及高风险人工智能系统风险相称的方式,建立并记录一套上市后监测体系。

2. 上市后监测体系应当主动且系统地收集、记录并分析相关数据,这些数据可由部署方提供,也可通过其他来源获取,用于评估高风险人工智能系统在其整个生命周期内的性能,并使提供者能够评价该等人工智能系统是否持续符合第三章第二节所规定的要求。在相关情况下,上市后监测还应当包括对与其他人工智能系统交互情况的分析。此项义务不适用于作为执法机关的部署方的敏感运营数据。

3. 上市后监测体系应当以上市后监测计划为基础。上市后监测计划应当作为附件四所述技术文件的一部分。委员会应当于2026年2月2日前通过一项实施法案,就上市后监测计划的模板及其应包含的各项要素作出详细规定。该实施法案应当依照第九十八条第二款所述的审查程序予以通过。

4. 对于附录I A部分所列、受欧盟协调立法管辖的高风险人工智能系统,若该等立法已规定了上市后监测制度与计划,为确保一致性、避免重复并最大限度减轻额外负担,提供者可选择将第1款、第2款和第3款所述必要要素,按照第3款提及的模板,整合至该等立法项下已存在的相关制度与计划中,前提是此举能够达到同等水平的保护。

本款第一 subparagraph亦适用于附录III第5点所指的高风险人工智能系统,此类系统由受欧盟金融服务法律关于其内部治理、安排或流程之要求约束的金融机构投放市场或投入使用。

严重事件信息的共享

第二节 · 第73条

严重事件的报告

1. 在欧盟市场上投放高风险人工智能系统的供应商应当就任何严重事件向该事件发生地成员国的市场监督机构报告。

2. 第1款所述的报告应当在供应商确认人工智能系统与该严重事件之间存在因果关系或存在此种因果关系的合理可能性后立即提交,且无论如何不得迟于供应商或在适用情况下部署者知悉该严重事件之日起15日内提交。

第1款所述报告的提交期限应当考虑该严重事件的严重程度。

3. 尽管有本条第2款的规定,如发生广泛性违规行为或者符合第3条第(49)(b)项所定义的严重事件时,本条第1款所述的报告应当立即提交,且不得迟于供应商或在适用情况下部署者知悉该事件之日起2日内提交。

4. 尽管有第2款的规定,如发生人员死亡事件,报告应当在供应商或部署者确认或初步怀疑高风险人工智能系统与该严重事件之间存在因果关系后立即提交,但最迟不得超过供应商或在适用情况下部署者知悉该严重事件之日起10日内提交。

5. 为确保及时报告,在必要情况下,供应商或在适用情况下部署者可以先提交一份不完整的初步报告,随后再提交完整报告。

6. 在根据第1款报告严重事件后,提供者应当立即就该严重事件及所涉人工智能系统开展必要的调查。此项调查应当包括对该事件的风险评估以及纠正措施。

提供者在进行第一款所述的调查期间,应当与主管当局合作,并在必要时与相关公告机构合作;在未将此类行动告知主管当局之前,不得实施任何可能以影响后续对事件原因之评估的方式改变所涉人工智能系统的调查。

7. 在收到与第3条第(49)(c)项所述严重事件相关的通知后,有关市场监督机构应当通知第77条第1款所述的国家公共机关或机构。欧盟委员会应当制定专门指南,以促进本条第1款所规定义务的履行。该指南应当于2025年8月2日前发布,并定期予以评估。

8. 市场监督机构应当自收到本条第1款所述通知之日起七日内,采取《条例(欧盟)2019/1020》第19条规定的适当措施,并遵循该条例所规定的通报程序。

9. 对于附件三所指的高风险人工智能系统,若其由受欧盟立法文书规制、且该等文书规定了与本条例所载报告义务相当之报告义务的供应商投放市场或投入使用,则严重事件的通知仅限于第3条第(49)(c)项所述的情形。

10. 对于作为医疗器械安全组件或本身即为医疗器械的高风险人工智能系统,若其受《欧盟》2017/745号法规和《欧盟》2017/746号法规管辖,则严重事件的通知仅限于本条例第3条第(49)(c)项所述的情形,并应向事故发生地成员国为此目的所指定的国家主管当局作出通报。

11. 国家主管当局应当根据《欧盟》2019/1020号法规第20条的规定,无论是否已就该严重事件采取行动,均应立即向委员会通报。

执行

第三节 · 第74条

联盟市场中人工智能系统的市场监管与控制

1. 欧盟第2019/1020号条例适用于本条例所涵盖的人工智能系统。为有效实施本条例之目的:

(a)

凡提及欧盟第2019/1020号条例项下的经济经营者,均应理解为包括本条例第2条第1款所列的所有经营者;

(b)

凡提及欧盟第2019/1020号条例项下的产品,均应理解为包括所有属于本条例适用范围的人工智能系统。

2. 作为其根据欧盟第2019/1020号条例第34条第4款所负报告义务的一部分,市场监督机构应当每年向委员会及相关国家竞争主管机关报告在市场监督活动中发现的、可能对适用欧盟竞争规则具有潜在意义的任何信息。此外,还应当每年向委员会报告该年度内发生的禁止性做法及其采取的相应措施。

3. 对于与附件I A部分所列的受欧盟协调立法管辖的产品相关联的高风险人工智能系统,就本条例而言,市场监督机构应当为依据上述法律文件指定的负责市场监督活动的主管机构。

除第一款另有规定外,在适当情况下,成员国可以指定另一相关主管机构作为市场监督主管机构,但须确保其与负责执行附件一中所列的欧盟协调立法的相关行业性市场监督主管机构之间保持协调。

4. 本条例第79条至第83条所述程序不适用于与附件一A部分所列的欧盟协调立法涵盖的产品相关的人工智能系统;在该等法律文件已规定能够确保同等保护水平且具有相同目标的程序时,应适用这些相关行业性程序。

5. 在不影响《条例》(EU)2019/1020第14条所赋予的市场监督主管机构职权的前提下,为确保本条例的有效实施,市场监督主管机构可根据需要以远程方式行使该条例第14条第4款第(d)项和第(j)项所规定的职权。

6. 对于投放市场、投入使用或由受欧盟金融服务法监管的金融机构使用的高风险人工智能系统,就本条例之目的而言,其市场监督主管机构应为根据该法律负责对上述金融机构进行金融监管的相关国家主管机构,前提是该人工智能系统的投放市场、投入使用或使用与其提供相关金融服务存在直接关联。

7. 作为对第6款的例外规定,在适当情况下且确保协调的前提下,成员国可以指定另一相关主管机构为本条例所指的市场监督主管机构。

负责监督根据《2013/36/EU号指令》监管的受监管信贷机构的各国市场监督主管机构,如该等机构参与了由《(EU) No 1024/2013号条例》设立的单一监管机制,则应在其市场监督活动中发现可能对《该条例》所规定的欧洲中央银行审慎监管职责具有潜在意义的任何信息时,立即向欧洲中央银行报告。

8. 对于本条例附件III第1点所列的高风险人工智能系统,只要其用于执法、边境管理以及司法和民主领域;以及对于本条例附件III第6、7和8点所列的高风险人工智能系统,成员国应当指定以下任一机构为本条例所指的市场监督主管机构:依据《(EU) 2016/679号条例》或《(EU) 2016/680号指令》设立的主管数据保护的监督机构,或者依照《(EU) 2016/680号指令》第41至44条规定的相同条件指定的其他主管机构。市场监督活动不得以任何方式影响司法机关的独立性,亦不得以其他方式妨碍其在履行司法职能时的活动。

9. 在欧盟机构、机关、办事处或代理机构属于本条例适用范围的情况下,欧洲数据保护监督员应作为其市场监督主管机关,但就以司法职能行事的欧洲联盟法院除外。

10. 成员国应当促进根据本条例指定的市场监督主管机关与其他相关国家主管机关或机构之间的协调,这些机关或机构负责监督附件一中所列的欧盟协调立法或其他可能与附件三所述高风险人工智能系统相关的欧盟法律的实施。

11. 市场监督主管机关和委员会可以提议开展联合活动,包括由市场监督主管机关单独或与委员会联合进行的联合调查,旨在促进合规、识别不合规行为、提高意识或就本条例提供指导,涉及在两个或多个成员国被认定为存在严重风险的特定类别高风险人工智能系统,此类情况应依照《欧盟》2019/1020号条例第9条予以认定。人工智能办公室应当为联合调查提供协调支持。

12. 在不影响《欧盟》2019/1020号条例所赋予之权力的前提下,且在相关情况下并仅限于履行其职责所必需的范围内,市场监督机构应被供应商授予充分访问权,以获取用于开发高风险人工智能系统的相关文件以及用于该系统开发的培训、验证和测试数据集;在适当情况下,并在采取必要安全保护措施的前提下,此种访问可通过应用程序编程接口(API)或其他相关技术手段和工具实现远程访问。

13. 市场监督机构应在提出合理请求后,且仅当同时满足以下两个条件时,方可获得高风险人工智能系统的源代码:

(a)

获取源代码对于评估该高风险人工智能系统是否符合第三章第二节所规定的要求而言是必要的;以及

(b)

基于供应商提供的数据和文件所进行的测试、审计程序及核查已穷尽或已被证明不足。

14. 市场监督机构所获取的任何信息或文件均应按照第78条规定的保密义务予以处理。

第三节 · 第75条

相互协助、市场监督以及通用人工智能系统的管控

1. 在人工智能系统基于通用型人工智能模型且该模型与系统由同一提供者开发的情况下,人工智能办公室有权对该人工智能系统是否符合本条例规定的各项义务进行监测和监督。为履行其监测和监督职责,人工智能办公室应享有本节及《欧盟》2019/1020号条例所规定的市场监督机构的一切职权。

2. 当相关市场监督机构有充分理由认为,可被部署方直接用于至少一项根据本条例被归类为高风险用途的通用型人工智能系统不符合本条例规定的要求时,应当与人工智能办公室合作开展合规性评估,并相应地向委员会及其他市场监督机构通报情况。

3. 当市场监督机构在已尽一切合理努力获取与通用人工智能模型相关的信息的情况下,仍无法就高风险人工智能系统完成调查时,该机构可以向人工智能办公室提交一份有理有据的请求,要求强制获取上述信息。在此情形下,人工智能办公室应当毫不拖延地、且无论如何应在三十日内,向提出请求的主管机构提供其认为有助于判定高风险人工智能系统是否不符合规定的相关信息。市场监督机构应当依照本条例第78条的规定,对所获取的信息予以保密。《欧盟》2019/1020号条例第六章规定的程序应当比照适用。

第三节 · 第76条

市场监督机构对真实条件下测试的监督

1. 市场监督机构应当具备确保在真实世界条件下开展的测试符合本条例规定的职权和权力。

2. 对于根据第58条在人工智能监管沙盒内接受监管的人工智能系统,若在其真实世界条件下开展测试,市场监督机构应当在其对人工智能监管沙盒的监督职责范围内,核查其是否符合第60条的规定。该等机构可在适当情况下,允许由提供者或拟提供者在偏离第60条第4款第(f)项和第(g)项所规定条件的前提下开展真实世界条件下的测试。

3. 当市场监督机构从拟提供者、提供者或任何第三方获悉发生严重事件,或者有其他理由认为第60条和第61条所规定条件未获满足时,其可在其管辖区域内酌情作出下列任一决定:

(a)

暂停或终止真实世界条件下的测试;

(b)

要求提供者或拟提供者以及部署者或拟部署者对真实世界条件下的测试的任何方面进行修改。

4. 当市场监督机构作出本条第3款所述决定,或者依据第60条第4款第(b)项发出异议时,该决定或异议应当载明其依据,并说明提供者或拟提供者如何对该决定或异议提出异议。

5. 在适用情况下,如果市场监督机构已作出第3款所述的决定,应当将其理由告知其他成员国中已按照测试计划对该人工智能系统进行过测试的市场监督机构。

第三节 · 第77条

保护基本权利的机关的职权

1. 国家公共机关或者负责监督并确保遵守欧盟法律中有关保护基本权利(包括不受歧视的权利)之义务的机构,对于附件三所指的高风险人工智能系统,在其职权范围内为有效履行职责而有必要获取相关文件时,有权以可访问的语言和格式请求并查阅根据本条例制作或保存的任何文件。相关公共机关或者机构应当将此类请求告知有关成员国的市场监督机构。

2. 各成员国应当在2024年11月2日前确定第1款所述的公共机关或者机构,并将其名单向社会公开。成员国应当将该名单通报委员会及其他成员国,并及时予以更新。

3. 如第1款所述的文件不足以确认是否已发生违反欧盟保护基本权利相关法律义务的行为,第1款所述的公共机关或者机构可以向市场监督机构提出有理由的请求,通过技术手段对高风险人工智能系统进行测试。市场监督机构应当在收到请求后合理期限内,在请求方公共机关或者机构的密切参与下组织开展该项测试。

4. 根据本条的规定,由本条第1款所述的国家公共机关或机构获取的任何信息或文件,均应按照第78条规定的保密义务予以处理。

第三节 · 第78条

保密性

1. 委员会、市场监督机构、指定机构以及任何其他参与本条例适用的自然人或法人,均应依照欧盟法律或成员国法律,对在履行其职责和开展相关活动过程中获取的信息和数据予以保密,并采取适当措施予以保护,尤其应当:

(a)

自然人或法人的知识产权以及商业秘密或机密商业信息,包括源代码,但《欧洲议会和理事会关于保护未披露信息的指令》(EU)2016/943第5条所列情形除外;

(b)

本条例的有效实施,特别是为进行检查、调查或审计之目的;

(c) 公共安全及国家安全利益;

(d) 刑事或行政程序的进行;

(e) 根据欧盟法律或成员国法律被定密的信息。

2. 根据第1款规定参与本条例适用的各主管机关,仅得要求提供为评估人工智能系统所构成风险以及依据本条例和《欧盟条例》(EU)2019/1020行使其职权所严格必需的数据。上述机关应当采取充分且有效的网络安全措施,以保障所获取信息和数据的安全与保密,并按照适用的欧盟法律或成员国法律,在数据不再用于其最初收集目的时及时予以删除。

3. 在不影响第1款和第2款的前提下,当附件III第1、6或7点所指的高风险人工智能系统被执法、边境管控、移民或庇护主管机关使用,且该等信息的披露将危及公共及国家安全利益时,国家主管当局之间或国家主管当局与委员会之间以保密方式交换的信息,未经原发信息的国家主管当局及部署方事先协商,不得予以披露。此种信息交换不应涉及与执法、边境管控、移民或庇护主管机关活动相关的敏感业务数据。

当执法、移民或庇护主管机关为附件III第1、6或7点所指的高风险人工智能系统的提供者时,附件IV所述的技术文件应保存于该等主管机关的办公场所内。该等主管机关应当确保,根据适用情况,第74条第8款和第9款所指的市场监督主管机关在提出请求时,能够立即查阅该等文件或获取其副本。仅限持有相应安全许可级别的市场监督主管机关工作人员方可查阅该等文件或其任何副本。

4. 第1款、第2款和第3款不得影响委员会、各成员国及其相关主管机关,以及公告机构在信息交换和预警发布方面的权利或义务,包括在跨境合作背景下的相关活动;亦不得影响有关各方根据各成员国刑法规定提供信息的义务。

5. 委员会和各成员国可在必要时,并依据国际协定及贸易协定的相关规定,与已与其缔结双边或多边保密安排、且该等安排能够确保充分保密水平的第三国监管机构交换机密信息。

第三节 · 第79条

国家层面处理存在风险的人工智能系统的程序

1. 人工智能系统若存在风险,应被视为《欧盟条例》(EU)2019/1020第3条第19项所定义的“存在风险的产品”,只要其对人的健康或安全,或者对基本权利构成风险。

2. 当某一成员国的市场监督机构有充分理由认为某人工智能系统存在本条第1款所述的风险时,应当对该人工智能系统是否符合本条例规定的各项要求和义务进行评估。尤其应当关注对弱势群体构成风险的人工智能系统。如发现存在对基本权利的风险,市场监督机构还应当及时通知并充分配合第77条第1款所提及的相关国家公共机关或机构。相关经营者应当根据需要与市场监督机构以及第77条第1款所提及的其他国家公共机关或机构予以合作。

在该项评估过程中,如果市场监督机构或者在适用情况下由市场监督机构与第77条第1款所述的国家公共当局合作认定人工智能系统不符合本条例规定的各项要求和义务,则该机构应当毫不拖延地要求相关经营者采取一切适当的纠正措施,以使该人工智能系统符合规定,或在市场监督机构所规定的期限内将该人工智能系统从市场上撤回,或予以召回;无论如何,该期限不得超过15个工作日,或者按照相关欧盟协调立法的规定执行。

市场监督机构应当相应地通知有关的公告机构。本款第二段所述措施适用《欧盟》2019/1020号条例第18条的规定。

3. 如果市场监督机构认为该不合规情形不仅限于其本国境内,则应当毫不拖延地将评估结果以及其已要求经营者采取的措施通报欧盟委员会和其他成员国。

4. 经营者应当确保对其已在欧盟市场上投放的所有相关人工智能系统采取一切适当的纠正措施。

5. 在人工智能系统运营者未在第2款所述期限内采取充分的纠正措施的情况下,市场监督机构应当采取一切适当的临时措施,以禁止或限制该人工智能系统在其本国市场上提供或投入使用,或者从该市场撤回相关产品或独立的人工智能系统,亦或予以召回。该机构应当毫不拖延地将上述措施通知欧盟委员会及其他成员国。

6. 第5款所述的通知应当包含所有可获得的详细信息,特别是用于识别不符合要求的人工智能系统、该系统来源及供应链、所指称的不符合要求的性质及其涉及的风险、已采取的国家措施的性质与持续时间,以及相关运营者提出的理由等必要信息。尤其应当说明,该不符合要求是否系由以下一项或多项原因所致:

(a)

违反第5条所提及的人工智能应用禁令;

(b)

高风险人工智能系统未能满足第三章第二节所规定的要求;

(c) 第40条和第41条所提及的协调标准或通用规范存在缺陷,从而导致无法推定其符合性;

(d) 未遵守第50条

7. 除启动该程序的成员国市场监督机构以外的其他市场监督机构,应当在不无故拖延的情况下,将所采取的任何措施以及其所掌握的与相关人工智能系统不符合规定情形有关的任何补充信息通报委员会及其他成员国;如对已通报的国家措施持有异议,还应当一并通报其异议理由。

8. 在收到本条第5款所述通知之日起三个月内,若任何成员国的市场监督机构或委员会均未就另一成员国市场监督机构所采取的临时措施提出异议,则该措施应被视为合理。上述规定不影响根据《欧盟》2019/1020号条例第18条规定的相关经营者的程序性权利。如涉及本条例第5条所述的人工智能行为禁令之违反情形,本款所述的三个月期限应缩短为三十日。

9. 市场监督机构应当确保针对相关产品或人工智能系统及时采取适当的限制性措施,例如在不无故拖延的情况下将其从本国市场撤出。

第三节 · 第八十条

依据附件三,对供应商归类为非高风险的人工智能系统之处理程序

1. 在市场监督机构有充分理由认为,根据第6条第3款被提供者归类为非高风险的人工智能系统实际上属于高风险时,该市场监督机构应当依据第6条第3款所规定的条件以及欧盟委员会的相关指南,对该人工智能系统是否符合高风险人工智能系统的分类要求进行评估。

2. 在上述评估过程中,如果市场监督机构认定相关的人工智能系统属于高风险,则应当毫不拖延地要求相关提供者采取一切必要措施,使该人工智能系统符合本条例所规定的要求与义务,并在市场监督机构指定的期限内采取适当的纠正措施。

3. 如果市场监督机构认为相关的人工智能系统的使用范围不限于本国境内,则应当毫不拖延地将评估结果及已要求提供者采取的措施通报欧盟委员会及其他成员国。

4. 提供者应当确保采取一切必要措施,使该人工智能系统符合本条例所规定的要求与义务。如果相关人工智能系统的提供者未能在本条第2款所述期限内使该系统符合上述要求与义务,则应按照第99条的规定受到罚款处罚。

5. 提供者应当确保对其在欧盟市场上投放的所有相关人工智能系统采取一切适当的纠正措施。

6. 若相关人工智能系统的提供者未在本条第2款所述期限内采取充分的纠正措施,则适用第79条第5至第9款的规定。

7. 在依据本条第1款进行评估的过程中,若市场监督机构认定该人工智能系统被提供者错误地归类为非高风险,以规避第三章第二节相关要求的适用,则该提供者应根据第99条的规定受到罚款处罚。

8. 市场监督机构在行使对本条实施情况的监督职权时,应当依照《条例》(EU)2019/1020第11条的规定,开展适当检查,并特别考虑存储于本条例第71条所指的欧盟数据库中的相关信息。

第三节 · 第81条

联盟保障程序

1. 在收到第79条第5款所述通知后三个月内,或者在违反第5条所指人工智能应用禁令的情况下于30日内,若某一成员国的市场监督机构对另一成员国市场监督机构采取的措施提出异议,或欧盟委员会认为该措施违反欧盟法律,则欧盟委员会应毫不拖延地与相关成员国的市场监督机构及经营者或经营者们进行磋商,并对该国家措施予以评估。根据该项评估的结果,欧盟委员会应在自第79条第5款所述通知之日起六个月内,或在违反第5条所指人工智能应用禁令的情况下于60日内,决定该国家措施是否具有正当理由,并将其决定通知有关成员国的市场监督机构。同时,欧盟委员会还应将其决定通报所有其他市场监督机构。

2. 当委员会认为相关成员国采取的措施具有正当理由时,所有成员国应当确保针对有关的人工智能系统采取适当的限制性措施,例如要求该人工智能系统在不无故拖延的情况下从其市场撤出,并相应地通知委员会。当委员会认为该国家措施不具正当理由时,有关成员国应当撤销该措施,并相应地通知委员会。

3. 当国家措施被认为具有正当理由,且该人工智能系统的不符合要求被归因于本条例第40条和第41条所提及的协调标准或通用规范中的缺陷时,委员会应当适用《欧盟》第1025/2012号条例第11条规定的程序。

第三节 · 第82条

存在风险的合规人工智能系统

1. 在根据第79条开展评估,并经与第77条第1款所述相关国家主管机关协商后,如果某一成员国的市场监督机构认定,尽管某高风险人工智能系统符合本条例的规定,但其仍对人的健康或安全、基本权利或其他公共利益保护方面构成风险,则该机构应当要求相关经营者在规定期限内采取一切适当措施,确保有关的人工智能系统在投放市场或投入使用时不再存在该风险,且不得无故拖延。

2. 提供者或其他相关经营者应当确保在其已投放欧盟市场的所有相关人工智能系统均按照第1款所述成员国市场监督机构规定的时限采取纠正措施。

3. 各成员国应当立即将第1款所述的认定情况通报委员会及其他成员国。该信息应当包括所有可获得的详细资料,特别是用于识别相关人工智能系统的数据、该人工智能系统的来源及供应链、所涉风险的性质,以及所采取的国家措施的性质和持续时间。

4. 委员会应当在不无故拖延的情况下,与有关成员国及相关经营者进行磋商,并对所采取的国家措施予以评估。根据该评估的结果,委员会应当决定该措施是否合理,并在必要时提出其他适当措施。

5. 委员会应当立即将其决定通知有关成员国及相关经营者,并同时通报其他成员国。

第三节 · 第83条

正式不合规

1. 当成员国的市场监督机构作出下列任一认定时,应当要求相关提供者在该机构规定的期限内消除有关的不符合情形:

(a)

CE标志的加贴违反了第48条的规定;

(b)

CE标志尚未加贴;

(c) 第47条所述的欧盟符合性声明尚未编制;

(d) 第47条所述的欧盟符合性声明未按规定正确编制;

(e) 第71条所述的欧盟数据库登记尚未完成;

(f) 在适用情况下,尚未指定授权代表;

(g)

技术文件尚未备齐。

2. 若第1款所述的不符合情形仍然存在,有关成员国的市场监督机构应当采取适当且相称的措施,以限制或禁止该高风险人工智能系统在市场上投放,或者确保其被及时召回或从市场上撤回。

第三节 · 第84条

联盟人工智能测试支持结构

1. 委员会应当指定一个或多个欧盟人工智能测试支持机构,以在人工智能领域履行《2019/1020号条例》第21条第6款所列的各项任务。

2. 在不影响第1款所述任务的前提下,欧盟人工智能测试支持机构还应当应委员会、委员会或市场监督机构的请求,提供独立的技术或科学意见。

救济措施

第四节 · 第85条

向市场监督机构提出投诉的权利

在不影响其他行政或司法救济措施的前提下,任何有理由认为本条例规定遭到违反的自然人或法人,均可向相关市场监督机构提出投诉。

根据《欧盟》2019/1020号条例的规定,此类投诉应当被纳入市场监督活动的考量范围,并由市场监督机构按照为此专门制定的程序予以处理。

第四节 · 第86条

个人决策的解释权

1. 任何受影响的人,若其受到的决定系由部署者依据附件三所列高风险人工智能系统之输出作出,但附件三第2点所列系统除外,且该决定产生法律效力或以其他方式对其健康、安全或基本权利造成重大不利影响,则有权要求部署者提供关于该人工智能系统在决策程序中所发挥的作用以及所作决定之主要要素的清晰且有意义的说明。

2. 第1款不适用于根据欧盟法律或成员国法律并符合欧盟法律规定的、对该款所规定义务予以例外或限制的人工智能系统的使用。

3. 本条仅在第1款所述权利未被欧盟法律另行规定的情况下适用。

第四节 · 第87条

举报侵权行为及对举报人的保护

《欧盟》2019/1937号指令适用于本条例所涉违规行为的举报以及对举报此类违规行为之人的保护。

针对通用人工智能模型提供者的监督、调查、执法与监测

第五节 · 第88条

通用人工智能模型提供者的义务之履行

1. 委员会应享有对第五章进行监督和执行的专属权力,并应考虑第九十四条规定的程序性保障。委员会应将这些任务的实施委托给人工智能办公室,但此并不影响委员会的组织职权以及根据条约确定的成员国与欧盟之间的职权划分。

2. 在不损害第七十五条第三款的前提下,市场监督机构可在必要且适当的情况下,请求委员会行使本节所规定的权力,以协助其履行本条例项下的职责。

第五节 · 第89条

监测行动

1. 为履行本节赋予其的职责,人工智能办公室可采取必要措施,监督通用型人工智能模型提供者对本条例的有效实施与合规情况,包括其对经批准的行为准则的遵守情况。

2. 下游提供者有权就违反本条例的行为提出投诉。投诉应当有充分的理由,并至少载明:

(a)

相关通用型人工智能模型提供者的联系人信息;

(b)

对相关事实、所涉本条例条款以及下游提供者认为相关通用型人工智能模型提供者违反本条例之理由的说明;

(c) 其他任何下游提供者认为相关的资料,包括在适当情况下由其自行收集的信息。

第五节 · 第90条

科学专家组对系统性风险的警示

1. 科学专家组可在有理由怀疑以下情形时,向人工智能办公室发出有保留意见的警示:

(a)

通用型人工智能模型在欧盟层面构成具体且可识别的风险;或

(b)

通用型人工智能模型符合第51条所述条件。

2. 收到此类有保留意见的警示后,委员会可通过人工智能办公室,并在通知董事会之后,为评估相关事项而行使本节规定的权力。人工智能办公室应将根据第91至94条采取的任何措施通报董事会。

3. 有保留意见的警示应当充分说明理由,并至少载明:

(a)

与所涉系统性风险相关的通用型人工智能模型提供方的联络人;

(b)

对相关事实的描述以及科学专家组提出该警示的理由;

(c) 科学专家组认为相关的其他信息,包括在适当情况下其自行收集的信息。

第五节 · 第91条

请求提供文件和信息的权力

1. 委员会可以要求相关通用人工智能模型的提供者提供其依据第53条和第55条编制的文件,或者为评估该提供者是否遵守本条例所必需的任何其他信息。

2. 在发出信息请求之前,人工智能办公室可以与通用人工智能模型的提供者启动结构化对话。

3. 经科学专家组提出有充分依据的请求后,委员会可以向通用人工智能模型的提供者发出信息请求;在为履行第68条第2款规定的科学专家组职责而有必要且适当的情况下,方可进行此类信息请求。

4. 信息请求应当载明请求的法律依据及目的,明确所需提供的信息内容,设定提供信息的期限,并说明根据第101条对提供不正确、不完整或误导性信息所处以的罚款。

5. 有关通用人工智能模型的提供者或其代表应当提供所要求的信息。对于法人、公司或企业,或者在提供者不具有法人资格的情况下,依法或依其章程有权代表其行事的人,应当代表有关通用人工智能模型的提供者提供所要求的信息。经正式授权的律师可以代表其委托人提供信息。然而,若所提供的信息不完整、不正确或具有误导性,委托人仍应承担全部责任。

第五节 · 第92条

进行评估的权力

1. 人工智能办公室在征询委员会意见后,可以对相关通用人工智能模型开展评估:

(a)

在根据第91条收集的信息不足以评估提供者是否履行本条例项下义务时;或

(b)

在收到科学专家组依据第90条第1款(a)项提出的合格警示后,为调查具有系统性风险的通用人工智能模型在欧盟层面的系统性风险。

2. 委员会可以决定委任独立专家代表其开展评估工作,包括来自依据第68条设立的科学专家组的专家。为此任务而被委任的独立专家应当符合第68条第2款所列标准。

3. 为实施第1款之目的,委员会可以通过应用程序接口(API)或其他适当的技术手段和工具,包括源代码,请求获取相关通用人工智能模型的访问权限。

4. 访问请求应当载明法律依据、请求目的及理由,并明确要求提供访问的期限,以及未按要求提供访问时依据第101条所规定的罚款。

5. 相关通用人工智能模型的提供者或其代表应当提供所请求的信息。对于法人、公司或企业,或者当提供者不具有法人资格时,由依法或依其章程有权代表其行事的人士,应当代表相关通用人工智能模型的提供者提供所请求的访问权限。

6. 委员会应当通过实施性法案,规定评估的具体安排和条件,包括邀请独立专家参与的详细安排以及其遴选程序。该等实施性法案应当依照第98条第2款所述的审查程序予以通过。

7. 在请求获取相关通用人工智能模型的访问权限之前,人工智能办公室可以与该通用人工智能模型的提供者启动结构化对话,以收集有关该模型内部测试、防范系统性风险的内部保障措施,以及提供者为降低此类风险所采取的其他内部程序和措施的更多信息。

第五节 · 第93条

请求采取措施的权力

1. 在必要且适当的情况下,委员会可以要求提供者:

(a)

采取适当措施,以遵守第53条和第54条规定的义务;

(b)

在根据第92条进行的评估表明存在欧盟层面的严重且有据可依的系统性风险时,实施缓解措施;

(c) 限制该模型在市场上的提供、将其撤出市场或予以召回。

2. 在提出相关措施之前,人工智能办公室可以与通用人工智能模型的提供者启动结构化对话。

3. 如果在第2款所述的结构化对话过程中,具有系统性风险的通用人工智能模型的提供者承诺采取缓解措施以应对欧盟层面的系统性风险,委员会可以通过决定使这些承诺具有约束力,并宣布不再存在采取进一步行动的理由。

第五节 · 第94条

通用目的人工智能模型的经济运营者的程序性权利

《欧盟》2019/1020号条例第18条在不损害本条例所规定的更为具体的程序性权利的前提下,应比照适用于通用人工智能模型的提供者。

行为准则与指导原则

第十章 · 第九十五条

自愿适用特定要求的行为准则

1. 人工智能办公室与各成员国应当鼓励并促进制定行为准则,包括相关治理机制,旨在推动除高风险人工智能系统之外的其他人工智能系统自愿适用第三章第二节所规定的部分或全部要求,并充分考虑现有技术解决方案及行业最佳实践,以确保上述要求得以有效实施。

2. 人工智能办公室与各成员国应当在明确的目标和关键绩效指标的基础上,促进制定有关所有人工智能系统的自愿适用特定要求的行为准则,这些目标和指标用于衡量相关目标的实现情况,其中包括但不限于以下要素:

(a)

联盟关于可信人工智能的伦理指南中规定的适用要素;

(b)

评估并最大限度降低人工智能系统对环境可持续性的影响,包括能源高效型编程以及人工智能系统高效设计、训练与使用的相关技术;

(c) 推动人工智能素养的提升,特别是从事人工智能开发、运行与使用人员的相关素养;

(d) 促进人工智能系统的包容性和多样性设计,包括通过组建包容且多元化的开发团队,并推动利益相关方参与该过程。

(e) 评估并预防人工智能系统对弱势群体或弱势人群产生的负面影响,包括在残疾人可及性方面的影响,以及对性别平等的影响。

3. 行为准则可以由人工智能系统的个别提供者或部署者、代表他们的组织,或者由两者共同制定,同时可以吸纳任何相关利益攸关方及其代表性组织的参与,包括民间社会组织和学术界。行为准则可以涵盖一个或多个人工智能系统,同时考虑相关系统预期用途的相似性。

4. 人工智能办公室和各成员国在鼓励并促进行为准则的制定时,应当充分考虑中小企业(包括初创企业)的特殊利益和需求。

第十章 · 第九十六条

委员会关于本条例实施的指导意见

1. 委员会应当制定关于本条例实际执行的指南,特别是关于以下方面:

(a)

第8条至第15条以及第25条所提及的要求与义务的适用;

(b)

第5条所提及的禁止性做法;

(c) 与实质性修改相关的条款的实际执行;

(d) 第50条规定的透明度义务的实际执行;

(e) 关于本条例与附件I所列欧盟协调立法以及其他相关欧盟法律之间关系的详细信息,包括在执法一致性方面的考量;

(f) 第3条第(1)项所载人工智能系统的定义之适用。

在发布此类指南时,委员会应当特别关注中小企业(包括初创企业)、地方公共当局以及最有可能受到本条例影响的各行业的需要。

本款第一 subparagraph 所指的指南应当充分考虑人工智能领域的公认技术现状,以及第40条和第41条所提及的相关协调标准和通用规范,或根据欧盟协调法制定的那些协调标准或技术规范。

2. 应成员国或人工智能办公室的请求,或者由其自行决定,委员会应在认为必要时对先前通过的指南进行更新。

授权与委员会程序

第十一章 · 第九十七条

授权的行使

1. 授予委员会采用授权法案的权力,须符合本条所规定的条件。

2. 第6条第6款和第7款、第7条第1款和第3款、第11条第3款、第43条第5款和第6款、第47条第5款、第51条第3款、第52条第4款以及第53条第5款和第6款所指的授权法案制定权,自2024年8月1日起授予委员会,期限为五年。委员会应在该五年期限届满前至少九个月就该项权力委托事项提交一份报告。除非欧洲议会或理事会于每个期限届满前至少三个月内提出反对意见,否则该权力委托将自动按相同期限予以延长。

3. 第6条第6款和第7款、第7条第1款和第3款、第11条第3款、第43条第5款和第6款、第47条第5款、第51条第3款、第52条第4款以及第53条第5款和第6款所指的权力委托,可由欧洲议会或理事会随时予以撤销。撤销决定一经作出,即终止该决定中所指定的权力委托;其效力自该决定在《欧盟官方公报》公布之次日起生效,或依该决定所载明的更晚日期生效。但该决定不影响任何已生效之授权法案的效力。

4. 委员会在通过授权法案前,应当依照2016年4月13日关于更好立法之机构间协议所确立的原则,征求各成员国指派之专家的意见。

5. 委员会一经通过授权法案,应同时通知欧洲议会和理事会。

6. 根据第6条第6款或第7款、第7条第1款或第3款、第11条第3款、第43条第5款或第6款、第47条第5款、第51条第3款、第52条第4款或者第53条第5款或第6款所通过的任何授权法案,仅在以下情形下方能生效:自该法案被通知欧洲议会和理事会之日起三个月内,欧洲议会或理事会均未提出异议;或者在该期限届满前,欧洲议会和理事会均已书面告知委员会其不拟提出异议。上述期限经欧洲议会或理事会提议,得延长三个月。

第十一章 · 第九十八条

委员会程序

1. 委员会应由一个委员会提供协助。该委员会应为《第(EU)No 182/2011号条例》所指的委员会。

2. 凡提及本款之处,均适用欧盟第182/2011号条例第5条的规定。

罚则

第十二章 · 第九十九条

罚则

1. 根据本条例所规定的条款和条件,成员国应当制定适用于经营者违反本条例行为的处罚及其他执法措施的相关规则,该等措施亦可包括警告及非金钱性措施,并采取一切必要措施确保其得到适当且有效的实施,同时应考虑委员会依据第96条发布的相关指南。所规定的处罚应当有效、适当且具有威慑力。此外,还应当充分考虑中小企业(包括初创企业)的利益及其经济可行性。

2. 成员国应当在不迟于本条例生效之日,及时将第1款所述的有关处罚及其他执法措施的规则通知委员会,并在其后对该等规则作出任何修改时,亦应及时通知委员会。

3. 对第5条所述人工智能相关行为的禁止事项的违反,将处以最高3,500万欧元的行政罚款;若违法主体为经营实体,则处以其上一财务年度全球年营业额的7%作为罚款,二者取较高者。

4. 对除第5条所规定情形之外的下列与经营者或公告机构相关的各项规定之违反,将处以最高1,500万欧元的行政罚款;若违法主体为经营实体,则处以其上一财务年度全球年营业额的3%作为罚款,二者取较高者:

(a)

依据第16条规定的提供者的义务;

(b)

依据第22条规定的授权代表的义务;

(c) 依据第23条规定的进口商的义务;

(d) 依据第24条规定的分销商的义务;

(e) 依据第26条规定的部署者的义务;

(f) 依据第31条、第33条第1款、第3款和第4款或第34条规定的公告机构的要求与义务;

(g)

依据第50条规定的提供者和部署者的透明度义务。

5. 对公告机构或国家主管当局在答复其请求时提供不正确、不完整或误导性信息的行为,应处以最高7,500,000欧元的行政罚款;若违法主体为企业,则处以其上一财务年度全球年营业额的1%作为罚款,二者取较高者。

6. 对于中小企业,包括初创企业,本条所指的每项罚款均不得超过第3款、第4款和第5款中所提及的百分比或金额中的较低者。

7. 在决定是否处以行政罚款以及在个案中确定行政罚款金额时,应当综合考虑具体情况下的所有相关因素,并视情况适当考虑以下事项:

(a)

违法行为的性质、严重程度及其持续时间,以及由此产生的后果,并考虑人工智能系统的用途;同时,在适当情况下,还应考虑受影响的人数及其所遭受的损害程度;

(b)

其他市场监管机构是否已就同一经营者针对同一违法行为处以行政罚款;

(c) 其他主管机关是否已就同一经营者因违反其他欧盟或国家法律而处以行政罚款,且该等违法行为系由构成本条例相关违法行为的同一行为或不作为所致;

(d) 违法经营者的规模、年营业额及其市场份额;

(e) 适用于本案情形的任何其他加重或减轻处罚的因素,例如直接或间接从该违法行为中获得的经济利益或避免的损失;

(f) 为纠正违法行为并减轻其可能产生的不利影响而与国家主管机关合作的程度;

(g)

考虑到该经营者所采取的技术和组织措施后,其责任程度;

(h)

违法行为被国家主管机关知悉的方式,特别是该经营者是否已通报该违法行为,以及在通报的情况下通报的程度;

(i) 侵权行为的故意或过失性质;

(j) 经营者为减轻受影响人员所遭受的损害而采取的任何措施。

8. 各成员国应当制定规则,规定可在何种程度上对设在该成员国的公共机关和机构处以行政罚款。

9. 根据成员国的法律制度,有关行政罚款的规定可以以如下方式适用:由各成员国主管的国家法院或其他机构依法作出罚款决定。在这些成员国中,上述规定的适用应当产生同等效力。

10. 依据本条行使相关权力时,应当依照欧盟及成员国法律,采取适当的程序性保障措施,包括有效的司法救济和正当程序。

11. 成员国应当每年按照本条规定,向委员会报告其在该年度内依据本条所作出的行政罚款情况,以及任何相关的诉讼或司法程序。

第十二章 · 第一百条

对欧盟各机构、机关、办事处及代理机构的行政罚款

1. 欧洲数据保护监督员可以对属于本条例适用范围的欧盟机构、机关、办事处和机构处以行政罚款。在决定是否处以行政罚款以及在每个具体案件中确定行政罚款金额时,应当考虑具体情况的所有相关因素,并适当顾及以下各项:

(a)

违法行为的性质、严重程度和持续时间及其后果,同时应考虑到相关人工智能系统的用途,并在适当情况下,还应考虑受影响人数以及其遭受的损害程度;

(b)

欧盟机构、机关、办事处或机构的责任程度,同时应考虑其已采取的技术和组织措施;

(c) 欧盟机构、机关、办事处或机构为减轻受影响人员所受损害而采取的任何行动;

(d) 为纠正违法行为并减轻该违法可能产生的不利影响而与欧洲数据保护监督员进行合作的程度,包括遵守欧洲数据保护监督员先前就同一事项针对相关欧盟机构、机关、办事处或机构所作出的任何措施;

(e) 联盟机构、团体、办公室或机关此前发生的任何类似侵权行为;

(f) 欧洲数据保护监督员获悉该侵权行为的方式,特别是欧盟机构、团体、办公室或机构是否已通知该侵权行为,以及若已通知,则通知的范围为何;

(g)

该欧盟机构、团体、办公室或机构的年度预算。

2. 违反第5条所述人工智能相关做法之禁止规定的,将处以最高1,500,000欧元的行政罚款。

3. 人工智能系统违反本条例中除第5条所规定之外的任何要求或义务的,将处以最高750,000欧元的行政罚款。

4. 在依据本条规定作出决定之前,欧洲数据保护监督员应当给予作为欧洲数据保护监督员所开展程序对象的欧盟机构、团体、办公室或机构就可能存在的侵权事项陈述意见的机会。欧洲数据保护监督员仅可根据有关各方已发表意见的相关要素和情形作出决定。如有投诉人,应使其密切参与相关程序。

5. 在相关程序中,有关各方的辩护权利应当得到充分尊重。在个人或企业对其个人数据或商业秘密享有合法保护利益的前提下,其有权查阅欧洲数据保护监督员的案卷。

6. 本条所规定的罚款收入应当纳入欧盟一般预算。罚款不得影响被处罚的欧盟机构、机关、办事处或代理机构的有效运作。

7. 欧洲数据保护监督员应当每年向委员会通报其依据本条所处以的行政罚款,以及其所启动的任何诉讼或司法程序。

第十二章 · 第一百零一条

面向通用人工智能模型提供者的罚款

1. 欧盟委员会可在发现提供者故意或过失地:

(a)

违反本条例的相关规定时,对其通用人工智能模型的提供者处以不超过其上一财政年度全球年总营业额3%的罚款,或1500万欧元,以较高者为准。

(b)

未按照第91条的规定履行提交文件或提供信息的要求,或者提供了不正确、不完整或具有误导性的信息;

(c) 未遵守根据第93条所要求采取的措施;

(d) 未向欧盟委员会提供对具有系统性风险的通用人工智能模型的访问权限,以便依据第92条开展评估。

在确定罚款或定期罚金的金额时,应当考虑违法行为的性质、严重程度及持续时间,并充分遵循相称性和适当性的原则。欧盟委员会还应当考虑根据第93条第3款作出的承诺,以及根据第56条在相关行为准则中作出的承诺。

2. 在依据第1款作出决定之前,欧盟委员会应当将其初步调查结果告知该通用人工智能模型的提供者,并给予其陈述意见的机会。

3. 根据本条规定的罚款应当有效、适当且具有威慑力。

4. 关于根据本条规定的罚款的信息,亦应酌情通报委员会。

5. 欧洲联盟法院对本条所规定的由委员会作出的罚款决定享有无限管辖权。其有权撤销、减轻或加重所处以的罚款。

6. 委员会应当制定实施性法案,载明为可能依据本条第1款作出决定而进行的程序之详细安排及程序保障措施。该等实施性法案应当依照第98条第2款所述的审查程序予以通过。

最终条款

第十三章 · 第一百零二条

对第300/2008号(EC)条例的修正案

在《第300/2008号(EC)条例》第4条第3款中,增加以下款:

“在制定与人工智能系统相关之安全设备的批准及使用的技术规范和程序的详细措施时,该等措施应符合《欧洲议会和理事会第2024/1689号(EU)条例》(*)第三章第二节所规定的要求。”

第十三章 · 第一百零三条

关于第(EU)No 167/2013号法规的修正案

在《欧盟》第167/2013号条例第17条第5款中,增加以下款:

“在根据第一款就属于欧洲议会和理事会《欧盟》第2024/1689号条例意义上的安全部件的人工智能系统制定授权法案时,应当考虑该条例第三章第二节所规定的要求。”

第十三章 · 第一百零四条

关于第168/2013号欧盟法规的修正案

在《欧盟第168/2013号条例》第22条第5款中,增加以下 subparagraph:

“在根据第一款就属于欧洲议会和理事会《欧盟第2024/1689号条例》(*)所指的安全部件的人工智能系统制定授权法案时,应当考虑该条例第三章第二节所规定的要求。”

第十三章 · 第一百零五条

对指令2014/90/EU的修正案

在指令2014/90/EU第8条中,增加以下款:

“5. 对于属于欧洲议会和理事会条例(EU)2024/1689所指的安全部件的人工智能系统,在根据第1款开展其活动以及按照第2款和第3款采用技术规范和测试标准时,委员会应当考虑该条例第三章第二节所规定的要求。”

第十三章 · 第一百零六条

对指令(欧盟)2016/797的修正案

在指令(EU)2016/797第5条中,增加以下款:

“12. 在根据第1款通过授权法案以及根据第11款通过实施法案时,如涉及属于欧洲议会和理事会条例(EU)2024/1689所指的安全部件的人工智能系统(*),应当考虑该条例第三章第二节所规定的要求。”

第十三章 · 第一百零七条

关于欧盟第2018/858号条例的修正案

在欧盟条例(EU)2018/858第5条中,增加以下款:

“4. 根据第3款就属于欧洲议会和理事会条例(EU)2024/1689所指的安全部件的人工智能系统制定委托法案时,应当考虑该条例第三章第二节所规定的要求。”

第十三章 · 第一百零八条

对条例(欧盟)2018/1139的修正案

《欧盟条例》(EU)2018/1139作如下修订:

(1)

在第17条中,增加以下一款:

“3. 在不损害第2款的前提下,当根据第1款就属于欧洲议会和理事会《条例》(EU)2024/1689所界定的安全部件的人工智能系统采取实施性法案时,应当考虑该条例第三章第二节所规定的要求。”

(*)欧洲议会和理事会于2024年6月13日颁布的《条例》(EU)2024/1689,旨在制定关于人工智能的统一规则,并对《条例》(EC)No 300/2008、《条例》(EU)No 167/2013、《条例》(EU)No 168/2013、《条例》(EU)2018/858、《条例》(EU)2018/1139以及《条例》(EU)2019/2144,和《指令》2014/90/EU、《指令》(EU)2016/797及《指令》(EU)2020/1828作出修订(《人工智能法》)(官方公报L,2024/1689,2024年7月12日,ELI:http://data.europa.eu/eli/reg/2024/1689/oj)。

(2) 在第19条中,增加以下一款:

“4. 当根据第1款和第2款就属于《条例》(EU)2024/1689所界定的安全部件的人工智能系统采取授权性法案时,应当考虑该条例第三章第二节所规定的要求。”

(3) 在第43条中,增加以下一款:

“4. 在根据第1款就属于《条例(欧盟)2024/1689》所指的安全部件的人工智能系统采取实施性法案时,应当考虑该条例第三章第二节所规定的要求。”

(4) 在第47条中,增加以下款:

“3. 在根据第1款和第2款就属于《条例(EU)2024/1689》所指的安全部件的人工智能系统采取授权法案时,应当考虑该条例第三章第二节所规定的要求。”

(5) 在第57条中,增加以下项:

“在就属于《条例(EU)2024/1689》所指的安全部件的人工智能系统采取实施法案时,应当考虑该条例第三章第二节所规定的要求。”

(6) 在第58条中,增加以下款:

“3. 在根据第1款和第2款就属于《条例(EU)2024/1689》所指的安全部件的人工智能系统采取授权法案时,应当考虑该条例第三章第二节所规定的要求。”

第十三章 · 第一百零九条

对条例(欧盟)2019/2144的修正案

在《欧盟条例》(EU)2019/2144第11条中,增加以下款:

“3. 在根据第2款通过有关人工智能系统作为《欧洲议会和理事会条例》(EU)2024/1689意义上的安全组件的实施性法案时,应当考虑该条例第三章第二节所规定的要求。”

第十三章 · 第一百一十条

对指令(欧盟)2020/1828的修正案

在欧洲议会和理事会第(EU)2020/1828号指令的附件一中,增加以下条款:

‘(68)

欧洲议会和理事会于2024年6月13日颁布的第(EU)2024/1689号条例,规定了关于人工智能的统一规则,并修订了第(EC)No 300/2008号、第(EU)No 167/2013号、第(EU)No 168/2013号、第(EU)2018/858号、第(EU)2018/1139号以及第(EU)2019/2144号条例,同时修订了第2014/90/EU号、第(EU)2016/797号及第(EU)2020/1828号指令(《人工智能法》)(《欧盟官方公报》L系列,2024/1689,2024年7月12日,ELI:http://data.europa.eu/eli/reg/2024/1689/oj)。’

第十三章 · 第一百一十一条

已经投放市场或投入使用的人工智能系统,以及已经投放市场的通用目的人工智能模型

1. 在不影响第113条第3款(a)项所指第5条适用的前提下,对于那些作为附件X所列法律文件中确立的大型IT系统组成部分、且于2027年8月2日之前已投放市场或投入使用的AI系统,应当在2030年12月31日前使其符合本条例的规定。

本条例所规定的各项要求,应当在对附件X所列法律文件中确立的每一项大型IT系统进行评估时予以考虑;该等评估应按照相关法律文件的规定开展,并在相关法律文件被替换或修订的情况下继续适用。

2. 在不影响第113条第3款(a)项所指第5条适用的前提下,本条例仅适用于那些除本条第1款所述系统之外、于2026年8月2日之前已投放市场或投入使用的高风险AI系统之运营者,但前提是自该日期起,这些系统的设计发生重大变更。无论如何,拟供公共机关使用的高风险AI系统的提供者和部署者,均应采取必要措施,确保在2030年8月2日前符合本条例的各项要求与义务。

3. 那些于2025年8月2日之前已投放市场的通用型AI模型的提供者,应当采取必要措施,确保在2027年8月2日前符合本条例所规定的各项义务。

第十三章 · 第一百一十二条

评估与审查

1. 委员会应在本条例生效后每年对附件三所列清单以及第5条规定的禁止的人工智能实践清单的修订必要性进行评估,直至第97条规定的权力委托期限届满。委员会应将该评估结果提交欧洲议会和理事会。

2. 委员会应于2028年8月2日前及此后每四年一次,向欧洲议会和理事会就下列事项作出评估并提交报告:

(a)

附件三中现有领域标题的扩展或新增领域标题的修订必要性;

(b)

第50条中关于需采取额外透明度措施的人工智能系统清单的修订;

(c) 提升监督与治理体系有效性的修订。

3. 委员会应于2029年8月2日前及此后每四年一次,向欧洲议会和理事会提交关于本条例评估与审查的报告。该报告应包含对执法架构的评估,并说明是否有必要设立一个欧盟机构以解决已发现的任何不足之处。根据评估结果,该报告在适当情况下应附带一份关于修订本条例的提案。上述报告应当予以公开。

4. 第2款所述报告应当特别关注以下事项:

(a)

国家主管当局在履行本条例所赋予其任务方面的财务、技术和人力资源状况;

(b)

成员国因违反本条例而施加的处罚情况,特别是第99条第1款所述的行政罚款;

(c) 为支持本条例而制定的已通过的协调标准和通用规范;

(d) 在本条例生效后进入市场的经营主体数量,以及其中中小企业所占的比例。

5. 委员会应于2028年8月2日前,对人工智能办公室的运作情况进行评估,审查该办公室是否被赋予了足以履行其职责的充分权力与职能,并评估是否有必要且适宜通过提升人工智能办公室及其执法能力并增加其资源,以确保本条例得到适当实施与有效执行。委员会应将其评估报告提交欧洲议会和理事会。

6. 委员会应于2028年8月2日及此后每四年一次,就通用型人工智能模型能源效率开发相关标准化成果的进展情况提交一份审查报告,并评估是否需要采取进一步措施或行动,包括具有约束力的措施或行动。该报告应提交欧洲议会和理事会,并予以公开。

7. 至迟于2028年8月2日以及此后每三年,委员会应当评估旨在促进实施第三章第二节所载要求的自愿行为准则对于非高风险人工智能系统的影响与有效性,并可能针对非高风险人工智能系统提出其他附加要求,包括在环境可持续性方面。

8. 为第1至7款之目的,欧盟数据保护委员会、各成员国及国家主管当局应当应委员会之请求,在不无故拖延的情况下向其提供相关信息。

9. 在开展第1至7款所述的评估与审查时,委员会应当充分考虑欧盟数据保护委员会、欧洲议会、理事会以及其他相关机构或来源的意见与结论。

10. 委员会如有必要,应当提交适当提案以修订本条例,尤其应当考虑到技术发展、人工智能系统对健康与安全以及基本权利的影响,并结合信息社会的发展状况予以审慎考量。

11. 为指导本条第1至7款所述的评估与审查工作,人工智能办公室应当负责制定一套客观且具有参与性的风险等级评估方法,该方法应依据相关条款所列标准,并纳入新纳入的系统。

(a)

附件三所列清单,包括对该附件中现有区域标题的扩展或新增区域标题;

(b)

第5条所列的禁止性做法清单;以及

(c) 根据第50条需要采取额外透明度措施的人工智能系统清单。

12. 依据第10款或相关授权法案或实施法案对本条例作出的任何修订,如涉及附件I B部分所列的欧盟行业协调立法,应当充分考虑各行业的监管特殊性,以及该等行业内已建立的治理、合格评定和执法机制与主管机关。

13. 委员会应于2031年8月2日前,对本条例的执行情况开展评估,并向欧洲议会、理事会及欧洲经济和社会委员会提交报告,同时考虑本条例实施的最初几年情况。根据评估结果,该报告在适当情况下应当附带一项关于本条例执行架构以及是否有必要设立欧盟机构以解决已发现不足之处的修订提案。

第十三章 · 第一百一十三条

生效与适用

本条例自其在欧盟官方公报公布之日起第二十天起生效。

本条例自2026年8月2日起适用。

然而:

(a)

第一章和第二章自2025年2月2日起适用;

(b)

第三章第四节、第五章、第七章、第十二章以及第七十八条自2025年8月2日起适用,但第十一条除外;

(c) 第六条第一款及本条例中的相应义务自2027年8月2日起适用。

本条例具有完全的约束力,并在所有成员国直接适用。

于2024年6月13日在布鲁塞尔签署。

欧洲议会

主席

R. METSOLA

理事会

主席

M. MICHEL

(1) 《欧盟官方公报》C系列第517号,2021年12月22日,第56页。

(2) 《欧盟官方公报》C系列第115号,2022年3月11日,第5页。

(3) 《欧盟官方公报》C系列第97号,2022年2月28日,第60页。

(4) 欧洲议会于2024年3月13日的立场(尚未在官方公报上公布)以及理事会于2024年5月21日的决定。

(5) 欧洲理事会,欧洲理事会特别会议(2020年10月1日和2日)——结论,EUCO 13/20,2020年,第6页。

(6) 欧洲议会于2020年10月20日通过的决议,其中载有向委员会提出的关于人工智能、机器人技术及相关技术伦理问题框架的建议,2020/2012(INL)。

(7) 欧洲议会和欧洲理事会于2008年7月9日颁布的第765/2008号条例,规定了认可要求,并废止了第339/93号(EEC)条例(《欧盟官方公报》L 218,2008年8月13日,第30页)。

(8) 欧洲议会和欧洲理事会于2008年7月9日通过的第768/2008/EC号决定,关于产品投放市场的共同框架,并废止了理事会第93/465/EEC号决定(《欧盟官方公报》L 218,2008年8月13日,第82页)。

(9) 欧洲议会和欧洲理事会于2019年6月20日通过的第2019/1020号条例,关于产品市场监督与合规性,并修订了第2004/42/EC号指令以及第765/2008号(EC)和第305/2011号(EU)条例(《欧盟官方公报》L 169,2019年6月25日,第1页)。

(10) 欧盟理事会于1985年7月25日通过的第85/374/EEC号指令,关于协调各成员国有关缺陷产品责任的法律、法规及行政规定(《欧盟官方公报》L 210,1985年8月7日,第29页)。

(11) 欧洲议会和欧洲理事会于2016年4月27日通过的第2016/679号条例,关于自然人在个人数据处理方面的保护以及此类数据的自由流动,并废止了第95/46/EC号指令(《通用数据保护条例》)(《欧盟官方公报》L 119,2016年5月4日,第1页)。

(12) 欧洲议会和欧洲理事会于2018年10月23日通过的第2018/1725号条例,关于自然人在欧盟各机构、组织、办事处及机关处理个人数据方面的保护以及此类数据的自由流动,并废止了第45/2001号(EC)条例和第1247/2002/EC号决定(《欧盟官方公报》L 295,2018年11月21日,第39页)。

(13) 欧洲议会和欧洲理事会于2016年4月27日颁布的关于主管机关为预防、调查、侦查或起诉刑事犯罪以及执行刑罚之目的而处理个人数据时对自然人提供的保护,并规范此类数据自由流动,同时废止欧盟理事会框架决定2008/977/JHA的(EU)2016/680号指令(《欧盟官方公报》L 119,2016年5月4日,第89页)。

(14) 欧洲议会和欧洲理事会于2002年7月12日颁布的关于电子通信领域个人数据处理及隐私保护的2002/58/EC号指令(《隐私与电子通信指令》)(《欧盟官方公报》L 201,2002年7月31日,第37页)。

(15) 欧洲议会和理事会于2022年10月19日颁布的关于数字服务单一市场的(欧盟)2022/2065号条例,该条例同时修订了2000/31/EC号指令(《数字服务法》)(《欧盟官方公报》L 277,2022年10月27日,第1页)。

(16) 欧洲议会和欧洲理事会于2019年4月17日颁布的关于产品和服务可访问性要求的2019/882号指令(《欧盟官方公报》L 151,2019年6月7日,第70页)。

(17) 欧洲议会和理事会于2005年5月11日颁布的第2005/29/EC号指令,关于内部市场中经营者对消费者实施的不公平商业行为,并修订了理事会第84/450/EEC号指令、欧洲议会和理事会第97/7/EC号、第98/27/EC号及第2002/65/EC号指令,以及欧洲议会和理事会第2006/2004号条例(“不公平商业行为指令”)(《欧盟官方公报》L 149,2005年6月11日,第22页)。

(18) 欧盟理事会于2002年6月13日通过的第2002/584/JHA号框架决定,关于欧洲逮捕令及成员国之间的引渡程序(《欧盟官方公报》L 190,2002年7月18日,第1页)。

(19) 欧洲议会和理事会于2022年12月14日颁布的第2022/2557号(EU)指令,关于关键实体的韧性,并废止理事会第2008/114/EC号指令(《欧盟官方公报》L 333,2022年12月27日,第164页)。

(20) 《欧盟官方公报》C 247,2022年6月29日,第1页。

(21) 欧洲议会和理事会于2017年4月5日颁布的第2017/745号条例,关于医疗器械,修订了第2001/83/EC号指令、第178/2002号(EC)条例及第1223/2009号(EC)条例,并废止了理事会第90/385/EEC号和第93/42/EEC号指令(《欧盟官方公报》L 117,2017年5月5日,第1页)。

(22) 欧洲议会和理事会于2017年4月5日颁布的第2017/746号条例,关于体外诊断医疗器械,并废止了第98/79/EC号指令及委员会第2010/227/EU号决定(《欧盟官方公报》L 117,2017年5月5日,第176页)。

(23) 欧洲议会和理事会于2006年5月17日颁布的第2006/42/EC号指令,关于机械,同时修订了第95/16/EC号指令(《欧盟官方公报》L 157,2006年6月9日,第24页)。

(24) 欧洲议会和欧洲理事会于2008年3月11日颁布的关于民用航空安全领域共同规则并废止第2320/2002号(EC)条例的第300/2008号条例(《欧盟官方公报》L 97,2008年4月9日,第72页)。

(25) 欧洲议会和欧洲理事会于2013年2月5日颁布的关于农业和林业车辆型式批准及市场监督的第167/2013号(EU)条例(《欧盟官方公报》L 60,2013年3月2日,第1页)。

(26) 欧洲议会和欧洲理事会于2013年1月15日颁布的关于两轮或三轮车辆及四轮车型式批准及市场监督的第168/2013号(EU)条例(《欧盟官方公报》L 60,2013年3月2日,第52页)。

(27) 欧洲议会和欧洲理事会于2014年7月23日颁布的关于船用设备并废止第96/98/EC号理事会指令的第2014/90/EU号指令(《欧盟官方公报》L 257,2014年8月28日,第146页)。

(28) 欧洲议会和欧洲理事会于2016年5月11日颁布的关于欧盟境内铁路系统互操作性的第2016/797号(EU)指令(《欧盟官方公报》L 138,2016年5月26日,第44页)。

(29) 欧洲议会和欧洲理事会于2018年5月30日颁布的关于机动车及其挂车、以及用于此类车辆的系统、部件和独立技术单元型式批准与市场监督的第2018/858号(EU)条例,该条例修订了第715/2007号(EC)和第595/2009号(EC)条例,并废止了第2007/46/EC号指令(《欧盟官方公报》L 151,2018年6月14日,第1页)。

(30) 欧洲议会和理事会于2018年7月4日颁布的关于民用航空领域共同规则并设立欧洲联盟航空安全局的第2018/1139号条例(欧盟),以及对第2111/2005号(EC)、第1008/2008号(EC)、第996/2010号(EU)、第376/2014号(EU)条例,和欧洲议会及理事会的第2014/30/EU号指令与第2014/53/EU号指令所作的修订,并废止欧洲议会和理事会的第552/2004号(EC)条例、第216/2008号(EC)条例,以及理事会的第3922/91号(EEC)条例(《欧盟官方公报》L 212,2018年8月22日,第1页)。

(31) 欧洲议会和理事会于2019年11月27日颁布的关于机动车辆及其挂车、以及用于此类车辆的系统、部件和独立技术单元的一般安全要求和对车辆乘员及道路弱势群体保护的型式批准要求的第2019/2144号条例(欧盟),该条例修订了欧洲议会和理事会的第2018/858号条例,并废止了欧洲议会和理事会的第78/2009号(EC)、第79/2009号(EC)和第661/2009号(EC)条例,以及委员会的第631/2009号(EC)、第406/2010号(EU)、第672/2010号(EU)、第1003/2010号(EU)、第1005/2010号(EU)、第1008/2010号(EU)、第1009/2010号(EU)、第19/2011号(EU)、第109/2011号(EU)、第458/2011号(EU)、第65/2012号(EU)、第130/2012号(EU)、第347/2012号(EU)、第351/2012号(EU)、第1230/2012号(EU)以及第2015/166号(EU)条例(《欧盟官方公报》L 325,2019年12月16日,第1页)。

(32) 欧洲议会和欧洲理事会于2009年7月13日颁布的第810/2009号条例,关于建立欧盟签证法典(签证法典)(《欧盟官方公报》L 243,2009年9月15日,第1页)。

(33) 欧洲议会和欧洲理事会于2013年6月26日颁布的第2013/32/EU号指令,关于授予和撤销国际保护的共同程序(《欧盟官方公报》L 180,2013年6月29日,第60页)。

(34) 欧洲议会和欧洲理事会于2024年3月13日颁布的第2024/900号条例,关于政治广告的透明度与定向投放(《欧盟官方公报》,2024/900,2024年3月20日,ELI:http://data.europa.eu/eli/reg/2024/900/oj)。

(35) 欧洲议会和欧洲理事会于2014年2月26日颁布的第2014/31/EU号指令,关于协调各成员国有关非自动衡器市场投放的法律(《欧盟官方公报》L 96,2014年3月29日,第107页)。

(36) 欧洲议会和欧洲理事会于2014年2月26日颁布的第2014/32/EU号指令,关于协调各成员国有关计量器具市场投放的法律(《欧盟官方公报》L 96,2014年3月29日,第149页)。

(37) 欧洲议会和欧洲理事会于2019年4月17日颁布的第2019/881号条例,关于ENISA(欧盟网络安全局)以及信息与通信技术领域的网络安全认证,并废止第526/2013号条例(《网络安全法》)(《欧盟官方公报》L 151,2019年6月7日,第15页)。

(38) 欧洲议会和理事会于2016年10月26日颁布的关于公共部门机构网站和移动应用程序可访问性的欧盟指令(EU)2016/2102(《欧盟官方公报》L 327,2016年12月2日,第1页)。

(39) 欧洲议会和理事会于2002年3月11日颁布的关于在欧洲共同体范围内建立雇员信息与咨询一般框架的指令2002/14/EC(《欧盟官方公报》L 80,2002年3月23日,第29页)。

(40) 欧洲议会和理事会于2019年4月17日颁布的关于数字单一市场中著作权及相关权利并修订指令96/9/EC和2001/29/EC的欧盟指令(EU)2019/790(《欧盟官方公报》L 130,2019年5月17日,第92页)。

(41) 欧洲议会和理事会于2012年10月25日颁布的关于欧洲标准化的欧盟条例(EU)No 1025/2012,该条例修订了理事会指令89/686/EEC和93/15/EEC以及指令94/9/EC、94/25/EC、95/16/EC、97/23/EC、98/34/EC、2004/22/EC、2007/23/EC、2009/23/EC和2009/105/EC,并废除了理事会决定87/95/EEC及欧洲议会和理事会决定No 1673/2006/EC(《欧盟官方公报》L 316,2012年11月14日,第12页)。

(42) 欧洲议会和理事会于2022年5月30日颁布的关于欧洲数据治理的欧盟条例(EU)2022/868,并修订了欧盟条例(EU)2018/1724(《数据治理法案》)(《欧盟官方公报》L 152,2022年6月3日,第1页)。

(43) 欧洲议会和理事会于2023年12月13日通过的关于数据公平获取与使用的统一规则,并修订《欧盟条例》(EU) 2017/2394及《欧盟指令》(EU) 2020/1828的第2023/2854号条例(数据法)(官方公报L,2023/2854,2023年12月22日,ELI:http://data.europa.eu/eli/reg/2023/2854/oj)。

(44) 欧盟委员会于2003年5月6日发布的关于微型、小型和中型企业定义的建议(官方公报L 124,2003年5月20日,第36页)。

(45) 欧盟委员会于2024年1月24日作出的设立欧洲人工智能办公室的决定C(2024) 390。

(46) 欧洲议会和理事会于2013年6月26日通过的关于信贷机构和投资公司审慎要求并修订《欧盟条例》(EU) No 648/2012的第575/2013号条例(官方公报L 176,2013年6月27日,第1页)。

(47) 欧洲议会和理事会于2008年4月23日通过的关于消费者信贷协议并废止理事会指令87/102/EEC的第2008/48/EC号指令(官方公报L 133,2008年5月22日,第66页)。

(48) 欧洲议会和理事会于2009年11月25日通过的关于保险与再保险业务的开展与经营(偿付能力II)的第2009/138/EC号指令(官方公报L 335,2009年12月17日,第1页)。

(49) 欧洲议会和理事会于2013年6月26日通过的关于信贷机构活动准入及对信贷机构和投资公司实施审慎监管的第2013/36/EU号指令,该指令修订了第2002/87/EC号指令,并废止了第2006/48/EC号指令和第2006/49/EC号指令(官方公报L 176,2013年6月27日,第338页)。

(50) 欧洲议会和欧洲理事会于2014年2月4日颁布的关于涉及住宅不动产的消费者信贷协议,并修订2008/48/EC号指令、2013/36/EU号指令以及第1093/2010号(欧盟)条例的2014/17/EU号指令(《欧盟官方公报》L 60,2014年2月28日,第34页)。

(51) 欧洲议会和欧洲理事会于2016年1月20日颁布的关于保险销售的(EU)2016/97号指令(《欧盟官方公报》L 26,2016年2月2日,第19页)。

(52) 欧洲理事会于2013年10月15日颁布的第1024/2013号(欧盟)条例,赋予欧洲中央银行在信贷机构审慎监管政策方面特定职责(《欧盟官方公报》L 287,2013年10月29日,第63页)。

(53) 欧洲议会和欧洲理事会于2023年5月10日颁布的第2023/988号(欧盟)条例,关于一般产品安全,修订欧洲议会和欧洲理事会第1025/2012号条例及欧洲议会和欧洲理事会第2020/1828号指令,并废止欧洲议会和欧洲理事会第2001/95/EC号指令以及欧洲理事会第87/357/EEC号指令(《欧盟官方公报》L 135,2023年5月23日,第1页)。

(54) 欧洲议会和欧洲理事会于2019年10月23日颁布的第2019/1937号(欧盟)指令,关于保护举报违反欧盟法律行为的人员(《欧盟官方公报》L 305,2019年11月26日,第17页)。

(55) 《欧盟官方公报》L 123,2016年5月12日,第1页。

(56) 欧洲议会和欧洲理事会于2011年2月16日颁布的第182/2011号(欧盟)条例,规定了成员国对委员会行使实施权进行控制之机制的相关规则与基本原则(《欧盟官方公报》L 55,2011年2月28日,第13页)。

(57) 欧洲议会和欧洲理事会于2016年6月8日颁布的关于保护未公开的技术知识和商业信息(商业秘密)免遭非法获取、使用和披露的第2016/943号指令(欧盟)(《欧盟官方公报》L 157,2016年6月15日,第1页)。

(58) 欧洲议会和欧洲理事会于2020年11月25日颁布的关于为保护消费者集体利益而提起代表性诉讼并废止第2009/22/EC号指令的第2020/1828号指令(欧盟)(《欧盟官方公报》L 409,2020年12月4日,第1页)。

完整中文参考译文(非官方译本);如有歧义,以官方英文原文为准。

资料来源