汇业评论

文 | 张斯佳律师团队 汇业律师事务所

一、欧盟人工智能立法背景及历史沿革

1、立法背景

继OpenAI发布其基于GPT-3.5（Generative Pretrained Transformer，生成型预训练变换模型）系列大模型的聊天机器人应用ChatGPT后，全球人工智能产业研发和创新再次迎来迅猛发展期。人工智能在各行各业广泛应用，为环境、健康、公共部门、金融、交通、内政和农业等多个部门带来了广泛的经济和社会效益。然而，新的伦理和法律挑战亦并驱而行，涉及自动决策系统、面部识别技术以及大数据分析等应用的不断增长，引发了社会对于这些技术如何影响数据隐私、公平性、透明度、安全和责任的担忧。

在面对技术日新月异的情况下，人工智能监管早已成为了欧盟的核心关注点。尤其是涉及到人工智能在刑事司法、就业市场和社会公平等领域的问题，更加促使了欧盟对于相关法规的加速制定，以回应社会的期望和需求。欧盟致力于制定人工智能治理规则，即旨在平衡技术创新与公民权益之间的关系，尽可能地实现人工智能与人类伦理在最大程度上的对齐，为人工智能的可持续发展提供明确的法律框架。

2、历史沿革

自2016年起，欧盟就不断探索推进人工智能监管体系的建构。2018年，欧盟建立人工智能高级专家小组，着手起草人工智能法案。2019年，欧洲议会发布了一份关于人工智能和数字化的报告，强调了对于人工智能伦理和法规的迫切需要。该报告提出了一系列建议，包括强调透明度、责任和公正性。与此同时，欧洲各国启动了广泛的公众咨询，征集公众对于人工智能法规的看法。2020年，欧盟委员会发布了《人工智能白皮书》[1]，从卓越生态系统和信任生态系统两方面建立可信赖与安全的人工智能监管框架。此后，欧盟委员会发布了多项人工智能法规的影响评估、支持研究和提案草案。

2021年4月，《人工智能法案（提案）》正式出台，有史以来第一次尝试为人工智能制定横向法规。该法案引入风险分级监管、市场准入制度、监管沙盒等制度，其目的在于应对突出的算法黑箱问题，以确保投放到欧盟市场的人工智能系统及其使用的安全性。在随后的两年，该法案陆续经过谈判修订，于2023年6月通过了最终修订草案（“最终修订草案”）[2]。近日，该最终修订法案进入了欧盟委员会、议会和成员国三方的最终谈判协商阶段，于当地时间12月8日，三方就监管人工智能的“里程碑式立法条款”达成一致（“终轮谈判”）。根据欧盟官方披露，此次终轮谈判对最终修订草案也进行了部分实质性修改，包括修改人工智能系统的定义，扩大被禁止的人工智能系统清单，以及对通用人工智能和生成式人工智能模型（如ChatGPT）施加义务。由于某些技术细节内容还在讨论中，最终达成的三方协议文本目前尚未对外公布，最终的法案草案文本预计将在未来几周完成，并需得到欧盟成员国和议会的正式批准。

本文将在最终修订草案的基础上，融入终轮谈判的相关内容。如经正式发布，该法案最早将于2026年开始适用，并将成为全球首部有关人工智能监管的法律，为监管ChatGPT等生成式人工智能铺设了道路。

二、欧盟《人工智能法案》要点探析

1、法案一览

欧盟《人工智能法案》共计十二章，最为亮眼的即将人工智能系统根据其风险程度划分为四大类，并据此设定针对不同风险等级的具体监管措施，即对人工智能系统进行分级分类监管。

2、不同风险层级下人工智能监管思路

法案重点引入了以风险为导向，对于人工智能系统的分级分类监管制度——法案采用基于风险分析的方法（Risk-based Approach），提出了四种风险类型的人工智能系统：不可接受风险、高风险、有限风险和极低风险，并针对不可接受风险以及高风险等级的人工智能系统提出了严格的间隔措施，同时为人工智能设计了全生命周期的规制措施，为人工智能系统的开发、市场投放和在欧盟的使用设定了不同的要求和义务。

（1）不可接受的风险（level of risk: unacceptable）——完全禁止

根据欧盟人工智能法案的规定，不可接受的风险包括禁止侵入性和歧视性地使用人工智能，例如：

a)采用潜意识技术或故意操纵或欺骗技术，使得相关人士的行为和能力在被明显损害或实质性扭曲时做出决定（认知行为操纵）；

b)利用个人或群体可能存在的弱点，特别是在已知或可预测的情形下利用人格特质、社会经济状况、年龄、身体或精神能力，以达到实质性改变个人或群体行为的目的；

c)将依据敏感或受保护属性（如性别、种族、民族血统、公民身份、宗教、政治倾向）得出或推断出的特征对自然人进行分类并投放市场使用；

d)进行社会评级（根据人们的社会行为或个性特征进行分类）；

e)在公共区域使用“实时”远程生物识别系统；

f)预测性警务系统（基于分析、位置或过去的犯罪行为评估自然人犯罪或再犯罪的风险）；

g)执法、边境管理、工作场所和教育机构中的情绪识别系统；

h)从互联网或闭路电视录像中无针对性地抓取面部图像以创建面部识别数据库。

i)“事后”远程生物识别系统，但必须为执法必要目的以追踪严重犯罪且得到司法授权后。

在终轮谈判中，谈判的分歧点之一在于，是否应该允许执法部门使用面部识别或其它类型的生物识别技术来实时/回顾性地识别人员身份。这一点在此前公布的最终修订草案中，被列为“不可接受风险”而被严格禁止，在此次谈判中，该条款最终因打击儿童犯罪、恐怖袭击等严重恶性犯罪案件的理由而得到“执法例外”的部分豁免。

法案禁止了被认为对人们的安全、生计和权利构成“不可接受风险”的某些AI实践，根据终轮谈判结果，违反法案的罚款额度为违规公司上一财政年度全球年营业额的一定百分比或预定金额，以较高者为准。其中，违规启用不可接受风险AI系统的罚款为3500万欧元或上一财政年度全球年营业额的7%，不过，此次终轮谈判还另外规定了中小型企业和初创企业在违反法案的条款时的行政罚款上限。

（2）高风险（level of risk: high）——需严格符合标准

法案规定的高风险AI系统包括：

a)在欧盟统一立法规制范围内旨在用作产品的安全组成部分或者本身就属于附件二所列的产品，且必须接受第三方符合性评估[3][i]；

b)属于附件三所述关键领域的独立系统，且可能对自然人的健康、安全或基本权利构成重大损害风险：

①利用生物识别数据对个体进行推断的系统（除生物识别验证系统外）

②拟用作公路、铁路和空中交通管理和运营的安全组成部分

③可能决定人的受教育机会或职业培训

④可能影响人的就业、在职管理

⑤可能影响人的公共援助福利和服务

⑥评估自然人信誉或进行信用评分

⑦可能影响人的基本权利的执法活动

⑧移民、庇护、居留及边境管制管理

⑨司法和民主程序（如替代性争议解决、选举、大型社交媒体在线平台推荐）

此外，如果分销商、进口商或用户对一个未被指定为“高风险”的AI系统进行了重大修改，那么该AI系统将自动成为高风险AI系统。[4]

由上述分类可知，欧盟对于“高风险”的划分原则注重对于健康、安全、基本权利、民主以及法治的高度保护，在关键领域（如医疗、交通或司法）使用的AI系统，由于伤害风险显著，因此这些系统将受到严格的合规和安全标准的约束。欧盟目前对于法案中所提出的风险分类的具体方式仍处于斟酌阶段，但从各草案的修改大抵可以看出，欧盟对于人工智能可能带来的算法歧视、算法黑箱等问题，仍持较为谨慎的态度。

高风险AI系统将受到一系列新规则的约束，包括：

a)投放前合格评估要求：高风险AI系统的供应商在将其投放市场或投入使用之前，必须于欧盟委员会管理的数据库系统中进行注册[5]。受现有产品安全法规管辖的人工智能产品和服务都将归入现有的第三方合规性框架（如医疗设备）。目前不受欧盟立法管辖的AI系统供应商必须自行进行合格评估（自我评估[6]），以证明其符合合规要求，并可使用CE标志。只有用于生物识别的高风险AI系统才需要由“指定机构”进行合格评估。

b)其他要求：此类高风险AI系统必须遵守一系列要求，特别是风险管理、数据治理、技术文档、记录留存与可追溯性、透明度、人为监督、准确性、稳健性和网络安全（最终修订草案第8至15条）。具体来说，高风险AI系统的提供商、进口商、分销商和部署方必须履行一系列义务。来自欧盟以外的提供商需要在欧盟有一个授权代表，以在需要时进行合格评估，建立上市后监测系统，并在必要时采取纠正措施。在终轮谈判中，欧洲议会议员成功地将强制性基本权利影响评估也纳入到其他要求中。

c)面部识别特别要求：除了现有的适用立法（例如数据保护和不歧视）外，《人工智能法案》的修改草案还建议引入新的人脸识别技术规则，并根据其“高风险”或“低风险”的使用特征对其进行区分规制。而在终轮谈判中，考虑到执法部门的特殊性以及在其重要工作中使用人工智能能力的必要性，会议同意引入一种紧急程序以允许执法机构在紧急情况下部署未通过合格评定程序的高风险AI系统，同时也引入了一种确保基本权利得到充分保护、防止人工智能系统被滥用的机制；此外，在进入欧盟市场之前，必须进行合格评定并符合安全要求，从而用于执法目的以外的各种人脸识别技术（例如边境管制、市场、公共交通、学校等）。

（3）有限风险（level of risk: limited）——需履行透明度义务

法案规定的有限风险AI系统大致涵盖：

a)与自然人互动的系统（如聊天机器人）；

b)生物识别分类系统和情绪识别系统；

c)生成或操纵图像、音频或视频内容的系统。

有限风险AI系统将受到透明度义务的约束，“透明度”的要求确保人工智能系统的开发和运作方式应做到具有一定的可追溯性和可解释性。第一次交互时，系统必须以清晰、可辨的方式通知用户系统运行情况，并确保设计和开发方式能够使用户知晓他们正在与AI系统互动。此外，生成或操纵图像、音频或视频内容的系统除了要遵守以上规定之外，还需要明确公开内容已被AI生成或操纵（“深度伪造”），揭示可能会提供虚假或者不真实的结果。

（4）极低风险（level of risk: minimal）——不做干预

针对风险等级为极低的其他AI系统，相应主体则可依据自由意志部署和使用，无需遵守任何额外的法律义务。但最终修订草案提出可设定非强制性的行为准则，鼓励非高风险AI系统的提供商自愿适用高风险AI系统的合规要求。

三、出海企业合规指引

首先，《人工智能法案》所规制的AI模型参与者包括：提供商、进口商、分销商和部署方。换句话说，涉及AI模型的开发、使用、进口、分销或制造的各方都将一并承担相关责任。基于此，无论是自研还是他方采购，拟出海的企业都应当开始着手调查、评估正在使用和开发的AI模型，并将已识别的AI模型列入模型库中。

其次，根据我们的理解，基于成本的考量，在实践中，针对不同市场重新训练特有模型的效率不高，因此企业在特定场景中可能会采用多人工智能系统耦合的方式为客户提供服务。根据法案的规定，所涉人工智能系统可能分属不同的风险等级，因此，出海企业有必要重新定义特定场景下人工智能系统的风险等级，尤其是当高风险与低风险的人工智能系统同时存在时，应采用“木桶原理”，适用更加严格的风险监管规制。

此外，以GPT-4为代表的通用AI（General Purpose AI, GPAI）的界定仍存在争议，其对应的监管力度亦未彻底落定，虽然大语言模型等AI基础模型本身并未被纳入“高风险”之中，学者普遍认为大语言模型等AI基础模型即通用人工智能系统需创建一个单独的风险类别，并受制于适合其特征的法律义务和要求，比如类似于数字服务法（DSA）下的系统风险监控系统，包括透明度、风险管理和非歧视的义务，比如DSA的内容调节规则，包括通知和行动机制，以及受信任的标记者[7]。立法者面临的难题是过限的定义必定会限制AI技术的革新和发展，而模糊的定义亦可能导致监管漏洞，无法有效控制风险。由于截止本文发布之日，欧盟尚未公布此类模型的具体监管尺度与内容，对于此类AI模型的相关参与企业，我们建议保持对法案的密切关注，在统一的欧盟标准发布之前，可以依靠行业行为准则来遵守合规义务。

注

[1]https://commission.europa.eu/publications/white-paper-artificial-intelligence-european-approach-excellence-and-trust_en

[2]https://www.europarl.europa.eu/doceo/document/TA-9-2023-0236_EN.html

[3]Regulation (EC) No 765/2008

[4]洪延青，欧盟《AI条例》的立法进展和现有三个版本重点内容比较（截止2023年7月）

[5]附录III中第1、6和7点提到的在执法、移民、庇护和边境控制管理领域的高风险人工智能系统，以及附录III第2点提到的高风险人工智能系统除外。

[6]自我评估在法案中原文为“conformity assessment”。

[7]https://epthinktank.eu/2023/03/31/general-purpose-artificial-intelligence/