汇业评论

文 | 钱静雯 律师 黄天一 汇业律师事务所

4月8日，欧盟委员会发布了由欧盟人工智能高级专家组撰写的《可信赖人工智能道德准则》的正式生效文本（“ETHICS GUIDELINES FOR TRUSTWORTHY AI”，下称《道德准则》），提出了实现可信赖人工智能全生命周期的框架，并具体阐述了“可信赖AI全生命周期框架”的三个基本要素、可信赖AI的基础原则、评估可信赖AI的关键要求及其实现等业内高度关注的问题。汇业律师事务所黄春林律师团队研读并翻译整理了其中关于具体实现可信赖AI的七个关键要素的细节解释，供相关从业者进一步深入了解欧盟委员会此版《道德准则》背后的逻辑思考与细节把控意图。

1. 人类的能动性和监督

基于人类自治原则，人工智能系统应当支持人类自治和决策。这要求人工智能系统既可以通过支持使用者施为来推动社会的民主、繁荣、公平，又能够促进基本权利的行使，同时允许人类监督。

基本权利：与其他科技一样，人工智能系统可以促进或阻碍基本权利的行使。它们可以造福于人比如帮助人们追踪个人数据，增加教育的可及性从而保障他们受教育的权利。但是，考虑到人工智能系统的范围和能力，它们也会对基本权利产生负面影响。因这些风险的存在，应当在系统开发前评估其对基本权利的影响，包括评估在民主社会中是否可以减少或证明那些风险是必要的，以尊重他人的权利和自由。此外，应建立机制以接收侵犯基本权利的人工智能系统的外部反馈。

人类能动性：用户应能够对人工智能系统作出明智的自主决策。应赋予他们知识和工具，以便在令其满意的程度上理解并与人工智能系统互动，并在可能的情况下，使其能够合理地自我评估或挑战系统。人工智能系统应支持个人根据他们的目标作出更好、更明智的选择。人工智能系统有时可能通过难以被发现的机制来塑造和影响人类行为，因为它们可能利用潜意识过程，包括各种形式的不公平操纵，欺骗，从众心理和条件反射，诸如此类都可能威胁到个人的自主权。用户自治的总体原则必须是系统功能的核心。其关键在于当决策对用户产生法律效果或对用户产生类似重大影响时，用户权利不受仅基于自动化处理的决策的约束【1】。

人类监督：人为监督有助于确保人工智能系统不会破坏人的自主权或造成其他不利影响。监督可以通过治理机制来实现，例如human-in-the-loop (HITL), human-on-the-loop (HOTL), or human-in-command (HIC) 方法。HITL指的是在系统的每个决策周期内（在许多情况下既不可能也不可取）人为干预的能力。HOTL指的是在系统设计周期中监控系统运行的人为干预的能力。HIC指的是监督人工智能系统整体活动的能力（包括其更广泛的经济，社会，法律和道德影响）以及决定何时以及如何在任何特定情况下使用该系统的能力，包括决定在特定情况下不使用人工智能系统、在系统使用期间建立人类自由裁量水准，或确保能够覆盖系统作出的决定。此外，必须确保公共执法者有能力根据其许可令进行监督。根据人工智能系统的应用领域和潜在风险，可能需要不同程度的监督机制来支持其他安全和控制措施。在同等情况下，人类能够对人工智能系统进行的监督越少，需要进行的测试就越广泛、管理就越严格。

2. 技术的鲁棒性和安全性

实现可信赖的人工智能的关键之一是与预防损害原则密切相关的技术鲁棒性。技术鲁棒性要求人工智能系统采取可靠的预防性措施防范风险，即尽量减少无意和意外伤害，并防止不可接受的伤害。这一要求也适用于人工智能操作环境发生潜在变化的情况，或以攻击方式与系统交互的其他智能体（人类和人工）出现的情况。此外，应确保人类的身心健康。

抵御攻击和安全：与所有软件系统一样，人工智能系统应该受到保护，免受敌手利用漏洞的攻击，例如黑客攻击。攻击可能针对数据（数据投毒），模型（模型泄漏）或底层基础设施（包括软件和硬件）。如果人工智能系统受到攻击，例如在对抗性攻击中，数据和系统行为可能被改变，导致系统作出不同的决策，或者导致它完全关闭。系统和数据也可能因恶意或暴露于意外情形而被破坏。安全程序不足也可能导致错误的决策甚至是物理伤害。为了使人工智能系统被认为是安全的【2】，应该考虑人工智能系统中潜在的非预期应用（例如双用途应用）和恶意行为者滥用系统，并应采取措施来防止和减少此类情况【3】。

备用计划和通用安全：人工智能系统应该有安全措施，以便在出现问题时启用备用计划。这可能意味着人工智能系统从基于统计的程序切换到基于规则的程序，或者它们在继续行动之前询问人类操作者【4】，且必须确保系统能够在不伤害生物或环境的情况下完成预期的工作，包括最大限度地减少意外后果和错误。此外，应建立对各人工智能系统应用领域的潜在风险释明和评估的程序，所需的安全措施水平取决于人工智能系统所带来的风险程度，而这又取决于系统的能力。如果可以预见到开发过程或系统本身会带来极高风险，那么主动开发和测试安全措施则至关重要。

准确性：准确性与人工智能系统作出正确判断的能力有关，例如将信息正确地分类，或基于数据或模型作出正确预测、建议或决策的能力。明晰且完善的开发和评估程序可以支持、缓解和纠正预测偏差带来的意外风险。当偶然的预测偏差无法避免时，系统能够指出这些错误的可能性很重要。在人工智能系统直接影响人类生活的情况下，高精确度尤其重要。

可靠性和可重现性：至关重要的是，人工智能系统的结果是可重现的和可靠的。可靠的人工智能系统可以在一系列输入和各种情况下正常工作，这需要仔细检查人工智能系统并防止意外伤害。可重现性指人工智能实验在相同条件下重复时是否表现出相同的行为，使科学家和政策制定者能够准确描述人工智能系统的功能，复制文件【5】可以促进测试和重现行为的进程。

3. 隐私和数据管理

与预防损害原则密切相关的是隐私，隐私权是受人工智能系统影响极大的基本权利。防止对隐私的损害还需要根据人工智能系统实现的领域、其访问协议及处理数据的能力进行的数据管理，包括使用数据的质量和完整性。

隐私和数据保护：人工智能系统必须在系统的整个生命周期内确保隐私和数据保护，包括最初用户提供的信息，以及在用户与系统交互过程中生成的关于用户的信息（例如，人工智能系统为特定用户生成的结果或用户对特定推荐的响应）。人类行为的数字记录可以让人工智能系统推断个人偏好、性取向、年龄、性别、宗教或政治观点，为了使个人信任数据收集过程，必须确保收集的数据不会被非法使用或使他们受到歧视。

数据的质量和完整性：数据集的质量对人工智能系统的性能至关重要。收集的数据可能包含对社会构造的偏见、不准确、错误和误差，这需要在训练给定数据之前解决，且确保数据的完整性。恶意数据馈入人工智能系统可能会改变其行为（尤其是自学系统），必须在每个步骤（例如规划，训练，测试和开发）中测试和记录所使用的流程和数据集，这也适用于在其他地方获取而非内部开发的人工智能系统。

访问数据：在处理个人数据的任何特定组织中（无论某人是否是系统的用户），应该建立管理数据访问的数据协议，协议应概述何人、在何种情况下可以访问数据，只有有权且需要访问个人数据的合格人员才能访问。

4. 透明度

该要求与可解释性原则密切相关，并包含与人工智能系统相关的要素透明度：数据、系统和商业模型。

可追溯性：产生人工智能系统决策的数据集和过程（包括数据收集和数据标记以及所使用的算法）应记录在可行的最佳标准中，以实现可追溯性和提高透明度。这同样适用于人工智能系统所作的决策，可以识别人工智能决策错误的原因，反过来可以帮助防止将来的误差，可追溯性有助于提高可审查性和可解释性。

可解释性：可解释性指解释人工智能系统的技术过程和相关的人类决策（例如系统的应用领域）。技术可解释性要求人工智能系统作出的决策可以被人类理解和追溯。此外，可能不得不在增强系统的可解释性（可能降低其准确性）和提高其准确性（以可解释性为代价）之间进行权衡。当人工智能系统对人们的生活产生重大影响时，需要对人工智能系统的决策过程进行适当的解释，此种解释应该及时并适应利益相关者的专业知识（例如外行，监管者或研究员）。此外，应该提供关于人工智能系统影响和塑造组织决策过程的程度、系统的设计选择以及开发合理性的解释（从而确保商业模型的透明度）。

通讯：人工智能系统不应作为人类和用户对话；人类有权被告知他们正在与人工智能系统进行互动，这要求人工智能系统是可识别的。此外在为遵守基本权利时应提供中断人机交互的选择，以保证人类间互动。此外人工智能系统的功能（包括准确性）和局限性应以适当方式传达给人工智能从业者或终端用户。

5. 多样性、非歧视性和公平性

为实现可信赖的人工智能，我们必须在整个人工智能系统的生命周期中实现包容性和多样性。除了在整个流程中考虑所有受影响的利益相关者外，还需要通过包容性设计和平等待遇确保平等访问，这一要求与公平性原则密切相关。

避免不公平的偏见：人工智能系统（用于训练和操作）使用的数据集可能会受制于偶然的历史偏差、不完整和管理不当等问题，这类偏见可能导致对某些群体或个人的意外的直接/间接侵害和歧视【6】，从而加剧偏见和边缘化。危害还可能源于故意利用（消费者）偏见或通过参与不正当竞争，例如通过串通或不透明市场实现价格同质化【7】，应尽可能在数据收集阶段消除可识别的和歧视性偏见。开发人工智能系统的方式（例如算法编程）也可能遭受不公平的偏见，这可以通过建立监督机制来抵消：以清晰透明的方式分析和解决系统的目的、局限性、需求和决策。此外应鼓励从不同背景、文化和学科招聘开发人员以保证意见的多样性。

辅助功能和通用设计：特别是在B2C领域，人工智能系统应以用户为中心，以允许所有人使用产品或服务为原则设计，无论其年龄，性别，能力或其他特征，针对残障人士的辅助功能格外重要。人工智能系统不应采用一刀切的设计，应遵循通用设计原则【8】以最大范围得适应用户、符合相关的可访问性标准【9】。这将使所有人能够公平地访问和积极参与现有和将有的计算机介导的人类活动以及辅助技术【10】。

利益相关者参与：为了开发可信赖的人工智能系统，应当咨询可能在人工智能系统整个生命周期中直接或间接受影响的利益相关者。即使在开发完成后也有必要定期征求反馈，并建立利益相关者参与的长期机制，例如在组织使用人工智能系统的整个过程中确保工人信息、咨询和参与。

6. 社会和环境福祉

根据公平性和预防损害原则，在整个人工智能系统的生命周期中，更广泛的社会、芸芸众生和环境也应被视为利益相关者。应鼓励人工智能系统的可持续性和生态责任，并将此研究纳入人工智能解决方案以解决全球关注的领域，例如可持续发展目标。理想情况下，人工智能系统应用于使所有人类（包括后代）受益。

可持续和环保的人工智能：人工智能系统承诺帮助解决一些最紧迫的社会难题，但须尽可能以环境友好的方式解决。系统的开发、开发和使用过程，以及整个供应链都应该进行这方面的评估，例如：通过对训练期间资源使用和能源消耗的严格审查，选择危害较小的方式。应鼓励采取措施确保整个人工智能系统供应链的环境友好性。

社会影响：我们在生活的各个方面（教育、工作、健康、娱乐）使用社交人工智能系统【11】，都可能改变我们对社交媒介的理解，或影响我们的社会关系和依附。虽然人工智能系统可用于提高社交技能【12】，但同样可以使其恶化，这也可能影响人们的身心健康。因此，必须仔细监测和考虑这些影响。

社会与民主：除了评估人工智能系统的开发、开发和使用对个人的影响之外，还应从社会角度评估这种影响，同时考虑其对机构、民主和整个社会的影响。应在与民主进程有关的情况下仔细考虑使用人工智能系统，包括政治决策、选举背景。

7. 问责制

问责制的要求补充了上述要求，并与公平原则密切相关。需要建立机制以确保人工智能系统及其成果在开发、开发和使用前后的责任和问责。

可审计性：可审计性包含了对算法、数据和设计过程展开评估，但这并不意味着与人工智能系统相关的商业模型和知识产权需要公开。内部和外部审计人员的评估以及此类评估报告有助于验证技术的可信度。在影响基本权利的应用中，人工智能系统应进行独立审计，比如与关键安全相关的应用。

最小化和报告负面影响：必须确保能够报告使系统产生特定结果的行为或决定，以及对后续情况作出响应。识别、评估、报告和最小化人工智能系统的潜在负面影响对直接/间接受影响的人非常重要。在报告对基于人工智能的系统的合理担忧时，必须为举报人、非政府组织、工会或其他实体提供适当的保护。在人工智能系统的开发、开发和使用之前和期间进行影响评估（例如红客联盟或算法影响评估），以最小化负面影响。

权衡：在实施上述要求时出现的紧张关系会导致不可避免的权衡，应该在现有技术水平内以合理和合乎方法论的方式解决此问题。这需要确定人工智能系统所涉及的相关利益和价值观，如果出现冲突，应明确并权衡取舍其对道德原则（包括基本权利）的风险。在道德上不可接受权衡的情况下，人工智能系统的开发、开发和使用不应以该形式进行。任何关于权衡的决定都应可解释并被妥善记录。决策者必须对权衡的方式负责，并应不断审查最终决策的适当性，以确保能在必要时修改系统【13】。

救济：当出现不公正的不利影响时，应该预想到以相应机制来确保足够的救济措施【14】，知道出现问题时能够救济是确保信任的关键，同时还应特别注意弱势群体。

结语：欧盟此次对可信赖人工智能的道德准则规定了如此多项且细节的要素要求，足见其在人工智能领域抢占话语权的决心和行动力。有媒体评论称，由于无法在投资和技术上同中美竞争，欧盟选择通过道德来影响人工智能技术的未来。尽管如此，《道德准则》为人工智能这一技术的目的合乎道德方面提供了可供实施和操作的具象指导标准，对推动人工智能发挥其有利人类发展的价值具有划时代的意义。

【1】参见《GDPR》第22条。

【2】如欧盟人工智能协调计划2.7。

【3】有必要在研究和开发中，在理解攻击、发展适当保护和改进评估方法之间建立良性循环。为实现这一目标，应促进人工智能社区与安全社区之间的融合。此外，所有相关行为者都有责任制定共同的跨境安全和安保准则，并建立相互信任的环境，促进国际合作。

【4】还应考虑不能立即进行人为干预的情况。

【5】涉及将复制人工智能系统开发过程的每个步骤的文件，从研究和初始数据收集到结果。

【6】关于直接和间接歧视的定义，参见2000年11月27日理事会指令2000/78 / EC第2条，其中规定了就业和职业平等待遇的一般框架。另见“欧盟基本权利宪章”第21条。

【7】参见欧盟基本权利机构的论文：“BigData：数据支持决策中的歧视”，2018，http//fra.europa.eu/en/publication/2018/big-data-discrimination。

【8】“公共采购指令”第42条要求技术规范考虑可访问性和“为所有人设计”。

【9】例如EN 301 549。

【10】这项要求与“联合国残疾人权利公约”有关。

【11】这表示人工智能系统通过模拟人机交互（具身AI）中的社交性或虚拟现实中的化身来与人交流和交互。通过这样做，这些系统有可能改变我们的社会文化习俗和社会生活的结构。

【12】参见欧盟资助的项目，开发基于人工智能的软件，使机器人能够在人类主导的治疗过程中更有效地与自闭症儿童进行互动，从而帮助提高他们的社交和沟通技能：http：//ec.europa.eu/research。

【13】不同的治理模型有助于实现这一目标，例如内部和/或外部道德（和行业特定）专家或委员会可能有助于强调潜在冲突的领域，并提出解决冲突的最优方法。与利益相关者（包括那些有可能受到人工智能系统不利影响的人）磋商和讨论很有作用。欧洲大学应该在培训所需的道德专家方面发挥主导作用。

【14】另见《改善在欧盟一级在工商企业与人权领域获得补救的机会：欧洲联盟 基本权利机构的意见》，2017，https：//fra.europa.eu/en/opinion/2017/business。