人工智能，欧盟

当地时间2024年2月2日，欧盟各国代表对《人工智能法案》（以下简称“《法案》”）达成共识，《法案》或将在今年上半年正式通过欧洲议会表决并落地，或将成为全球主要经济体通过的首个人工智能法案。

《法案》规定了自身适用范围，由于人工智能运用的全球性，以及数据与算法在互联网的高流动性，《法案》的适用范围规定实质上赋予了欧盟对于人工智能监管一定的长臂管辖权。即使第三国主体开发并部署在欧盟境外的人工智能系统，只要其输出结果在欧盟境内使用，其提供者与部署者均将可被《法案》管辖，该思路与欧盟此前相关立法相似。《法案》按照风险将人工智能分为风险不可接受、高风险、风险有限以及低风险四类。《法案》明确指出了属于风险不可接受的人工智能系统类别，并禁止其运用，涉及欺诈、人群生物分类、实时远程生物识别等。对高风险人工智能系统的发展制定了全流程管理措施，涉及风险管理、信息披露、透明度、使用记录、准确性与稳健性等方面。《法案》达成一致并即将获得通过是人工智能监管领域的标志性事件，将加速全球人工智能监管的立法工作。我国的《人工智能法》或将在2-3年内出台，美国或也将由于其大型科技企业受《法案》长臂监管，考虑调整其对人工智能监管的态度。

事件：当地时间2024年2月2日，《人工智能法案》（Artificial Intelligence Act，以下简称“《法案》”）获得了欧盟各国代表的一致同意，《法案》或将在2024年上半年正式通过欧洲议会表决并落地，该《法案》将成为全球主要经济体首个人工智能监管立法。此前，2023年年底，部分欧盟国家曾对《法案》部分要求提出修改意见，使得《法案》立法程序终止。此后，各方逐步达成一致。在2024年1月21日，欧盟委员会人工智能办公室公布了《法案》全文的最终版本。点评：近年来，全球人工智能技术快速发展，对经济社会发展和人类文明进步产生深远影响，给世界带来巨大机遇。生成式人工智能的出现更是加速了全球人工智能监管的进程。欧盟《人工智能法案》按照风险将人工智能分为不可接受风险、高风险、有限风险以及低风险四类，并给出了人工智能的“负面清单”，以及针对高风险人工智能的发展制定了全流程管理措施。欧盟《人工智能法案》的达成一致是全球人工智能监管的标志性事件，其或将加速全球人工智能监管的立法工作，我国的《人工智能法》或将在2-3年内出台，由于美国大型科技企业在欧盟展业亦需适用欧盟《人工智能法案》，因此美国或也将调整其对人工智能监管态度。一、《法案》具有一定域外长臂管辖权《法案》规定了其适用范围，包括：一是在欧盟内研发人工智能系统（Artificial Intelligence System）并投入使用的人工智能系统提供者（Providers），无论这些提供者是否位于欧盟境内或第三国。二是位于欧盟境内的人工智能系统部署者（Deployers）。三是虽然人工智能系统的提供者和部署者均位于第三国，但该人工智能系统的输出在欧盟内使用。其中，人工智能系统指“可以不同程度的自主性运行，并且在部署后可能表现出适应性，同时对于明确或隐含的目标，可从其接收到的输入推断如何生成输出的基于机器的系统（Machine-Based System）”。提供者是指“开发人工智能系统或通用人工智能模型，并将其投放市场的自然人、法人、公共机构、机构或其他团体”。部署者是指“在提供者授权下使用人工智能系统的任何自然人、法人、公共机关、代理机构或其他团体，但在个人非专业活动过程中使用人工智能系统的情况除外”。鉴于人工智能运用的全球性，以及数据与算法在互联网的高流动性，《法案》的适用范围规定实质上赋予了欧盟对于人工智能监管一定的长臂管辖权。例如，即使第三国主体开发并部署在欧盟境外的人工智能系统，只要其输出结果在欧盟境内使用，在大多数情况下，其位于欧盟境外的人工智能系统提供者与部署者均将属于《法案》的适用范围。这一思路与欧盟数据监管此前相关立法相似，以欧盟《通用数据保护条例》（General Data Protection Regulation，GDPR）为例，其适用范围包括：在欧盟境内有实体存在的个人数据控制人和个人数据处理人的处理数据行为，不论该处理行为、数据控制人或数据处理人本身是否发生在欧盟境内。在适用范围上，《法案》也明确了部分不适用的场景：一是专门用于军事、国防或国家安全目的的人工智能系统。二是用于科学研究的人工智能系统。三是人工智能系统或模型在投放市场或投入使用之前的任何研究、测试和开发活动。四是自然人在纯粹个人非专业活动过程中所使用人工智能系统。此外，《法案》指出，欧盟致力于人工智能国际监管合作，以确保全球对于人工智能监管可以保持相对统一的法律确定性。这一表述可以视作欧盟对2023年11月美国、中国等28个国家与欧盟共同签署联署了关于人工智能国际治理的《布莱切利宣言》 （Bletchley Declaration）的回应。二、《法案》按风险对人工智能系统进行分类监管近年来，人工智能已在多个领域引起变革，成为生产力革命的重要驱动力。按照人工智能的行为模式，可以大致分为决策式人工智能和生成式人工智能。决策式人工智能发展已较为成熟，在生活中已广泛应用，其通过学习数据中的条件概率分布，实现对样本的分类或预测，起到辅助决策或代替决策的作用。生成式人工智能则需通过大量数据以及多轮次的模型训练以学习数据的生成方式，主要应用于生成新的文本、图片、音视频等。无论是决策式人工智能，还是近年来兴起的生成式人工智能，都已经与人类的经济活动息息相关，并在诸多领域引起变革。人工智能系统是基于人工智能的能力，对于明确或隐含的目标，从其接收到的输入推断如何生成输出的基于机器的系统。《法案》从风险的角度出发，将人工智能系统分为四个类别：第一，风险不可接受（Unacceptable risk）的人工智能系统，主要包括被认为对人类构成威胁的人工智能系统。例如对人类生物特征进行分类（Biometric categorization systems）等可能涉及歧视的人工智能系统。对于风险不可接受的人工智能系统，《法案》采取严格禁止（Prohibited）的措施，详细的“负面清单”请参见本报告第三部分。第二，高风险（High Risk）的人工智能系统，主要包括可能影响关键基础设施的人工智能系统，其可能作为关键基础设施的构成部分（Component），涉及医疗系统、教育考试系统、招聘系统、司法系统等。对于高风险的人工智能系统，《法案》制定了全流程的风险管理措施，详情请参见本文第四部分。第三，风险有限（Limited Risk）的人工智能系统，是指使用者在使用人工智能系统时能够清楚意识到在使用人工智能，且其决定不受人工智能控制。《法案》给出三个判定标准：一是人工智能系统旨在执行特定的程序性任务，例如将非结构化数据转换为结构化数据、将传入文档分类、用于检测重复项等人工智能系统应用。二是人工智能系统旨在改进人类已完成的内容，例如学术论文润色等任务。三是人工智能系统用于检测人为活动的偏差，例如教师教学评分等。对于风险有限的人工智能系统，《法案》要求其履行公开透明义务，在提供相应结果时必须标注其由人工智能生成。第四，风险最小（Minimal risk）的人工智能，包括已经广泛应用的人工智能系统，例如垃圾邮件过滤器等应用，不属于《法案》监管范围。三、人工智能应用的“负面清单”当前，人类已逐步意识到人工智能技术对各个领域造成变革的潜力，然而某些领域若任由人工智能进入将造成极大的社会风险。《法案》规定了禁止人工智能应用的场景，属于不可接受风险类别。一是禁止利用人工智能系统部署影响（subliminal）、操纵（manipulative）或欺诈（deceptive）相关工具，进而严重扭曲个人或群体行为。例如，利用人工智能合成虚假图片或视频，通过虚假宣传以影响个人或群体的行为，进而引发显著社会危害（significant harm）的情况。二是禁止利用人工智能系统发掘特定人群的脆弱性（exploiting vulnerabilities）。这些人工智能系统可能通过发掘和分类年龄、残疾、特定社会或经济状况而存在脆弱性的个人或特定群体，造成严重影响或重大伤害。例如，针对不同种族、性别、政治观点、宗教的人群进行算法歧视。三是禁止利用人工智能系统对自然人或其群体进行生物分类（biometric categorization），以避免对某些特定人群的不利结果。《法案》定义生物分类为“根据自然人的敏感生物特征数据将其归为特定类别的活动”。应当指出的是，《法案》严格禁止根据敏感特征（attributes）对人群进行生物分类，所谓敏感特征包括种族、政治观点、协会会员、宗教或性取向等特征。不过以合法方式获得的生物信息数据库为基础，对相关人群进行列示和筛选，以及执法部门对人群按生物信息进行分类这两种行为并不属于严格禁止的范畴。值得注意的是，近年来部分商业机构通过大数据对人群进行划分，进而进行推广和营销，甚至进行大数据杀熟的行为可能涉及根据人群敏感特征进行生物分类，未来上述行为的规范边界有待进一步明确。四是禁止利用人工智能在公共场所使用“实时”远程生物特征识别（'real-time' remote biometric identification）系统，即使出于执法目的。《法案》定义生物识别为“自动识别个人生物数据，以建立将个人的生物识别数据与已存储的生物数据库比较以识别身份的活动”。《法案》在严格限制执法部门进行实时、远程生物识别权力的同时，也给出了部分豁免情形，以保障社会安全。豁免情形包括：有针对性地寻找绑架、贩卖人口等具体受害者以及寻找失踪人员；防止自然人的生命或人身安全受到具体的、实质性的和迫在眉睫的威胁，或当前正在发生或者可预见的恐怖袭击威胁；定位或识别涉嫌犯有刑事犯罪的人员。《法案》高度重视生物数据在人工智能中的应用保护，延续了欧盟对于个人隐私数据保护的传统。个人隐私在欧盟被视为人权的一部分受到尊重与保护，且个人数据保护具有悠久的历史传统。早在1950年，欧洲委员会颁布的《欧洲人权公约》（European Convention on Human Rights）[1]第8条规定：“任何人都享有私人、家庭生活及其各项通讯被尊重的权利。”五是禁止利用人工智能仅基于人格特征等信息预先对自然人进行实施刑事犯罪的风险评估。六是禁止人工智能从互联网或电视录像中无针对性地抓取面部图像来创建或扩展面部识别数据库。应当指出的是，在图像识别等深度学习人工智能发展早期，从在线视频中抓取面部图像是获取数据的主流途径之一。《法案》的规定或将对之后的人工智能模型训练造成影响，其数据来源或将进一步规范。除此之外，《法案》主要基于当下人工智能的发展给出负面清单，随着人工智能的发展，该类场景或将进一步扩充。从过渡期来看，在《法案》正式生效后的6个月内，以上涉及的人工智能系统需进行关停或整改。四、高风险人工智能监管要点《法案》第二章（Chapter 2）对高风险人工智能制定了全流程的风险管理措施。重点环节如下：在风险管理方面，应建立贯穿高风险人工智能全生命周期的风险管理体系。一是预先识别人工智能在按照预设目标使用、误用的情况下可能存在的风险；二是针对可能存在的风险点，预设应对措施；三是需对高风险人工智能进行风险测试，测试可在整个开发过程中的任何时间点酌情进行，但必须在系统投入使用之前进行。在信息披露与透明度方面，高风险人工智能系统的设计和开发应确保其运行足够透明，使使用者能够解释系统的输出和适当地使用它。高风险人工智能系统在正式推出前需撰写高风险人工智能系统的技术文件，其需要证明符合《法案》规定的各项要求，并以清晰、全面的形式向该司法辖区的主管当局和公告机构提供评估高风险人工智能系统所需的必要信息，包括人工智能系统的基本信息、开发与训练的技术框架、运行监测的详细信息以及前述所需的风险管理体系等。在人工智能系统的使用记录方面，为了确保人工智能系统功能的可追溯性水平，高风险人工智能系统在技术上应允许在系统生命周期内自动记录事件。在人为监督（Human oversight）方面，高风险人工智能系统的设计和开发方式应包括适当的人机交互工具（Human-Machine Interface Tools），以便在人工智能系统使用期间受到自然人的有效监督。人为监督的目的旨在防止或尽量减少人工智能系统在正常运行或被可预见误用（misuse）的情况下，对人类健康、安全或各类基本权利的损害。在准确性（Accuracy）、稳健性（Robustness）与网络安全性（Cybersecurity）方面，高风险人工智能系统的设计和开发方式应使其达到一定水平的准确性、稳健性和网络安全性，并在应用的全生命周期过程中保持稳定。一是高风险人工智能系统应将相关准确度指标在使用说明中声明，使用户对其预测的准确性充分了解。二是高风险人工智能系统应尽可能地应对系统内或系统运行环境中可能发生的错误、故障或不一致，保持系统的稳健性。三是制定人工智能特定漏洞的技术解决方案，以应对可能的网络安全攻击，包括“数据中毒（Data Poisoning）”等攻击模式。所谓数据中毒指的是当计算系统受到有害或恶意数据“投毒”影响时的情况，在生成式人工智能的应用中更为常见。在责任与义务方面，《法案》规定高风险人工智能系统的主要责任人为提供者（Providers），其需要确保相应的人工智能系统满足前述的监管要求。提供者需要在其人工智能系统投入使用或进入市场后的10年内，确保司法辖区的监管部门可以随时调用查阅相关技术文件。从过渡期来看，《法案》规定高风险人工智能需在《法案》正式生效后的2年至3年内完成整改以符合法律要求。五、对我国人工智能监管的潜在影响欧盟在数据与人工智能等领域的监管立法走在全球前列，其法律文件往往对其他国家制定法律起到引领和推动作用。此前，2016年4月27日，欧洲议会（European Parliament）[2]通过《通用数据保护条例》（General Data Protection Regulation，GDPR），基本确立欧盟个人数据的保护规则，随后世界各国纷纷出台本国的数据保护规则[3]，我国先后在2021年6月10日和8月20日通过了《数据安全法》和《个人信息保护法》。《法案》达成一致并即将获得通过，将加速其他国家在人工智能领域的立法工作，我国人工智能相关立法已至出台前夜。2023年，网信办等七部门联合发布了《生成式人工智能服务管理暂行办法》。同时，《人工智能法》已列入国务院2023年立法工作计划。考虑到我国的立法流程周期，参考GDPR出现后我国《数据安全法》与《个人信息保护法》的推出进程，未来2-3年内，我国的《人工智能法》或将正式出台。值得注意的是，目前，美国在人工智能监管方面仍处于起步阶段，立法机关和学界在是否需要新设一个联邦机构来专门负责人工智能监管、是否需要进行与欧盟类似的全面人工智能监管立法等议题上仍然存在争议。考虑到欧盟《法案》具有一定域外长臂管辖权，将对美国的大型科技企业在欧盟展业产生影响，美国或也将思考调整其人工智能领域的监管思路。注：[1]资料来源：欧洲委员会官网，European Convention on Human Rights，EB/OL，1950/11/4[2024/2/4]，https://www.echr.coe.int/european-convention-on-human-rights。[2]欧洲议会（European Parliament）是欧盟三大机构（欧洲理事会、欧盟委员会、欧洲议会）之一，为欧盟的参与立法、监督、预算和咨询机构。[3]Zooliyar Tursun. 欧盟《通用数据保护条例》的域外效力边界研究[D].华东政法学,2023.DOI:10.27150/d.cnki.ghdzc.2022.001123。

★

★

免 责 声 明

兴业经济研究咨询股份有限公司(CIB Research Co.,Ltd.)(中文简称“兴业研究公司”)提供，本报告中所提供的信息，均根据国际和行业通行准则，并以合法渠道获得，但不保证报告所述信息的准确性及完整性，报告阅读者也不应自认该信息是准确和完整的而加以依赖。

本报告中所提供的信息均反映本报告初次公开发布时的判断，我司有权随时补充、更正和修订有关信息，但不保证及时发布。本报告内容仅供报告阅读者参考，一切商业决策均将由报告阅读者综合各方信息后自行作出，对于本报告所提供的信息导致的任何直接或间接的后果，我司不承担任何责任。

本报告的相关研判是基于研究员本人的知识和倾向所做出的，应视为研究员的个人观点，并不代表所在机构。我司可根据客观情况或不同数据来源或分析而发出其它与本报告所提供信息不一致或表达不同观点的报告。研究员本人自认为秉承了客观中立立场，但对报告中的相关信息表达与我司业务利益存在直接或间接关联不做任何保证，相关风险务请报告阅读者独立做出评估，我司和研究员本人不承担由此可能引起的任何法律责任。

本报告中的信息及表达的观点并不构成任何要约或投资建议，不能作为任何投资研究决策的依据，我司未采取行动以确保此报告中所指的信息适合个别的投资者或任何的个体，我司也不推荐基于本报告采取任何行动。

报告中的任何表述，均应从严格经济学意义上理解，并不含有任何道德、政治偏见或其他偏见，报告阅读者也不应该从这些角度加以解读，我司和研究员本人对任何基于这些偏见角度理解所可能引起的后果不承担任何责任，并保留采取行动保护自身权益的一切权利。

本报告版权仅为我司所有，未经书面许可任何机构和个人不得以任何形式翻版、复制和发表。除非是已被公开出版刊物正式刊登，否则，均应被视为非公开的研讨性分析行为。如引用、刊发，需注明出处为“兴业经济研究咨询股份有限公司”，且不得对本报告进行有悖原意的引用、删节和修改。

我司对于本免责声明条款具有修改和最终解释权。