作者 | 祝世虎  光大信托科技部副总经理、数据中心总经理；CIC金融科技和数字经济发展专家委员会委员

来源 | 《中国银行业》杂志2023年第5期

导语：回顾人类历史，技术和伦理紧密交织，面对科林格里奇困境，笔者认为，社会伦理优先于技术创新。

在新兴技术的设计和开发过程中，应优先考虑和满足为人类服务的伦理要求，最大限度利用技术创新造福人类。结合我国国情，对于AIGC的治理分为监管治理、行业自律、企业自治、全民共治四个方面。

ChatGPT发展与治理面临科林格里奇困境

ChatGPT是OpenAI推出的聊天机器人，通过自然对话方式与用户交互，可以处理复杂语义任务，包括文本生成、自动问答、翻译、代码生成等，在人们的工作生活中存在着广泛的应用，这种应用涉及多元主体，涵盖多个领域。

本质上而言，ChatGPT是AIGC（Artificial Inteligence Generated Content）人工智能生成内容的一种。从技术角度看，AIGC的发展与应用，是一个新技术形成新生产力的问题；从治理角度看，是一个牵一发而动全身的社会问题；从哲学角度看，其中蕴藏着人类与AI边界的哲学问题。

综合来看，ChatGPT的发展与治理是一个典型的科林格里奇困境（Collingridge's Dilemma），指的是一项技术如果因为担心不良后果而过早实施控制，那么技术很可能难以爆发，反之如果控制过晚，技术已经成为经济和社会结构的一部分，就可能走向失控，再来解决问题就会变得更加昂贵、更加困难。

ChatGPT的技术分析

从技术角度对ChatGPT的算法分析并不容易理解，笔者尝试从逻辑思维角度解释ChatGPT技术。OpenAI的工程师们接到的任务是：要做一个拥有人类智能的机器；工程师们的思路如下：首先，要创建一个“大脑”；其次，要整理学习资料；再次，掌握学习方法；最后，学成归来。这就是ChatGPT技术路线的逻辑框架。

第一步，构建“大脑”。工程师认为这应该是一个“通用大脑”，这就是通用人工智能AGI的构想：AGI应该是一个大系统，系统的核心是一个与任务无关的“通用”大模型，大模型依靠大算力从海量大数据中学习人类的知识，从而形成AI智能，这一步体现了工程师的系统思维，与通用复用的工程思维。

第二步，整理学习资料。人类知识的载体是文字、语言、图画等，所以，工程师选择了大型语言模型LLM（Large Language Model）。在工程师眼中，大算力、大存储、大数据使得大模型的工程实践成为可能，随着数据越来越丰富，算力越来越强，模型越来越大，效果也会越来越好，这体现了工程师们“力大砖飞”的实用思维，但并没有从算法上对“力大砖飞”进行严格论证。

第三步，掌握学习方法。在当时的NLP（Natural Language Processing）领域，深度学习模型已经遭遇瓶颈，通过增加模型层深来提升模型效果微乎其微，深度学习模型已经逐步被预训练模型所取代，预训练模型的公式为：模型性能=预训练性能（数据+任务）+微调性能（数据+任务）。

在预训练模型范式下，存在BERT（Bidirectional Encoder Representations from Transformers）和GPT（Generative Pre-Training）两种技术实现方式，两者看似相似，实际上其底层逻辑却截然不同。从十年前发表的论文来看，研究者大部分选择了BERT技术，而工程师们大部分选择了GPT技术。回头看分析其原因，笔者认为研究者的思路一般是按部就班的：先是完成自然语言理解任务，而后是完成自然语言生成任务，这就是BERT技术。工程师则希望一步到位，越过自然语言理解任务，直接完成自然语言生成任务。

其具体的技术路线如下：GPT1使用预训练方法来进行语言理解；GPT2采用了迁移学习技术高效利用预训练信息进一步提高语言理解能力；GPT3解决了小样本的泛化能力；GPT3.5通过指令遵循和tuning（微调）的技术进步，突破了人机交互的关键技术；GPT4则将上述技术实现工程化。

第四步，学成归来。随着大算力、大数据的“厚积薄发”，大模型“量变突破质变”，大语言模型的智力涌现（Emergent Abilities of Large Language Models）出现了。

纵观人类技术发展史，一项新兴技术的成功分为三个步骤：一是实验室中技术的成功；二是工程师们对技术成本的降低；三是产业应用的试错。目前，我们已经进入了产业应用的试错阶段。

ChatGPT的技术缺陷

尽管我们似乎看到，技术的进步在推动着ChatGPT的发展，但是由于技术的局限性，也导致ChatGPT存在一定技术缺陷。

应用平民化，但建模贵族化。应用平民化指的是ChatGPT提供了便捷的API接口，每个人都可以很方便地接入；建模贵族化指的是建模的成本太高了。ChatGPT的训练需要大量的训练样本、大量的算力，这些背后更是数百名工程师以及大量内容提供者。总体而言，在应用平民化的同时，ChatGPT研究却越来越贵族化。

AI“大而不便改”，使得人去适应AI。在ChatGPT的1750亿个参数中，以“某种方式”存储着人类的知识，但这些参数的逻辑关系、学习过程等从技术上却尚未完全明确。这些参数的修改主要是靠训练，而训练依赖的是昂贵的数据集，会产生“大而不便改”的缺陷。所以，这可能会产生一个“反直觉”的问题：究竟是人去适应AI大模型，还是AI大模型去适应人。以人和手机为例，从客户体验角度看，好像是手机在适应人的操作，但本质却是人去适应手机给我们带来的生活方式！

智能缺陷：感知智能而非决策智能。从技术角度智能类型可以分为三类：基于贝叶斯公式的感知智能、基于先验概率的决策智能、基于计算公式的计算智能。从前述ChatGPT的技术分析不难看出，ChatGPT是通过文本语言等训练的模型，其智能类型是受限的，是局限在文字语言领域的感知智能，而非决策智能，更不是计算智能。

智能缺陷就是ChatGPT的使用边界。例如，在金融机构中，ChatGPT不是决策智能，若用于风险决策将受到限制；ChatGPT不是计算智能，若用于资本计量也将受到限制；ChatGPT是语言领域的感知智能，是可以以文字助手的身份嵌入大部分与文本相关的工作。

AI算法固有缺陷。提起ChatGPT有人可能会有疑问，为什么ChatGPT只提供了API接口而很少开源，这就揭示了ChatGPT作为一种人工智能算法的固有缺陷：算法黑箱、算法鲁棒性、算法歧视等。算法黑箱，是指由于算法模型的黑箱运作机制，其运行规律和因果逻辑并不会显而易见地摆在研发者面前。算法鲁棒性，指的是算法运行容易受到数据、模型、训练方法等因素的干扰。算法歧视，指的是算法以数据为原料，如果初始使用的是有偏见的数据，无形中会导致生成的内容存在偏见或歧视，引发用户对于算法的公平性争议，这种歧视可能主要来自于资本对于训练数据的控制。

ChatGPT靠数据训练，其输出的结果也是数据。从技术角度分析，在数据的处理过程中，开发公司对于数据安全的关注并不够，所以，可能导致其存在数据安全缺陷，在与用户数据交互的全过程中也可能存在风险与合规问题。

一是训练数据的获取，ChatGPT通过抓取互联网上的信息获得训练数据，可能存在合规问题。

二是在个人信息收集阶段，当用户使用ChatGPT时，可能会输入个人数据，根据《个人信息保护法》要求需要单独授权。

三是在个人数据的加工使用阶段，ChatGPT使用了RLHF（Reinforcement Learning from Human Feedback）的训练方法，即以强化学习方式依据人类反馈优化语言模型，用户使用过程中的输入和交互信息可能会用于持续迭代训练，进一步被用于为其他用户提供服务，从而可能构成数据共享，这时已与用户最初数据使用目的和范围相悖，根据《个人信息保护法》要求需要重新授权。

四是数据泄露，用户在使用过程中输入的信息，以及企业用户输入的各类工作信息，可能导致公司敏感信息泄露。

五是算法缺陷导致数据主体行权困难，ChatGPT的算法黑箱与算法复杂性导致数据主体的基本权利，如更改权、删除权、访问权等行权困难。

ChatGPT的潜在风险

ChatGPT所引发的潜在社会问题主要来自工作岗位、“机器宣传”、人与AI的边界等方面，以及由此可能造成的一系列社会风险。

工作岗位被取代的潜在风险。ChatGPT推出以来，不少新闻报道或文章分析其会取代一些人的工作。ChatGPT本质上是通过科技创新提高生产效率，是生产力的跃升，这与历史上的生产力提升一样，比如，蒸汽机替代马车、电力的广泛使用替代蒸汽机等，都是以更少的人力去生产商品，让节约的人力进入新兴行业，增加新的商品和服务供给。虽然会在短时间内对人类的就业结构产生冲击，但由于人力资源的稀缺性，中长期不会导致大规模失业的问题，只是就业结构发生了变化。

这种结构变化可以用一句话来概括：一群人的工作是发展AI，一群人的工作是被AI所取代，取代你的不是AI，而是先掌握AI能力的人。

“机器宣传”的潜在风险。ChatGPT为代表的AIGC的内容生成，可以在短时间内制造大量包括文字与图片在内的“新内容”，其受制于训练数据的分布。也就是说，虽然ChatGPT的技术是理性、中立、客观的，但是由于训练数据存在歧视，可能导致输出结果存在歧视，导致“机器宣传”可能存在风险，这种风险在技术中立的掩盖下具有一定的隐蔽性。所以，需要大力推动人工智能工具理性与价值理性的双向平衡，构建内容与监管的融合统一。

“资本逐利”的潜在风险。在ChatGPT之前的一个热点是元宇宙，ChatGPT火爆以后，元宇宙迅速降温，给人的感觉是二者此消彼长。但从技术角度来看，AIGC客观上为元宇宙中UGC（User Generated Content）创作提供了助力。元宇宙设想通过用户创作内容的方式来打造元宇宙，而AIGC本身就是内容创作的辅助工具，通过AI和文本、绘图、视频的结合，形成了元宇宙内容创作的新生态。之所以给人此消彼长的感觉，其原因有三，表面原因是元宇宙的应用生态没有形成，如VR游戏等依然看不到突破；次要原因是流量迁移，即元宇宙的流量向ChatGPT的迁移；根本原因是资本的短期逐利性，资本来了又走，是一个阶段的结束也是另一个阶段的开始。

潜在的法律风险。一是著作权。ChatGPT生成的文学作品、代码等存在着著作权归属不清的问题。主要包括：我国现行知识产权法律体系均规定法律主体为享有权利、负有义务和承担责任的人。

二是可能助长信息网络犯罪活动罪。所谓帮信罪，即帮助信息网络犯罪活动罪，我国《刑法》第二百八十七条明确规定，明知他人利用信息网络实施犯罪，为其犯罪提供互联网接入、服务器托管、网络存储、通信传输等技术支持，或者提供广告推广、支付结算等帮助。比如，犯罪分子使用ChatGPT的文字生成功能，形成极具说服力的钓鱼电子邮件或消息，冒充人类或者组织骗取他人信息。

三是拒不履行信息网络安全管理义务罪。ChatGPT的运营商，作为信息发布的网络内容服务提供者，需要履行信息网络安全管理义务。若被监管部门要求责令整改，而ChatGPT的运营商无法提供有效的管理措施，致使违法信息大量传播，可能涉嫌拒不履行网络安全管理义务的违法行为。而前文提及的ChatGPT“大而不便改”的缺陷，则加大了“运营商无法提供有效的管理措施”的可能性。

潜在的未知风险。人与AI能否“和谐”相处，关键是能否达成“共识”，这是一个潜在的未知风险。例如，人类认为：人具有创造性，AI无法开展创造性工作，但AI“认为”：AI使人类的创造力大幅提升。人类认为：毕加索的画是抽象的创造性，但AI“认为”：毕加索的画风不过是一个模型，通过参数调整会生成多幅毕加索的画。人类认为：人类在利用AI扩展人的智能，但AI“认为”：AI在利用人展示它的智能。所以，当“机器宣传”的能力超过了原有的信息渠道；当AIGC产生的文字超过了人类历史积累的文字；当非人类情感的思想被机器开发出来；当AI“过度智能”变得比人类更聪明；当硅基生产力超越碳基生产力，人类如何掌握对人类文明的控制，这也是一个值得深思的哲学问题。

ChatGPT的治理

回顾人类历史，技术和伦理紧密交织，面对科林格里奇困境，笔者认为，社会伦理优先于技术创新。在新兴技术的设计和开发过程中，应优先考虑和满足为人类服务的伦理要求，最大限度利用技术创新造福人类。结合我国国情，对于AIGC的治理分为监管治理、行业自律、企业自治、全民共治四个方面。

监管治理：技术与内容并重。我国正在形成相对完善的法律体系，由《网络信息内容生态治理规定》《网络数据安全管理条例（征求意见稿）》《互联网信息服务深度合成管理规定（征求意见稿）》等政策法规强调对内容的治理；《互联网信息服务算法推荐管理规定》等强调对技术的治理，这体现了技术与内容并重的治理思路。建议在上述治理成果的基础上，进一步加强对ChatGPT内容产业与应用模型的方向性引导。

行业自律：伦理先行、统筹发展。国家新一代人工智能治理专业委员会在2021年发布了《新一代人工智能伦理规范》，提出将伦理道德融入人工智能研发和应用的全生命周期。《中国关于加强人工智能伦理治理的立场文件》中明确写到，人工智能治理应坚持伦理先行，通过制度建设、风险管控、协同共治等推进人工智能伦理监管；应加强自我约束，提高人工智能在研发过程中的算法安全与数据质量，减少偏见歧视；应提倡负责任使用人工智能，避免误用、滥用，加强公众宣传教育。建议成立行业联盟，统筹龙头企业、研究机构和标准化组织等发挥协同优势，联合制定公约、标准、指南、准则等行业制度规范，建立可信赖的AIGC技术框架、标准体系、评测机制等。

企业治理：主体责任与社会职责。《关于加强互联网信息服务算法综合治理的指导意见》明确提出强化企业主体责任。同时也需要企业践行科技向善理念、积极履行社会职责，例如，社会伦理、安全底线、内容治理等职责。建议加强企业与政府部门和行业组织的治理合作，为其提供可靠的技术能力，例如，内容审核技术能力、紧急辟谣技术能力等。

全民共治：提升防范意识，营造良性发展环境。一是深化公众对于AIGC技术滥用所带来的风险和危害的认知；二是提高广大群众对于虚假信息的鉴别能力；三是鼓励广大群众主动参与内容与传播等环节的舆论监督。全面共治，共同营造良性发展的生态。