机器之能报道
编辑：吴昕
很少有人注意到 Claude 3 兼顾安全的努力以及背后深刻动机。还有他们客户群体的特点。
Claude 3绘制的它自己，在社交媒体上广为流传。
GPT-4 结束了“独孤求败”的日子。
前几天，OpenAI 最大的竞争对手 Anthropic 发布了新一代 AI 大模型系列 —— Claude 3。该系列包含三个“杯型”，按能力由弱到强（价格由低到高）排列分别是 Claude 3 Haiku、Claude 3 Sonnet 和 Claude 3 Opus。
其中，能力最强的 Opus 在多项基准测试中得分都超过了 GPT-4 和 Gemini 1.0 Ultra，在数学、编程、多语言理解、视觉等多个维度树立了新的行业基准。
Anthropic 表示，Claude 3 Opus 拥有人类本科生水平的知识。
这两天各种体验案例汹涌而至，赞叹声络绎不绝。除了聪明，很少有人提及与其他竞争对手相比，Claude 的另一个重要优势——它不太可能说出有害的话，部分原因是它有一种名为“宪法 AI ”的训练技术：
先给模型颁布一份“宪法”，然后告诉它尽可能遵循这些原则。“宪法”条款来源比较多元——从联合国人权宣言到社交媒体社区规则，还包括 Anthropic 自己定的规则。然后使用第二个 AI 模型来评估第一个模型的“合宪程度”，在必要时对其进行纠正。
尽管如此，他们仍然会在发布前夜感到紧张和高压。去年夏天， Claude 2 发布前夜，一群表情焦躁的工程师不断讨论发布当天可能出现的各种问题。如果新用户的激增压倒了公司的服务器怎么办？如果模型不小心威胁或骚扰别人，造成（微软必应式）的公关难题怎么办？
在一间会议室里，Anthropic CEO Dario Amodei 也在仔细研究自己心中的潜在灾难清单，他总是会担心这个模型会不会做一些大家没有注意到的可怕事情？
当时，他们花了几个月才将 Claude 2 推出去，部分原因是公司的红队成员不断想出新的方法，让它可能变得危险。
某种意义上，这种对 AI 的担忧正是 Anthropic 存在的原因。这是由一群前 OpenAI 员工于 2021 年创立的公司，由于越来越担心 OpenAI 变得过于商业化，他们宣布分拆出去、组建自己的 AI 企业，称为“ AI 安全实验室”。
CEO Dario Amodei 今年 41 岁，是普林斯顿大学毕业的物理学家，曾领导开发 GPT-2 和 GPT-3 的 OpenAI 团队。他的妹妹 Daniela Amodei 今年 36 岁，曾负责监督 OpenAI 的政策和安全团队，也是公司总裁。
几位联合创始人研究了所谓的“神经网络缩放定律”—— 依据其揭示的数学相关性，AI 研究人员可以根据其训练的数据量和算力来预测 AI 模型能力。他们在 OpenAI 就发现，只需为模型提供更多数据并添加更多算力，就能让模型更智能，而无需对底层架构进行重大更改。他们也担心，如果这些机构继续制造越来越大的模型，很快会达到一个危险的临界点。
起初，他们考虑使用其他公司的 AI 模型进行安全研究。但很快发现此路不通，搞尖端的安全研究得有自己的基础模型（费曼学习法？），这又带来一个更为现实的难题——怎么筹钱购买贵得要死的 GPU？
权衡下来，他们决定将 Anthropic 变成一家公益企业（ a public benefit corporation ）。根据当地法律，这种新企业形态将使他们能够兼顾利润和社会责任（所谓的初心）。他们把自家 LLM 命名为 Claude ， 被赋予乐于助人、无害和诚实的使命。
Dario Amodei 在唐宁街10号与英国首相见面交流。Anthropic对安全的痴迷对公司的形象有好处，特别是加强了对监管机构还有立法者的吸引力。
“没有一个主流 AI 实验会像 Anthropic 那样完整体现出有效利他主义。”《纽约时报》在去年的一篇报道中评价说。
对于有效利他主义者而言，一个很重要的目标就是改善这个世界，而且做到越有效率越好。这意味着他们会透过理性分析、衡量状况，确保手中资源能够发挥最大效益，以实现目标。
《纽约时报》记者发现，公司的许多早期员工都是有效利他主义者，大部分启动资金也来自有效利他主义阵营里一群富有的科技高管，其中包括 Facebook 联合创始人 Dustin Moskovitz、 Skype 联合创始人 Jaan Tallinn。2022 年，Anthropic 收到了 Sam Bankman-Fried 的支票——失败的加密货币交易所 FTX 创始人，在他的帝国崩溃之前，他向 Anthropic 投资了 5 亿多美元。
Anthropic 对安全的痴迷对公司的形象有好处（特别是对立法者和监管者而言），但也被质疑放慢了模型进化速度，影响模型表现。
最早的 Claude 就比较沉闷和爱说教，在一些众筹的人类评估榜单上，Claude 2 还没 Claude 评级高，虽然 Claude 2 更安全。不过，Claude 3 在兼顾安全护栏和用户体验上要比前辈做得更好。Anthropic表示，靠近安全护栏但实际无害却被 Claude 3 拒绝的 Prompts 大概有 10%，而 Claude 2.1 有 25%。
由此，同样注重安全的企业用户也顺理成章地成为他们的主要客户—— 出售给大公司，或将大模型变成利润丰厚的订阅产品，这与专注消费者市场 Infection AI、Character AI 甚至 Open AI 等对手有所不同。两位了解其财务状况的人士告诉《纽约时报》，该公司去年月收入约为 800 万美元，预计今年将增长约 8 倍。
Claude 的客户包括科技公司Gitlab、Notion、Quora 和Saleforce（也是Anthropic 的投资人）；金融巨头桥水基金、SAP 以及商业研究门户网络 LexisNexis、SK 电信和全美最佳癌症医院之一丹娜-法伯癌症中心。
Claude 3 也更多考虑了企业用户。比如，Claude 3 Opus 主要瞄准那些需要从事非常前沿的复杂数据分析、生物医学研究的企业。Sonnet 便宜了很多，用于更为常见的应用，比如大型数据的存储与搜索、销售预测和代码生成。Haiku 最便宜， 主要用与客户实时交流，比如物流查库存、内容审核。
最近，Anthropic 又以 184 亿美元的估值筹集了 7.5 亿美元（至此，他们在一年内获得了 73 亿美元的融资），计划在未来几个月增加代码解释、搜索和资源引用等功能。
斯坦福大学计算机科学教授 Percy Liang 曾表示“赞赏 Anthropic 对 AI 安全的承诺”，但也担心该公司会陷入商业压力，要求发布更大、更危险的模型。Dario Amodei 对于这些担忧的回应是，想要与 OpenAI 和其他顶级实验室竞争的主要原因不是为了赚钱，而是为了更好地进行安全研究。
他们相信他们正在采取正确的预防措施，最终，他们希望他们对安全的痴迷能在硅谷更广泛地流行起来。“我们希望会有一场安全竞赛，”Anthropic 联合创始人之一 Ben Mann 去年在接受《纽约时报》采访时曾说。“我希望不同的公司会说，'我们的模型是最安全的。然后另一家公司会说，'不，我们的模型是最安全的。”
参考链接
https://www.forbes.com/sites/alexkonrad/2024/03/04/anthropic-releases-claude-3-claims-beat-openai/?sh=7516bea957bc&utm_campaign=socialflowForbesMainTwitter&utm_source=ForbesMainTwitter&utm_medium=social
https://www.nytimes.com/2023/07/11/technology/anthropic-ai-claude-chatbot.html
https://www.nytimes.com/2024/02/20/technology/anthropic-funding-ai.html?utm_source=pocket_saves
