Meta即将发布Llama3:规模可能是Llama2的两倍

猫猫喜欢吃香菜 2024-03-03 08:39:39
Meta计划在七月份发布其下一代开源语言模型Llama 3,该模型旨在与GPT-4相媲美。 据《The Information》的消息来源称,新版本的模型将对用户更加响应,为困难话题提供上下文,而不是回避棘手的问题。 对于那些根据上下文可能具有危险或无害含义的词汇(例如“kill”),据说Llama 3在区分这些词汇方面会更加出色。在Llama 2中,Meta采取了更为保守的安全措施,希望不惜一切代价避免公关灾难。 Meta希望为模型的语调和安全培训指定一个负责人,使模型的回应更加细腻。然而,《The Information》报道称,仅本月就有三位AI安全领域的关键人物离开了Meta。 目前关于AI安全有两种主要观点:一种是高度规范的方法,如OpenAI的ChatGPT、GPT-4和Google Advanced,这类AI模型有明确的指导原则,以礼貌和政治正确的方式回应。 另一种是更不受约束的开源运动,以及X的所有者埃隆·马斯克(Elon Musk)的对立计划,他故意提供一个更好地代表保守世界观的聊天机器人。不幸的是,对于目标受众来说,Grok仍然过于“觉醒”,例如,它尊重跨性别者。 Llama 3的最大版本可能拥有超过1亿4千万个参数,是Llama 2的两倍之多,后者最多有7千万个参数。然而,这仍然只是原始GPT-4混合专家模型1.76万亿参数的一小部分。目前运行ChatGPT的GPT-4模型具有多少参数尚不清楚,但可能较少。参数数量不再是AI模型预期输出质量的唯一和最重要的衡量标准。 据《The Information》的消息来源称,Llama 3的细化调整尚未开始。最终模型据说将达到GPT-4的质量。Llama 2于2023年7月发布。总体而言,Meta对生成式AI仍有宏大计划,并希望保持其相对开源的策略。Meta的首席执行官马克·扎克伯格是Nvidia的最大客户之一,计划到今年年底使用大约60万张图形卡进行AI训练,长期目标是开发类似OpenAI的通用人工智能(AGI)。Meta也在开发自己的AI芯片,名为Artemis。
0 阅读:0

猫猫喜欢吃香菜

简介:感谢大家的关注