MistralAI即将发布新的大模型,MistralNext悄悄登场ChatArena!

数据学习科技行 2024-02-19 04:33:56

本文原文来自DataLearnerAI官方网站:

Mistral AI 是一家法国的人工智能公司,由前Meta和Google DeepMind的研究员Arthur Mensch, Timothée Lacroix和Guillaume Lample于2023年4月创立。该公司在2023年10月筹集了3.85亿欧元(约4.15亿美元)的资金,并在2023年12月达到了超过20亿美元的估值。Mistral AI发布了一系列的开源模型,在各个评测排行榜中都有很好的表现。此前,他们通过直接在推特上公布Mixtral 7B×8 MoE的大模型,引爆了整个大模型的技术圈。大家测试结果也非常棒。

而现在,MistralAI又悄悄地上线了另一个模型,即Mistral Next。相比之前的发布预训练种子引起大家猜测的方式,本次MistralAI又把模型发布玩出了花,他们没有公布任何信息,选择直接上架LM-SYS的大模型竞技场Chat Arena,让大家直接体验对比。

LM-SYS是一个大语言模型评估平台,它由Chatboot Arena、MT-Bench、MMLU主要基准组成。其中Chatbot Arena是一个大语言模型基准平台,以众包的方式进行匿名、随机的评测。目前有47K+用户的投票数据,采用Elo评级方法进行计算结果。用户可以提问一个问题,让不同的模型回答然后匿名评价好坏。这种方式更加接近人类的偏好习惯,且问题也会包罗万象。

Mistral Next是一个神秘的模型,最早的信息来在2024年2月16日大模型竞技场Chat Arena上线的一个匿名模型。从命名看,这应该是MistralAI即将发布的一个大语言模型。尽管没有任何信息,但是大家可以直接在LM-SYS的Arena上进行体验和对比。而评测结果也非常令人惊喜。这里我们提供DataLearnerAI的一个简单测试结果。

Mistral Next中文测试结果Mistral Next与Mistral Medium对比Mistral Next与GPT-4对比附:MistralAI已有的产品和服务Mistral Next中文测试结果

在此前的MistralAI发布的模型中,它支持的语言主要是英语和欧洲的一些语言。而此次发布的Mistral Next在中文的表现似乎也非常好,这意味着可能在Mistral Next模型可能在更多语言上有了扩展。

Mistral Next与Mistral Medium对比

Mistral Next做文本润色和重新生成效果也不错。而且比Mistral Medium似乎更好:

即使单纯测试一个简单逻辑,也比Mistral Medium更好。

Mistral Next与GPT-4对比

从Mistral Next的体验结果看,它的能力非常强,与GPT-4几乎没有啥区别。我们测试了一个稍微复杂的中文逻辑问题,关于购买蔬菜的逻辑计算:

增加难度,不考虑会员费,考虑赠送,可以说与GPT-4不相上下,这其实是个难度颇高的问题了。

最后,我们测试了一个信息抽取的问题,其中核心是有一个不太容易处理的条件,这个情况看GPT-4略好。

附:MistralAI已有的产品和服务

目前,MistralAI已经发布了4款大语言模型,主要包括:

模型名称

模型简介

模型的DataLearnerAI的信息卡地址

Mistral-7B

最强大的70亿参数规模的大语言模型之一,指令遵从和多语言支持非常好。

https://www.datalearner.com/ai-models/pretrained-models/Mistral-7B-Instruct

Mixtral-8×7b

最具盛名的混合专家大模型,直接发布预训练结果,引起了广泛关注。效果超过GPT-3.5。

https://www.datalearner.com/ai-models/pretrained-models/Mistral-7B-MoE

Mistral Medium

闭源模型,各方面表现都接近GPT-4,但是价格更便宜

Mistral Next

MistralAI发布的神秘模型,2024年2月16日出现在Areno体验上,没有任何信息,评测结果接近GPT-4。

https://www.datalearner.com/ai-models/pretrained-models/mistral-next

0 阅读:0

数据学习科技行

简介:感谢大家的关注