微软发布Phi-4模型了。参数14B。
Phi系列模型是微软遵循“教科书就是你需要的一切”的原则训练的模型。只用少量高质量数据来训练，参数量也不大。具体到Phi-4 的训练数据包括合成数据集、经过筛选的公共领域网站数据，以及获取的学术书籍和问答数据集。这种方法的目的是确保小型且高性能的模型能够使用专注于高质量和高级推理的数据进行训练。
跑分上看数学和科学能力不错，SimpleQA （评估模型的事实性回答能力）得分较低。
补一张ollama做的图，可以看到MMLU跑分已经和70b大模型差不多了
微软发布Phi-4模型了。参数14B。
Phi系列模型是微软遵循“教科书就是你需要的一切”的原则训练的模型。只用少量高质量数据来训练，参数量也不大。具体到Phi-4 的训练数据包括合成数据集、经过筛选的公共领域网站数据，以及获取的学术书籍和问答数据集。这种方法的目的是确保小型且高性能的模型能够使用专注于高质量和高级推理的数据进行训练。
跑分上看数学和科学能力不错，SimpleQA （评估模型的事实性回答能力）得分较低。
补一张ollama做的图，可以看到MMLU跑分已经和70b大模型差不多了