Aider 发布了几个新的大模型的代码编辑能力排行榜。DeepSeek很强啊,性能接近 Claude 3.5 Sonnet,但成本却低了 20-50 倍。结果如下:
Claude 3.5 Sonnet:77%
DeepSeek Coder V2 0724:73%
Llama 3.1 405B instruct:66%
Mistral Large 2 (2407):60%
Llama 3.1 70B instruct:59%
GPT-3.5 turbo 0301:58%
Llama 3.1 8B instruct:38%