SWE-bench Verified 是 OpenAI 推出的一项新的评估基准，旨在更可靠地评估 AI 模型解决现实世界软件问题的能力。该基准是现有 SWE-bench 的改进版本，通过人工筛选，确保了测试的范围适当且问题描述明确，从而提高了评估的准确性和可靠性。
1.2 与原始SWE-bench的比较与原始的 SWE-bench 相比，SWE-bench Verified 进行了以下几项关键改进：
人工筛选：由专业软件开发人员对测试集中的每个样本进行审查，确保问题描述清晰，单元测试合理。
测试集大小：SWE-bench Verified 包含 500 个经过验证的样本，是一个更精炼的子集，取代了原始的 SWE-bench 和 SWE-bench Lite 测试集。
评估工具：开发了新的评估工具，使用 Docker 容器化环境，简化了评估过程并减少了环境配置错误。
性能提升：在 SWE-bench Verified 上，例如 GPT-4o 模型的解决问题能力显著提高，从原始基准的 16% 提升到了 33.2%，显示了改进后的基准更好地反映了 AI 模型的真实能力。
2. SWE-bench Verified 的改进点2.1 单元测试的调整OpenAI 在推出 SWE-bench Verified 时，对单元测试进行了重要的调整，以确保评估的准确性和公正性。原先的 SWE-bench 中，单元测试被认为过于严格，有时甚至与问题本身不相关，这可能导致正确的解决方案被错误地拒绝。在 SWE-bench Verified 中，通过人工筛选和改进，确保了单元测试的范围适当，与问题解决直接相关，从而提高了评估的有效性。
调整的单元测试更加注重测试与问题的相关性，减少了因测试设置不当而误判的情况。
通过专业软件开发人员的人工筛选，确保了测试案例的质量和合理性。
2.2 问题描述的明确化在 SWE-bench Verified 中，问题描述的明确化是另一个关键的改进点。在原始的 SWE-bench 中，许多问题描述不够具体，存在歧义，这可能导致对问题及其解决方案的理解出现偏差。为了解决这一问题，OpenAI 与专业人员合作，对问题描述进行了精细化的改进，使之更加清晰和具体。
明确化的问题描述有助于减少评估过程中的歧义，确保 AI 模型能够在准确理解问题的基础上提供解决方案。
改进后的问题描述使得评估结果更能反映 AI 模型对问题的实际解决能力。
2.3 开发环境的优化开发环境的优化是 SWE-bench Verified 的第三个重要改进点。原先的 SWE-bench 在为代理设置开发环境时存在困难，有时会导致单元测试无论解决方案如何都会失败。为了提高评估的可靠性，OpenAI 与 SWE-bench 的作者合作，开发了使用容器化 Docker 环境的新评估工具。
容器化的 Docker 环境简化了评估设置过程，使得评估更加容易和可靠。
优化的开发环境减少了因环境设置不当而导致的评估失败，确保了评估结果的准确性和可重复性。
3. SWE-bench Verified 的评估效果3.1 GPT-4o的性能表现在SWE-bench Verified的评估中，GPT-4o展现出了显著的性能提升。根据OpenAI的官方数据，GPT-4o在500个经过人工验证的样本上，成功解决了33.2%的样本，这一比例是其在原始SWE-bench上表现的两倍多。这不仅证明了GPT-4o在代码生成和问题解决方面的强大能力，也反映了SWE-bench Verified作为一个改进版基准测试的有效性。
GPT-4o的性能提升得益于其在多模态理解和代码生成方面的优化。它能够更好地理解问题描述，生成更加准确和有效的代码补丁。此外，GPT-4o在处理复杂和模糊问题描述时，表现出了更高的鲁棒性，这在原始SWE-bench中是一个常见问题。
3.2 Agentless框架的表现Agentless框架在SWE-bench Verified上的表现同样引人注目。作为一个开源的代理框架，Agentless在原始SWE-bench Lite测试集上的表现已经非常出色，而在SWE-bench Verified上，它的得分翻了一番，达到了16%。这一成绩不仅展示了Agentless在简化软件开发流程中的潜力，也证明了其在解决实际软件问题方面的有效性。
Agentless的成功在于其简单而直观的方法。它通过两阶段的流程——问题定位和代码修复——来解决软件开发中的问题。这种方法避免了复杂的自主决策和工具使用，降低了实现的复杂性和成本。Agentless的低成本和高效性使其成为了许多开发者和企业的理想选择。
在SWE-bench Verified的评估中，Agentless的表现进一步证实了其作为一种新兴的软件开发工具的可靠性和实用性。随着AI技术的不断进步，Agentless有望在未来的软件工程领域发挥更大的作用。
4. 社区与开发者的反馈4.1 社区评价社区对OpenAI推出的SWE-bench Verified反应热烈，普遍认为这是一个重要的进步。许多社区成员认为，随着AI系统越来越接近通用人工智能（AGI），在更具挑战性的任务中对它们进行评估变得尤为重要。SWE-bench Verified作为一个改进的评估基准，提供了更加可靠的方法来衡量AI模型解决现实世界软件问题的能力。
接受度：社区的接受度非常高，许多研究人员和工程师表示愿意在他们的工作中使用这个新的评估工具。
改进点：尽管SWE-bench Verified得到了积极的反馈，社区成员也指出了一些潜在的改进点，比如希望未来的版本能够包含更多样化的问题类型和更广泛的编程语言支持。
4.2 开发者建议开发者群体对SWE-bench Verified的推出表现出了浓厚的兴趣，并提供了一些有价值的建议：
更广泛的测试集：开发者建议OpenAI在未来的版本中扩大测试集的范围，包括更多的编程语言和框架，以覆盖更广泛的软件工程场景。
更灵活的评估工具：一些开发者提出，希望评估工具能够提供更多的自定义选项，允许用户根据不同的需求调整评估参数。
持续更新和维护：开发者期望OpenAI能够持续更新SWE-bench Verified，以适应不断变化的软件工程实践和AI技术进步。
社区贡献机制：部分开发者建议建立一个社区贡献机制，让社区成员能够提交问题描述、单元测试用例或改进建议，共同推动评估基准的发展。
开发者的这些建议反映了他们对于SWE-bench Verified的期待和对AI在软件工程领域应用的深刻理解。OpenAI在推出这一评估基准时，显然已经考虑到了这些因素，并在设计中体现了对社区反馈的重视。
5. OpenAI 对未来评估基准的展望5.1 对基准测试的深入理解OpenAI 深知评估基准的重要性，它们不仅是衡量AI系统性能的工具，也是推动技术发展的动力。随着AI技术的不断进步，OpenAI 认识到即使是精心设计的基准测试也可能存在局限性，需要持续的改进和更新。例如，SWE-bench Verified 的推出是对原有SWE-bench的改进，解决了单元测试过于严格、问题描述不明确以及开发环境难以设置等问题，更准确地评估了AI模型解决现实世界软件问题的能力。
5.2 生态系统进步的考量OpenAI 认为评估AI模型时，需要考虑整个生态系统的进步，包括硬件、软件、数据集和代理框架等。社区在代理框架方面的进展，如Agentless框架，对评估风险时的潜在外部增强功能具有重要影响。OpenAI 通过与SWE-bench作者的合作，开发了新的评估工具，使用容器化的Docker环境，简化了评估过程，提高了评估的可靠性和便捷性。
5.3 评估方法的局限性认识OpenAI 强调了基于静态数据集的评估方法存在固有的局限性，需要通过其他评估方法来补充。例如，GPT-4o在SWE-bench Verified上的表现显著优于原始SWE-bench，解决了33.2%的样本，而开源代理框架Agentless的得分翻了一番，达到16%。这表明评估方法需要不断更新以适应AI模型能力的提升，确保评估结果能够准确反映模型的真实能力。OpenAI 建议采用多种评估方法，结合实际应用场景，以获得更全面的评估结果。
6. 总结OpenAI推出的SWE-bench Verified是一个重要的进步，它代表着对AI模型在实际软件工程任务中能力评估的深化。通过人工筛选和改进，解决了原始SWE-bench基准中存在的问题，如单元测试过于严格、问题描述不明确以及开发环境难以设置等，从而更可靠地评估AI模型解决现实世界软件问题的能力。
SWE-bench Verified的发布，提高了评估的准确性和可靠性，为AI编程能力的进一步研究和应用提供了更坚实的基础。在新的评估基准上，AI模型如GPT-4o展现出了更高的性能，解决了更多的样本问题，这不仅证实了改进措施的有效性，也显示了AI在软件工程领域的潜力。
此外，OpenAI的这项研究还强调了深入理解和改进评估基准的重要性，尤其是在AI系统越来越接近通用人工智能(AGI)时。随着AI模型能力的不断提高，我们需要更加谨慎地评估其性能，确保评估结果能准确反映模型的真实能力。同时，OpenAI建议在评估时深入理解基准、考虑生态系统的进步，并认识到基于静态数据集的评估存在的局限性，以补充其他评估方法。
