前沿研究
GPT-5 上线三周，长上下文优势还不能下定论
GPT-5 上线三周后，公开材料只给出有限信号：一则实测认为它的理解和一致性更好，Gemini 2.5 Pro 的逻辑更强；SWE-Bench 汇总分数也偏向 GPT-5。多模态长上下文仍需同输入、同配置复测。
阅读全文
Search
站内搜索
关键词：SWE-bench
找到 4 篇相关文章
前沿研究
AI 实操指南
大模型评估避坑：从单一指标到多维度Benchmark组合
2026年大模型选型，MMLU分数早已失真。本文结合《通用大模型评测体系2.0》与SuperCLUE最新数据，拆解代码、多模态等场景的评估陷阱，提供一套避坑的组合策略。
阅读全文Claude Sonnet 4.5跑分领先，代码为何仍卡在合入前
Caylent称Claude Sonnet 4.5在SWE-bench Verified取得77.2%。这个成绩证明模型更会生成可验证的补丁，却不能替代兼容性检查、CI和代码评审。
阅读全文超越SWE-bench：2026年AI Agent评估新范式——从‘工具使用’到‘长期规划’的基准测试集演进
本文深度解析2026年AI Agent评估范式的重大转变。针对SWE-bench等传统基准的局限性，学术界与工业界正构建聚焦长期规划、错误恢复与多步推理的新一代测试集，旨在推动Agent从执行短期任务向完成复杂、持久性目
阅读全文