OpenAI News21:00精选
OpenAI 分析发现编码基准 SWE-Bench Pro 存在可靠性问题
OpenAI 发布新分析报告,指出热门编码基准测试 SWE-Bench Pro 在评估 AI 模型时存在信号与噪声问题,可能影响模型性能判断的准确性。SWE-Bench Pro 是业界广泛使用的基准,用于衡量 AI 在软件工程任务上的能力。OpenAI 的研究发现该基准存在数据泄露、测试集污染等缺陷,导致模型得分虚高,无法真实反映实际编码能力。该分析对 AI 模型评估的可靠性提出了重要质疑。
Big TechOpenAIAISWE-Bench编码评估基准测试