A 공식 발표/논문2024-08-15·중요도 88점·검증 완료 (Human/Cross-Checked)
SWE-bench Verified 발표: 인간 엔지니어 검증 기반 신뢰성 있는 코딩 벤치마크
📌핵심 팩트 3줄 요약
- 1기존 SWE-bench의 단위테스트 결함을 수작업으로 검수한 500개 샘플 기반 정밀 벤치마크 공개
- 2주요 코딩 에이전트들의 실질적 GitHub 이슈 해결 능력이 40%~50% 선으로 수렴 및 신뢰도 회복
- 3단순 코드 완성을 넘어 프로젝트 단위 버그 픽스 자동화의 객관적 표준 확립
📊핵심 주장과 실증 근거 (Claims & Evidence)
원문 대조 검증됨 (1개 명제)주장 명제 #1
기존 SWE-bench 테스트 케이스의 불공정한 단위테스트 실패율을 정제하여 평가 공정성 확보
원문 발췌 근거Task Agreement: 97.5%
"SWE-bench Verified resolves over-strict unit test failures, providing an accurate 500-task subset."
공개 데이터셋/코드로 재현 가능 확인
상반된 시각 및 전문가 공방 (Dialectic Perspectives)
낙관 0건 · 신중/회의 0건혁신 & 낙관적 시각 (Innovation & Pros)
등록된 낙관적 의견이 없습니다.
한계 & 회의적 시각 (Skepticism & Safety)
등록된 비판적 의견이 없습니다.
🔗교차 검증된 원본 출처 목록 (1건)
링크 조작 및 환각 방지 고정 앵커A 공식 발표/논문OpenAI & SWE-bench Team
SWE-bench Verified: A Reliable Evaluation of Software Engineering Agents