AI FrontierRadar

검증된 AI 인텔리전스

전체 주제 목록으로 돌아가기
주제별 아카이브

코딩 AI

SWE-bench, 코드 생성, 자동 디버깅 및 리팩토링 (총 6건의 검증된 이슈)

A 공식 발표/논문OpenAI
2025-01-31
97점

OpenAI o3-mini 추론 모델 출시: STEM 및 코딩 특화 초경량 추론

  • •o1 대비 지연시간을 획기적으로 줄이고 코딩과 수학에 특화된 초경량 추론 모델 공개
  • •추론 노력도(Reasoning Effort: Low/Medium/High)를 개발자가 직접 선택하여 비용 최적화
  • •SWE-bench 및 AIME 수학 벤치마크에서 풀사이즈 o1에 필적하는 고효율 성능 달성
SWE-bench Verified 49.3%출처 1건
검증 팩트
A 공식 발표/논문Anthropic
2024-10-22
95점

Claude 3.5 Sonnet 'Computer Use' 공개: 화면 인식 및 데스크톱 자동화

  • •스크린샷 분석을 통해 마우스 커서 이동 및 키보드 입력을 자율 실행하는 신규 기능 공개
  • •표준 GUI 평가 벤치마크인 OSWorld에서 14.9%를 기록하여 기존 최고 성과 대비 2배 달성
  • •자율 조작 에이전트의 기업 도입 가능성과 프롬프트 인젝션 보안 리스크 공존
OSWorld 14.9%출처 2건
검증 팩트
A 공식 발표/논문OpenAI
2024-09-12
96점

OpenAI o1 (Strawberry) 추론 모델 발표: 사고 연쇄 스케일링 패러다임

  • •사고 연쇄(Chain of Thought)를 내부적으로 확장하여 복잡한 다단계 논리를 해결하는 모델 출시
  • •미국 수학 올림피아드 예선(AIME 2024)에서 83.3% 정답률 달성 (GPT-4o 13.4% 대비 비약적 상승)
  • •사전 학습 중심에서 테스트 타임 연산량(Test-time Compute) 스케일링으로의 전환 입증
AIME 83.3%출처 1건
검증 팩트
A 공식 발표/논문OpenAI & SWE-bench Team
2024-08-15
88점

SWE-bench Verified 발표: 인간 엔지니어 검증 기반 신뢰성 있는 코딩 벤치마크

  • •기존 SWE-bench의 단위테스트 결함을 수작업으로 검수한 500개 샘플 기반 정밀 벤치마크 공개
  • •주요 코딩 에이전트들의 실질적 GitHub 이슈 해결 능력이 40%~50% 선으로 수렴 및 신뢰도 회복
  • •단순 코드 완성을 넘어 프로젝트 단위 버그 픽스 자동화의 객관적 표준 확립
500 Verified Tasks출처 1건
검증 팩트