A 공식 발표/논문2024-10-22·중요도 95점·검증 완료 (Human/Cross-Checked)
Claude 3.5 Sonnet 'Computer Use' 공개: 화면 인식 및 데스크톱 자동화
📌핵심 팩트 3줄 요약
- 1스크린샷 분석을 통해 마우스 커서 이동 및 키보드 입력을 자율 실행하는 신규 기능 공개
- 2표준 GUI 평가 벤치마크인 OSWorld에서 14.9%를 기록하여 기존 최고 성과 대비 2배 달성
- 3자율 조작 에이전트의 기업 도입 가능성과 프롬프트 인젝션 보안 리스크 공존
📊핵심 주장과 실증 근거 (Claims & Evidence)
원문 대조 검증됨 (1개 명제)주장 명제 #1
OSWorld 벤치마크에서 기존 최고 모델 대비 약 2배인 14.9%를 기록함
원문 발췌 근거OSWorld: 14.9%
"In the OSWorld evaluation, Claude 3.5 Sonnet scored 14.9%, nearly double the previous best agent score of 7.8%."
공개 데이터셋/코드로 재현 가능 확인
상반된 시각 및 전문가 공방 (Dialectic Perspectives)
낙관 1건 · 신중/회의 1건혁신 & 낙관적 시각 (Innovation & Pros)
Anthropic Research(Anthropic)
원문 인간의 자연어 지시를 컴퓨터 GUI 환경의 실제 동작으로 매끄럽게 전환하는 새로운 패러다임 제시
"Computer use allows Claude to translate human intent into desktop actions seamlessly."
한계 & 회의적 시각 (Skepticism & Safety)
보안 리서치 그룹(AI Safety Lab)
원문 신뢰할 수 없는 웹 브라우징 도중 악성 프롬프트가 주입될 경우 로컬 머신 제어권을 탈취당할 수 있는 근본적 취약점 지적
"Giving an LLM direct control of keyboard and mouse creates severe prompt injection risks on unvetted websites."