벤처비트에 실린 "Anthropic의 컴퓨터 사용 모드는 새로운 연구에서 강점과 한계를 보여준다"라는 제목의 기사는 Anthropic의 AI 모델인 Claude 3.5 Sonnet의 새로운 "컴퓨터 사용" 기능에 대한 최근 발전과 도전 과제를 논의합니다.

주요 강점

- GUI와의 상호작용 : 이 새로운 기능은 Claude가 스크린샷을 해석하고, 마우스 커서를 움직이며, 버튼을 클릭하고, 가상 키보드를 통해 텍스트를 입력하는 방식으로 컴퓨터 인터페이스와 상호작용할 수 있게 합니다. 이를 통해 Claude는 사람들을 위해 설계된 다양한 일반 소프트웨어 프로그램을 사용할 수 있습니다. 이는 맞춤형 도구나 API에 의존하는 것이 아닙니다.

- 벤치마크 성능 : Claude 3.5 Sonnet은 OSWorld 벤치마크에서 14.9%의 점수를 기록했습니다. 이 벤치마크는 AI 모델이 인간처럼 컴퓨터를 사용하는 능력을 평가합니다. 이는 두 번째로 높은 점수를 기록한 AI 모델인 GPT-4의 7.7%보다 상당히 높은 수치입니다.

- 실제 응용 : Asana, Canva, Cognition, DoorDash, Replit, The Browser Company를 포함한 여러 기업들이 이 기능을 사용하여 복잡한 비즈니스 프로세스와 소프트웨어 개발 작업을 자동화하는 가능성을 탐색하고 있습니다. 예를 들어, Replit은 앱 빌드 중 평가 기능을 개발하기 위해 이 기능을 사용하고 있습니다.

한계

- 성능 및 정확성 : 이 기능은 큰 돌파구이지만, 여전히 공개 베타 상태이며 느리고 종종 오류가 발생합니다. Claude는 스크롤, 드래그, 확대와 같은 기본적인 컴퓨터 작업에서 어려움을 겪고 있습니다. 이러한 작업은 인간에게는 쉽습니다.

- 안전성 문제 : 악의적인 지시를 AI 모델에 주입하는 프롬프트 주입 공격과 같은 잠재적 오용에 대한 우려가 있습니다. Anthropic은 이러한 위험을 줄이기 위해 활발히 노력하고 있으며, 유해한 사용을 식별하기 위해 새로운 분류기를 개발했습니다.

- 현재 능력 : 개선이 이루어졌음에도 불구하고, Claude의 컴퓨터 사용 능력은 인간 수준의 성능과 거리가 멉니다. 인간 사용자는 OSWorld 벤치마크에서 일반적으로 70% 이상의 점수를 기록하며, 이는 현재의 AI 능력과 인간 기술 사이의 격차를 강조합니다.

미래 개발

- Anthropic은 이 기능을 조기에 출시하여 개발자로부터 피드백을 받고 있으며, 시간이 지남에 따라 빠른 개선을 기대하고 있습니다. 또한, 이 기술의 안전한 배포를 보장하기 위해 미국 AI 안전 연구소와 영국 안전 연구소와 같은 외부 전문가들과 협력하고 있습니다.

전반적으로 "컴퓨터 사용" 모드는 AI 능력에서 중요한 발전을 나타내지만, 동시에 그 한계와 잠재적 위험을 해결하기 위한 지속적인 개발과 안전 조치의 필요성을 강조합니다.