"Less is more: How ‘Chain of Draft’ could cut AI costs by 90% while improving performance"라는 제목의 VentureBeat 기사에서는 Chain of Draft(코드)라는 새로운 프롬프팅 전략에 대해 다룹니다. 주요 내용은 다음과 같습니다:

효율성과 비용 절감
Chain of Draft는 AI 추론 작업에서 토큰 사용량, 지연 시간 및 비용을 크게 줄이는 혁신적인 프롬프팅 전략입니다. 전통적인 Chain-of-Thought(코트) 프롬프팅이 장황하고 단계별로 추론하는 방식인 반면, 코드의 경우 추론 과정을 간결하고 고부가 가치의 결과물로 압축합니다. 이 방법은 최대 90%의 비용 절감과 응답 시간의 거의 76% 감소를 달성할 수 있습니다.

정확성과 성능
장황함이 줄어들었음에도 불구하고, 코드의 경우 코트와 비교해도 AI 모델의 정확도를 유지하거나 심지어 향상시킵니다. 산술, 상식 및 기호 추론을 포함한 다양한 추론 작업에서 실험을 진행한 결과, 코드는 훨씬 적은 토큰을 사용하면서 비슷하거나 더 나은 정확도를 보여주었습니다.

인간의 인지적 영감
코드는 인간의 인지 과정을 바탕으로 하여, 개인이 복잡한 문제를 해결하기 위해 보통 중요한 정보만 메모하는 방식을 모방합니다. 이러한 행동을 따름으로써 LLMs는 장황한 추론의 부담 없이 해결책으로 나아가는 데 집중할 수 있습니다.

실용적인 응용
이 새로운 전략은 고객 지원 챗봇, 모바일 AI, 교육 및 효율성이 중요한 대규모 기업 AI 배치와 같은 실시간 AI 응용 프로그램에 특히 유용합니다. 코드가 간단한 프롬프팅 기법이기 때문에 세밀한 조정이나 모델 재훈련이 필요 없어 기업이 쉽게 채택할 수 있는 솔루션입니다.

실험적 검증
실험을 통해 코드의 효과가 입증되었으며, 특정 작업에서 코트에 비해 토큰 사용량을 최대 92.4% 줄이면서도 정확도를 유지하거나 향상시킬 수 있음을 보여주었습니다. 이러한 토큰 사용량 및 지연 시간의 감소는 비용에 민감하고 실시간 AI 응용 프로그램에 있어 코드가 유망한 접근 방식임을 시사합니다.

전반적으로 Chain of Draft 전략은 AI 추론 효율성에서 상당한 진전을 이루었으며, 인간의 문제 해결 전략과 일치하고, 중요한 비용 절감 및 성능 이점을 제공합니다.