"VentureBeat"에 실린 "Anthropic가 OpenAI에 저렴한 배치 처리로 도전하다"라는 기사는 Anthropic이 AI 작업에서 더 비용 효율적인 배치 처리 솔루션을 도입하여 OpenAI와 경쟁하고 있는 내용을 다루고 있습니다.

주요 내용은 다음과 같습니다:

- Anthropic은 개발자들이 대량의 쿼리를 비동기적으로 처리할 수 있도록 돕는 새로운 Message Batches API를 출시했습니다. 이 API는 시간에 민감하지 않은 작업을 처리하도록 설계되어, 표준 API 호출에 비해 비용을 50% 줄여줍니다.

- 각 배치는 최대 10,000개의 쿼리를 포함할 수 있으며, 24시간 내에 처리됩니다. 하지만 종종 더 짧은 시간 안에 완료됩니다. 이 접근 방식은 복잡한 큐 시스템의 필요성을 없애고 속도 제한을 보다 효율적으로 관리하는 데 도움이 됩니다.

- Batches API는 Anthropic의 Claude 3 모델, 즉 Sonnet, Opus, Haiku를 지원하며, 현재 공개 베타版으로 이용할 수 있습니다. 또한 Amazon Bedrock 및 Google Cloud의 Vertex AI와 곧 통합될 예정입니다.

- 이 새로운 API는 고객 피드백 분석, 언어 번역, 대규모 데이터셋 평가와 같이 대량의 데이터를 처리해야 하는 기업에 특히 유용합니다. 실시간 처리와 관련된 인프라 문제 없이 처리량 및 확장성을 향상시킵니다.

- Quora는 요약 및 핵심 내용 추출과 같은 작업에 Batches API를 사용하고 있으며, 이를 통해 엔지니어들이 더 복잡한 문제에 집중할 수 있도록 하고 있습니다.

전반적으로 Anthropic의 Message Batches API는 기업들이 고급 데이터 분석을 더 저렴하고 효율적으로 수행할 수 있도록 도와주며, 기업 AI 시장에서 OpenAI에 큰 도전을 제기하고 있습니다.