VentureBeat에서 발표된 "Together AI의 3억 5천만 달러 투자: DeepSeek-R1 같은 추론 모델이 GPU 수요를 줄이지 않고 증가시키고 있다"라는 제목의 기사에서는 Together AI의 최근 펀딩과 고급 AI 모델이 GPU 수요에 미치는 영향에 대해 여러 가지 주요 사항을 다루고 있습니다.

펀딩 및 평가
Together AI는 General Catalyst가 주도하고 Prosperity7이 공동 주도한 3억 5천만 달러 규모의 Series B 투자를 확보했습니다. 이로 인해 회사의 가치는 33억 달러에 달합니다. 이 펀딩에는 Salesforce Ventures, NVIDIA 등 세계적인 기관 투자자와 전략적 투자자들이 참여했습니다.

AI 모델 교육 및 추론
이번 투자는 Together AI의 AI 가속 클라우드를 확장하기 위한 것으로, AI 모델 교육 및 추론 능력을 향상시키는 데 초점을 맞추고 있습니다. 이 플랫폼은 채팅, 이미지, 오디오, 비전, 코드, 임베딩 등 다양한 모달리티를 지원하는 200개 이상의 오픈 소스 모델을 제공합니다. 또한 Together Inference Engine, FlashAttention-3 커널, 그리고 고급 양자화 기술과 같은 독점 기술을 활용하여 더 빠르고 비용 효율적인 AI 운영을 가능하게 합니다.

GPU 수요
효율적인 AI 모델이 GPU 수요를 줄일 것이라는 판단과 달리, 이 기사는 DeepSeek-R1과 같은 고급 추론 모델이 실제로 고성능 GPU에 대한 필요성을 증가시키고 있다고 주장합니다. 이러한 모델은 대규모 강화 학습을 통해 교육되며, NVIDIA의 최신 GPU인 GB200, H200, H100과 같은 상당한 컴퓨팅 자원을 요구합니다.

인프라 및 파트너십
Together AI는 북미의 여러 데이터 센터에 NVIDIA GPU의 최적화된 클러스터를 배치하고 있으며, 200 MW의 안정된 전력 용량을 확보했습니다. 회사는 Hypertec와의 파트너십을 통해 36,000개의 NVIDIA GB200 NVL72 GPU 클러스터를 구축하고 있으며, 이는 강력한 AI 인프라를 제공하겠다는 의지를 보여줍니다.

기술 혁신
이 기사는 Together AI의 연구 혁신, 특히 AI 시스템 최적화를 향상시키는 Together Kernel Collection을 강조합니다. FlashAttention-3과 품질 유지 양자화 기술은 더 빠른 교육 및 추론 작업을 가능하게 하면서도 정확성을 유지합니다.

시장 영향
GPU에 대한 증가된 수요는 복합적인 추론 모델을 지원하기 위한 강력한 AI 인프라의 필요성 증가에 의해 촉발되고 있습니다. Together AI의 플랫폼과 기술 발전은 회사를 AI 클라우드 제공업체의 선두에 위치하게 하여 기업과 개발자가 고급 AI 애플리케이션을 효율적으로 구축하고 배포할 수 있도록 돕고 있습니다.

요약하자면, Together AI의 대규모 투자 라운드는 AI 가속 클라우드의 확장을 촉진하고 있으며, DeepSeek-R1과 같은 고급 AI 모델의 계산 요구사항으로 인해 고성능 GPU에 대한 수요가 증가하고 있습니다.