이번에 VentureBeat에 실린 "AI2가 폐쇄형 소스와 개방형 소스 후속 훈련의 간극을 좁히다"라는 제목의 기사는 Allen Institute for AI(Ai2)가 언어 모델 후속 훈련 분야에서 이룬 중대한 발전에 대해 다루고 있습니다. 특히 그들의 Tulu 3 모델의 출시가 주목받고 있습니다.

주요 내용은 다음과 같습니다.

- Tulu 3 모델 : Ai2는 Tulu 3 모델을 출시했습니다. 이는 OpenAI, Mistral, Google 등과 같은 회사들의 독점 모델에 비견되거나 심지어 이를 초월하는 성능을 가진 오픈 소스 AI 모델입니다. 이 모델들은 수학, 지시 수행, 대화 능력 등 다양한 기술을 위해 세밀하게 조정되었습니다.

- 후속 훈련 : Tulu 이니셔티브의 초점은 후속 훈련에 있습니다. 이는 언어 모델의 초기 훈련 이후 특정 작업과 실제 응용에 적합하도록 모델을 개선하는 과정입니다. 이 단계는 매우 중요하지만, 업계에서 대부분 불투명하게 진행되어 왔으며, 폐쇄형 모델은 독점적인 접근 방식 때문에 유리한 위치에 있습니다.

- 오픈 소스 접근법 : Ai2는 Tulu 3의 후속 훈련 과정에서 사용된 모든 데이터, 코드 및 인프라를 공개합니다. 여기에는 새로운 데이터 세트, 훈련 절차 및 평가 프레임워크가 포함되어 있으며, 이는 더 넓은 AI 커뮤니티가 대규모 컴퓨팅 리소스 없이도 고품질의 작업 특정 모델을 만들 수 있도록 지원하는 것을 목표로 합니다.

- 발전과 혁신 : Tulu 3는 검증 가능한 문제에 대해 강화 학습을 사용하여 직접 훈련하는 새로운 방법, 모델의 자체 생성물을 활용하여 고성능 선호 데이터를 생성하는 방식, 그리고 정책 생성으로 선호 데이터를 확장하는 방법 등 여러 가지 혁신을 도입합니다. 이러한 접근 방식은 후속 훈련의 어려운 측면 중 하나인 특화된 기술과 일반 능력 간의 균형을 맞추는 데 도움을 줍니다.

- 커뮤니티에 미치는 영향 : 데이터, 레시피 및 연구 결과를 공개함으로써 Ai2는 오픈 후속 훈련의 최전선에서 진전을 이루는 것을 목표로 하고 있습니다. 이는 모든 연구자, 개발자 또는 AI 실무자가 선도적인 폐쇄형 모델 수준으로 모델을 후속 훈련할 수 있도록 하는 변화를 가져올 것으로 기대됩니다. 이 움직임은 더 유연하고 맞춤화된 AI 솔루션을 가능하게 할 것입니다.

- 맞춤화 및 적응성 : Tulu 3 모델 및 관련 자원은 개발자들이 특정 데이터와 사용 사례에 맞게 모델을 조정할 수 있게 하며, 일반적인 기본 기술을 잃지 않도록 합니다. 이러한 유연성은 맞춤 데이터와 특정 요구가 있는 조직에 특히 유익합니다.

전반적으로 Ai2의 Tulu 3 모델 출시가 오픈 소스와 폐쇄형 소스 AI 모델 간의 간극을 좁히는 중대한 단계가 되었으며, AI 커뮤니티가 고품질의 작업 특정 언어 모델을 개발하는 데 필요한 도구와 투명성을 제공하게 되었습니다.