"Microsoft의 Differential Transformer가 LLM의 주의 노이즈를 제거하다"라는 제목의 VentureBeat 기사에서는 Microsoft의 대규모 언어 모델(LLM)에서 중요한 발전을 다룹니다. 이 기사에서는 Differential Transformer(이하 Diff Transformer)를 소개합니다.

주요 내용

- 차별적 주의 메커니즘 : Diff Transformer의 핵심 혁신은 차별적 주의 메커니즘입니다. 이 메커니즘은 두 개의 별도의 주의 맵을 빼서 주의 점수를 계산하여 주의 노이즈를 효과적으로 제거합니다. 이는 두 신호의 차이를 사용하여 공통 모드 노이즈를 제거하는 소음 제거 헤드폰과 유사한 과정입니다.

- 관련 맥락에 대한 집중 향상 : 전통적인 Transformer가 종종 무관한 맥락에 주의가 산만해지는 것과 달리, Diff Transformer는 노이즈를 제거하며 관련 맥락에 대한 주의를 증대시킵니다. 이로 인해 모델은 핵심 정보에 더 집중하고 무관한 데이터의 영향을 줄입니다.

- 성능 향상 : Diff Transformer는 언어 모델링, 긴 맥락 모델링, 핵심 정보 검색, 환각 완화 등 다양한 설정에서 전통적인 Transformer보다 우수한 성능을 발휘합니다. 기존 Transformer가 필요로 하는 모델 크기 또는 훈련 토큰의 약 65%만으로도 유사하거나 더 나은 결과를 얻습니다.

- 실용적인 응용 : Diff Transformer는 질문 응답 및 텍스트 요약에서 환각을 줄이는 등 현실 세계의 응용 분야에서 상당한 이점을 보여줍니다. 또한 상황 내 학습을 향상시키고 활성화 이상값을 완화함으로써, 정확한 정보 검색과 신뢰할 수 있는 텍스트 생성을 요구하는 작업에 더 효율적이며 믿을 수 있게 만듭니다.

- 실험 결과 : 광범위한 실험을 통해 Diff Transformer의 우수성이 입증되었습니다. 이 모델은 올바른 답변에 더 높은 주의 점수를 부여하고 무관한 맥락에는 더 낮은 점수를 부여하여, 핵심 정보를 검색하고 맥락에서 효과적으로 학습하는 모델의 능력을 향상시킵니다.

- 효율성과 양자화 : Diff Transformer는 모델 활성화 값의 이상값을 줄여 모델 양자화에 더 적합하게 만들며, 저비트 양자화를 가능하게 해 모델 효율성을 높입니다.

전반적으로, Differential Transformer는 주의 노이즈 문제를 다루며 LLM 발전에 있어 중요한 발전을 나타냅니다. 이는 다양한 언어 관련 작업에서 더 정확하고 효율적이며 신뢰할 수 있는 성능을 이끌어냅니다.