'Apple DROPS AI BOMBSHELL: LLMS CANNOT Reason'라는 제목의 기사에서는 Apple의 AI 연구원들이 최근 발표한 연구 결과에 대해 다룹니다. 이 연구는 대규모 언어 모델(LLMs)의 추론 능력에는 중요한 한계가 있음을 강조합니다.

주요 내용은 다음과 같습니다.

형식적 추론의 부족
연구자들은 LLMs가 문제를 논리적이고 추상적으로 해결하는 형식적 추론 능력을 나타내지 않는다고 밝혔습니다. 대신, 이러한 모델은 훈련 데이터를 통해 학습한 복잡한 패턴 매칭에 의존합니다.

수학적 추론의 취약성
이 연구는 LLMs가 작은 irrelevant한 세부사항이 추가되었을 때, 수학 문제를 풀기 어려워진다는 것을 보여주었습니다. 예를 들어, 키위를 세는 간단한 수학 문제는 올바르게 해결할 수 있지만, "다섯 개의 키위가 평균보다 작았다"는 세부 사항이 추가되면 모델이 혼란을 겪고 잘못된 답을 할 수 있습니다. 이는 모델이 기본적인 수학을 진정으로 이해하지 못하고, 훈련 데이터에서 학습한 패턴을 단순히 반복하고 있음을 보여줍니다.

성능 저하
문제의 복잡성이 증가함에 따라 LLMs의 성능은 현저히 저하됩니다. 이는 정수 산술과 같은 작업에서 더 큰 곱셈 문제를 해결하는 데 어려움을 겪는 모습을 통해 알 수 있으며, 체스와 같은 게임에서도 규칙을 일관되게 따르지 못하는 경우가 있습니다.

한계와 함의
연구자들은 이러한 실패가 LLMs가 진정한 논리적 추론 능력을 보유하고 있지 않음을 나타낸다고 주장합니다. 대신, 그들은 훈련 데이터에서 관찰된 추론 단계를 복제하며, 이는 작은 변화나 irrelevant한 정보에 의해 쉽게 방해받을 수 있습니다. 이는 LLMs가 실제 세계의 다양한 응용프로그램에서 신뢰할 수 있는지에 대한 의문을 제기합니다.

AI에 대한 더 넓은 의미
이 연구는 AI에 대한 대안적인 접근법, 예를 들어 신경 심볼릭 AI의 필요성을 강조합니다. 이는 신경망과 심볼릭 추론을 결합하여 더 견고하고 추상적인 문제 해결 능력을 달성하는 방법입니다. 이는 현재 AI 연구와 개발에서 지배적인 패러다임에 도전하는 것입니다.