"AI는 버그를 수정할 수 있지만 찾기는 어렵다: OpenAI 연구가 소프트웨어 공학에서 LLM의 한계를 강조하다"라는 제목의 VentureBeat 기사에서는 OpenAI와 연구자들의 연구를 바탕으로, 소프트웨어 공학에서 대형 언어 모델(LLMs)의 한계에 대해 논의하고 있습니다.

주요 내용은 다음과 같습니다.

버그 식별의 한계
연구에서는 LLM이 때때로 버그를 수정할 수 있지만, 이를 식별하는 데는 효과적이지 않다고 강조했습니다. 연구자들은 OpenAI의 GPT-4, Anthropic의 Claude 2, 그리고 SWE-Llama라는 특별히 훈련된 모델을 포함한 다양한 LLM을 테스트했습니다. 이들은 GitHub에서 소스한 실제 소프트웨어 공학 문제에 대해 문제와 저장소 코드를 제공받고 수정을 시도했으나, 문제를 식별하고 정리하는 데에는 부진한 성과를 보였습니다.

성능 지표
결과에 따르면, 가장 좋은 성능을 보인 SWE-Llama조차도 가장 간단한 공학 문제만 해결할 수 있었고, GPT-4와 Claude 2와 같은 일반적인 LLM은 각각 1.7%와 4.8%의 문제만을 해결했습니다. 이는 LLM의 능력과 인간 소프트웨어 엔지니어가 처리하는 복잡한 작업 간의 상당한 격차를 보여줍니다.

소프트웨어 공학의 복잡성
연구는 소프트웨어 공학이 단순히 코드를 작성하는 것 이상의 작업이 필요하다고 강조합니다. 서로 다른 기능, 클래스 및 파일 간의 상호작용을 이해하고, 대규모 저장소를 탐색하며, 복잡한 코드에서 작은 오류를 찾아내는 것이 필요합니다. LLM은 이러한 작업을 수행하는 데 제한된 맥락 이해 능력과 다중 모달 상호작용을 처리하는 능력 부족으로 어려움을 겪고 있습니다.

LLM의 미래 역할
현재의 한계에도 불구하고, 이 기사는 LLM이 소프트웨어 개발자에게 더 유용한 도구로 발전할 가능성이 있다고 제안합니다. LLM은 개발자가 코드 조각을 생성하거나 코드 리뷰에서 도움을 주는 등 부조종사 역할을 할 수 있으며, 인간 개발자를 완전히 대체하지는 않을 것입니다. 개발자의 미래 역할은 코드 작성에서 벗어나 AI가 생성한 코드를 검토하고 검증하는 쪽으로 이동할 것으로 보입니다.

전문가 의견
기사에서 인터뷰한 업계 전문가와 개발자들은 LLM이 아직 소프트웨어 개발을 완전히 자동화할 수는 없지만, 일상적인 작업을 처리하여 개발자의 일을 더 쉽게 만들어 주고 복잡하고 창의적인 작업에 더 많은 시간을 할애할 수 있게 할 것이라고 의견을 일치했습니다.

종합적으로, 이 연구는 LLM의 현재 한계를 해결하고 소프트웨어 공학 분야에서 더 효과적으로 발전하기 위해 지속적인 연구와 개선이 필요하다는 점을 강조하고 있습니다.