LLM, 환각(Hallucination)이 발생하는 이유

https://www.mk.co.kr/news/it/11346340

"피자에 접착제 넣으면 맛있어요" 헛소리 늘어놓는 인공지능 학습방식 따른 태생적 결함 - 매일

https://v.daum.net/v/20250618170301666

"모르면 모른다고 답하라"… AI 기업들 환각 해결 나섰다

가장 근본적인 이유는, 사람이 착각하기 때문이다. LLM은 지식체계가 아니다. LLM은 그런 목적으로 만들어지지 않았다. 그걸 위해 학습되지도 않았다.

머신러닝을 하는 사람은 언제나 모델이 학습되지 않은 영역에서 정상 작동하리란 기대를 하면 안된다. 이를 Extrapolation이라고 한다. 학습 된 영역에서 추정하는 Interpolation과 반대다. 그리고 우리가 아는 그 어떤 모델도 Extrapolation에서의 작동을 기대하지 않는다. LLM이라고 다를 게 없다.

그걸 자꾸 까먹는 건, LLM이 생각 이상으로 생각지도 못한 곳에서 성능을 보여왔기 때문이다. 또한 언어라는 건 다차원 공간상에 표현할 수 없어, 그 범주의 경계를 구분하기 어렵기 때문이다.

하지만 지식의 보존과 추론은 LLM의 본래 목적도 아니고, LLM의 학습 방법도 이에 무관하다.

LLM은 기본적으로 낱말맞추기로 학습하며, 그 목적은 문법적으로 자연스러운 낱말을 가져다 붙이는 데에 있다. 언어의 구조를 모델링하기 위한 모델이지 지식을 구조화하는 모델이 아니다.

따라서 LLM이 아무리 정상 작동하고, 고도로 정상 작동하고, 매우 뛰어나게 작동해도 환각의 문제는 해소되지 않는다. 다만 더 복잡하고 정교하게 문장을 구사할 뿐이다. 원래 그걸 목적으로 한 모델이기 때문이다. 지식을 정확하게 저장하고 검색하기 위한 모델이 아니기 때문이다.

그럼 지식은 어떻게 하냐고? 그거에 대한 대표적인 모델이 RAG(Retrieval Augmented Generation) 기술이다. 우리가 검색엔진으로 지식을 검색한다면, LLM에는 언제나 RAG가 따라붙는다. 하지만 그거도 실제 문제에 가서는 너무 제약이 많고, 또 LLM이 거기에 딱 맞춰서 잘 튜닝되어 있지도 않다. 그래서 적절한 참조문서를 찾지도 못하고, 찾아줘도 LLM이 헛소리를 하는 경우는 너무 많다.

사람이 일을 할 때는 물론이거와, 평범한 대화를 하는데에도 복잡한 지식체계가 쓰인다. 히스토리에 대한 일화 기억, 배경지식, 대화의 흐름에 대한 기억, 상황이나 대화 상대방에 대한 정보, 스스로의 역할과 특성에 대한 페르소나 등등. 심지어 그것들은 실시간으로 적절히 업데이트도 되어야한다. 그게 다 되어야 비로소 '대화'가 성립한다. LLM은 대화를 하는 게 아니라 그저 언어 생성기일 뿐이다.

물론 LLM은 본래 저것을 목적으로 하지 않았음에도 상당한 수준의 정보 기억능력을 가지고, 대화 히스토리를 바탕으로 대화의 흐름을 잘 잡아낸다. 하지만 본래 그것을 위해 모델링한 것도 아니고 그것을 위해 학습시키지도 않았다. 과도한 기대는 금물이다.

개인적으로는 RAG보다 정교한 지식 시스템과, 사실과 가상, 상황의 인지, 지식의 부존재를 구별할 수 있는 메타 인지가 가능한 모델이 나와야 저 환각 현상이 해결될 거라고 본다. 하지만 궁극적으로 환각이 완전히 해결되는 일은 없다.

왜냐하면, 우리가 이해할 수 있는 궁극의 지능은 결국 인간이고, AI는 기능적으로는 인간을 뛰어넘더라도 구조적으로는 넘어서지 못할 것이기 때문이고, 그 목표인 인간부터가 환각이 있으며,

아무리 완벽한 체계를 갖추더라도 우리가 가진 모든 지식 풀에 이미 환각이 녹아들어가 있기 때문이다.

걱정 마라. 어차피 사람을 써도 피할 수 없는 게 환각이다...