최근 A.I. 모델은 추론모델(Reasoning)을 기반으로 한다. OpenAI, Google, DeepSeeke들도 이런 추론모델을 기반으로 A.I. bot들을 만들고 있다. 하지만 이른 추론모델을 기반으로 하는 A.I.가 이전 모델보다 hallucination이 더 심해지고 있다. OpenAI의 경우 가장 강력하다고 하는 모델인 o3모델에서 PersonQA테스트를 했을 때 33%의 hallucination이 발생했다고 하며 이는 이전의 추론 시스템인 o1보다 두 배 이상의 hallucination이 발생되는 수치이다. 새 모델인 o4-mini는 이보다 더 높은 48%의 hallucination이 발생되고 있다.

Hallucination을 줄이기 위한 노력들은 하고 있지만 모델이 방대한 데이터를 기반으로 학습을 하기 때문에 원인을 정확하게 어떤 경로를 통해 hallucination이 발생되는지 그 원인을 찾지 못하고 있다.

OpenAI와 같은 회사들은 기존의 통념 즉, 더 많은 데이터를 학습에 사용하면 할수록 성능이 좋아진다는 것에 의존해 왔지만 인터넷에 있는 거의 모든 데이터를 다 써버렸기 때문에 성능 개선을 위한 새로은 방법을 모색할 수 밖에 없었다.

그래서 강화학습(reinforcement learning) 기법을 이용하여 학습을 했으며 이는 “시행착오”를 이용하여 학습을 하는 방법이다. 이는 수학이나 컴퓨터 프로그래밍과 같이 답이 있는 문제에는 잘 동작하지만 그 이외의 영역에서는 그렇지 못하다.

이런 방법은 학습할 때 하나의 태스크에 초점을 맞추기 때문에 다른 것들은 신경쓰지 않는 특성이 있다. 또한 추론모델은 최종 결과를 내기 전에 복잡한 문제에 대해 일련의 생각(thinking)하는 과정을 거치도록 설계되어 있다. 이 과정에서 문제를 단계적으로 해결해 나갈 때 각 단계에서 hallucination이 발생할 위험을 포함하고 있다. 만약 생각하는 시간이 길어질 수록 hallucination도 더 커질 수 있다는 얘기가 된다.

최신의 챗봇들은 사용자들에게 이런 일련의 생각하는 과정으로 보여주고 있으며 사용자들은 이때 hallucination과 같은 오류를 같이 확인할 수 있다. 또한 연구자들은 챗봇이 출력하는 각 단계에는 서로 관련이 없는 대답들이 출력되는 것을 많이 발견했다고 한다.