P149거대 언어모델은 언어에 대한 좋은 모델이지만, 인간 사고에 대해서는 불완전한 모델이라는 것입니다. 이런 차이 때문에 ‘형식적 언어 능력’이 필요한 과제에서는 거대언어 모델이 인상적인 성과를 보이지만, ‘기능적 능력’이 필요한 많은 테스트에서는 실패한다는 것입니다. 이들은 (1) 현재의 거대 언어모델은 형식적 언어 능력의 모델로서 진지하게 받아들여야 하며 (2) 실제 언어 사용을 마스트하는 모델은 핵심 언어 모델뿐만 아니라 사고 모델링에 필요한 여러 비언어적 인지능력을 통합하거나 추가 개발할 필요가 있다고 주장합니다. 지난 목요일(11.21) 회의차 한국 마이크로소프트를 방문하게 되었는데 조금 일찍 도착한 터라 교보문고에서 책을 좀…
몇 년전 부터 AI가 IT업계의 메인스트림으로 인식하고 있다. 이제 AI가 가져다 줄 변화에 두려움이 느껴지기도 한다. AI가 어떻게 동작하는지 기술적인 관점에서 바라보는 것도 재미 있지만 좀 더 큰 그림, 한 1km 높이에서 AI기술을 이루는 큰 블럭들을 바라볼 수 있다면 요소 기술을 접하는데 더 도움이 될 것이다. AI가 보편화 될 수록 관련 기술 생태계는 아래의 그림과 같이 구성될 것이다. 지금까지의 IT 또는 SW의 발전은 더 나은 계산기를 만드는 과정이었다고 보면 된다. 즉 더 나은 CPU와 이를 활용하는 더 나은 SW로 다양한…
2022년11월 ChatGPT를 처음 접하던 날 내가 받은 인상을 아직도 생생하게 기억한다. 프롬프트 뒤에는 사람이 직접 입력을 하고 있다는 우스게 소리도 있었다. 내가 질문한 답을 기-승-전-결에 맞추어 군더더기 없이 깔끔하게 설명을 해주다니… 그것도 오류없이. 이게 가능하단 말인가! 더구나 프로그래밍 관련 질문에 Boilerplate Code를 곁들인 답을 뱉어 내는 것을 보며서 이제 정말 개발자의 종말을 보게 될 것인가란 약간의 두려움도 있었지만 ChatGPT가 내부에서 어떤 과정을 거치기에 이런 놀라운 결과를 만들어내는지 궁금해 지지 않을 수가 없었다. GPT 이전의 AI는 주로 수학적인 설명을 토대로 미래를…