참고: The illustrated Transformer GPT는 Generative Pre-trained Transformer의 약자라고 알고 있다. 여기서 가장 중요한 역할을 하는 것이 Transformer일 것이다. 그렇다면 Transformer가 어떤 기능을 하기에 가장 중요한지 궁금증을 가지지 않을 수 없다. 논문의 포함해서 여러 자료를 살펴봐도 글자만 보이지 문맥이 보이지 않았는데 이 문서를 보고서 무릅을 탁 치게 되었다. 우선 쉬운 설명을 통해 궁금증을 해결하도록 해 준 Jay Alammar에게 감사를 드리고 나의 언어로 다시 정리해 보고자 한다. 나중에 자세하게 설명하겠지만 Transformer는 내부적으로 Attention이라는 개념을 사용한다. 이를 사용함으로써 그동안 문제로 지적됐던 느린…
Execution Engines GPT-3 comes with four execution engines of varying sizes and capabilities: Davinci, Ada, Babbage, and Curie. Davinci is the most powerful and the Playground’s default. Ada Babbage Curie Davinci Customizing GPT-3 Fine-tuning is about tweaking the whole model so that it performs every time in the way you wish it to perform. You can use an existing dataset of any shape and size, or incrementally add data based on user feedback. OpenAI also found that each doubling of…