인터넷에 글을 보다가 평소에 음.. 그렇게 동작하는 군.. 하지만 내부에서는 어떻게 동작을 하는걸까 하고 생각하던 내용을 마주하게 됐다. 나의 궁금증을 99% 해결해 주는 내용이라 이해한 내용을 잠시 옮겨볼까 한다. 웹 어플리케이션을 개발하는 개발자들 사이에 React, Vue 등을 언급하는 것을 많이 볼 수 있다. 개인적으로 이런 프레임워크를 그리 선호하지는 않는다. 왜냐하면 히트곡이나 패션 아이템처럼 잠시 왔다 스쳐 지나가는 유행처럼 보이기 때문이다. 하지만 이들 근간에는 어떤 기술이 활용되고 있는지 파악해 놓을 필요는 있다. 그래야 유사한 형태의 프레임워크가 나오더라도 쉽게 이해할 수 있고…
참고: The illustrated Transformer GPT는 Generative Pre-trained Transformer의 약자라고 알고 있다. 여기서 가장 중요한 역할을 하는 것이 Transformer일 것이다. 그렇다면 Transformer가 어떤 기능을 하기에 가장 중요한지 궁금증을 가지지 않을 수 없다. 논문의 포함해서 여러 자료를 살펴봐도 글자만 보이지 문맥이 보이지 않았는데 이 문서를 보고서 무릅을 탁 치게 되었다. 우선 쉬운 설명을 통해 궁금증을 해결하도록 해 준 Jay Alammar에게 감사를 드리고 나의 언어로 다시 정리해 보고자 한다. 나중에 자세하게 설명하겠지만 Transformer는 내부적으로 Attention이라는 개념을 사용한다. 이를 사용함으로써 그동안 문제로 지적됐던 느린…
MySQL에서 언제부턴가 아래와 같은 메시지가 콘솔 로그에 눈에 띄기 시작한다. 그 전부터 오류 메시지가 있었는데 확인을 못하고 있었을 수도 있다. 데이터 베이스 동작에는 문제가 되지 않는데 경고 메시지가 계속 눈에 거슬려 수정해 보기로 하고 몇 시간을 투자 한 결과 원인과 해결 방법을 알아 냈다. 현상 재연 정확한 현상 재연은 아래와 같다. Nodejs의 mysql2 db connection라이브러리를 활용하며 데이터 베이스 오퍼레이션 후 정확하게 8시간(28,800초)이 지나면 위의 로그 메시지가 출력된다. 좀 더 쉽게 현상을 재연하려면 mysql 의 설정파일인 /etc/mysql/mysql.cnf 에 아래의 속성을 추가…
What is Generative Modeling? Generative modeling is a branch of machine learning that involves training a model to produce new data that is similar to a given dataset We can sample from this model to create novel, realistic images of horses that did not exist in the original dataset. One data point in the training data is called as observation. Each observation consists of many features. A generative model must be probabilistic rather than deterministic, because we want to be…
Model Neural network and Deep learning Layer: a data processing module the kernel and bias = weights model compilation epoch model’s evaluate method backpropagation gradient of loss Why do we need gradient? MSE (Mean Squared Error) Adding nonlinearity: Beyond weighted sums
There are two primary styles of WAT coding to choose from. One style is the linear instruction style list. The other coding style is called S-Expressions. Unserstanding WAT: MDN Docs Stack Machines For example, local.get is defined to push the value of the local it read onto the stack, and i32.add pops two i32 values (it implicitly grabs the previous two values pushed onto the stack), computes their sum and pushes the resulting i32 value When a function is called,…