참고: The illustrated Transformer GPT는 Generative Pre-trained Transformer의 약자라고 알고 있다. 여기서 가장 중요한 역할을 하는 것이 Transformer일 것이다. 그렇다면 Transformer가 어떤 기능을 하기에 가장 중요한지 궁금증을 가지지 않을 수 없다. 논문의 포함해서 여러 자료를 살펴봐도 글자만 보이지 문맥이 보이지 않았는데 이 문서를 보고서 무릅을 탁 치게 되었다. 우선 쉬운 설명을 통해 궁금증을 해결하도록 해 준 Jay Alammar에게 감사를 드리고 나의 언어로 다시 정리해 보고자 한다. 나중에 자세하게 설명하겠지만 Transformer는 내부적으로 Attention이라는 개념을 사용한다. 이를 사용함으로써 그동안 문제로 지적됐던 느린…
칠엽수[학명: Aesculus turbinata Blume]는 칠엽수과의 겨울철에 잎이 떨어지는 넓은 잎 큰키나무이다. 긴 잎자루 끝에는 손바닥을 펼쳐 놓은 것처럼 일곱 개의 잎이 달리므로 ‘칠엽수(七葉樹)’란 이름이 생겼다. 열매의 영어 이름은 ‘horse chestnut’, 곧 ‘말밤’이란 뜻이다. 원산지인 페르시아에서 말이 숨이 차서 헐떡일 때 치료약으로 쓰였기 때문에 생긴 이름이라는 이야기와 가지에 잎이 붙었던 자리[葉痕]가 말발굽 모양이라서 붙인 이름이라는 이야기가 있다. 컨커 트리(Conker Tree)라고도 부른다. 칠엽수의 또 다른 이름인 ‘마로니에(marronnier)’는 프랑스가 연상된다. 파리 북부의 몽마르트르 언덕과 센 강의 북쪽 강가를 따라 북서쪽으로 뻗어 있는, ‘낙원의…
MySQL에서 언제부턴가 아래와 같은 메시지가 콘솔 로그에 눈에 띄기 시작한다. 그 전부터 오류 메시지가 있었는데 확인을 못하고 있었을 수도 있다. 데이터 베이스 동작에는 문제가 되지 않는데 경고 메시지가 계속 눈에 거슬려 수정해 보기로 하고 몇 시간을 투자 한 결과 원인과 해결 방법을 알아 냈다. 현상 재연 정확한 현상 재연은 아래와 같다. Nodejs의 mysql2 db connection라이브러리를 활용하며 데이터 베이스 오퍼레이션 후 정확하게 8시간(28,800초)이 지나면 위의 로그 메시지가 출력된다. 좀 더 쉽게 현상을 재연하려면 mysql 의 설정파일인 /etc/mysql/mysql.cnf 에 아래의 속성을 추가…
요즘 등산길은 물론 공원·화단에서 눈길을 확 끄는 열매가 있다. 가을 열매는 빨간색이 많은데 특이하게도 보라색 구슬이 송이송이 달린 열매가 있는 것이다. 작살나무 열매다. 햇빛을 받으면 반짝이는 보라색 보석 같아 ‘왜 이렇게 예뻐!’라는 말이 절로 나올 정도다. 작살나무라는 독특한 이름은 가지가 작살(물고기를 찔러 잡는 도구)처럼 가운데 원줄기 양쪽으로 두 개씩 마주보고 갈라져 있다고 붙여진 이름이다. 작살나무 꽃은 늦여름인 8월쯤 연한 보라색으로 피지만 작아서 주목을 끌지 못하고, 가을에 보라색 열매가 달렸을 때 작살나무의 존재감이 제대로 드러난다. 요즘이 작살나무에겐 최고의 시기인 것이다. 이 열매는…
What is Generative Modeling? Generative modeling is a branch of machine learning that involves training a model to produce new data that is similar to a given dataset We can sample from this model to create novel, realistic images of horses that did not exist in the original dataset. One data point in the training data is called as observation. Each observation consists of many features. A generative model must be probabilistic rather than deterministic, because we want to be…
(be) at rock bottom ( ➞ bottom ¹ (n))(be) in arrears ( ➞ arrearsㅤ연체되다)abstain from ( ➾ abstain [2])amputateanimal food ( ☛ feed ² (n))arableat the earliest opportunity ( ➞ opportunity)at the latest ( ➞ latest ² (n)ㅤ늦어도)bail out ( ➝ bail ² (v))bill something as something ( ➝ bill ² (v))bring somebody/something ↔ down ( ➝ bring)carrioncash something ↔ in ( ➞ cash ² (v))come to a standstill something to a standstill ( ➾ standstill)copiousdepredationdip into something ( ➝ dip ¹ (v)ㅤ3번)epigeneticsexudeeye teeth ( ➞ eye tooth)fall ill ( ➞ ill ¹ (adj))far-fetchedfurrowgloss…
This is where scientists have discovered structures that act a bit like brains. This is where a tree decides how much to drink , which neighbor it will supply with sugar solution via the tree’s underground network, and which fungi to pair up with. Tree parents pass the distillation of their life experience to their offspring through epigenetic markers. These are methyl molecules that attach to genes like bookmarks and are passed down to the next generation when seeds are…
Intro Imagine you’re walking through a forest. I’m guessing you’re thinking of a collection of trees, what we foresters call a stand, with their rugged stems and their beautiful crowns. Yes, trees are the foundation of forests, but a forest is much more than what you see, and today I want to change the way you think about forests. You see, underground there is this other world, a world of infinite biological pathways that connect trees and allow them to…
봄 야생화는 색도 모양도 각양각색이ㅈ디만 한 가지 공통점이 있다. ‘속도’를 생ㅈ돈전략으로 삼는다는 것이다. 봄 야생화는 신록이 우러지기 전, 거뭇거뭇한 산천에 ㅎㄴ 송이 두 송이 툭툭 터지기 시작한다. 또 봄 야생화는 총알택시처럼 서두르는 경향이 있다. 꽃을 피운 후, 2-3주 안에 열매를 맺고 씨를 퍼트리는 작업을 끝낸다. 겨울과 봄 사이, 그 찰나를 노려야 나무 그늘에 가릴 것 없이 온몸으로 햇볕을 받을 수 있기 때문이다. 야생화를 보려면 완연한 봄보다 안 발짝 앞선 시기에 여행을 떠나시라 권장한다. 짧은 인생이지만 온 힘을 다해 살아가는 작은…
Peter Wohlleben interview with TVO(Canada)