숲 해설을 위한 영어 공부
앞서 길찾기 알고리즘 관련해서 2개의 알고리즘(Dijkstra, BidirectionalDijkstra)에 대해 살펴봤다. 컴퓨터를 활용하여 길을 찾아가는 알고리즘의 목적은 크게 최적의 경로를 최대한 빨리 찾아내는 것이라 할 수 있다. 이론적으로 이들 알고리즘은 최적의 경로를 찾아주는 것을 보장하지만 최대한 빨리 찾는 것에는 한계를 드러내고 있다. 앞에서 설명한 BidirectionalDijkstra 알고리즘도 이런 맥락에서 탐색속도를 개선하기 위한 하나의 방법으로 볼 수 있다. 이처럼 Dijkstra Algorithm의 탐색 속도는 탐색공간 크기에 종속적일 수 밖에 없으며 나아가 길찾기가 한 국가를 넘어 글로벌 규모로 확대해 나간다면 탐색 속도는 서비스 경쟁력을 유지에 중요한…
Dijkstra Algorithm은 내비게이션의 길찾기 뿐만 아니라 최단거리를 찾는 알고리즘으로 잘 알려져 있다. Dijkstra Algorithm은 출발지와 목적지 사이의 최단 거리 탐색을 보장하긴 하지만 탐색 거리가 멀면 멀수록 소요되는 시간도 비례적으로 증가한다는 것이 맹점이다. 이런 문제점을 해결하기 위해 다양한 방법들이 시도 되었으며 그 중 대표적인 것이 A*와 양방향 탐색이라 할 수 있다. 이 글에서는 내비게이션 업계에서 주로 적용하고 A*알고리즘보다 최적 경로 탐색을 보장하면서 탐색시간을 거의 절반으로 줄일 수 있는 양방향 탐색(Bidirectional Dijkstra Algorithm)을 자세히 알아보고자 한다. 참고로 Dijkstra Algorithm에 대해 이해가 필요하다면…
What makes the Rust language one of the best for writing fast, memory-safe applications? Rust’s memory safety features are baked into the language itself. In Rust, behaviors that are not memory-safe are treated not as runtime errors but as compiler errors. Whole classes of problems, like use-after-free(해제된 메모리 접근) error, are syntactically wrong in Rust. This doesn’t mean that code written in Rust is entirely bulletproof or infallible. Some runtime issues, line race conditions, are still the developer’s responsibility. But…
참고: The illustrated Transformer GPT는 Generative Pre-trained Transformer의 약자라고 알고 있다. 여기서 가장 중요한 역할을 하는 것이 Transformer일 것이다. 그렇다면 Transformer가 어떤 기능을 하기에 가장 중요한지 궁금증을 가지지 않을 수 없다. 논문의 포함해서 여러 자료를 살펴봐도 글자만 보이지 문맥이 보이지 않았는데 이 문서를 보고서 무릅을 탁 치게 되었다. 우선 쉬운 설명을 통해 궁금증을 해결하도록 해 준 Jay Alammar에게 감사를 드리고 나의 언어로 다시 정리해 보고자 한다. 나중에 자세하게 설명하겠지만 Transformer는 내부적으로 Attention이라는 개념을 사용한다. 이를 사용함으로써 그동안 문제로 지적됐던 느린…
What is Generative Modeling? Generative modeling is a branch of machine learning that involves training a model to produce new data that is similar to a given dataset We can sample from this model to create novel, realistic images of horses that did not exist in the original dataset. One data point in the training data is called as observation. Each observation consists of many features. A generative model must be probabilistic rather than deterministic, because we want to be…
(be) at rock bottom ( ➞ bottom ¹ (n))(be) in arrears ( ➞ arrearsㅤ연체되다)abstain from ( ➾ abstain [2])amputateanimal food ( ☛ feed ² (n))arableat the earliest opportunity ( ➞ opportunity)at the latest ( ➞ latest ² (n)ㅤ늦어도)bail out ( ➝ bail ² (v))bill something as something ( ➝ bill ² (v))bring somebody/something ↔ down ( ➝ bring)carrioncash something ↔ in ( ➞ cash ² (v))come to a standstill something to a standstill ( ➾ standstill)copiousdepredationdip into something ( ➝ dip ¹ (v)ㅤ3번)epigeneticsexudeeye teeth ( ➞ eye tooth)fall ill ( ➞ ill ¹ (adj))far-fetchedfurrowgloss…
Model Neural network and Deep learning Layer: a data processing module the kernel and bias = weights model compilation epoch model’s evaluate method backpropagation gradient of loss Why do we need gradient? MSE (Mean Squared Error) Adding nonlinearity: Beyond weighted sums
Execution Engines GPT-3 comes with four execution engines of varying sizes and capabilities: Davinci, Ada, Babbage, and Curie. Davinci is the most powerful and the Playground’s default. Ada Babbage Curie Davinci Customizing GPT-3 Fine-tuning is about tweaking the whole model so that it performs every time in the way you wish it to perform. You can use an existing dataset of any shape and size, or incrementally add data based on user feedback. OpenAI also found that each doubling of…
Disillusionment Humans think in stories rather than in facts. formulated three grand stories that claimed to explain the whole past and to predict the future of the entire world: the facist story, the communist story, and the liberal story. In 1938 humans were offered three global stories to choose from, in 1968 just two, in 1998 a single story seemed to prevail; in 2018 we are down to zero. In 2018 the common person feels increasingly irrelevant. Lots of mysterious…
the ravages of something the damage caused by something a building hat has survived the ravages of time The old tree (birches don’t live much past a hundred) has already experienced the ravages of time – or I should say of woodpeckers. dire extremely serious or terrible The country is in dire need of food aid If we did that, we’d have to say that dogs are in dire need of a pair of glasses.