DeepSeek shook up the U.S. stock market, and it’s still creating shock wavers around world. But the newest allegation is that DeepSeek actually used a particular process to put together its training data, and it’s one that some consider to be a little shady. The new U.S. president’s AI and crypto czar David Sacks is one of those who is getting in on the action, saying in an interview with Fox News that there was “substantial evidence” that this kind…
DeepSeek’s breakthrough on cost challenges the “bigger is better” narrative that has driven the A.I. arms race in recent years by showing that relatively small models, when trained properly, can match or exceed the performance of much bigger models. That, in turn, means that A.I. companies may be able to achieve very powerful capabilities with far less investment than previously thought. And it suggests that we may soon see a flood of investment into smaller A.I. start-ups, and much more…
OpenAI, Oracle and SoftBank formed a new joint venture called Stargate to invest in data centers, building on major U.S. investments in the technology. On Tuesday(2025.1.21), President Trump announced a joint venture between OpenAI, SoftBank, and Oracle called Stargate, which aims to invest at least $100 billion in U.S. data centers. The group behind the project said it could invest as much as half a trillion dollars in Stargate over the next four years. Elon Musk, who runs a competing…
OpenAI revealed details on Friday(‘24.12.17) about its plan to adopt a new corporate structure that will remove the company from control by a nonprofit that has been the focus of contention. OpenAI said it planned to restructure as a public benefit corporation, or P.B.C., which is a for-profit corporation designed to crate public and social good. OpenAI rivals like Anthropic and Elon Musk’s xAI use a similar structure. OpenAI’s latest funding round valued the company at $157billion. OpenAI에 대해 짧게…
Companies like Open AI and Google are running out of the data used to train artificial intelligence systems. Can new methods continue years of rapid progress? Demis Hassabis, one of the most influential artificial intelligence experts in the world, has a warning for the rest of the tech industry: Don’t expect chatbots to continue to improve as quickly as they have over the last few years. A.I. researchers have for some time been relying on a fairly simple concept to…
P149거대 언어모델은 언어에 대한 좋은 모델이지만, 인간 사고에 대해서는 불완전한 모델이라는 것입니다. 이런 차이 때문에 ‘형식적 언어 능력’이 필요한 과제에서는 거대언어 모델이 인상적인 성과를 보이지만, ‘기능적 능력’이 필요한 많은 테스트에서는 실패한다는 것입니다. 이들은 (1) 현재의 거대 언어모델은 형식적 언어 능력의 모델로서 진지하게 받아들여야 하며 (2) 실제 언어 사용을 마스트하는 모델은 핵심 언어 모델뿐만 아니라 사고 모델링에 필요한 여러 비언어적 인지능력을 통합하거나 추가 개발할 필요가 있다고 주장합니다. 지난 목요일(11.21) 회의차 한국 마이크로소프트를 방문하게 되었는데 조금 일찍 도착한 터라 교보문고에서 책을 좀…
인공지능(Artificial intelligence)은 이미지 생성이나, 그럴싸해 보이는 챗봇 그 이상이다. 또한 이는 물리학에 기반하며 노벨에 버금가는 노력의 산실이기도 하다. 대부분의 사람들은 AI라고 하면 ChatGPT와 같은 챗봇이나 DALL-E 같이 이미지 생성, 또는 단백질의 중첩구조를 예측하는 AlphaFold와 같은 과학용 어플리케이션을 떠올린다. 이런 사람들 중 인공지능 시스템(Artificial Intelligence System)의 핵심에 물리학이 있을 것으로 생각하는 사람은 극소수일 것이다. 하지만 사실 인공신경망(Artificial Neural Network)이란 개념은 물리학의 세 분야 즉, Biophysics, Statistical physics, Computational physics이 융합된 연구의 결과로 처음 결실을 맺게 되었다. 대략 1980년대 이루어진 이러한 주요…
몇 년전 부터 AI가 IT업계의 메인스트림으로 인식하고 있다. 이제 AI가 가져다 줄 변화에 두려움이 느껴지기도 한다. AI가 어떻게 동작하는지 기술적인 관점에서 바라보는 것도 재미 있지만 좀 더 큰 그림, 한 1km 높이에서 AI기술을 이루는 큰 블럭들을 바라볼 수 있다면 요소 기술을 접하는데 더 도움이 될 것이다. AI가 보편화 될 수록 관련 기술 생태계는 아래의 그림과 같이 구성될 것이다. 지금까지의 IT 또는 SW의 발전은 더 나은 계산기를 만드는 과정이었다고 보면 된다. 즉 더 나은 CPU와 이를 활용하는 더 나은 SW로 다양한…
참고: The illustrated Transformer GPT는 Generative Pre-trained Transformer의 약자라고 알고 있다. 여기서 가장 중요한 역할을 하는 것이 Transformer일 것이다. 그렇다면 Transformer가 어떤 기능을 하기에 가장 중요한지 궁금증을 가지지 않을 수 없다. 논문의 포함해서 여러 자료를 살펴봐도 글자만 보이지 문맥이 보이지 않았는데 이 문서를 보고서 무릅을 탁 치게 되었다. 우선 쉬운 설명을 통해 궁금증을 해결하도록 해 준 Jay Alammar에게 감사를 드리고 나의 언어로 다시 정리해 보고자 한다. 나중에 자세하게 설명하겠지만 Transformer는 내부적으로 Attention이라는 개념을 사용한다. 이를 사용함으로써 그동안 문제로 지적됐던 느린…
What is Generative Modeling? Generative modeling is a branch of machine learning that involves training a model to produce new data that is similar to a given dataset We can sample from this model to create novel, realistic images of horses that did not exist in the original dataset. One data point in the training data is called as observation. Each observation consists of many features. A generative model must be probabilistic rather than deterministic, because we want to be…