2017년, 구글이 논문 하나를 냅니다. "Attention Is All You Need." 그땐 몰랐지만, 그들이 방금 미래를 발명한 거였죠.

트랜스포머 이전의 AI는 사람처럼 읽었습니다. 왼쪽에서 오른쪽으로요. 문장 끝에 가면 앞부분을 까먹었죠.

트랜스포머는 한 번에 통째로 읽습니다. 전체 맥락에 동시에 '주목(Attention)'합니다. 병렬 처리가 엄청난 규모 확장을 가능하게 했습니다.

OpenAI는 도박을 걸었습니다. "그냥 무식하게 크게 만들면 어떨까?"

GPT-1: 귀여운 수준.

GPT-2: 문단을 씀.

GPT-3: 마법. 코딩을 하고 번역을 함.

GPT-4: 추론을 함.

우리는 "더 많은 데이터 + 더 많은 컴퓨팅 = 지능의 발현"이라는 걸 알아냈습니다. 인터넷 전체를 먹여서 외계 지성을 만들어낸 겁니다.