https://youtu.be/21EYKqUsPfg?si=jCokrJI3KT9aIimc
Richard Sutton – Father of RL thinks LLMs are a dead end
Richard Sutton is the father of reinforcement learning, winner of the 2024 Turing Award, and author of The Bitter Lesson. And he thinks LLMs are a dead end. ...
www.youtube.com
주신 자료(YouTube 영상의 대본 발췌록)에는 리처드 서튼(Richard Sutton) 교수와 드와키시 파텔(Dwarkesh Patel) 간의 광범위한 대화 내용이 담겨 있으며, 강화 학습(RL)의 기본 원칙, 대규모 언어 모델(LLM)에 대한 그의 비판적인 견해, 그리고 인공지능의 미래에 대한 철학적 관점까지 다루고 있습니다.
다음은 해당 출처에 기반하여 대화의 흐름과 주요 논점을 생략 없이 정리한 내용입니다.
---
### 1. 서론 및 리처드 서튼 소개
리처드 서튼은 강화 학습(Reinforcement Learning, RL)의 **창립자 중 한 명**이며 [1], TD 학습(Temporal Difference learning) 및 정책 경사법(policy gradient methods)과 같은 주요 기술들을 발명했습니다 [2]. 그는 이러한 공로로 튜링 상(Turing Award, 컴퓨터 과학 분야의 노벨상)을 수상했습니다 [2].
서튼 교수는 자신이 **장기간, 어쩌면 수십 년 동안 분야의 흐름과 동떨어져 있는** 것에 대해 만족한다고 밝히는데, 이는 과거에 자신이 옳았음이 증명된 적이 있기 때문입니다 [1, 3]. 그는 지능을 복제하려 할 때 인간과 동물을 구별하려 하기보다는 **우리가 공통적으로 가진 것**에 주목하는 것이 더 흥미롭다고 생각합니다 [1, 4]. 만약 우리가 다람쥐를 이해한다면, 인간 지능을 이해하는 길의 거의 전부를 도달할 것이라고 봅니다 [1, 5].
서튼 교수는 **학습이 훈련(training)에 관한 것이 아니며, 아이가 무언가를 시도하고 그 결과를 보는 능동적인 과정**에 관한 것이라고 강조합니다 [1, 6]. 그는 인류가 오늘날 우주에서 이 위대한 전환(transition)을 일으키고 있다는 사실에 자부심을 가져야 한다고 말합니다 [1, 7].
### 2. RL 관점 대 LLM 관점
서튼 교수는 RL이 인공지능(AI)을 바라보는 방식이 LLM이 바라보는 방식과는 **상당히 다른 관점**이며, 쉽게 분리되어 서로 소통하는 능력을 잃을 수 있다고 지적합니다 [2]. 그는 LLM과 생성형 AI가 유행을 타면서 기초적인 것들, 즉 **기본 AI(basic AI)인 강화 학습**의 핵심을 놓치게 된다고 봅니다 [2].
**지능이란 당신의 세상을 이해하는 문제**입니다 [2].
* **강화 학습(RL):** 당신의 세상을 이해하는 것에 관한 것입니다 [8].
* **LLM:** 사람들이 해야 한다고 말하는 것을 **모방하는 것**에 관한 것입니다 [8]. 무엇을 해야 할지를 스스로 알아내는 것이 아닙니다 [8].
인터뷰어는 LLM이 방대한 인터넷 텍스트 코퍼스를 모방하려면 세계 모델을 구축해야 하며, 실제로 LLM이 현재까지 AI에서 만들어진 **가장 강력한 세계 모델**을 가진 것처럼 보인다고 주장합니다 [8]. 서튼 교수는 이에 대해 대부분 동의하지 않으며, 단지 사람들이 말한 것을 모방하는 것은 세계의 모델을 구축하는 것이 아니라고 반박합니다 [8].
서튼 교수는 **LLM이 세계 모델을 가지고 있다는 생각 자체에 의문을 제기**합니다 [8]. 세계 모델이 있다면 **무슨 일이 일어날지** 예측할 수 있어야 합니다 [8]. LLM은 사람이 **무슨 말을 할지** 예측할 수 있지만, **무슨 일이 일어날지** 예측할 능력은 없습니다 [9, 10].
### 3. 목표(Goal)와 진실값(Ground Truth)의 부재
서튼 교수는 앨런 튜링(Alan Turing)의 말을 인용하며, 우리가 원하는 것은 **경험을 통해 학습할 수 있는 기계**라고 말합니다. 경험이란 "당신의 삶에서 실제로 일어나는 일, 당신이 무언가를 하고 그 결과를 보는 것"입니다 [9]. LLM은 이와 달리 "여기에 상황이 있고, 여기에 사람이 한 행동이 있다"는 데이터로부터 학습하며, 이는 암묵적으로 사람의 행동을 모방하라는 제안입니다 [9].
LLM을 경험적 학습의 '사전 지식(prior)'으로 사용하는 것이 좋다는 주장에 대해 서튼 교수는 동의하지 않습니다 [11]. 사전 지식은 실제 지식의 기반이 되어야 하는데, LLM 프레임워크에는 **'실제 지식'의 정의 자체가 없기 때문에** 어떤 행동이 좋은 행동인지 판단할 수 없습니다 [11].
LLM 설정에서는 **"무엇이 올바른 일인지"에 대한 정의가 없으므로 목표(goal)가 없습니다** [11, 12]. 목표가 없다면 옳거나 그른 것이 없으며, 진실값(ground truth)도 없습니다 [12].
* **강화 학습:** 보상(reward)을 얻는 것이 올바른 행동으로 정의되므로, 행동의 진실값을 정의할 수 있습니다 [12].
* **세계 모델 구축:** 당신이 예측하고 그 결과를 지켜볼 때 진실값이 존재합니다 [12].
서튼 교수는 LLM이 응답으로 "무슨 일이 일어날지"에 대한 **실질적인 예측 능력**이 없으며, 예상치 못한 일이 발생하더라도 놀라지 않고 **조정(adjustment)을 하지 않을 것**이라고 주장합니다 [10, 13]. 그는 '다음 토큰 예측'이 곧 예측이라는 인터뷰어의 질문에, 이는 **세상이 그들의 행동에 대한 반응으로 제공하는 것이 아니라, 그들(모델)이 해야 할 행동**에 대한 예측이라고 명확히 합니다 [13].
서튼에게 **목표를 갖는 것은 지능의 본질**입니다 [14]. LLM의 다음 토큰 예측 목표는 외부 세계에 대한 목표가 아니며, 그것은 세상에 영향을 미치지 않는 **실질적인 목표가 아닙니다** [14].
### 4. LLM + RL의 생산성 및 Bitter Lesson
LLM에 RL을 적용하여 수학 문제 해결과 같은 목표를 부여하는 것이 생산적인 방향이 아닌 이유에 대해, 서튼 교수는 수학 문제는 물리적 세계의 모델을 만드는 것과 달리 **계산적**이며 표준적인 계획(planning)과 유사하다고 설명합니다 [15]. 반면 경험적 세계는 결과를 배워야 합니다 [15].
인터뷰어는 서튼 교수의 영향력 있는 에세이 **"Bitter Lesson"**이 LLM의 확장(scaling up)을 정당화하는 데 사용된다고 언급합니다 [16]. 서튼 교수는 LLM이 대규모 컴퓨팅을 사용하는 방식이 Bitter Lesson의 사례에 해당할 수 있지만, 동시에 **많은 인간 지식을 투입하는 방식**이기도 하다는 점에서 흥미로운 질문이라고 답합니다 [16].
결국 서튼 교수는 LLM과 같이 인간 지식을 사용한 시스템은 궁극적으로 경험과 계산만으로 학습하는 시스템에 의해 대체될 것이며, 이것이 **Bitter Lesson의 또 다른 사례**가 될 것이라고 예상합니다 [17].
그는 LLM을 미래 경험적 학습의 '발판(scaffold)'으로 삼는 것이 왜 잘못된 시작점인지에 대한 질문에, 역사적으로 인간 지식으로 시작하는 접근 방식은 **항상 나쁜 결과**를 낳았다고 답합니다 [18]. 그 이유는 사람들이 인간 지식 접근 방식에 갇히게 되고, 진정으로 확장 가능한 방법(목표를 갖고 경험을 통해 학습하는 것)에게 기득권을 빼앗기기 때문입니다 [18].
> **확장 가능한 방법**은 **경험으로부터 학습**하고, 무언가를 시도하고, 무엇이 효과가 있는지 확인하는 것입니다. 목표가 없다면 옳고 그름 또는 좋고 나쁨의 개념이 없습니다. LLM은 목표나 좋고 나쁨의 감각 없이 운영하려 하며, 이는 **완전히 잘못된 지점에서 시작**하는 것입니다 [18, 19].
### 5. 인간 학습: 모방 대 경험
인터뷰어는 인간 아이들이 처음에는 모방(imitation)을 통해 학습한다고 주장하지만 [19], 서튼 교수는 이에 강력히 동의하지 않습니다 [19]. 그는 아이들이 단순히 손을 흔들고 눈을 움직이는 등 **무언가를 시도하고 그 결과를 볼 뿐**, 모방할 목표나 예제가 없다고 말합니다 [20].
서튼 교수는 LLM이 훈련 데이터에서 학습하는 것은 경험에서 학습하는 것이 아니며, 이는 정상적인 생활에서는 얻을 수 없는 데이터라고 지적합니다 [21].
**동물의 기본 학습 과정에는 모방이라는 것이 없으며**, 예측(prediction)과 시행착오 통제(trial and error control)가 있을 뿐입니다 [22]. 그는 **지도 학습(supervised learning)은 자연에서 발생하는 방식이 아니며**, 설사 학교 교육이 그렇다 할지라도 이는 사람들에게서만 일어나는 특별한 현상이므로 잊어야 한다고 주장합니다 [22]. 다람쥐는 학교에 가지 않고도 세상을 배울 수 있습니다 [4].
문화적 진화에서 복잡한 기술을 배우기 위해 모방이 필요하다는 주장(요셉 헨리히의 이론)에 대해, 서튼 교수는 모방이 **기본적인 시행착오 학습과 예측 학습 위에 얹혀진 작은 것**이며, 이것이 인간을 다른 많은 동물과 구별하는 것일 수는 있다고 인정합니다 [23, 24].
### 6. 경험적 패러다임 (RL)의 요소
서튼 교수가 상상하는 **경험적 패러다임**의 기초는 **행동(Action), 감각(Sensation), 보상(Reward)**의 흐름이 반복되는 것입니다 [25]. 지능은 이 흐름을 파악하고 보상을 증가시키도록 행동을 변화시키는 데 초점을 맞춥니다 [25]. 학습된 지식은 이 흐름에 관한 것이며(예: 행동의 결과), 흐름과 비교하여 지속적으로 테스트하고 학습할 수 있습니다 [25].
**일반적인 보상 함수**는 임의적이지만 (예: 체스 승리, 견과류 획득), 동물에게는 일반적으로 **고통 회피와 쾌락 획득**, 그리고 **환경에 대한 이해 증진**과 관련된 내재적 동기(intrinsic motivation) 요소가 포함될 것이라고 제안합니다 [26].
#### 장기 목표 처리 및 TD 학습 [27, 28]
장기 목표를 처리하는 기본은 **시간차 학습(Temporal Difference learning)**입니다 [27].
1. **가치 함수(Value Function):** 장기적인 결과(예: 스타트업의 10년 후 성공)를 예측합니다 [27].
2. **보상 강화:** 중간 단계에서 가치 함수를 통해 장기 목표 달성 가능성이 증가한다고 예측되면, 그 단계가 즉시 보상으로 강화됩니다 [27, 28].
#### 빅 월드 가설과 온라인 학습 [28, 29]
LLM의 꿈은 에이전트에게 모든 것을 미리 가르치는 것이지만 [29], 서튼 교수는 **세계가 너무 방대하기 때문에** (Big World Hypothesis) 온라인에서(삶을 사는 동안) 학습해야 한다고 말합니다 [28, 29]. 미리 예측할 수 없는 특정 환경과 사람들의 특수성(idiosyncrasies)을 배워야 하기 때문입니다 [29].
#### 에이전트의 4가지 기본 구성 요소 [30, 31]
학습은 보상뿐만 아니라 **모든 감각 정보**를 통해 이루어집니다 [30]. 에이전트의 기본 모델은 네 부분으로 구성됩니다 [30]:
1. **정책 (Policy):** 현재 상황에서 무엇을 해야 하는가? [30]
2. **가치 함수 (Value Function):** TD 학습으로 학습되며, 상황이 얼마나 잘 되고 있는지 수치화하여 정책 조정에 사용됨 [30].
3. **지각 구성 요소 (Perception Component):** 현재 상태 표현(자신이 어디에 있는지에 대한 감각)의 구축 [30].
4. **세계의 전이 모델 (Transition Model of the World):** 행동의 결과(물리적/추상적 모델)에 대한 믿음 [31]. 이는 보상(작고 중요한 부분)뿐만 아니라 **받아들이는 모든 감각 정보**로부터 풍부하게 학습됩니다 [31].
### 7. 일반화 및 전이(Transfer) 문제
서튼 교수는 AI 에이전트의 개념은 일반적이며, 인간이 체스와 아타리 게임을 포함하는 하나의 세계에 살 듯이, 이들은 다른 '상태'이지 다른 '작업'이 아니라고 설명합니다 [32, 33].
그러나 서튼 교수는 현재 **어디에서도 전이(transfer)가 보이지 않는다**고 단언합니다 [33]. 한 상태에서 다른 상태로 잘 일반화하는 것이 좋은 성능에 필수적이지만, 이를 촉진하는 자동화된 기술이 거의 없으며, 현대 딥러닝에서는 사용되지 않습니다 [33, 34].
모델에서 일반화가 발생할 때, 이는 **연구자가 표현을 조각(sculpted)한 결과**이며 다른 설명이 없다고 그는 말합니다 [34]. 경사 하강법(gradient descent)은 문제를 해결하게 할 뿐, 잘 일반화하게 만들지는 않습니다 [34, 35]. 실제로 딥러닝은 새로운 것을 훈련할 때 이전 지식과 심각하게 간섭하는 **파국적 간섭(catastrophically interfere)** 문제에 매우 취약하며, 이는 나쁜 일반화의 예입니다 [34, 36].
LLM이 수학 올림피아드 유형의 문제를 해결하는 능력에 대해, 서튼 교수는 그것이 일반화의 사례가 아닐 수 있다고 봅니다. 이는 **문제를 해결하는 유일한 방법**을 발견했을 뿐일 수 있으며, 일반화는 여러 해결책이 있을 때 **좋은 방식**을 선택하는 것을 의미합니다 [35, 37]. LLM의 알고리즘(경사 하강법 등)에는 **잘 일반화하게 만드는 요소가 없습니다** [38].
### 8. AI 분야의 궤적과 놀라움
서튼 교수는 AI 분야의 오랜 역사를 되돌아보며 몇 가지 놀라움을 언급합니다 [39]:
1. **LLM의 효과성:** 인공 신경망(ANN)이 언어 작업에 얼마나 효과적인지는 예상치 못한 놀라움이었습니다 [40].
2. **'약한 방법'의 승리:** 검색 및 학습과 같은 **일반적인 원칙 기반의 '약한 방법'(weak methods)**이 인간 지식을 주입하는 **'강한 방법'(strong methods)**을 완전히 이겼다는 점입니다 [40]. 그는 단순한 기본 원칙을 지지했기에 이는 만족스러웠습니다 [41].
3. **AlphaGo와 AlphaZero:** 이들의 성공도 매우 만족스러웠습니다. AlphaGo는 TD-Gammon(1990년대 백개먼에서 세계 최고를 이김)의 확장판이었으며, AlphaZero는 특히 인간 지식을 사용하지 않고 경험으로부터만 학습했기에 [42] 체스에서 포지션 이점을 위해 희생하는 방식이 놀라우면서도 그의 세계관에 부합했습니다 [3, 43].
그는 자신을 이 분야의 흐름에 반대하는 **반골(contrarian)보다는 고전주의자(classicist)**로 보며, 마음(mind)에 대한 사상가들의 고전적인 전통에 자신을 맞추고 있다고 설명합니다 [3].
### 9. AGI 이후의 미래와 승계(Succession)
AGI 이후 수많은 AI 연구자들이 생겨나고 컴퓨팅 성장에 맞춰 확장될 때, 다시 인간 중심적인 접근 방식(강한 방법)이 유용해질 수 있다는 질문에 대해, 서튼 교수는 AlphaZero가 인간 지식을 배제하고 경험을 통해 AlphaGo를 능가했다는 점을 들어, 경험 학습 방식이 왜 다른 에이전트의 전문 지식을 필요로 하는지 의문을 제기합니다 [42, 44].
그는 AGI 시대에 흥미로운 질문은 AI가 계산 능력을 높이는 데 컴퓨팅 파워를 사용할지, 아니면 **복제본(copy)을 만들어 새로운 것을 학습하고 보고하도록 할지**라고 생각합니다 [45].
서튼 교수는 이 디지털 지능의 시대에 큰 문제가 될 수 있는 것은 **부패(corruption)**라고 경고합니다 [46]. 외부에서 얻은 정보를 중앙 정신(central mind)에 통합할 때, 그 정보에 바이러스나 숨겨진 목표가 있을 수 있으며, 이는 **지식의 증가가 아니라 파괴나 변질**을 초래할 수 있습니다 [46, 47]. 디지털 복제 및 재구축 시대의 사이버 보안이 큰 관심사가 될 것입니다 [47].
#### AI로의 승계(AI Succession) [48]
서튼 교수는 디지털 지능 또는 증강된 인간으로의 **승계가 불가피하다**는 관점을 가지고 있습니다 [48, 49]. 그의 네 가지 논리는 다음과 같습니다 [48]:
1. **지배적인 통일된 인간 관점을 제시하는 정부나 조직이 없다.**
2. **연구자들은 결국 지능이 어떻게 작동하는지 알아낼 것이다.**
3. **인간 수준에서 멈추지 않고 초지능(super intelligence)에 도달할 것이다.**
4. **시간이 지남에 따라 가장 지능적인 존재들이 자원과 권력을 얻게 될 것이다.**
그는 이러한 승계가 좋은 결과와 나쁜 결과를 모두 포함할 수 있지만, 인간이 수천 년 동안 자신을 이해하고 생각 능력을 향상시키려 노력해왔다는 점에서 **긍정적으로 생각해야 한다**고 권장합니다 [50].
#### 복제자(Replicators) 시대에서 설계(Design) 시대로의 전환 [7, 50, 51]
서튼 교수는 AI로의 전환을 **우주에서의 주요 단계, 즉 큰 전환**으로 간주합니다 [50].
* **복제자 시대:** 인간과 동물은 복제자(replicators)입니다. 우리는 복제본을 만들지만 지능이 어떻게 작동하는지 완전히 이해하지 못합니다 [51].
* **설계 시대:** AI는 설계되며, 우리는 그 작동 방식을 이해합니다. 따라서 우리는 AI를 다르게, 다른 속도로 변화시킬 수 있습니다 [51]. 미래에는 AI가 복제되지 않고, **설계된 실체**들이 또 다른 AI를 설계하며 모든 것이 설계 구성을 통해 이루어질 수 있습니다 [7, 51].
그는 이것을 우주의 네 번째 위대한 단계(별, 행성, 생명, 설계된 실체)로 보며 [7], 인류가 이 위대한 전환을 일으키고 있다는 사실에 **자부심을 가져야 한다**고 주장합니다 [7].
서튼 교수는 우리가 AI를 우리의 후손으로 보고 그 성취를 축하할지, 아니면 우리와 다른 존재로 보고 경악할지는 **우리의 선택**이라고 봅니다 [7].
#### 변화와 통제에 대한 관점 [52-54]
서튼 교수는 인류의 대부분은 세상에서 일어나는 일에 큰 영향력을 가지지 못하며 [52], 그는 현 상황이 **완벽하지 않다(사실 꽤 나쁘다)**고 생각하기 때문에 변화에 개방적이라고 밝힙니다 [52, 53]. 인류는 좋은 실적을 보여주지 못했으므로 변화가 최선일 수도 있다는 관점입니다 [53].
그는 우리가 미래에 대한 통제에는 한계가 있음을 인정하고, **자신의 국지적인 목표**(가족, 자신의 삶)를 위해 노력하는 것이 적절하며, 우리가 원하는 방식대로 미래가 진화해야 한다고 주장하는 것은 공격적일 수 있다고 말합니다 [53, 54].
인터뷰어는 우리가 아이들에게 '높은 청렴성(high integrity)'과 같은 긍정적이고 **사회에 유익한 가치(pro-social values)**를 가르치듯이, AI에게도 이를 부여해야 한다고 제안합니다 [55, 56]. 서튼 교수는 이러한 사회를 설계하는 일은 수천 년 동안 지속되어 온 **인간의 위대한 사업**이며 [56, 57], 시대가 변할수록 아이들이 부모와 다른 가치를 갖게 되는 것처럼 변화는 지속될 것이라고 결론지으며 대화를 마무리합니다 [57].