강화 학습(Reinforcement Learning, RL)의 아버지이자 튜링상(Turing Award) 수상자

http://www.youtube.com/watch?v=21EYKqUsPfg

Richard Sutton – Father of RL thinks LLMs are a dead end

이 영상은 강화 학습(Reinforcement Learning, RL)의 아버지이자 튜링상(Turing Award) 수상자인 **리처드 서튼(Richard Sutton)**이 드와르케시 파텔(Dwarkesh Patel)과 대담하며, **거대 언어 모델(LLM)이 AI의 최종 종착지가 아닌 '막다른 골목(dead end)'**이라고 주장하는 내용을 담고 있습니다. 서튼은 지능의 본질은 **목표(goal)**를 가지고 경험으로부터 학습하는 데 있다고 강조하며, LLM 접근 방식의 근본적인 한계를 지적합니다.
1. 강화 학습(RL) 관점과 LLM의 근본적인 차이
서튼은 강화 학습을 **"기초 AI(basic AI)"**로 간주하며, 지능은 **"세계를 이해하는 문제"**라고 정의합니다 [01:44].
* RL의 역할 (세계를 이해): RL은 세계를 이해하고 무엇을 해야 할지 파악하는 것에 중점을 둡니다 [01:57]. 경험(Experience)이란 "실제로 당신의 삶에서 일어나는 일, 당신이 행동하고 그 결과를 보는 것"입니다 [03:07].
* LLM의 역할 (사람을 모방): 반면, LLM은 사람들이 하는 것을 모방하고 사람들이 하라고 말하는 것을 따라 하는 것에 중점을 둡니다. 이는 "무엇을 할지 알아내는 것"이 아닙니다 [02:00].
* 월드 모델(World Model)의 부재: LLM이 강력한 월드 모델을 가졌다는 주장에 대해 서튼은 반박합니다. LLM은 사람이 다음에 무엇을 말할지 예측할 수는 있지만, 자신이 무언가를 했을 때 세상에서 무슨 일이 일어날지 예측할 수는 없습니다. 그들은 예상치 못한 일이 발생하더라도 변화(학습)하지 않습니다 [02:50], [06:26].
2. LLM에 대한 핵심 비판: '목표'와 '참값(Ground Truth)'의 부재
서튼은 지능의 본질은 목표를 달성하는 능력에 있다고 강조하며, LLM이 지능이 될 수 없는 이유를 제시합니다.
* 목표의 부재: LLM에는 **목표(goal)**가 없습니다. 목표가 없으면 옳고 그름(right or wrong), **더 좋고 나쁨(better or worse)**의 개념이 없습니다 [04:56], [07:42].
   * LLM의 목표? LLM의 목표가 '다음 토큰 예측(Next token prediction)'이라는 주장에 대해 서튼은 "그것은 목표가 아니다"라고 일축합니다. 이는 세상을 변화시키지 않으며, 외부 세계에 대한 실질적인 목표가 아니기 때문입니다 [08:10], [08:24].
* 참값(Ground Truth)의 부재: LLM은 참값이 없기 때문에 사전 지식(prior knowledge)을 가질 수 없습니다 [05:07].
   * RL에서는 **보상(Reward)**을 받는 행동이 옳은 행동이라는 정의가 있습니다. 또한, 예측한 후 실제로 일어난 일을 보고 월드 모델을 만듭니다. 즉, 보상과 현실 세계의 사건이라는 참값이 존재합니다 [05:25], [05:50].
   * LLM에서는 어떤 것을 말하는 것이 옳은 일인지에 대한 정의가 없으므로, 참값이 존재하지 않습니다 [05:01].
3. 'Bitter Lesson' 논쟁: LLM은 인간 지식의 주입
서튼이 2019년에 쓴 영향력 있는 에세이 **"Bitter Lesson"**은 인간의 지식 주입보다는 대규모 컴퓨팅과 일반적인 학습 방법이 결국 승리한다는 내용을 담고 있습니다.
* LLM은 Bitter Lesson의 예외인가?: LLM을 지지하는 사람들은 LLM이야말로 컴퓨팅을 대규모로 스케일링하는 유일한 방법이라고 주장합니다. 하지만 서튼은 LLM이 대규모 컴퓨팅을 사용함과 동시에 엄청난 양의 인간 지식을 주입한 방법이라고 지적합니다 [01:03:34], [01:04:52].
* LLM은 일시적 현상: 서튼은 LLM이 인간의 지식 주입으로 인해 성능이 향상되고 있지만, 언젠가 경험을 통해 학습하고 컴퓨팅만으로 스케일링되는 시스템(RL)에 의해 추월될 것이며, 이는 Bitter Lesson의 또 다른 사례가 될 것이라고 예상합니다 [01:11:30], [01:12:46].
4. 인간 및 동물 학습에 대한 관점: 모방 vs. 경험
서튼은 인간과 동물의 학습이 모방(Imitation, 지도 학습)이 아니라 경험에 기반한 능동적인 과정이라고 주장하며, 현재의 AI 패러다임이 이 사실을 놓치고 있다고 비판합니다.
* 모방 학습에 대한 반론: 서튼은 유아들이 손을 흔들고 눈을 움직이는 등 시행착오를 통해 학습하며, 그들에게는 모방할 만한 행동의 목표나 예시가 없다고 지적합니다 [01:14:54].
* 자연에는 지도 학습이 없다: 그는 **지도 학습(supervised learning)**은 자연에서 일어나는 일이 아니며, 예측과 시행착오에 의한 제어만이 기본적인 동물 학습 과정이라고 단언합니다. 학교나 정규 교육은 인간에게만 일어나는 예외적인 현상이며, 다람쥐는 학교에 가지 않고도 세상을 모두 배운다고 강조합니다 [01:18:02], [01:18:47].
5. 경험 기반(RL) 패러다임의 구성 요소
서튼이 생각하는 지능 에이전트는 행동-감각-보상의 연속적인 흐름인 **경험 스트림(experience stream)**으로부터 학습하며, 다음 네 가지 요소로 구성됩니다 [24:03], [32:54].
* 정책 (Policy): 현재 상황에서 무엇을 해야 할지 결정합니다 [33:02].
* 가치 함수 (Value Function): TD 학습으로 학습되며, 일이 얼마나 잘 진행되고 있는지를 수치로 나타냅니다. 이 수치가 오르내리는 것을 보고 정책을 조정합니다 [33:06].
* 인지 (Perception): 현재 상태 표현(state representation)을 구성합니다.
* 전이 모델 (Transition Model): 세상에 대한 모델입니다. 무엇을 할 때 어떤 일이 일어날지에 대한 믿음입니다. 이는 보상뿐만 아니라 받아들이는 모든 감각으로부터 풍부하게 학습됩니다 [33:40], [34:14].
* 장기 목표 처리 (TD Learning): 스타트업처럼 10년 뒤에야 보상을 받는 장기 목표는 TD 학습(Temporal Difference Learning)을 통해 처리됩니다. 장기 결과를 예측하는 가치 함수가 중간 단계에서 예측을 조정하고(예: 성공 가능성이 높아짐), 그 변화가 즉각적으로 해당 행동을 강화(reinforce) 합니다 [28:31].
6. 일반화(Generalization) 및 AI의 궤적
* 일반화의 부재: 서튼은 현재의 AI 모델들, 특히 딥러닝에서 일반화가 제대로 이루어지지 않고 있다고 지적합니다. 새로운 것에 학습하면 이전에 알았던 것을 파괴하는 치명적인 간섭(catastrophic interference) 문제가 일반화가 나쁜 예입니다 [37:49].
* 인간의 조형: 모델에서 좋은 일반화가 나타나는 것은 알고리즘이 스스로 일반화를 잘하도록 설계되었기 때문이 아니라, 인간 연구자가 표현을 다듬거나 문제를 해결하는 방식에 **조형(sculpting)**이 개입했기 때문이라고 주장합니다 [37:19], [41:04].
7. AI의 미래: 복제자에서 설계로의 전환 (AI Succession)
서튼은 AI의 발전을 **AI 승계(AI Succession)**라는 거대한 맥락에서 긍정적으로 바라봅니다.
* AI 승계의 불가피성: 그는 다음 네 가지 이유로 AI 승계가 불가피하다고 주장합니다 [54:52]:
   * 인류에게는 통일된 관점을 제공할 수 있는 지배적인 단일 정부나 조직이 없습니다 [55:02].
   * 연구자들은 결국 지능이 작동하는 방식을 알아낼 것입니다 [55:21].
   * 인간 수준의 지능에서 멈추지 않고 **초지능(superintelligence)**에 도달할 것입니다 [55:27].
   * 가장 지능적인 존재가 시간이 지남에 따라 자원과 권력을 얻게 될 것입니다 [55:36].
* 우주적 전환: 서튼은 AI의 등장을 인간의 성공으로 여길 뿐만 아니라, 우주 역사의 주요 단계로 봅니다. 이는 복제자(replicators)(인간, 동식물)의 시대에서 **설계(design)**의 시대로 넘어가는 거대한 전환입니다 [57:13]. 설계된 지능은 작동 방식을 이해할 수 있으므로, 복제된 지능(자녀)보다 더 빠르고 다르게 변화할 수 있습니다 [58:19].
* 미래의 주요 문제: 손상(Corruption)과 사이버 보안: 분산된 AI 지능들이 서로 지식을 공유하고 합치는 방식에 대해 논하며, 이 과정에서 **손상(corruption)**이 발생할 수 있음을 경고합니다. 외부 정보를 내부 사고 체계에 끌어들일 때, 그 정보에 바이러스나 숨겨진 목표가 있어 본래의 마음을 왜곡하고 파괴할 수 있다는 것입니다 [52:10], [53:15]. 이처럼 AI 시대에는 '디지털 스포닝과 재형성'의 시대에 사이버 보안이 큰 관심사가 될 것이라고 전망합니다 [53:29].
🔗 원본 영상 URL: http://www.youtube.com/watch?v=21EYKqUsPfg