메타의 수석 AI 과학자이자 튜링상 수상자인 얀 르쿤

https://youtu.be/qvNCVYkHKfg?si=waHD34ksLMQdNIpZ

Why Can't AI Make Its Own Discoveries? — With Yann LeCun

-- 생성형 AI는 전 세계의 지식을 모두 흡수했지만 아직 자체적인 과학적 발견을 이뤄내지 못했습니다. 그리고 물리적 세계를 이해하기 시작했는지에 대한 질문도 있습니다 [1]. 메타의 수석 AI 과학자이자 튜링상 수상자인 얀 르쿤과 함께 이 질문에 대해 논의했습니다 [1].

-- 챗봇이나 대규모 언어 모델(LLM)은 방대한 양의 텍스트 지식으로 훈련되어 텍스트 통계에 부합하는 답변을 검색하고 생성합니다 [1]. 놀라운 능력을 가지고 있지만, 사실을 환각할 수 있으며, 순수한 형태로는 새로운 것을 발명할 수 없습니다 [1]. 허깅 페이스의 톰 울프는 데이터 센터에서 아인슈타인을 만들려면 모든 답을 아는 시스템이 아니라 아무도 생각하지 못했거나 감히 묻지 않았던 질문을 할 수 있는 시스템이 필요하다고 말했습니다 [2].

-- 현재 형태의 LLM으로는 그러한 질문을 하도록 가르칠 수 없습니다. 미래의 AI 시스템이 LLM을 한 구성 요소로 사용할 수는 있겠지만, 언어 모델 자체가 그러한 역할을 하지는 않을 것입니다 [2]. 인간은 언어로 생각하지 않고 상황에 대한 정신적 표현, 즉 정신적 모델로 생각합니다. 진정한 지능은 여기서 발휘되며, 이는 LLM으로는 아직 재현하지 못한 부분입니다 [2]. 궁극적으로 기존 질문에 답하는 것을 넘어 새로운 문제에 대한 새로운 해결책을 제시하고 스스로 질문할 수 있는 AI 아키텍처와 시스템이 나올 것이지만, 시간이 걸릴 것입니다 [2].

-- LLM은 검색 능력은 뛰어나지만, 새로운 문제에 대한 새로운 해결책을 찾거나 올바른 질문을 하는 데는 능숙하지 않습니다 [3]. 현재 많은 사람이 LLM이 추론하는 것처럼 보이게 하기 위해 '사고의 사슬(Chain of Thought)'과 같은 방식을 사용하지만, 이는 제한적입니다 [3, 4]. 고전적인 AI에서 추론은 잠재적 해결책 공간을 탐색하는 것을 포함하지만, LLM에는 이러한 검색 메커니즘이 없습니다 [4]. 대신 LLM은 여러 답변 시퀀스를 생성하고 별도의 시스템이 그중 가장 좋은 것을 선택하는 방식입니다. 이는 효율적인 추론 방식이 아닙니다 [4].

-- 인간이나 동물은 내부적으로 추론하며, 상황에 대한 정신적 모델을 머릿속에서 조작하여 해결책을 찾습니다 [4]. 예를 들어, 공중에 떠 있는 큐브를 상상하고 90도 회전시키는 것과 같은 추론은 언어와 무관한 추상적이고 연속적인 공간에서 이루어집니다 [4, 5]. 이것이 기계로는 아직 재현할 수 없는 능력입니다 [5].

-- 표준 LLM 훈련은 점차 한계에 부딪히고 있습니다. 우리는 이미 10^13 또는 10^14 토큰 규모의 방대한 양의 자연어 텍스트 데이터에 LLM을 훈련시켰으며, 이는 모든 공개 인터넷과 일부 라이선스 콘텐츠를 포함합니다 [5]. 인공 데이터를 생성하고 수천 명의 인력을 고용하여 더 많은 데이터를 만드는 방안도 논의되고 있지만, 이는 비용이 급증하는 반면 그에 따른 효과는 줄어들고 있습니다. 새로운 패러다임이 필요합니다 [6].

-- 새로운 아키텍처는 핵심적으로 좋은 해결책을 찾고, 해결책의 유효성을 확인하며, 특정 목표에 도달하기 위한 일련의 행동을 계획할 수 있어야 합니다. 인간과 동물은 새로운 상황에 직면했을 때 훈련 없이도 즉시 해결하거나 매우 빠르게 배우는 능력이 있습니다 [6]. 예를 들어, 우리는 몇십 시간의 운전 연습을 통해 운전을 무의식적인 시스템 1 활동으로 만들 수 있습니다 [6, 7]. 그러나 처음에는 모든 주의를 기울여야 하는 시스템 2 활동입니다 [7]. AI 시스템에는 세상이 어떻게 작동하는지에 대한 상식적 지식이 부족합니다 [7].

-- 현재 LLM 중심 기업들에 막대한 투자가 이루어지고 있지만, 단순히 LLM을 확장하는 것만으로는 인간 수준의 AI에 도달할 수 없을 것이라는 것이 저의 의견입니다 [8]. 다음 2년 안에 인간 수준의 AI가 나올 가능성은 전혀 없습니다 [8]. 현재의 LLM은 방대한 기억력과 검색 능력을 가진 시스템일 뿐, 새로운 문제에 대한 해결책을 발명할 수 있는 박사 학위 소지자가 아닙니다 [9].

-- 대부분의 투자는 인프라 구축에 사용되고 있습니다. 예를 들어, 메타는 연말까지 10억 명의 메타 AI 사용자를 예상하며, 이를 지원하기 위한 막대한 계산 능력이 필요합니다 [9]. 새로운 패러다임이 3년 안에 오지 않더라도 이 인프라는 활용될 가능성이 높으므로 좋은 투자라고 볼 수 있습니다 [9]. 그러나 현재 시스템은 여전히 깊은 결함이 있습니다 [10].

-- 기업 분야에서 AI 활용에는 문제가 많습니다. 인상적인 시연에도 불구하고, 시스템을 안정적으로 배포하는 것은 여전히 어렵습니다. 예를 들어, 연구 보고서의 5%가 환각이라면 큰 문제입니다 [10]. 많은 개념 증명(POC)만이 실제 생산 단계로 이어지는 것은 아닙니다. 이는 자율 주행차, IBM 왓슨, 1980년대 전문가 시스템과 같은 과거 AI 시대에도 겪었던 '마지막 1마일' 문제와 유사합니다 [10, 11].

-- 이러한 투자 과열과 기대치 불일치로 인해 AI 분야는 과거 'AI 겨울'과 같은 반발을 겪을 수도 있습니다 [12]. 하지만 저는 물리적 세계를 이해하고, 영구적인 기억력을 가지며, 추론하고 계획할 수 있는 시스템이 필요하다고 생각합니다 [13]. 이는 텍스트가 아닌 비디오와 같은 자연스러운 센서로부터 학습하는 시스템을 통해 상식을 습득하는 것을 의미합니다 [13].

-- 현재 저희 그룹에서는 이러한 방향으로 진전을 보이고 있습니다. 세상이 어떻게 작동하는지 비디오를 통해 학습할 수 있는 시스템과, 물리적 세계의 정신적 모델을 사용하여 특정 목표에 도달하기 위한 일련의 행동을 계획할 수 있는 시스템에 대한 초기 연구 결과가 있습니다 [13]. 이러한 시스템이 연구 논문 단계에서 대규모 실제 적용 가능한 아키텍처로 발전하는 데는 3년에서 5년 정도 걸릴 수 있습니다 [14].

-- AI 발전은 특정 회사나 개인의 '비밀 병기'로 이루어지는 것이 아닙니다. 전 세계 연구 커뮤니티의 지속적인 개념적 아이디어와 노력을 통해 발전할 것입니다 [14]. 정보를 공유하는 사람들이 더 빠르게 발전할 것입니다 [14].

-- 챗GPT에게 "두 손으로 종이를 수평으로 잡고 왼손을 놓으면 어떻게 될까?"라고 물었을 때, 2년 전에는 종이가 왼손 쪽으로 떠오를 것이라고 잘못 대답했습니다 [15]. 하지만 오늘 다시 같은 질문을 했을 때는 중력으로 인해 왼손 쪽이 떨어지면서 오른손이 잡고 있는 지점을 중심으로 회전할 것이라고 올바르게 대답했습니다 [15]. 이는 시스템이 미세 조정을 통해 해당 질문에 대한 답을 학습했을 가능성이 있습니다. 그러나 질문의 수는 무한하기 때문에 모든 가능한 질문에 시스템을 훈련시키는 것은 불가능합니다 [15].

-- 과거에는 텍스트에 충분히 다루어지지 않은 물리적 세계의 현상(예: 펜을 세워 놓았다 놓을 때)을 모델이 이해하기 어렵다고 말했습니다 [16]. 하지만 최근 Sora와 같은 AI 비디오 생성 시스템은 사람이 의자에서 다리를 차는 영상처럼 신체 부위가 관절에서 구부러지고 몸에 붙어 있는 등 물리적 세계에 대한 이해를 어느 정도 보여주는 것처럼 보입니다 [16].

-- 하지만 여전히 와인이 공중에 떠다니거나 사라지는 등 물리적으로 불가능한 비디오가 생성되기도 합니다 [16]. 특정 상황에 대해 더 많은 데이터를 수집하여 모델을 훈련할 수는 있지만, 이는 근본적인 이해 부족을 데이터 양으로 보충하는 것일 뿐입니다 [16]. 아이들은 놀랍도록 적은 양의 데이터로 중력과 같은 단순한 개념을 이해합니다 [17].

-- 일반적인 LLM이 30조 토큰(약 10^14 바이트)으로 훈련되는 반면, 아이는 태어난 지 4년 만에 시각 또는 촉각을 통해 비슷한 양의 데이터(약 10^14 바이트)를 접합니다 [17]. 이는 텍스트만으로는 인간 수준의 지능에 도달할 수 없음을 분명히 보여줍니다. 텍스트는 정보의 충분히 풍부한 원천이 아닙니다 [17]. 아기는 생후 몇 달 만에 직관적인 물리학, 즉 물체가 저절로 사라지지 않거나 숨겨도 존재한다는 것과 같은 기본적인 개념을 학습합니다. 기계로 이러한 유형의 학습을 재현해야 합니다 [17].

-- 비디오 생성 시스템을 훈련하는 것이 세상을 이해하는 올바른 접근 방식은 아닙니다 [17]. 픽셀 수준에서 비디오를 생성하는 것이 세상 이해의 핵심은 아닙니다. 저는 컵의 물을 쏟을 때 물의 정확한 경로를 예측할 수는 없지만, 물이 쏟아질 것이라는 추상적인 수준에서 예측할 수 있습니다 [18]. 시스템이 세상을 이해하려면 이러한 예측을 가능하게 하는 추상적인 세계 표현을 학습해야 하며, 이는 생성 모델이 아닐 것입니다 [18].

-- 저희는 'JEPA(Joint Embedding Predictive Architecture)'라는 비생성형 아키텍처를 연구하고 있습니다 [18, 19]. LLM이 텍스트의 내부 구조를 포착하는 자가 지도 학습의 특별한 경우이듯, JEPA는 이미지나 비디오에 적용됩니다 [20]. 그러나 비디오에 생성 모델을 적용하는 것은 어렵습니다. 고차원 연속 공간에서 확률 분포를 제대로 표현하기는 수학적으로 거의 불가능하기 때문입니다 [21].

-- JEPA는 재구성(reconstruction)을 시도하는 대신 표현(representation)을 학습합니다 [19]. 전체 이미지/비디오와 손상된 버전을 각각 인코더에 통과시켜 표현을 생성하고, 예측기가 손상된 버전의 표현으로부터 전체 이미지/비디오의 표현을 예측하도록 훈련합니다 [19]. 이 시스템은 입력의 일부를 재생성하려 하지 않고, 입력의 추상적인 표현을 생성하려고 합니다 [22]. 이를 통해 예측할 수 없는 세부 사항(예: 펜이 쓰러지는 정확한 방향)을 무시하고 추상적인 수준에서 예측(예: 펜이 쓰러질 것임)할 수 있습니다 [22].

-- 이러한 V-JEPA(비디오용 JEPA) 시스템은 물리적으로 불가능한 비디오(예: 물체가 사라지거나 모양이 변하는 비디오)를 감지할 수 있습니다. 시스템이 학습한 예측 오차가 급증하는 것으로 보아, 물리적으로 가능한 자연 비디오로만 훈련되었음에도 불구하고 세상에 대한 상식적인 개념을 통합했음을 알 수 있습니다 [22]. 또한 액션 조건부 JEPA는 특정 행동이 취해졌을 때 세계가 어떻게 변할지 추상적 표현 공간에서 예측할 수 있어, 목표 달성을 위한 행동 시퀀스를 계획하는 추론 능력을 보여줍니다 [23].

-- 오픈 소스 세계에서는 발전이 더 빠릅니다 [23]. 어떤 단일 기업도 좋은 아이디어에 대한 독점권을 가질 수 없습니다 [24]. DeepSeek의 사례는 작은 팀도 새로운 아이디어를 내놓을 수 있음을 보여주었습니다 [24]. 이러한 개방적인 협력은 전 세계적인 인재를 동원하여 혁신을 가속화합니다 [24]. 고객들은 프로토타이핑에는 독점 API를 사용할 수 있지만, 제품 배포 시에는 더 저렴하고 안전하며 제어 가능한 Llama 또는 다른 오픈 소스 엔진을 선호합니다 [24]. 중국 과학자들이 DeepSeek과 같은 훌륭한 아이디어를 내놓는 것을 보면, 중국이 우리를 필요로 하지 않는다는 것을 알 수 있습니다 [24]. 좋은 과학자는 전 세계 어디에나 있으며 (예: ResNet은 베이징에서, 첫 Llama는 파리에서 나왔습니다), 오픈 소스는 이러한 전 세계의 다양한 아이디어와 창의력을 활용하여 과학 기술 발전을 가속화합니다 [24, 25].

---
-- 감사합니다.

야닉 르쿤(Yann LeCun) 메타 최고 AI 과학자는 현재의 AI, 특히 **거대 언어 모델(LLM)이 인간처럼 과학적 발견을 하거나 물리 세계를 이해하는 데 근본적인 한계**를 가지고 있으며, 새로운 패러다임이 필요하다고 강조했습니다 [1-4].

**1. 현재 LLM의 한계와 비판 [1, 2, 5]**:
*   **지식의 암기 및 토해내기**: 생성형 AI는 방대한 텍스트 코퍼스를 암기하고 있으며, 주로 검색, 재구성, 훈련된 텍스트의 통계에 부합하는 답변을 생성하는 데 사용됩니다 [1]. 이는 유용하지만, 사실을 환각(hallucinate)할 수 있고 **새로운 것을 발명하는 능력은 없습니다** [1].
*   **진정한 지능의 부재**: 허깅페이스의 톰 울프(Tom Wolf)는 데이터 센터에 아인슈타인을 만들려면 모든 답을 아는 시스템이 아니라 **아무도 생각하지 못했던 질문을 할 수 있는 시스템**이 필요하다고 말했습니다 [2]. 르쿤은 현재 LLM으로는 불가능하다고 단언합니다 [2].
*   **인간 두뇌와의 비교**: 인간은 언어로 생각하는 것이 아니라 상황에 대한 정신적 모델(mental models)을 통해 생각합니다 [2, 6]. LLM은 추상적인 생각을 언어로 바꾸는 데 유용할 수 있지만, 이는 인간 두뇌의 브로카 영역과 같은 작은 부분에 불과하며, **진정한 지능은 이러한 정신적 모델 조작에서 비롯된다**고 설명했습니다 [2, 6].
*   **문제 해결 및 질문 능력 부족**: LLM은 기존 해결책을 검색하는 데는 뛰어나지만, 새로운 문제에 대한 새로운 해결책을 찾거나, 특히 **올바른 질문을 던지는 능력**은 매우 부족합니다. 이는 연구에서 가장 어려운 부분이며, LLM은 이 세 가지 기술 중 검색에만 능숙합니다 [5].

**2. LLM의 추론(Reasoning) 능력의 한계 [5-7]**:
*   **제한적인 추론 시도**: 현재 LLM에 추론 능력을 부여하려는 시도는 대부분 기존 패러다임을 완전히 바꾸기보다는 "사고의 사슬(Chain of Thought)"처럼 더 많은 토큰을 생성하여 계산량을 늘리는 방식입니다 [5, 6]. 이는 어느 정도 작동하지만 **매우 제한적**이며 진정한 추론으로 이어지지 않습니다 [6].
*   **고전적 AI 추론과의 차이**: 고전적 AI에서 추론은 잠재적 해결책 공간을 탐색하는 것을 포함합니다 [6]. LLM에는 이러한 탐색 메커니즘이 없으며, 수많은 답변 시퀀스를 생성하고 별도의 시스템이 최적의 답을 선택하는 방식은 **비효율적**입니다 [6].
*   **내부적 정신 모델의 부재**: 인간이나 동물은 토큰 공간에서 추론하지 않고, 상황에 대한 **내부적 정신 모델을 조작하여 머릿속으로 해결책을 찾습니다** [6]. 예를 들어, 공중에 떠 있는 큐브를 상상하고 회전시키는 것은 언어와 무관하게 추상적이고 연속적인 공간에서 이루어지는 추론이며, 현재 AI는 이를 재현할 수 없습니다 [6, 7].

**3. LLM 발전의 한계점 및 새로운 패러다임의 필요성 [3, 7, 8]**:
*   **수확 체감의 법칙**: 표준 LLM 훈련은 **수확 체감의 법칙**에 도달하고 있습니다 [7]. 이미 10^13~10^14 토큰(전체 인터넷 데이터) 규모로 훈련되어 있으며, 더 많은 자연어 텍스트 데이터를 찾기 어렵습니다 [7]. 인공 데이터를 생성하거나 인력을 고용하는 방식은 비용이 엄청나고 수익은 감소하고 있습니다 [3].
*   **새로운 아키텍처의 필요성**: 르쿤은 **새로운 패러다임의 아키텍처**가 필요하다고 강조합니다 [3]. 이 시스템은 좋은 해결책을 찾고, 검증하고, 특정 목표를 달성하기 위한 일련의 행동을 계획할 수 있어야 합니다 [3].
*   **인간과 동물의 능력**: 인간과 동물은 낯선 상황에 직면했을 때 훈련 없이(제로샷) 해결하거나 매우 빠르게 학습할 수 있습니다 (예: 운전 학습) [3]. 이는 뇌의 "시스템 2"에서 "시스템 1"으로 전환되며 잠재의식적으로 처리되는 능력입니다 [8].
*   **상식(Common Sense)의 부재**: 현재 AI 시스템에 **가장 부족한 능력은 세상이 어떻게 작동하는지에 대한 상식적인 지식**이며, 이는 새로운 상황에서 행동 계획을 세우는 데 필수적입니다 [8].

**4. AI 투자와 "AI 겨울" 우려 [4, 9-13]**:
*   **투자의 오판**: 현재 오픈AI, 앤트로픽, 그록(Grok) 등에 막대한 투자가 이루어지고 있지만, 르쿤은 **LLM 확장만으로는 인간 수준의 AI에 도달할 수 없으며** 향후 2년 내에는 절대 불가능하다고 단언합니다 [9]. "데이터 센터에 천재들의 나라를 만드는 것"은 터무니없는 생각이라고 비판했습니다 [9].
*   **메타의 투자 관점**: 메타의 투자는 대부분 **추론 인프라**에 집중되어 있으며, 10억 명의 사용자를 지원하는 것이 목표입니다 [10]. 이는 새로운 패러다임이 없더라도 정당화될 수 있는 투자이지만, 시스템의 결함(예: 5%의 환각)으로 인해 기업 환경에서의 실용성은 떨어집니다 [11].
*   **"라스트 마일(Last Mile)" 문제**: 인상적인 데모와 달리, 시스템을 안정적으로 배포하는 것은 항상 어려운 문제였습니다 [11]. 자율주행, IBM 왓슨, 1980년대 전문가 시스템 등 과거에도 유사한 실패 사례가 있었으며, **몇 퍼센트의 신뢰성을 확보하는 것이 가장 어렵다**고 설명했습니다 [11, 12].
*   **AI 겨울 가능성**: 르쿤은 과도한 기대와 투자, 그리고 실제 기술 발전 간의 **"타임라인 불일치(timeline mismatch)"**가 발생할 경우, 과거 "AI 겨울"과 같은 반발(backlash)이 올 수 있다고 우려했습니다 [4, 13]. LLM 확장을 통해 인간 수준 AI를 기대하는 투자자는 실수를 저지르는 것이라고 경고했습니다 [4].

**5. 다음 패러다임: 물리 세계 이해, 기억, 추론, 계획 [4, 14]**:
*   **핵심 특성**: 다음 세대 AI는 **물리 세계를 이해하고, 영구적인 기억을 가지며, 추론하고, 계획할 수 있어야 합니다** [4]. 이를 위해 텍스트뿐만 아니라 **비디오와 같은 자연 센서**를 통해 학습해야 합니다 [4].
*   **연구 진행 상황**: 르쿤의 연구 그룹과 다른 연구자들(DeepMind 등)은 비디오를 통해 세상이 어떻게 작동하는지 이해하도록 훈련된 시스템, 정신 모델을 사용하여 행동 시퀀스를 계획하는 시스템 등에서 초기 성과를 내고 있습니다 [4].
*   **예상 소요 시간**: 이러한 아키텍처가 실용적인 규모로 확장되는 데는 **3~5년**이 걸릴 수 있으며, 3년 이내에는 불가능할 것이라고 예상했습니다 [14].
*   **개방형 연구의 중요성**: AGI(범용 인공지능)는 **단 하나의 "비밀 마법 탄환"에서 오는 것이 아니라**, 전 세계 연구 커뮤니티의 지속적인 개념적 아이디어와 노력을 통해 발전할 것이라고 강조했습니다 [14]. 연구를 공유하는 사람들이 더 빠르게 발전할 것이며, 소수의 스타트업이 AGI의 비밀을 발견했다고 주장하는 것에 투자하는 것은 큰 실수라고 경고했습니다 [14].

**6. AI의 물리 세계 이해 시연 및 한계 [15-18]**:
*   **종이 떨어뜨리기 테스트**: 과거 ChatGPT는 한 손에서 종이를 놓으면 다른 손으로 떠오른다고 잘못 예측했습니다 [15]. 이는 텍스트 데이터에 물리적 세계에 대한 포괄적인 정보가 없었기 때문입니다 [16]. 현재 ChatGPT는 중력으로 인해 종이가 회전하며 떨어진다고 정확히 예측하지만, 르쿤은 이것이 진정한 이해가 아니라 **특정 질문에 대한 정교한 미세 조정(fine-tuning)의 결과**이며, 모든 질문을 다루는 것은 불가능하다고 지적했습니다 [15].
*   **비디오 생성 시스템의 한계**: Sora와 같은 AI 비디오 생성 시스템은 사람이 의자에 앉아 다리를 차는 것처럼 어느 정도 물리 세계를 이해하는 것처럼 보이지만 [16], 와인이 공중에 뜨거나 사라지는 등 **물리적으로 불가능한 장면을 여전히 생성**합니다 [16, 18]. 이는 **이해 부족을 방대한 데이터로 보상하는 것**일 뿐, 진정한 물리적 이해는 아닙니다 [16].
*   **데이터 효율성**: LLM이 10^14 토큰을 처리하는 동안 (인간이 40만 년 걸리는 양) [17], 4세 아동은 시각 및 촉각을 통해 약 10^14 바이트의 데이터를 처리하고 (유튜브 업로드 30분 분량) **직관적인 물리학(중력, 운동량 보존, 대상 영속성 등)을 배웁니다** [17]. 이는 텍스트가 인간 수준의 이해를 위한 충분히 풍부한 정보원이 아님을 보여줍니다 [17].
*   **추상적 예측의 중요성**: 세상 이해의 문제는 픽셀 수준에서 더 나은 비디오 생성 시스템을 훈련하는 것이 아닙니다 [17, 18]. 컵에 든 물을 쏟을 때 물방울의 정확한 경로를 예측할 수는 없지만, **물이 쏟아질 것이라는 추상적인 예측**은 할 수 있습니다 [18]. 시스템은 이러한 추상적인 세계 표현을 학습해야 합니다 [18].

**7. JEPAs (Joint Embedding Predictive Architectures) 솔루션 [18-23]**:
*   **자기 지도 학습(Self-Supervised Learning)**: AI의 성공을 이끈 핵심은 자기 지도 학습입니다. 이는 입력을 손상시키고 (예: 텍스트에서 단어 삭제, 이미지에서 패치 마스킹) 신경망이 손상되지 않은 버전을 재구성하도록 훈련하는 방식입니다 [19].
*   **생성 모델의 문제점**: LLM은 자기 지도 학습의 한 형태인 **인과적 아키텍처(causal architecture)**를 사용하여 다음 토큰을 예측합니다 [19]. 그러나 비디오나 이미지의 경우, 고차원 연속 공간에서 모든 가능한 프레임이나 누락된 부분의 확률 분포를 표현하는 것은 수학적으로 다루기 불가능하여 이 방식이 제대로 작동하지 않습니다 [20, 21].
*   **JEPAs의 작동 방식**: JEPAs(Joint Embedding Predictive Architectures)는 **생성적이지 않습니다** [21]. 이들은 입력을 재구성하는 대신, 원본 이미지와 손상된 이미지(예: 마스크된 이미지)를 각각 신경망에 통과시켜 **추상적인 표현(representation)**을 생성합니다 [21]. 그리고 예측기(predictor)는 손상된 버전의 표현으로부터 전체 이미지의 표현을 예측하도록 훈련됩니다 [21]. 이 방식은 이미지에서 더 나은 표현을 학습하는 데 효과적임이 입증되었습니다 [21].
*   **V-JEPA (Video-JEPA)**: 비디오 버전인 V-JEPA는 비디오의 큰 덩어리를 마스킹하고, 전체 비디오와 손상된 비디오를 동일한 인코더에 통과시켜 추상적인 표현을 생성합니다 [21]. 그리고 예측기는 부분 비디오의 표현으로부터 전체 비디오의 표현을 예측하도록 훈련됩니다 [21].
*   **추상적 사고 및 상식**: JEPAs는 시스템이 예측할 수 없는 세부 사항(예: 쓰러지는 펜의 정확한 방향)을 무시하고 **추상적인 수준에서 예측**을 할 수 있게 합니다 [22]. V-JEPA는 물리적으로 불가능한 비디오(예: 물체가 사라지는 비디오)를 보여줬을 때 예측 오류가 급증하여, **세상이 어떻게 작동하는지에 대한 상식적인 개념을 통합했음**을 보여줍니다 [22].
*   **행동 조건부 JEPA 및 추론/계획**: 행동 조건부 JEPAs는 세계 상태와 취해진 행동을 기반으로 다음 세계 상태를 추상적인 표현 공간에서 예측할 수 있습니다 [23]. 이는 **세상이 어떻게 작동하는지에 대한 학습**을 가능하게 하며, 시스템이 특정 목표에 도달하기 위한 일련의 행동을 계획하기 위해 탐색할 수 있게 합니다. 이것이 바로 **실제 추론과 계획**이라고 르쿤은 설명합니다 [23].

**8. 오픈 소스 vs. 독점 모델 [23-25]**:
*   **오픈 소스의 빠른 발전**: 르쿤은 **오픈 소스 세계에서 발전이 더 빠르다**고 말합니다 [23]. 전 세계의 재능을 활용하기 때문에 독점 기업보다 더 많은 흥미로운 아이디어가 나옵니다 [23, 24].
*   **DeepSeek의 사례**: DeepSeek은 소규모 팀이 제약 없이 새로운 아이디어를 내놓고 공유하여 전체 분야의 발전을 이끌 수 있음을 보여주었습니다 [24].
*   **비용 효율성 및 보안**: 고객들은 프로토타이핑에는 독점 API를 사용할 수 있지만, 제품 배포 시에는 **더 저렴하고 안전하며 제어 가능한 오픈 소스 엔진(예: Llama)**을 선호합니다 [24].
*   **지정학적 관점**: 오픈 소스가 중국 등 특정 국가에 도움이 될 것이라는 우려는 근거가 없다고 지적합니다 [24]. 중국에도 훌륭한 과학자들이 많으며 (예: ResNet의 Kaiming He), 그들은 독립적으로 혁신을 이룰 수 있습니다 [24, 25].
*   **아이디어의 다양성**: 르쿤은 **다양한 아이디어, 배경, 창의력을 활용**해야 과학 기술이 빠르게 발전할 수 있으며, 오픈 소스가 이를 가능하게 한다고 결론지었습니다 [25]. 첫 번째 Llama 모델 또한 파리의 소규모 팀에서 나왔음을 예시로 들었습니다 [25].