자연에서 발견되는 모든 패턴은 고전적 학습 알고리즘으로 효율적으로 발견하고 모델링할 수 있다는 가설

https://youtu.be/Gq9JBV48Zmw?si=3EXXl9VdWC-bsQJ-

세상은 시뮬레이션이다 (구글 딥마인드 CEO)

  노벨상 강연에서 당신은 제가 생각하기에 매우 흥미로운 추측을 제안했습니다. 즉, **자연에서 생성되거나 발견될 수 있는 모든 패턴은 고전적인 학습 알고리즘에 의해 효율적으로 발견되고 모델링될 수 있다는 것입니다.** 생물학, 화학, 물리학, 어쩌면 우주론, 신경과학, 무엇을 말씀하시는 건가요? 글쎄요, 보세요, 저는 노벨상 강연에서는 약간 도발적이어야 하는 것이 일종의 전통이라고 생각했고, 그 전통을 따르고 싶었습니다. 제가 말했던 것은 한 걸음 물러서서 특히 알파 X 프로젝트로 우리가 해왔던 모든 작업을 보면, 알파고는 물론 알파폴드를 생각해보면, 그것들은 정말 조합적으로 매우 고차원적인 공간의 모델을 구축하는 것입니다.

  만약 바둑에서 최고의 수를 찾거나 단백질의 정확한 모양을 찾기 위해 무차별 대입 방식으로 해법을 찾으려 한다면, 모든 가능성을 열거하는 데는 우주의 시간도 부족할 것입니다. 그래서 훨씬 더 똑똑한 무언가를 해야 합니다.

  그리고 우리는 두 경우 모두 해당 환경의 모델을 구축했고, 그것이 스마트한 방식으로 탐색을 안내하여 문제를 해결할 수 있게 했습니다. 단백질 접힘을 생각해보세요. 이는 분명히 자연 시스템입니다. 왜 그것이 가능해야 할까요? 물리학은 어떻게 그것을 할까요? 단백질은 우리 몸에서 밀리초 만에 접힙니다. 그래서 물리학은 우리가 이제 계산적으로도 해결한 이 문제를 어떻게든 해결합니다. 저는 그것이 가능한 이유가 자연에서 자연 시스템은 진화 과정에 의해 형성되었기 때문에 구조를 가지고 있기 때문이라고 생각합니다.

  만약 그것이 사실이라면, 그 구조가 무엇인지 배울 수 있을 것입니다. 이 관점은 정말 흥미로운데, 당신이 암시했듯이, 거칠게 말하면 **진화할 수 있는 모든 것은 효율적으로 모델링될 수 있다**는 것입니다. 거기에는 진실이 있다고 생각합니다. 예, 저는 가끔 그것을 **가장 안정적인 것의 생존**이라고 부릅니다. 왜냐하면 살아있는 생물체에 대한 진화는 물론 있지만, 지질학적 시간을 생각해보면 수천 년에 걸쳐 풍화 작용에 의해 형성된 산의 모양도 있습니다.

  우주론적으로 행성의 궤도, 소행성의 모양도 여러 번 작용한 과정을 통해 살아남은 것입니다. 만약 그것이 사실이라면, 역으로 학습할 수 있는 일종의 패턴이 있어야 합니다. 그리고 올바른 해법과 올바른 모양을 찾는 데 도움이 되는 일종의 **매니폴드**가 있어야 하며, 효율적인 방식으로 그것에 대해 예측할 수 있게 해줍니다. 왜냐하면 그것은 무작위적인 패턴이 아니기 때문입니다.

  그래서 사람에 의해 만들어진 것이나 큰 숫자를 인수분해하는 것과 같은 추상적인 것들에는 불가능할 수도 있습니다. 숫자의 공간에 패턴이 없다면(물론 있을 수도 있지만), 균일하다면 배울 패턴이 없고 탐색에 도움이 될 모델도 없기 때문입니다. 그래서 무차별 대입을 해야 합니다. 그런 경우에는 양자 컴퓨터 같은 것이 필요할 수도 있습니다.

  그러나 우리가 관심 있는 자연의 대부분의 것들은 그렇지 않습니다. 그것들은 어떤 이유로 진화했고 시간이 지남에 따라 살아남은 구조를 가지고 있습니다. 만약 그것이 사실이라면, 저는 그것이 신경망에 의해 잠재적으로 학습될 수 있다고 생각합니다. 마치 자연이 탐색 과정을 수행하고 있고, 그 탐색 과정에서 효율적으로 모델링될 수 있는 시스템을 만들어낸다는 것이 너무나 매력적입니다. 맞습니다. 정말 흥미롭습니다. 그래서 자연은 무작위적이지 않기 때문에 효율적으로 재발견되거나 복구될 수 있습니다.

  저는 우리와 AI 커뮤니티 전반이 튜링 머신과 같은 **고전적인 시스템이 이전에 생각했던 것보다 훨씬 더 나아갈 수 있다**는 것을 증명했다고 생각합니다. 단백질 구조를 모델링하고 세계 챔피언보다 더 잘 바둑을 둘 수 있습니다. 많은 사람들은 10, 20년 전에는 이것이 수십 년 후에나 가능하거나 단백질 접힘과 같은 것을 하기 위해서는 어떤 종류의 양자 기계, 즉 양자 시스템이 필요할 것이라고 생각했을 것입니다. 그래서 저는 우리가 소위 고전적인 시스템이 무엇을 할 수 있는지 아직 표면조차 긁지 못했다고 생각합니다.

  물론 고전적인 컴퓨터 위에 신경망 시스템 위에 신경망 시스템으로 구축되는 AGI는 그것의 궁극적인 표현일 것입니다. 예, 저는 고전적인 컴퓨터로 무엇을 모델링할 수 있는지에 대해 계속해서 놀랄 것이라고 생각합니다.

  제 말은, 상호작용 측면에서 알파폴드 3가 그 방향으로 어떤 진전이 가능하다는 것이 놀랍습니다. 알파 지놈은 유전 코드를 기능에 매핑할 수 있다는 것이 놀랍습니다. 이러한 종류의 **새로운 현상**을 다루면서, 당신은 너무나 많은 조합적 옵션이 있다고 생각했지만, 효율적으로 모델링될 수 있는 핵심을 찾을 수 있습니다. 예, 왜냐하면 어떤 구조, 어떤 **풍경**이 있기 때문입니다.

  에너지 풍경이든 무엇이든 간에 따를 수 있는 **기울기**가 있습니다. 그리고 신경망이 매우 잘하는 것은 기울기를 따르는 것입니다. 따라서 따를 기울기가 있고 목표 함수를 올바르게 지정할 수 있다면, 우리가 수십 년 동안 순진하게 생각했을 수 있는 그 모든 복잡성을 다룰 필요가 없습니다. 그 문제들은 모든 가능성을 단순히 열거하면 완전히 다루기 힘들어 보입니다. 그리고 그런 문제들이 아주 많습니다.

  그리고 나서 당신은 생각합니다. '10의 300승 가능한 단백질 구조가 있고, 10의 170승 가능한 바둑판 위치가 있는데, 이 모든 것은 우주의 원자 수보다 훨씬 많으니 어떻게 올바른 해결책을 찾거나 다음 단계를 예측할 수 있을까?' 하지만 가능하다는 것이 밝혀졌습니다. 그리고 물론 현실, 자연은 그렇게 합니다. 단백질은 접힙니다. 그래서 그것이 당신에게 확신을 줍니다. 만약 우리가 물리학이 그것을 어떻게 하는지 어떤 의미에서 이해했고, 그 과정을 모방하거나 모델링할 수 있다면, 우리의 고전적인 시스템에서도 가능해야 한다는 것이 이 추측의 요점입니다.

  예, 저는 VO3의 이 측면에 계속해서 놀라고 있습니다. 많은 사람들이 코미디적이고 밈적인 모든 것과 인간을 정말 멋진 방식으로 포착하는 초현실적인 능력, 그리고 그것을 네이티브 오디오와 결합하는 능력 등 다른 측면들을 강조합니다. 이 모든 것이 V3의 놀라운 점입니다. 하지만 당신이 언급하는 바로 그 점, 즉 **물리학**은 완벽하지는 않지만 꽤 훌륭합니다.

  그리고 정말 흥미로운 과학적 질문은 확산 모델에 대한 냉소적인 시각 때문에 그것이 아무것도 이해하지 못한다고 생각할 수도 있지만, 그렇게 하려면 우리 세계에 대해 무엇을 이해하고 있느냐는 것입니다. 확산 모델은 아무것도 이해하지 못한다는 냉소적인 시각이 있지만, 제 생각에는 이해 없이는 그런 종류의 비디오를 생성할 수 없는 것 같습니다.

  그리고 이해한다는 것이 무엇을 의미하는지에 대한 우리의 철학적 개념이 표면으로 드러납니다. V3가 우리 세상을 어느 정도 이해한다고 생각하십니까? 저는 그것이 다음 프레임을 일관된 방식으로 예측할 수 있는 정도라면, 그것은 이해의 한 형태라고 생각합니다. 그것은 어떤 깊은 철학적 이해가 있는 인과적인 버전은 아닙니다. 저는 이러한 시스템들이 그런 것을 가지고 있다고 생각하지 않습니다. 하지만 그것들은 역학을 충분히 모델링하여, 육안으로 보기에 문제점을 구분하기 매우 어려운 8초 분량의 일관된 비디오를 꽤 정확하게 생성할 수 있습니다.

  그리고 2~3년 후에는 이것이 얼마나 놀라운 모습일지 상상해 보세요. 1~2년 전의 초기 버전을 생각하면 그렇습니다. 그래서 발전 속도는 놀랍습니다. 하지만 제가 가장 감명받고 매료된 것은 **물리적 행동**입니다. 조명과 재료, 액체 등입니다. 그것이 그렇게 할 수 있다는 것은 정말 놀랍고, 그것이 적어도 **직관적인 물리학**에 대한 어떤 개념을 가지고 있다는 것을 보여준다고 생각합니다. 사물이 직관적으로 어떻게 작동해야 하는지에 대해, 아마도 박사 과정 학생이 모든 방정식을 풀 수 있는 것과는 달리, 어린아이가 물리학을 이해하는 방식과 같을 것입니다.

  이것은 더 직관적인 물리학적 이해입니다. 그 직관적인 물리학적 이해가 바로 기본 계층입니다. 사람들이 때때로 **상식**이라고 부르는 것입니다. 그것이 정말 무언가를 이해하고 있다고 생각합니다. 많은 사람들을 정말 놀라게 했다고 생각합니다. 저는 이해 없이는 그 정도 수준의 사실감을 생성하는 것이 불가능할 것이라고 생각했습니다.

  물리적 세계를 이해하려면 그 세계와 상호작용하는 **구현된 AI 시스템**, 즉 로봇이 있어야만 한다고 생각하는 개념이 있습니다. 그것이 그 세계에 대한 이해를 구축하는 유일한 방법이라고요. 하지만 V3는 그것에 직접적으로 도전하고 있는 것 같습니다. 예, 그리고 그것은 매우 흥미롭습니다.

  5년, 10년 전에 저에게 물었다면, 제가 이 모든 것에 몰두해 있었음에도 불구하고, '글쎄요, 직관적인 물리학을 이해해야 할 것입니다. 예를 들어, 이 유리잔을 테이블에서 밀면 깨질 것이고 액체가 쏟아질 것입니다.'라고 말했을 것입니다. 우리는 이 모든 것을 알고 있지만, 신경과학에는 **'인지 속 행동'**이라고 불리는 많은 이론들이 있습니다. 세상에서 행동해야만 깊이 있게 진정으로 인지할 수 있다는 것입니다. 그리고 직관적인 물리학과 같은 것을 이해하려면 구현된 지능이나 로봇 공학, 또는 적어도 시뮬레이션된 행동이 필요하다는 이론들이 많았습니다.

  그러나 **수동적인 관찰**을 통해서도 그것을 이해할 수 있는 것 같습니다. 이것은 저에게 꽤 놀라운 일이며, 제가 생각하기에는 그것이 생성하는 멋진 비디오를 넘어선 **현실의 본질**에 대한 어떤 근본적인 것을 암시합니다. 그리고 물론 다음 단계는 아마도 그 비디오들을 **상호작용적**으로 만드는 것일 것입니다. 그래서 실제로 그 안으로 들어가 움직일 수 있게 하는 것이죠. 제 게임 배경을 고려하면 정말 놀라운 일일 것입니다.

  그리고 저는 우리가 **세계 모델**, 즉 세상이 어떻게 작동하는지, 세상의 역학, 세상의 물리학, 그리고 그 세상 안에 있는 것들의 모델에 도달하기 시작하고 있다고 생각합니다. 물론 그것이 진정한 AGI를 위해 필요한 것입니다.


---
  감사합니다.

노벨상 강연에서 제안된 **자연에서 발견되는 모든 패턴은 고전적 학습 알고리즘으로 효율적으로 발견하고 모델링할 수 있다는 가설**은 매우 흥미롭습니다. 알파고와 알파폴드 같은 알파X 프로젝트들은 조합적으로 복잡한 고차원 공간을 모델링하여, 물리적으로 불가능했을 문제를 해결했습니다. 이는 단백질 접힘과 같은 자연계 시스템이 진화 과정을 통해 구조를 획득하여 무작위적이지 않기 때문입니다. 이러한 **구조 덕분에 신경망이 기울기를 따라 효율적으로 탐색하고 예측할 수 있습니다.**

반면, 패턴이 없는 추상적인 문제는 고전적 시스템으로 학습하기 어려워 양자 컴퓨터가 필요할 수 있습니다. 그러나 자연계의 대부분은 **이유 있는 구조를 가지며 시간이 지나면서 생존했기에 신경망으로 학습이 가능**합니다. 이는 마치 자연 자체가 효율적으로 모델링 가능한 시스템을 만들어내는 탐색 과정과 같습니다. 이전에는 양자 시스템이 필요하다고 여겨졌던 단백질 접힘과 같은 문제까지 고전적 시스템으로 해결 가능함을 통해, **고전적 시스템의 잠재력이 예상보다 훨씬 크다**는 것을 알 수 있습니다.

최근 V3(Vo3)는 물리, 조명, 재료, 액체 등을 놀라울 정도로 사실적으로 구현해내며, **물리적 세계를 이해하기 위해 로봇과 같은 '구현된 AI 시스템'이 필요하다는 통념에 도전**하고 있습니다. V3는 수동적 관찰만으로도 인간 아이의 물리학적 이해와 유사한 **직관적인 물리학적 이해를 보여줍니다.** 시스템이 다음 프레임을 일관성 있게 예측하는 능력은 깊이 있는 철학적 이해는 아닐지라도, **세계의 역학을 모델링한 일종의 이해를 나타냅니다.**

이러한 놀라운 발전 속도는 미래에 인터랙티브 비디오를 넘어, **세계가 어떻게 작동하는지에 대한 '세계 모델'을 구축하는 것으로 이어질 수 있습니다.** 이 **세계 모델은 진정한 일반 인공지능(AGI)을 위한 필수적인 요소**가 될 것입니다. 고전적 컴퓨터로 무엇이 모델링 가능할지에 대한 우리의 놀라움은 앞으로도 계속될 것입니다.