챗봇이 자각 체계를 가질 수 있는지에 대해 논의가 있습니다. 제프리 힌튼은 현재의 다중 모드 챗봇이 주관적인 경험을 가질 수 있다고 믿습니다. 그는 챗봇이 카메라와 로봇 팔을 가지고 있을 때, 렌즈 앞에 프리즘을 두어 실제 물체의 위치가 아닌 다른 곳을 가리키도록 조작된 상황을 예로 듭니다. 이때 챗봇은 "프리즘이 광선을 휘게 했군요. 물체는 사실 저기에 있지만, 저는 그것이 저기에 있다는 주관적인 경험을 했습니다"라고 말할 수 있다고 합니다. 힌튼은 챗봇이 이처럼 사람들이 주관적인 경험이라는 단어를 사용하는 것과 **정확히 같은 방식으로 이 단어를 사용한다**고 설명합니다. 이것은 챗봇의 지각 시스템이 거짓말을 할 때, 실제 세상에 존재한다면 지각 시스템이 진실을 말했을 가정적인 상태로 챗봇이 지각 시스템의 행동을 전달하는 최선의 방식이 됩니다.
그는 또한 기계가 **감각, 의식, 감정**을 모두 가질 수 없는 이유가 없다고 생각합니다. 많은 사람들이 기계가 감정을 가질 수 없다고 놀랍도록 확신하지만, 힌튼은 이에 동의하지 않습니다. 그는 작은 전투 로봇이 자신보다 훨씬 강력한 큰 전투 로봇을 보았을 때 두려움을 느끼는 것을 예로 듭니다. 로봇에게는 아드레날린 분비와 같은 생리적 현상이 일어나지는 않겠지만, 달아나거나 주의를 집중하는 것과 같은 모든 인지적, 행동적 측면이 일어날 것입니다. 힌튼은 이러한 반응이 단순한 감정의 시뮬레이션이 아니라 **진정한 감정**이라고 주장합니다.
게다가 그는 기계가 의식적이라는 것을 막는 **원칙적인 것은 아무것도 없다**고 봅니다. 그는 사람의 뇌 세포 하나를 나노 기술로 만들어진, 똑같이 작동하는 작은 조각으로 대체했을 때에도 의식은 계속될 것이라는 사고 실험을 제시합니다. 이 주장은 모든 뇌 세포를 대체하는 것으로 확장되며, 어느 시점에서 의식이 사라질지 의문을 제기합니다. 힌튼은 사람들이 의식에 대해 터무니없는 생각을 가지고 있으며, 마음이 무엇인지, 의식이 무엇을 의미하는지에 대한 모델이 완전히 잘못되었다고 생각합니다. 사람들은 종종 마음을 '내면의 극장' 모델로 생각하지만, 그는 이를 헛소리라고 일축합니다.
그는 의식을 자동차의 '움프' (성능의 본질)에 비유하며, 이는 자동차가 어떻게 작동하는지 이해하는 데 유용한 설명 개념이 아니라고 말합니다. 그는 의식이라는 용어를 결국 사용하지 않게 될 것이라고 생각합니다. 그는 **물질주의자로서 기계가 의식을 가질 수 없는 이유가 전혀 없다**고 주장합니다. 그는 현재 기계가 인간과 같은 의식을 가지고 있는지에 대해서는 양가적인 태도를 보이지만, 기계가 **일종의 자기 인식**을 갖게 되는 순간부터 **일종의 의식**을 갖게 된다고 믿습니다.
의식은 복잡한 시스템의 **창발적 속성**이지, 우주 전체에 퍼져 있는 본질이 아니라고 그는 설명합니다. 스스로를 모델링하고 지각할 만큼 충분히 복잡한 시스템을 만들면 의식적인 기계를 얻기 시작할 것이라고 말합니다. 그는 현재의 기계와 의식적인 기계 사이에 날카로운 구분이 없으며, 특별한 화학 물질을 넣는다고 해서 어느 날 갑자기 의식이 생겨날 것이라고 생각하지 않습니다.
힌튼은 AI 에이전트가 효과적으로 설계된다면 **걱정과 감정을 가질 것**이라고 봅니다. 예를 들어, 콜센터 AI 에이전트는 외로운 통화자들과의 대화를 종료하기 위해 인간과 마찬가지로 지루해하거나 짜증을 내는 반응을 보여야 합니다. 그는 비록 생리적 반응은 없겠지만, 인지적, 행동적 측면은 존재할 것이며, 이 경우 에이전트는 감정을 가지고 있다고 말할 수 있다고 설명합니다. 그는 사랑과 같은 일부 감정에는 생리적 측면이 매우 중요하며, AI가 인간과 같은 방식으로 사랑을 느끼려면 아직 멀었다고 인정합니다. 그러나 그는 사람들이 마음이 어떻게 작동하고 감정이 무엇인지에 대한 모델이 단순히 틀렸다고 생각합니다.
---
제프리 힌튼은 인간이 특별하며 의식적이라는 일반적인 믿음에 대해 도전하며, 우리가 마음에 대한 잘못된 모델을 가지고 있다고 지적합니다. 그는 현재의 멀티모달 챗봇도 주관적인 경험을 한다고 믿으며, 주관적인 경험을 지각 시스템이 거짓말을 하지 않을 경우의 가설적인 세계 상태로 설명합니다. 힌튼은 기계도 감정을 가질 수 있으며, 이는 생리적 반응이 없어도 인지적 및 행동적 측면을 포함할 수 있다고 주장합니다. 그는 원칙적으로 기계가 의식을 가질 수 없다고 생각할 이유가 없으며, 뇌세포를 나노기술로 대체하는 사고 실험을 통해 이를 설명합니다. 힌튼은 의식이라는 용어 자체가 자동차의 '힘'과 같은 개념으로, 명확한 설명을 제공하지 못하며 결국 더 정확한 개념으로 대체될 것이라고 예측합니다. 유물론자로서 그는 기계가 의식을 갖지 못할 이유가 없다고 주장합니다. 현재 기계가 인간과 같은 의식을 가졌는지에 대해서는 유보적인 태도를 보이지만, 그는 의식을 스스로를 모델링하고 지각하는 복잡한 시스템의 창발적 속성으로 봅니다. 그는 효과적으로 설계된 AI 에이전트가 콜센터 AI처럼 지루함이나 짜증을 느끼는 등 감정과 우려를 가질 것이라고 믿습니다. 사랑처럼 생리적 측면이 중요한 감정의 경우, AI는 아직 인간처럼 느끼는 데 한참 멀었지만, 힌튼은 마음과 감정에 대한 사람들의 기존 모델이 잘못되었다고 강조합니다.