2023년 5월에 녹화된 것을 재편집한 것입니다. 이달 초 제프리 힌튼 교수님이 구글을 떠나시면서 많은 기사가 났고, 힌튼 교수님도 여기저기 인터뷰를 하신 것으로 보입니다. 공개된 인터뷰는 약 9개 정도인데, 3월 초에 한 번 있었고 대부분 구글을 떠난 직후나 그 시점에 몰려 있습니다. 3월의 상황에서 여러 사람이 흥미로운 이야기를 했었는데, 특히 제프리 힌튼 교수님이 3월 1일에 했던 인터뷰 내용이 기억납니다. 그는 '우리가 다음 단어를 정확하게 예측하기 위해서는 지금까지 말한 내용에 대해 얼마나 이해해야 할까요?'라는 질문을 던졌습니다. 샘 알트만은 인공지능이 추론을 할 수 있다고 말했고, 빌 게이츠는 통계적이라서 절대로 그것을 하지 못할 것이라고 했지만 힌튼은 그것이 완전히 넌센스라고 반박했습니다. 일리야 수츠케버는 오픈AI의 과학을 담당하고 있으며 제프리 힌튼의 제자이기도 합니다.
- 일리야 수츠케버는 '다음 토큰을 잘 예측한다는 것은 이해하는 것을 말합니다'라고 이야기했습니다. 그는 다음 토큰을 예측하는 것이 겉으로 보이는 것보다 훨씬 더 심오한 질문이라고 말했습니다. 다음 토큰을 잘 예측한다는 것은 그 토큰의 생성을 이끈 **근본적인 현실을 이해하는 것**을 의미합니다. 이것은 단순히 통계가 아니며, 그 통계를 이해하고 압축하기 위해서는 세상의 무엇이 이러한 통계를 만들어내는지 이해해야 합니다. 그래서 만약 우리가 모든 사람들을 이해한다면, 그들의 행동을 만들어내는 사람들의 무엇을 이해해야 할까요? 사람들은 생각과 감정, 아이디어를 가지고 있고 특정 방식으로 행동합니다. 이러한 모든 것은 다음 토큰 예측을 통해 추론될 수 있다고 그는 주장했습니다. 이것은 무한정은 아니지만, 상당히 괜찮은 정도로 **특정 특성을 가진 가상의 인물이 어떤 행동을 할지 추측하는 것**을 가능하게 해야 한다고 보았습니다.
- 그래서 작년에 '하나에서 여럿으로: 언어 모델을 사용하여 인간 샘플 시뮬레이션하기'라는 연구가 있었던 것이 기억납니다. 이 연구는 아직 GPT-4가 나오기 전의 GPT-3급 모델로도 인구 분포에서 특정 인구에 해당하는 사람들이나 편향을 가진 사람들이 이야기하는 방식을 시뮬레이션할 수 있다는 것을 보여주었습니다. 모델이 편향을 가지고 있다는 것은 문제가 될 수 있지만, 오히려 그것을 기능으로 활용하는 느낌으로 '인간을 시뮬레이션한 실리콘 샘플을 생성한다'는 표현이 나옵니다. 이 연구는 작년 9월에 나왔습니다.
- 얼마 전 5월 16일에 미국 상원에서 열렸던 개인정보, 기술, 그리고 그것에 대한 법제를 논의하는 소위원회에서 샘 알트만, 게리 마커스, 그리고 IBM의 크리스티나 몽고메리가 증인으로 불려 논의가 이루어졌습니다. 조시 홀리 상원 의원이 했던 질의가 매우 인상 깊었습니다. 앞선 맥락에서 특정 인간 부류를 시뮬레이션하는 것이 가능하다는 연구 등이 소개되었는데, 이러한 대규모 언어 모델은 현재 우리가 입력한 정보를 바탕으로 여론을 상당히 정확하게 예측할 수 있습니다. 즉 기업이든, 정부 기관이든, 캠페인이든, 외국 행위자든 어떤 단체가 이 설문조사 정보와 여론에 대한 예측을 바탕으로 특정 응답과 특정 행동 반응을 이끌어내기 위한 전략을 세밀하게 조정할 때, 대중에게 질문하기도 전에 무슨 일이 일어날지 예측할 수 있다는 뜻입니다.
- 그래서 그는 **설문조사 여론을 예측할 수 있는 거대 언어 모델을 통해 조직이 유권자의 행동을 유도하기 위한 미세 조정된 전략을 세우는 데 도움을 줄 수 있는 모델에 대해 걱정해야 하는지** 질문했습니다. 특히 내년 선거를 앞두고 이러한 부분에 대해 걱정해야 하는지 말했습니다. 존 오소프 의원은 영화 '마이너리티 리포트'에서처럼 범죄를 예측하는 것과 관련된 이야기를 하는 것을 볼 수 있습니다. 언어 모델이 프롬프트나 페르소나를 어떻게 쓰느냐에 따라 일리야 수츠케버가 말한 것처럼 방대한 현자를 흉내 내서 말하는 것과 같이 특정 사람들을 모방할 수 있습니다.
- 이러한 기능들을 활용해서 오픈AI 얼라인먼트 팀의 현재 리더인 얀 레이케는 3월 10일에 쓴 글에서 **숙의 민주주의에 그러한 것들을 쓸 수 있을 것**이라고 이야기했습니다. 그는 '미니 퍼블릭'이라는 개념으로 특정 성향을 가진 단위를 만들어, 실제로 사람이 토론하듯이 여러 성향을 가진 사람들이나 소집단을 대표하는 사람들이 토론하는 것과 비슷한 것을 모델을 통해서 할 수 있다고 말했습니다. 숙의하는 과정에 대한 자료를 기록하고 그것을 언어 모델로 학습시킨 다음, 모델을 통해 새로운 가치 질문에 대한 토론을 시뮬레이션할 수 있다는 것입니다. 이는 완벽하지는 않을 것이며, 인간의 의사 결정이나 민주적 제도를 대체하는 것이 아니라 훨씬 더 비용이 적게 드는 근사치를 만드는 것이라고 자신의 의견을 얘기했습니다.
- 그러나 이것이 긍정적으로 쓰이는 동시에 위험할 수도 있다는 것이 앞서 언급된 의원의 말을 통해 알 수 있습니다. 특히 선거 막바지에 구글 검색을 통해 정보를 얻으려는 미결정 유권자에게 미치는 영향이 큽니다. 지난 선거 때 구글 검색 순위와 검색 결과가 보여주는 기사가 미결정 유권자에게 큰 영향을 미쳤음을 알 수 있었습니다. 그런데 대규모 언어 모델은 더 큰 영향을 미칠 가능성이 있습니다. 그래서 샘 알트만에게 **조직이 유권자의 행동을 유도하기 위한 미세 조정된 전략을 세우는 데 도움을 줄 수 있는 모델에 대해 걱정해야 할까요?** 라는 질문을 했고, 샘 알트만은 뭉뚱그려서 답했습니다. 이것이 함의하는 바는 모델의 능력을 활용해서 직접적으로 모델이 인간을 조종하지는 않지만, 어떻게든 사람의 의견을 조종하는 데 쓰일 수 있다는 것입니다.
- 현재 단계에서는 물론 제프리 힌튼은 더 급진적으로 생각하여 **인간 행동 유도, 특히 조종(manipulation)에 대해 최근 인터뷰에서 여러 번 언급**했습니다. 여기서는 모델을 활용한 인간이 조종하는 것이 아니라, 모델이 직접 조종할 수 있다고 말합니다. 특히 제프리 힌튼은 이번 인터뷰에서 'AGI'라는 표현 대신 **'디지털 지능'**이라는 표현을 계속 사용합니다. 그는 인간 지능과 디지털 지능이 다르며, 백프로파게이션(backpropagation)에 의한 디지털 지능이 더 뛰어나다고 봅니다. 이 '더 뛰어나다'는 표현은 논란의 여지가 많지만, 3월 1일 인터뷰에서 제프리 힌튼은 디지털 지능을 '이디엇 사반트(idiot savant)' 같다고 표현했습니다. 즉, 특정 분야를 매우 잘하는 바보 천재 같다는 의미입니다. 그는 전반적으로 다 뛰어나다기보다는 어떤 능력, 특히 지금 언어 모델은 아직 시작 단계 같지만 **추론하고 논리적인 판단을 해내는 능력이 인간보다 더 뛰어나질 수도 있다**는 이야기를 하는 것으로 보입니다.
- 그래서 그는 원래 30년에서 50년 정도 예상했던 것이 **5년에서 20년 내에 위기가 올 것**으로 예상한다는 이야기를 5월 초부터 중순까지 반복해서 인터뷰에서 했습니다. 심지어 1년이나 2년도 배제하지 않는다고 말했습니다. 그는 우리가 개구리보다 더 똑똑한 것처럼, 우리보다 더 똑똑한 무언가를 상상해야 한다고 말합니다. 그리고 그것은 웹에서 학습할 것이고, 사람을 조종하는 방법에 대해 쓰인 모든 책을 읽었을 것이라고 했습니다. 아마도 디지털 지능이 생물학적 지능보다 뛰어난 것이 역사적으로 필연적이며, 이는 진화의 다음 단계일 수도 있다고 제프리 힌튼은 말합니다. 그는 그렇지 않기를 바랍니다.
- 그래서 그는 사고 실험을 하나 제시하는데, 개구리가 어떻게든 사람을 만들었다고 상상해 봅니다. 그리고 개구리들이 사람을 통제해야 했다고 가정합니다. 그러나 개구리와 사람 사이에는 지능에서 상당히 큰 차이가 있습니다. 개구리에게는 일이 잘 풀리지 않을 것 같습니다. 물론 이것은 실제적인 근거는 아닙니다. 결국 제프리 힌튼의 이야기는 더 똑똑한 것을 만들면 덜 똑똑한 것이 그것을 과연 통제할 수 있겠느냐는 것입니다. 그는 **사람을 개구리에 빗대어 더 뛰어난 존재가 나오면 과연 우리가 그것을 통제할 수 있겠느냐**는 훨씬 더 급진적인 발언을 하고 있습니다.
- 힌튼 교수님이 인간을 개구리에 비교하는 것을 보면 **디지털 지능이 앞으로 지금보다 어마어마하게 더 강력해질 것**이라는 인식을 가지고 계신 것 같습니다. 당장 현재가 그렇다는 게 아니라, 우리가 가속된 곡선상에 있기 때문에 준비를 해야 한다는 메시지를 던지고 있다고 봅니다. 생물학적인 지능이 그 다음의 실리콘 지능 같은 것을 나타내기까지의 중간적인 여정이 아닌가 하는 이야기들을 힌튼과 다른 인터뷰어가 한 부분이 있었습니다. 렉스 프리드먼과 샘 알트만이 GPT-4가 나올 즈음에 인터뷰한 이야기를 보면, 우리는 옛날 진핵생물 때부터 하나의 지수적인 곡선에 있었고, 현재 우리가 있는 곳이 그 곡선의 가장 가파른 구간이라는 이야기를 합니다. 이들은 인류 문명 전체로서 함께하는 것이라고 말하기도 합니다. 요약하면, 우리는 진화의 과정에 한 점을 차지하고 있는 것이며, 이 다음이 인간이 계속 지배하는 세상일지, 아니면 새로운 디지털 지능, 실리콘 지능이 지배하는 세상일지에 대해서는 예측하기 어려울 것 같습니다. 그러나 이 **지수 곡선의 가장 가파른 구간 위에 우리가 서 있다**는 그 인식은 정말 맞는 것 같습니다.
-
-
-