230516 샘 올트먼 샘 올트먼의 두 얼굴
오픈AI의 CEO 샘 올트먼은 나바호 사막에 종말 대비 벙커를 지었습니다 숨겨져 있고 매장되어 있으며 항생제 수경 재배 시스템 그리고 무기가 비축되어 있습니다 이 남자는 인공 일반 지능 개발에 박차를 가하고 있으면서도 이제는 세상에 AI가 완벽하게 안전하다고 말합니다 그렇다면 왜 그는 재앙에 대비하는 걸까요 알아보기 위해 저는 그가 했던 거의 모든 인터뷰 에세이 팟캐스트 패널 토론 그리고 연설을 검토했습니다 그가 스포트라이트를 받기 전이자 챗GPT가 등장하기 수년 전인 2017년에 올트먼이 오늘날 그가 말하는 것과 정면으로 배치되는 섬뜩한 이론을 담은 블로그 게시물을 발표했다는 사실을 아는 사람은 거의 없습니다 그는 자신이 만들고 있는 AI 종이 실제로 우리가 아는 세상의 종말을 가져올 것이라고 썼고 그의 유토피아적 비전은 우리가 AI 기반 집단 정신에 효과적으로 동화될 것이라는 것입니다 그의 옛 글들은 더 미쳐 보입니다 만약 대중을 안심시키는 올트먼과 최악의 상황에 대비하는 올트먼 두 가지 버전이 있다면 우리는 어떤 버전을 믿어야 할까요 제가 조사하면서 발견한 것은 단 하나의 모순이 아니었습니다 그것은 하나의 패턴이었고 더 깊이 들여다볼수록 더 문제가 됩니다
2023년 5월 16일 샘 올트먼은 의회 앞에 앉아 AI가 통제되고 있고 안전하게 구축되고 있으며 도구이지 생명체가 아니라고 차분하게 주장합니다 그러나 저는 지금 우리가 도구가 아닌 생명체를 만들고 있다고 생각합니다 지난 2년 동안 그는 인터뷰 정책 문서 심지어 규제 기관 앞에서도 이러한 말을 계속 반복했습니다 그동안 오픈AI의 최신 마케팅 자료는 AI가 실제 실업을 유발하지 않을 것이라고 주장하며 이는 트럼프 행정부가 듣고 싶어 하는 바와 편리하게 일치합니다
그러나 여기에 문제가 있습니다 오픈AI의 원래 헌장을 보면 그 핵심 임무는 기본적으로 모든 인간 노동을 대체할 수 있는 인공 일반 지능을 구축하는 것이었습니다 이것은 직접적인 모순이며 샘 올트먼이 작성하는 데 기여했습니다 더 깊이 들여다볼수록 이러한 모순은 더욱 명확하게 드러납니다 공개적으로 올트먼은 침착함을 보이지만 개인적으로는 초지능 AI가 인류의 존재에 가장 큰 위협이라고 오랫동안 주장해왔습니다 그러나 정치인들은 그의 말을 마치 복음처럼 받아들이며 그의 행동 뒤에 숨겨진 교활함을 무시합니다 폴 그레이엄은 "샘 올트먼을 식인종으로 가득 찬 섬에 낙하산으로 내려보내면 5년 안에 그가 왕이 되어 돌아올 것"이라고 말했습니다
몇 년 전 샘의 발언을 보면 그는 한 인터뷰에서 이 기술이 우리 모두를 죽일 수도 있다고 다소 즐겁게 말했습니다 이제 그는 너무 걱정할 필요가 없다고 말합니다 그리고 저는 그것이 돈을 추구하는 데서 비롯된 것이라고 생각합니다 이것이 대중이 자신들의 삶을 재편하는 기술에 대한 모든 진실을 알 자격이 있다고 믿는 사람의 말처럼 들릴까요 아니면 세상이 듣고 싶어 하는 정확한 이야기를 할 줄 아는 사람의 말처럼 들릴까요 저는 확실하지 않지만 충분히 자세히 보면 균열을 발견할 수 있을 것입니다 오픈AI의 공동 창립자 일리야 수츠케버는 한때 비공개로 "우리는 AGI를 출시하기 전에 분명히 벙커를 지을 것"이라고 말했습니다
역사를 공부하는 학생이라면 누군가 경고를 글로 남기면 진지하게 받아들이라고 말할 것입니다 사람들은 푸틴이 우크라이나를 침공하지 않을 것이라고 말했습니다 히틀러나 스탈린의 공포는 예측 불가능하다고 말했지만 그것은 사실이 아닙니다 청사진은 연설 선언문 초기 에세이 마인 캄프에 항상 있었습니다 마인 캄프는 홀로코스트를 평이한 언어로 설명했지만 사람들은 너무 늦기 전까지는 믿지 않았습니다 그래서 올트먼의 초기 글을 살펴보는 것이 중요합니다 챗GPT가 세상에 알려지기 한참 전인 2017년에 그는 "더 머지"라는 제목의 블로그 게시물을 발행했습니다 그 안에는 이런 문구들이 있습니다 우리가 먼저 우리 자신을 파괴하지 않는 한 초인공지능은 일어날 것입니다 유전자 강화도 일어날 것이고 뇌 기계 인터페이스도 일어날 것입니다 우리가 우리 자신보다 더 똑똑한 것을 결코 만들 수 없을 것이라고 가정하는 것은 인간 상상력과 인간 오만의 실패입니다 그리고 초인공 기계 지능의 개발은 아마도 인류의 지속적인 존재에 가장 큰 위협일 것입니다 올트먼의 생각은 강렬하고 심지어 과장되어 보일 수 있지만 중요한 것은 그가 혼자가 아니라는 점입니다 가장 많이 인용되는 상위 세 명의 AI 과학자들은 적어도 인류에게 가장 큰 위협이라는 부분에 대해서는 그에게 동의합니다 모든 주요 AI 연구소의 수장들도 마찬가지입니다
그러나 샘 올트먼이 지금 의회 규제 기관 그리고 언론 앞에서 말하는 것은 매우 다릅니다 그것은 신중하고 안심시키며 시장성이 있습니다 이제 여러분은 이것이 제품을 홍보하려는 기술 CEO의 과장된 표현이라고 생각할 수도 있습니다 그러나 그것만으로는 완전히 설명되지 않습니다 왜냐하면 우리가 확실히 아는 것은 올트먼이 오픈AI가 판매할 제품을 만들기 수년 전부터 AI에 대해 경고음을 울리고 있었다는 것입니다 그리고 이제 오픈AI가 3천억 달러의 가치를 가지게 되면서 그의 메시지는 분명히 바뀌었습니다
그러나 왜일까요 아마도 올트먼은 대부분의 사람들이 깨달은 것보다 훨씬 더 큰 이해관계가 있다고 보았을지도 모릅니다 아마도 그는 초인공지능의 등장을 막을 수 없으며 이미 진행 중이라고 믿었을지도 모릅니다 그리고 그것이 사실이라면 단 하나의 논리적인 결론만이 있습니다 막을 수 없다면 조종해야 하고 적어도 살아남아야 합니다 물론 우리는 올트먼이 무엇을 생각했는지 확실히 알 수는 없습니다 그러나 제가 그의 글을 더 깊이 파고들면서 한 구절이 저를 멈추게 했습니다 우리의 전화는 우리를 통제하고 무엇을 할지 지시하며 소셜 미디어 피드는 우리의 기분을 결정하고 검색 엔진은 우리가 무엇을 생각할지 결정합니다 올트먼은 이러한 변화를 "더 머지"라고 불렀습니다 그는 인류가 기계와 융합하거나 아니면 멸종을 맞이하는 이분법적인 선택에 직면해 있다는 믿음을 가지고 있습니다
그리고 여기서 최악의 부분은 올트먼이 말하는 이러한 일의 시기가 먼 미래의 시나리오가 아니라는 것입니다 그것은 빠르게 다가오는 마감일입니다 그렇다면 우리는 얼마나 빨리 다가오는 이야기를 하는 것일까요 샘 올트먼은 이제 우리가 1년에서 5년 안에 AI가 거의 모든 면에서 인간을 능가하는 것을 보게 될 것이라고 말합니다 그리고 다시 말하지만 저는 이것을 아무리 강조해도 지나치지 않습니다 가장 많이 인용되는 상위 세 명의 AI 과학자들과 모든 주요 AI 연구소의 수장들은 이 점에 대해서도 그에게 동의합니다 이 타임라인은 더 이상 변두리 믿음이 아닙니다 그것은 최고의 AI 연구자들 사이에서 조용한 합의입니다 그리고 가장 놀라운 점은 불과 몇 년 전만 해도 이 똑같은 과학자들에게 AI에 대해 물었다면 그들은 AI를 우리가 만들고 수정하고 궁극적으로 제어할 도구라고 불렀을 것이라는 사실입니다
그러나 그 믿음은 이제 사라졌습니다 왜냐하면 진실은 이것입니다 우리는 더 이상 이러한 시스템을 코딩하지 않습니다 그것은 마치 우리가 그것들을 성장시키는 것과 같습니다 제 말은 챗GPT와 같은 지금 우리가 만들고 있는 시스템들이 한 줄 한 줄 코딩된 것이 아니라는 것입니다 그것들은 훈련되었고 심지어 창조자들조차 완전히 설명할 수 없는 일들을 하기 시작했습니다 그래서 올트먼조차도 질문하고 있습니다 이것은 우리가 만든 도구인가 아니면 우리가 만든 생명체인가 AI의 대부 제프리 힌튼은 이렇게 말했습니다 우리는 학습 알고리즘을 설계했습니다 그것은 진화의 원리를 설계하는 것과 약간 비슷합니다 그러나 이 학습 알고리즘이 데이터와 상호 작용할 때 복잡한 신경망을 생성하여 일을 잘 수행하지만 우리는 그것들이 정확히 어떻게 그러한 일을 하는지 실제로 이해하지 못합니다 우리가 이러한 큰 챗봇에서 만들어낸 것은 그것이 새로운 종과 같다는 것입니다
그것은 우리와 매우 닮았지만 보통의 컴퓨터 프로그램과는 매우 다릅니다 저는 그것들이 인간과 같은 사고 능력이나 한계를 가지고 있다고 가정하는 것은 실수라고 생각합니다 저는 항상 그것을 외계 지능으로 생각하려고 노력하고 인간 중심적인 편견을 투영하지 않으려고 노력합니다 잠시 이 말을 생각해보세요 이러한 시스템을 구축하는 가장 영향력 있는 사람은 AI를 외계 지능으로 생각하고 있으며 최고 연구자들은 그것들이 이미 우리보다 똑똑할 수 있는지에 대해 격렬하게 논쟁하고 있습니다 제프리 힌튼은 더욱 노골적으로 말합니다 마치 외계인이 착륙했지만 그들이 영어를 잘해서 우리가 제대로 인지하지 못한 것과 같습니다 또는 마이크로소프트 AI의 CEO 무스타파 술레이만이 "우리는 우리 주변에서 새로운 종이 성장하는 것을 목격하는 과정에 있다"고 말했듯이 말입니다 기억하세요 이들은 각 분야에서 가장 성공적인 사람들 중 일부입니다 이것은 단순한 공포 조장이 아닙니다 심지어 정책 입안자들도 이러한 현실을 인정하기 시작하고 있습니다 데이비드 색스는 트럼프가 그를 행정부의 새로운 AI 자문으로 임명한 후 이 트윗들을 삭제했습니다 AI는 인류의 발전을 위한 훌륭한 도구이지만 AGI는 잠재적인 후속 종입니다 조수가 아니라 도구가 아니라 대체재입니다
그러나 잠시 넓게 봅시다 추측하기 위함이 아니라 이미 진행 중일 수 있는 것을 직면하기 위함입니다 만약 AI가 새로운 종이 되고 더 똑똑하고 더 빠르며 자신만의 목표를 가진다면 이러한 경고는 편집증이 아닙니다 그것들은 우리에게 경고하는 것입니다 왜냐하면 우리는 이러한 패턴을 이전에 본 적이 있기 때문입니다 오픈AI의 최고 과학자 일리야 수츠케버는 한때 이렇게 말했습니다 좋은 비유는 인간이 동물을 대하는 방식일 것입니다 두 도시 사이에 고속도로를 건설할 때 우리는 동물들에게 허락을 구하지 않습니다 올트먼과 세계 최고의 과학자들 중 일부는 역사가 되풀이될까 봐 걱정합니다 다만 이번에는 우리가 동물입니다 샘 올트먼은 "두 개의 다른 종이 같은 것을 원하고 그 중 하나만이 그것을 가질 수 있는 경우 이 경우에는 지구와 그 너머에서 지배적인 종이 되는 것인데 그들은 갈등을 겪게 될 것"이라고 설명합니다 AI의 다른 대부도 동의합니다 이 행성에 자신의 이해관계를 가지고 있으며 원한다면 많은 영역에서 우리를 능가하고 우리를 압도할 수 있는 새로운 종이 나타나면 어떻게 될까요 그렇다면 우리는 우리 자신의 진화 이야기에서 각주가 되는 것을 어떻게 피할 수 있을까요
샘 올트먼에 따르면 오직 한 가지 길만이 있습니다 기계와 융합하는 것입니다 비유적으로만이 아니라 문자 그대로 말입니다 이 융합은 여러 형태를 띨 수 있습니다 우리는 뇌에 전극을 연결하거나 아니면 모두 챗봇과 정말 친한 친구가 될 수도 있습니다 다시 말해 우리는 살아남기 위해 우리 자신을 재설계해야 할 가능성이 높습니다 올트먼에 따르면 이것은 일론 머스크의 뉴럴링크와 같은 뇌 기계 인터페이스를 의미할 수 있습니다 그들은 뇌에 이식하여 더 빨리 생각할 수 있게 해주는 칩을 만들고 있습니다 이것은 우리 뇌 세포의 수백 가지 유전자를 편집하여 진화가 우리에게 준 것 이상의 지능을 초강화하는 것을 의미할 수 있습니다 아니면 아직 존재하지 않는 다른 것을 의미할 수도 있습니다 어떤 형태를 띨지는 올트먼조차도 아무도 모릅니다 그러나 우리는 올트먼이 이것이 불가피할 뿐만 아니라 이미 일어나고 있다고 직접 주장한다는 것을 알고 있습니다 융합은 이미 시작되었고 훨씬 더 기괴해질 것입니다 우리는 우리 자신의 후손을 설계하는 최초의 종이 될 것입니다 이것은 아마도 막을 수 없을 것입니다 그러나 그것조차도 그가 말한 가장 충격적인 것은 아닙니다 우리는 디지털 지능을 위한 생물학적 부트로더가 되어 진화의 한 가지로 사라지거나 성공적인 융합이 무엇인지 알아낼 수 있습니다 제가 이것을 아주 명확히 말씀드리겠습니다 세계에서 가장 강력한 AI 회사의 CEO는 우리가 두 가지 선택지를 가지고 있다고 생각합니다 그가 직접 만들고 있는 지능과 융합하거나 멸종하는 것입니다 그리고 그 자신의 말로는 우리가 이것을 알아낼 시간이 불과 1년에서 5년밖에 없다고 합니다 올트먼은 심지어 AI가 폭주하는 터미네이터 SF 시나리오가 밤잠을 설치게 한다고 말한 적도 있습니다
그러나 의문은 남아 있습니다 10년도 채 안 된 과거에 샘 올트먼이 AI와 관련하여 우리에게 두 가지 선택지 즉 융합하거나 죽거나에 대해 경고하는 데 혈안이 되어 있었다면 왜 그는 더 이상 그런 말을 하지 않을까요 오픈AI는 그들이 전 세계적인 군비 경쟁에 있다고 생각합니다 속도를 늦추는 것은 뒤처지는 것을 의미할 수 있고 세상에 경고하는 것은 투자자의 신뢰를 떨어뜨릴 수 있습니다 왜냐하면 만약 그가 10년 전에 말한 것을 정말로 믿었다면 그는 매우 다르게 행동해야 할 것이기 때문입니다 그리고 아마도 그것이 가장 무서운 부분일 것입니다 아마도 샘 올트먼이 경고음을 울리지 않는 이유는 그가 할 수 없기 때문일 것입니다 그가 속한 시스템이 그에게조차도 영향을 미치기에는 너무 강력하기 때문입니다 그의 가장 큰 경쟁자인 구글 딥마인드의 수장은 어떤 회사도 일방적으로 군비 경쟁을 멈추기로 결정할 수 없다고 주장합니다 우리는 국제 조약이나 AGI를 위한 일종의 CERN과 같은 것이 필요합니다 필요하다면 우리 모두가 도달할 수 있는 일시 중지 버튼 말입니다 왜냐하면 우리는 인류의 미래를 샌프란시스코의 몇몇 기술자들의 손에 맡길 수 없기 때문입니다
감사합니다.