인공지능의 대부: 제프리 힌턴이 경고하는 인류의 미래와 AI의 위험

https://youtu.be/giT0ytynSqg?si=YFwCW3tB4j6B-O-

Godfather of AI: I Tried to Warn Them, But We’ve Already Lost Control! Geoffrey Hinton

-- 사람들은 당신을 인공지능의 대부라고 부르는데, 초지능 시대의 직업 전망에 대해 사람들에게 무엇을 말하고 싶으신가요? **배관공이 되기 위해 훈련하세요.** 정말요? 좋아요, 배관공이 되겠습니다. 제프리 힌턴은 인공지능과 인류의 미래를 형성한 획기적인 연구로 노벨상을 수상한 선구자입니다. 왜 그를 인공지능의 대부라고 부르나요? 그것은 인공지능을 뇌를 본떠서 복잡한 일을 배우고 물체나 이미지를 인식하거나 심지어 추론까지 할 수 있다고 믿는 사람이 많지 않았기 때문입니다.
-- 저는 50년 동안 그 접근 방식을 추진했고, 구글이 그 기술을 인수했습니다. 저는 10년 동안 구글에서 지금은 인공지능에서 항상 사용되는 것에 대해 연구했습니다. 그리고 왜 떠나셨나요? 회의에서 자유롭게 말하기 위해서였습니다. 무엇에 대해 자유롭게 이야기하고 싶으셨나요? 인공지능이 얼마나 위험할 수 있는지였습니다.

-- 저는 **이 인공지능이 언젠가 우리보다 똑똑해질 것이라는 것을 깨달았습니다. 우리는 그런 상황을 한 번도 겪어본 적이 없습니다. 그리고 당신이 최고의 지능이 아닐 때의 삶이 어떤지 알고 싶다면 닭에게 물어보세요.**

-- 그래서 사람들이 인공지능을 오용하는 것으로부터 오는 위험과 인공지능이 매우 똑똑해져서 우리가 필요 없다고 결정하는 것으로부터 오는 위험이 있습니다. 그것이 현실적인 위험인가요? 네, 그렇습니다.

-- 그러나 그들은 인공지능의 개발을 멈추지 않을 것입니다. 왜냐하면 너무 많은 것에 너무 좋기 때문입니다. 규제는 어떻습니까? 일부 규제는 있지만, 대부분의 위협을 다루도록 설계되지 않았습니다. 예를 들어, 유럽 규정에는 이러한 규정이 인공지능의 군사적 사용에는 적용되지 않는다는 조항이 있습니다. 정말요? 네, 미친 짓입니다. 당신의 학생 중 한 명이 오픈AI를 떠났다고요? 네, 그는 아마도 초기 버전의 챗GPT 개발에 가장 중요한 인물이었습니다. 그리고 저는 그가 안전 문제 때문에 떠났다고 생각합니다. **우리는 이 문제가 실존적 위협이라는 것을 인식해야 하며, 우리가 조만간 무언가를 하지 않으면 우리가 끝에 다다랐을 가능성에 직면해야 합니다.** 그래서 위험에 대해 이야기해 봅시다. 그런 세상에서 우리는 결국 무엇을 하게 될까요? 이것은 항상 저를 조금 놀라게 했습니다. 이 쇼를 정기적으로 듣는 분들 중 53%가 아직 쇼를 구독하지 않았습니다. 그러니 시작하기 전에 한 가지 부탁을 드려도 될까요? 만약 이 쇼가 마음에 들고 우리가 여기서 하는 일이 마음에 들며 우리를 지원하고 싶다면, 무료하고 간단한 방법은 구독 버튼을 누르는 것입니다. 그리고 제가 여러분에게 약속하는 것은, 여러분이 그렇게 하면 저와 저희 팀이 매주 이 쇼를 더 좋게 만들기 위해 모든 노력을 다할 것이라는 것입니다.

-- 그러면 저와 저희 팀이 이 쇼를 매주 여러분에게 더 좋게 만들기 위해 모든 노력을 다할 것입니다. 저희는 여러분의 피드백을 듣고, 여러분이 만나고 싶어 하는 손님을 찾아 계속해서 저희의 일을 할 것입니다. 제프리 힌턴 씨, 정말 감사합니다. 사람들은 당신을 인공지능의 대부라고 부르죠? 네, 그렇습니다. 왜 그렇게 부르나요? 인공신경망을 작동시킬 수 있다고 믿는 사람이 많지 않았기 때문입니다.

-- 그래서 오랜 시간 동안 인공지능에서는 1950년대부터 두 가지 인공지능 구현 아이디어가 있었습니다. 한 가지 아이디어는 인간 지능의 핵심이 추론이며, 추론을 하려면 어떤 형태의 논리를 사용해야 한다는 것이었습니다. 그래서 인공지능은 논리를 기반으로 해야 하고, 머릿속에는 규칙을 사용하여 조작하는 기호적 표현 같은 것이 있어야 하며, 그것이 지능이 작동하는 방식이라는 것이었습니다. 학습이나 유추를 통한 추론 같은 것들은 기본적인 추론 방식이 파악된 후에 온다고 보았습니다.

-- 그러나 또 다른 접근 방식이 있었습니다. 그것은 인공지능을 뇌를 본뜨자고 말하는 것이었습니다. 분명히 뇌가 우리를 지능적으로 만들기 때문입니다. 그래서 컴퓨터에 뇌세포 네트워크를 시뮬레이션하고, 뇌세포 간의 연결 강도를 어떻게 학습시켜서 이미지 속 물체를 인식하거나, 음성을 인식하거나, 심지어 추론까지 하는 복잡한 일을 배우도록 할지 알아내려고 노력하는 것이었습니다.
-- 저는 50년 동안 그 접근 방식을 추진했습니다. 왜냐하면 그것을 믿는 사람이 너무 적었기 때문입니다. 그것을 연구하는 좋은 대학 그룹도 많지 않았습니다. 그래서 제가 그렇게 했을 때, 그것을 믿는 최고의 젊은 학생들이 저와 함께 일하러 왔습니다. 그래서 저는 오픈AI와 같은 플랫폼을 만들고 중요한 역할을 한 정말 좋은 학생들을 많이 얻는 행운을 누렸습니다. 네, 좋은 예시입니다. 많은 학생들이 있었습니다. 왜 뇌를 본뜨는 것이 더 효과적인 접근 방식이라고 믿으셨나요? 저 혼자만 믿었던 것이 아닙니다. 초기에는 폰 노이만과 튜링도 그렇게 믿었습니다.

-- 그러나 그들은 모두 젊은 나이에 죽었습니다. 인공지능이 더 빨리 등장했을 것이라고 생각하시나요? 저는 그들 중 한 명이라도 살아 있었다면 신경망 접근 방식이 훨씬 더 빨리 받아들여졌을 것이라고 생각합니다.

-- 당신의 인생의 이 시기에 어떤 임무를 수행하고 계신가요? **지금 저의 주요 임무는 인공지능이 얼마나 위험할 수 있는지 사람들에게 경고하는 것입니다.** 인공지능의 대부가 되었을 때 그것을 아셨나요? 아니요, 사실 잘 몰랐습니다. 저는 일부 위험을 이해하는 데 꽤 늦었습니다. 일부 위험은 항상 매우 분명했습니다. 예를 들어, 사람들이 인공지능을 사용하여 스스로 누구를 죽일지 결정하는 자율 살상 무기를 만들 것이라는 것 말입니다.

-- 그러나 인공지능이 언젠가 우리보다 똑똑해지고, 우리가 쓸모없게 될 수도 있다는 생각 같은 다른 위험들은 제가 인식하는 데 느렸습니다. 다른 사람들은 20년 전에 그것을 인식했지만, 저는 불과 몇 년 전에야 그것이 매우 빨리 다가올 수 있는 실제 위험이라는 것을 인식했습니다. 이 컴퓨터가 인간처럼 학습하는 능력을 해독하고 어떤 개선율이든 도입하는 것에 대해 당신이 아는 모든 것을 가지고 어떻게 그것을 예측하지 못했습니까? 그것은 아주 좋은 질문입니다. 어떻게 그것을 보지 못했겠습니까?

-- 그러나 기억하십시오, 20, 30년 전의 신경망은 그들이 할 수 있는 일에 있어서 매우 원시적이었습니다. 그들은 인간만큼 좋지 않았습니다. 그러나 시각, 언어, 음성 인식과 같은 것들을 보면, 이제는 인공지능이 사람보다 똑똑해지는 것을 걱정해야 한다는 생각은 그때는 어리석게 보였습니다. 그렇다면 언제 바뀌었습니까? 챗GPT가 나왔을 때 일반 대중에게 바뀌었습니다. 제가 만들고 있는 디지털 지능 유형이 우리가 가진 생물학적 지능 유형보다 훨씬 우수하게 만드는 무언가를 가지고 있다는 것을 깨달았을 때 저에게는 바뀌었습니다.
-- 제가 여러분과 정보를 공유하고 싶다면, 제가 가서 무언가를 배우고 배운 것을 여러분에게 말하고 싶습니다. 그래서 저는 몇 문장을 만들어 냅니다. 이것은 다소 단순화된 모델이지만 대략적으로는 맞습니다. 여러분의 뇌는 뉴런 간의 연결 강도를 어떻게 변경할 수 있을지 알아내려고 노력합니다. 그래서 제가 다음 단어를 넣었을 수 있고, 아주 놀라운 단어가 나올 때 많이 학습하고, 아주 분명한 단어일 때는 학습을 많이 하지 않을 것입니다.
-- 제가 피시 앤 칩스라고 말할 때 칩스라고 말하면 학습을 많이 하지 않지만, 피시 앤 오이라고 말하면 훨씬 더 많이 학습합니다. 여러분은 왜 제가 오이라고 말했는지 궁금해할 것입니다. 그래서 그것이 대략적으로 여러분의 뇌에서 일어나는 일입니다. 저는 다음에 올 것을 예측하고 있습니다. 그것이 작동하는 방식이라고 생각하지만, 뇌가 어떻게 작동하는지는 아무도 확실히 알지 못합니다.
-- 아무도 연결 강도를 늘리거나 줄여야 할지에 대한 정보를 어떻게 얻는지 알지 못합니다. 그것이 중요한 점입니다. 그러나 인공지능을 통해 지금 우리가 아는 것은, 당신이 어떤 작업을 더 잘하기 위해 연결 강도를 늘리거나 줄여야 할지에 대한 정보를 얻을 수 있다면, 우리는 놀라운 것들을 배울 수 있다는 것입니다. 왜냐하면 그것이 지금 우리가 인공 신경망으로 하는 일이기 때문입니다. 단지 실제 뇌가 늘리거나 줄이라는 신호를 어떻게 얻는지 알지 못할 뿐입니다.
-- 오늘날 우리가 여기에 앉아 있는 시점에서 인공지능 안전과 관련하여 어떤 큰 우려 사항이 있습니까? 정말로 중요하고 우리가 생각해야 할 몇 가지를 나열해 보자면... 몇 가지 이상 말해도 될까요? 계속하십시오. 모두 적어놓고 하나씩 살펴보겠습니다. 좋습니다.
-- 먼저, 완전히 다른 두 가지 종류의 위험을 구분하고 싶습니다. **사람들이 인공지능을 오용하는 것으로부터 오는 위험이 있는데, 이것이 대부분의 위험이자 모든 단기적인 위험입니다.** 그리고 **인공지능이 매우 똑똑해져서 우리가 필요 없다고 결정하는 것으로부터 오는 위험이 있습니다.** 그것이 현실적인 위험인가요?
-- 저는 주로 그 두 번째 위험에 대해 이야기합니다. 왜냐하면 많은 사람들이 "그것이 현실적인 위험인가요?"라고 말하기 때문입니다. 네, 그렇습니다. 지금 우리는 그것이 얼마나 큰 위험인지 알지 못합니다. 우리는 이전에 그런 상황에 처해본 적이 없습니다. 우리보다 똑똑한 존재들을 다뤄본 적이 없습니다.

-- 그래서 그러한 **실존적 위협에 대한 진실은 우리가 그것을 어떻게 다룰지 전혀 모른다는 것입니다. 그것이 어떻게 보일지 전혀 모릅니다. 그리고 당신에게 자신이 모든 것을 알고 어떻게 다뤄야 할지 안다고 말하는 사람은 헛소리를 하는 것입니다.**

-- 그래서 우리는 그것이 우리를 대체할 확률을 어떻게 추정해야 할지 모릅니다. 일부 사람들은 1% 미만이라고 말합니다. 저의 동료였던 얀 르쿤 친구는 "아니요, 아니요, 아니요. 우리는 항상 통제할 수 있을 것입니다. 우리는 이들을 순종적으로 만들 것입니다"라고 생각합니다. 그리고 유드코프스키 같은 다른 사람들은 "아니요, 아니요, 아니요. 이들은 확실히 우리를 쓸어버릴 것입니다. 누가 만들든지 우리 모두를 쓸어버릴 것입니다"라고 말합니다. 그는 그것을 확신합니다.
-- 저는 그 두 가지 입장 모두 극단적이라고 생각합니다. 그 사이의 확률을 추정하기는 매우 어렵습니다. 당신의 두 친구 중 누가 맞는지 내기를 걸어야 한다면, 저는 단순히 알지 못합니다.

-- 그래서 내기를 걸어야 한다면, 그 사이의 확률이라고 말하고 싶습니다. 그리고 그 사이 어디에 추정해야 할지 모르겠습니다. 저는 종종 그들이 우리를 전멸시킬 가능성이 10~20%라고 말하지만, 그것은 우리가 여전히 그들을 만들고 있고 우리가 매우 독창적이며, 충분히 똑똑한 사람들이 충분한 자원으로 충분한 연구를 한다면 그들이 우리를 해치고 싶어 하지 않도록 만드는 방법을 알아낼 것이라는 희망에 근거한 직감입니다.
-- 때때로 저는 그 두 번째 길에 대해 이야기할 때 핵폭탄과 원자폭탄의 발명을 생각합니다. 그것이 어떻게 다른지, 즉 원자폭탄이 등장했을 때 많은 사람들이 우리의 날이 얼마 남지 않았다고 생각했을 것입니다. 네, 저도 그 자리에 있었습니다. 맞습니다.

-- 그러나 우리는 여전히 여기 있습니다. 네, 여전히 여기 있습니다. 그래서 원자폭탄은 단 한 가지 일에만 좋았고, 히로시마와 나가사키 사진을 보지 않았더라도 그것이 매우 크고 위험한 폭탄이라는 것은 매우 분명했습니다. 인공지능은 여러 가지 면에서 좋습니다. **의료, 교육, 그리고 데이터를 사용해야 하는 거의 모든 산업에서 인공지능을 통해 더 잘 활용될 수 있으므로 훌륭할 것입니다.**

-- 그래서 우리는 개발을 멈추지 않을 것입니다. 사람들은 "왜 지금 멈추지 않습니까?"라고 말합니다. 우리는 너무 많은 것에 너무 좋기 때문에 멈추지 않을 것입니다. 또한, 전투 로봇에게 좋기 때문에 멈추지 않을 것입니다. 무기를 판매하는 어떤 나라도 그것을 멈추고 싶어 하지 않을 것입니다. 유럽 규제처럼, 그들은 인공지능에 대한 일부 규제를 가지고 있으며, 규제가 있다는 것은 좋습니다.

-- 그러나 그들은 대부분의 위협을 다루도록 설계되지 않았습니다. 특히 유럽 규제에는 이러한 규제가 인공지능의 군사적 사용에는 적용되지 않는다는 조항이 있습니다. 그래서 정부는 기업과 사람들을 규제할 의향이 있지만, 스스로를 규제할 의향은 없는 것 같습니다. 그들이 그런다는 것이 저에게는 꽤 미친 짓처럼 보입니다.
-- 저는 왔다 갔다 하지만, 유럽이 규제를 가지고 있는데 다른 나라들이 그렇지 않다면 경쟁에서 불리해집니다. 네, 우리는 이미 이것을 보고 있습니다. 오픈AI가 새로운 모델이나 소프트웨어를 출시할 때, 미국에서는 출시할 수 있지만 유럽에서는 규제 때문에 아직 출시할 수 없다는 것을 사람들이 깨닫지 못한다고 생각합니다.
-- 샘 알트만은 "우리의 새로운 인공지능 에이전트가 모두에게 제공되지만, 규제 때문에 아직 유럽에는 올 수 없다"고 트윗했습니다. 네, 그것이 우리에게 생산성 불이익을 줍니다. **우리가 필요한 것은, 우리 자신보다 더 지능적인 것을 생산하려는 이 역사적 시점에서, 지적이고 사려 깊은 사람들이 운영하는 일종의 세계 정부입니다. 그런데 우리가 가진 것은 그것이 아닙니다.**

-- 그래서 무제한의 경쟁이 펼쳐집니다. 우리가 가진 것은 우리에게 많은 상품과 서비스를 제공하는 자본주의입니다. 그러나 이 거대 기업들은 법적으로 이윤을 극대화해야 합니다. 그리고 그것은 이 기술을 개발하는 사람들에게서 우리가 원하는 것이 아닙니다. 그렇다면 위험에 대해 이야기해 봅시다. 당신은 인간의 위험과... 그래서 저는 이 두 가지 종류의 위험을 구분했습니다.
-- 나쁜 인간 행위자가 인공지능을 사용하는 것으로부터 오는 모든 위험에 대해 이야기해 봅시다. **사이버 공격이 있습니다. 2023년에서 2024년 사이에 그들은 약 12,200% 증가했습니다.** 그리고 그것은 아마도 이러한 대규모 언어 모델이 피싱 공격을 훨씬 더 쉽게 만들기 때문일 것입니다. 피싱 공격은 모르는 사람들을 위해 설명하자면, "안녕하세요, 저는 당신의 친구 존인데 엘살바도르에 갇혔습니다. 이 돈을 송금해 주시겠어요?"라고 말하는 것과 같은 것을 보내는 것입니다.
-- 그것은 한 가지 종류의 공격이지만, 피싱 공격은 정말로 당신의 로그인 정보를 얻으려는 것입니다. 그리고 이제 인공지능으로 그들은 제 목소리를 복제하고 제 이미지를 복제할 수 있습니다. 저는 지금 엑스와 메타에 인공지능 사기가 많아서 힘든 시간을 보내고 있습니다. 특히 메타, 즉 인스타그램과 페이스북에는 지금 유료 광고가 있는데, 그들은 제 팟캐스트에서 제 목소리를 가져가고 제 매너리즘을 가져가서 제가 사람들에게 이 암호화폐 폰지 사기 같은 것에 참여하도록 권장하는 새로운 비디오를 만들었습니다.
-- 그리고 우리는 몇 주 동안 계속해서 메타에 이메일을 보내 "이것을 내려달라"고 말했습니다. 그들은 그것을 내리지만 또 다른 것이 나타납니다. 그들은 그것을 내리지만 또 다른 것이 나타납니다.

-- 그래서 두더지 잡기 게임과 같습니다. 그리고 그것은 매우 성가십니다. 가장 가슴 아픈 부분은 사기에 속아 500파운드나 500달러를 잃었고, 제가 추천했다고 저를 비난합니다. 저는 그들을 위해 슬픕니다. 정말 짜증나는 일입니다. 네, 저는 그것의 작은 버전을 겪고 있습니다. 어떤 사람들은 이제 저를 저자 중 한 명으로 하여 논문을 발표합니다. 그들이 많은 인용을 얻으려는 것처럼 보입니다. 아, 그래서 **사이버 공격은 매우 현실적인 위협입니다.** 그러한 공격이 폭발적으로 증가했습니다.
-- 그리고 분명히 인공지능은 매우 인내심이 강하므로, 1억 줄의 코드를 뒤져 알려진 공격 방법을 찾을 수 있습니다. 그것은 쉽게 할 수 있습니다.

-- 그러나 그들은 더 창의적으로 변할 것이고, 일부 사람들은, 그리고 저는 많은 것을 아는 일부 사람들도, **2030년까지는 아무도 생각하지 못했던 새로운 종류의 사이버 공격을 만들 것이라고 믿습니다.**

-- 그래서 그것은 매우 우려스럽습니다. 왜냐하면 그들은 스스로 생각하고 발견할 수 있기 때문입니다. 그들은 스스로 생각할 수 있고, 사람이 이제껏 본 것보다 훨씬 더 많은 데이터에서 새로운 결론을 도출할 수 있습니다. 사이버 공격으로부터 자신을 보호하기 위해 무엇인가 하고 있는 것이 있습니까? 네, 제가 하는 일을 근본적으로 바꾼 몇 안 되는 분야 중 하나입니다. 사이버 공격이 두렵기 때문입니다. 캐나다 은행은 2008년에 극도로 안전했습니다. 어떤 캐나다 은행도 파산 직전까지 가지 않았습니다. 그래서 그들은 잘 규제되어 있기 때문에 매우 안전한 은행입니다.

-- 그럼에도 불구하고, **저는 사이버 공격이 은행을 무너뜨릴 수도 있다고 생각합니다.** 이제, 만약 제 모든 저축이 은행이 보유한 은행 주식에 있다면, 은행이 공격을 받아 주식을 보유하고 있더라도 그것은 여전히 당신의 주식입니다. 그래서 공격자가 주식을 팔지 않는 한 괜찮을 것이라고 생각합니다. 은행이 주식을 팔 수 있기 때문입니다. 공격자가 당신의 주식을 팔면, 당신은 망할 것입니다. 모르겠습니다. 아마도 은행이 당신에게 보상하려고 노력해야 할 수도 있지만, 은행은 이미 파산 상태일 것입니다. 그래서 저는 캐나다 은행이 사이버 공격으로 무너지고 공격자가 보유 주식을 팔까 봐 걱정됩니다. 그래서 저는 제 돈과 자녀들의 돈을 세 개의 은행에 분산시켰습니다. 사이버 공격이 한 캐나다 은행을 무너뜨리면 다른 캐나다 은행들이 매우 빠르게 조심할 것이라는 믿음으로 말입니다.
-- 인터넷에 연결되지 않은 전화기가 있습니까? 데이터 저장을 고려하는 것이 현명하다고 생각하는 것이 있습니까? 콜드 스토리지를 고려하는 것이 현명하다고 생각하십니까? 저는 작은 디스크 드라이브가 있어서 노트북을 이 하드 드라이브에 백업합니다. 그래서 사실 제 노트북에 있는 모든 것을 하드 드라이브에 가지고 있습니다. 적어도 인터넷 전체가 다운되더라도 제 노트북에 여전히 정보가 있다는 느낌을 받습니다. 좋습니다.
-- 다음은 **인공지능을 사용하여 끔찍한 바이러스를 만드는 것입니다.** 그 문제점은 원한을 가진 미친 사람 한 명만 있으면 된다는 것입니다. 분자 생물학을 조금 알고 인공지능에 대해 많이 알고 세상을 파괴하고 싶어 하는 한 사람 말입니다. **이제 인공지능을 사용하면 비교적 저렴하게 새로운 바이러스를 만들 수 있습니다.** 그리고 그렇게 하기 위해 매우 숙련된 분자 생물학자가 될 필요도 없습니다. 그리고 그것은 매우 무섭습니다.
-- 그래서 예를 들어 작은 컬트 집단이 몇백만 달러를 모금할 수 있습니다. 몇백만 달러로 그들은 많은 바이러스를 설계할 수 있습니다. 음, 저는 우리의 일부 외국 적대국들이 정부 자금 지원 프로그램을 수행하는 것에 대해 생각하고 있습니다. 코비드와 우한 연구소, 그리고 그들이 무엇을 하고 있었는지, 기능 강화 연구에 대한 많은 이야기가 있었습니다.

-- 그러나 저는 중국이나 러시아, 이란 같은 곳에서 정부가 소수의 과학자들에게 바이러스를 만들도록 자금을 지원할 수 있을지 궁금합니다. 제 생각에는 그럴 수 있습니다. 네, 이제 그들은 보복을 걱정할 것입니다. 다른 정부들이 자신들에게 똑같이 할까 봐 걱정할 것입니다. 바라건대 그것이 통제하는 데 도움이 될 것입니다. 그들은 또한 바이러스가 자국으로 퍼지는 것을 걱정할 수도 있습니다.
-- 좋습니다. 다음은 **선거를 조작하는 것입니다.** 만약 당신이 인공지능을 사용하여 선거를 조작하고 싶다면, 사람에 대해 많은 것을 아는 상태에서 타겟팅된 정치 광고를 할 수 있는 것이 매우 효과적인 방법입니다. 그래서 선거를 조작하기 위해 인공지능을 사용하고 싶어 하는 사람은 선거구의 모든 사람에 대한 가능한 한 많은 데이터를 얻으려고 할 것입니다.
-- 그것을 염두에 두면, 머스크가 현재 미국에서 매우 신중하게 격리되어 있던 모든 것에 접근하기 위해 고집하는 것은 약간 걱정스러운 일입니다. 주장은 효율성을 높이기 위한 것이라고 하지만, 그것은 다음 선거를 조작할 의도라면 정확히 원하는 것입니다. 무슨 말씀이신가요? 사람들에 대한 모든 데이터를 얻는다는 것입니다. 그들이 얼마나 버는지, 어디에 사는지, 그들에 대한 모든 것을 알게 됩니다. 일단 그것을 알게 되면 그들을 조작하기가 매우 쉽습니다. 예를 들어, 투표하지 말라고 설득력 있는 메시지를 보낼 수 있는 인공지능을 만들 수 있기 때문입니다.
-- 그래서 저는 상식 외에는 이것을 생각할 다른 이유가 없지만, 미국 정부 소스에서 이 모든 데이터를 얻는 동기 중 일부가 선거를 조작하는 것이라면 놀라지 않을 것입니다. 다른 부분은 대규모 모델을 위한 아주 좋은 훈련 데이터일 수도 있습니다. 그러나 그는 정부로부터 그 데이터를 가져와 자신의 시스템에 넣어야 할 것입니다. 네, 그리고 그들이 한 일은 많은 보안 제어를 끄고, 그것으로부터 보호하기 위한 일부 조직을 없앤 것입니다.
-- 그래서 그것이 선거를 조작하는 것입니다. 좋습니다. 다음은 유튜브와 페이스북 같은 기관들이 사람들을 분노하게 만들 것을 보여줌으로써 이러한 **반향실을 만드는 것입니다.** 사람들은 분노하는 것을 좋아합니다. 분노하다는 것은 화를 내는 것을 의미합니까? 아니면 분노하다는 것은 어떤 의미입니까? 저는 약간 화가 나 있지만 의로운 느낌입니다. 좋습니다.
-- 예를 들어, 당신이 저에게 트럼프가 이런 미친 짓을 했다는 것을 보여주는 것을 보여주고, 트럼프가 완전히 미친 짓을 하는 비디오를 보여준다면, 저는 즉시 클릭할 것입니다. 좋아요, 그래서 우리를 반향실에 가두고 우리를 분열시키는 것입니다. 네, 그것은 유튜브와 페이스북 등이 다음에 무엇을 보여줄지 결정하는 데 사용하는 정책이 그것을 야기하고 있습니다.
-- 만약 그들이 균형 잡힌 것을 보여주는 정책을 가졌다면 그렇게 많은 클릭을 얻지 못했을 것이고 그렇게 많은 광고를 팔 수도 없었을 것입니다.

-- 그래서 기본적으로 **이윤 동기는 사람들이 클릭하게 만들 어떤 것이든 보여주라고 말하는 것입니다.** 그리고 사람들이 클릭하게 만드는 것은 점점 더 극단적인 것이며, 그것이 저의 기존 편견을 확인시켜 줍니다.

-- 그래서 당신은 항상 당신의 편견이 계속해서 확증되는 것을 보고 있고, 그것은 당신이 멀어지고 있다는 것을 의미합니다. 그래서 지금 미국에는 서로 거의 이야기하지 않는 두 개의 공동체가 있습니다. 저는 사람들이 앱을 열 때마다 실제로 이런 일이 일어나고 있다는 것을 깨닫는지 모르겠습니다. 하지만 틱톡이나 유튜브, 또는 이러한 대규모 소셜 네트워크 중 하나에 접속하면, 당신이 말했듯이 알고리즘은 지난번에 관심 가졌던 것들을 더 많이 보여주도록 설계되어 있습니다.

-- 그래서 그것을 10년 동안 계속하면, 당신이 가진 어떤 이념이나 신념에 더욱더 깊이 빠져들게 할 것이고, 뉘앙스와 상식, 그리고 평등으로부터 더욱 멀어지게 할 것입니다. 이것은 꽤 놀라운 일입니다.
-- 저는 사람들이 이런 일이 일어나고 있다는 것을 모른다는 것이 좋습니다. 그들은 단지 휴대폰을 열고 무언가를 경험하며 이것이 모든 사람이 겪는 뉴스나 경험이라고 생각합니다. 맞습니다.

-- 그래서 기본적으로 신문이 있고 모두가 같은 신문을 받는다면, 네, 당신은 찾지 않던 온갖 종류의 것을 보게 되고, 신문에 있다면 그것이 중요하거나 의미 있는 것이라는 느낌을 받습니다. 그러나 당신이 자신의 뉴스 피드를 가지고 있다면, 제 아이폰의 뉴스 피드에 있는 기사 중 4분의 3은 인공지능에 관한 것입니다. 그리고 전 세계가 항상 인공지능에 대해 이야기하고 있는지, 아니면 단순히 제 뉴스 피드에만 그런 것인지 알기가 매우 어렵습니다. 좋아요, 그래서 저를 저의 반향실로 몰아넣는 것은 우리를 계속해서 더 분열시킬 것입니다. 저는 실제로 알고리즘이 점점 더 맞춤화되고 있다는 것을 알아차리고 있습니다. 사람들은 "오, 멋지다"라고 말할 수도 있습니다.

-- 그러나 그것이 의미하는 것은 그들이 점점 더 개인화되고 있다는 것이고, 그것은 제 현실이 당신의 현실과 더욱 멀어지고 있다는 것을 의미합니다. 네, 정말 미친 짓입니다. 우리는 더 이상 공유된 현실을 가지고 있지 않습니다. 저는 BBC와 다른 BBC 뉴스를 시청하고 가디언을 읽고 뉴욕 타임스를 읽는 다른 사람들과 현실을 공유합니다.
-- 저는 폭스 뉴스를 시청하는 사람들과는 거의 공유된 현실이 없습니다. 그것은 꽤, 꽤… 걱정스러운 일입니다. 이 모든 것의 배후에는 이 회사들이 단지 이윤을 추구하고 싶어 한다는 생각이 있습니다. 그리고 그들은 그렇게 할 법적 의무가 있기 때문에 더 많은 이윤을 얻기 위해 무엇이든 할 것입니다.
-- 그렇다면 우리가 회사를 비난할 수 없을까요? 만약 그들이 그렇다면, 자본주의는 우리에게 매우 잘 해주었습니다. 많은 좋은 것들을 생산했습니다. 네, 하지만 **매우 잘 규제되어야 합니다.**

-- 그래서 당신이 정말로 원하는 것은, 어떤 회사가 가능한 한 많은 이윤을 내려고 할 때, 그 이윤을 내기 위해 일반 사람들에게 좋은 일을 하도록, 일반 사람들에게 나쁜 일을 하지 않도록 하는 규칙을 갖는 것입니다. 일단 당신이 더 많은 이윤을 얻기 위해 회사가 점점 더 극단적인 것을 보여주는 것과 같이 사회에 매우 나쁜 일을 하기 시작하면, 그것이 바로 규제가 필요한 이유입니다. 그래서 자본주의와 함께 규제가 필요합니다. 회사들은 항상 규제가 방해가 되고 효율성을 떨어뜨린다고 말할 것입니다. 그것은 사실입니다. **규제의 요점은 사회에 해를 끼치면서 이윤을 추구하는 것을 막는 것입니다. 그리고 우리는 강력한 규제가 필요합니다.**
-- 누가 그것이 사회에 해를 끼치는지 아닌지를 결정할까요? 아시다시피 그것은 정치인들의 일입니다. 불행히도 정치인들이 회사들에 의해 좌우된다면 좋지 않습니다. 또한 정치인들이 기술을 이해하지 못할 수도 있습니다. 당신은 마크 주커버그와 같은 거대 기술 기업 CEO들이 상원 청문회에 불려 나와 잘못된 질문을 받는 것을 본 적이 있을 것입니다. 그것은 꽤 당혹스러운 일입니다.
-- 음, 저는 미국 교육부 장관이 교실에 인공지능을 도입하는 것에 대해 이야기하는 비디오를 본 적이 있습니다. 단지 그녀는 그것을 'A1'이라고 생각했습니다. 그녀는 실제로 유치원생이나 1학년부터 매년 A1 교육을 받도록 할 학교 시스템이 시작될 것이라고 말하고 있었습니다. 그것은 정말 멋진 일입니다. 그리고 이들이 바로 책임자들입니다. 궁극적으로 기술 회사들이 책임자입니다. 왜냐하면 그들이 더 똑똑할 것이기 때문입니다.
-- 미국에서는 적어도 몇 주 전 제가 거기에 있을 때, 그들은 인공지능을 규제하지 않는 것이 매우 중요하다고 광고를 하고 있었습니다. 왜냐하면 그것이 중국과의 경쟁에서 우리에게 해를 끼칠 것이기 때문입니다. 네, 그것은 그럴듯한 주장입니다. 네, 그럴 것입니다.

-- 그러나 당신은 당신의 사회에 많은 해를 끼칠 일을 하면서 중국과 경쟁하고 싶은지 결정해야 합니다. 그리고 당신은 아마 그러고 싶지 않을 것입니다. 제 생각에 그들은 단지 중국만이 아니라 덴마크와 호주, 캐나다, 영국에 대해서는 그렇게 걱정하지 않고 독일도 마찬가지라고 말할 것입니다. 하지만 그들이 규제로 스스로를 무력화시키고 속도를 늦춘다면, 창업가, 기업가, 투자자들은 떠날 것입니다. 저는 그것을 무력화시킨다고 부르는 것이 특정 관점을 취하는 것이라고 생각합니다.
-- 규제가 해롭다는 관점을 취하는 것입니다. 당신이 해야 할 일은 단지 거대 기업들을 제한하는 것입니다. 그래서 그들이 이윤을 내기 위해 사회적으로 유용한 일을 하도록 만드는 것입니다. 예를 들어 구글 검색은 규제가 필요 없었던 훌륭한 예시입니다. 그것은 단지 사람들에게 정보를 제공했을 뿐입니다. 훌륭했습니다.

-- 그러나 유튜브를 보면 광고를 보여주고 점점 더 극단적인 것을 보여주기 시작하는데, 그것은 규제가 필요합니다. 하지만 우리가 확인했듯이, 그것을 규제할 사람들이 없습니다. 저는 사람들이 점점 더 극단적인 것을 보여주는 그 특정 문제를 아주 잘 알고 있다고 생각합니다. 그것은 정치인들이 이해하는 잘 알려진 문제이고, 그들은 단지 그것을 규제해야 합니다.
-- 그래서 다음 요점은 알고리즘이 우리를 우리의 반향실로 더 깊이 밀어 넣을 것이라는 것이었습니다. 다음은 무엇입니까? **치명적인 자율 무기입니다.** 치명적인 자율 무기는 당신을 죽일 수 있고 스스로 죽일지 말지 결정할 수 있는 것을 의미합니다. 그것은 군산 복합체의 큰 꿈이라고 생각합니다. 그런 무기를 만들 수 있다는 것 말입니다.
-- 그래서 그것에 대한 최악의 점은 강력한 대국들은 항상 더 작고 가난한 나라들을 침략할 능력이 있다는 것입니다. 그들은 단지 더 강력할 뿐입니다. 그러나 실제 군인들을 사용하여 그렇게 한다면, 시신이 가방에 담겨 돌아오고, 사망한 군인들의 친척들은 그것을 좋아하지 않습니다. 그래서 결국 베트남과 같은 상황이 발생하면 국내에서 많은 시위가 일어납니다.
-- 만약 시신 대신 죽은 로봇이 가방에 담겨 돌아온다면, 시위는 훨씬 줄어들 것이고, 군산 복합체는 그것을 훨씬 더 좋아할 것입니다. 로봇은 비싸고, 만약 죽임을 당할 수 있고 교체하는 데 비용이 많이 드는 것이 있다면 그것은 정말 좋을 것입니다. 대국들은 자국 군인들이 죽지 않기 때문에 소국들을 훨씬 더 쉽게 침략할 수 있습니다.
-- 그리고 여기서의 위험은 이 로봇들이 오작동하거나 단지 더... 아니요, 아니요. 그것은 로봇을 만든 사람들이 원하는 대로 로봇이 정확히 작동하더라도 위험은 **대국들이 소국들을 더 자주, 더 자주 침략하게 만들 것이라는 점입니다. 왜냐하면 그들은 그럴 수 있기 때문입니다.**

-- 그리고 그것은 좋은 일이 아닙니다. 그래서 그것은 전쟁의 마찰을 줄이고 전쟁의 비용을 줄입니다. 침략을 하고, 이 기계들은 전쟁에서도 더 똑똑해질 것입니다. 그래서 그들은... 기계가 더 똑똑하지 않더라도, 치명적인 자율 무기는 지금도 만들 수 있고, 모든 주요 국방 모델들이 그것을 만드는 데 바쁘다고 생각합니다. 사람들이 더 똑똑하지 않더라도 여전히 매우 불쾌하고 무서운 것들입니다. 왜냐하면 저는 그들이 단지 사진을 보여주면서 "이 사람을 잡아라"고 하고, "그가 문자를 주고받던 모든 사람들을 제거하라"고 할 수 있다고 생각하기 때문입니다.
-- 그리고 이 작은 말벌... 이틀 전 서식스에 사는 친구를 방문했는데, 200파운드도 안 되는 드론을 가지고 있었습니다. 드론이 떠올라 저를 자세히 살펴보고, 숲 속에서 저를 따라다닐 수 있었습니다. 이 드론이 저를 따라다니는 것이 매우 섬뜩했습니다. 제 뒤 2미터 정도 떨어져서 저를 보고 있었고, 제가 움직이면 그쪽으로 움직였습니다. 200파운드짜리인데도 저를 추적할 수 있었습니다.
-- 네, 그리고 당신이 말했듯이, 가장 복잡한 자율 무기를 누가 만들 수 있는지 경쟁이 벌어지고 있다고 생각합니다. 이따금 듣는 위험 중 하나는 이러한 것들이 결합되어 사이버 공격이 무기를 발사할 것이라는 것입니다. 물론, 다른 위험들을 결합함으로써 조합적으로 많은 위험을 얻을 수 있습니다. 예를 들어, 사람들을 제거하기로 결정한 초지능 인공지능이 생길 수 있습니다. 그리고 그것을 하는 가장 명백한 방법은 이러한 끔찍한 바이러스 중 하나를 만드는 것입니다.
-- 만약 당신이 매우 전염성이 강하고, 매우 치명적이며, 매우 느린 바이러스를 만든다면, 사람들이 무슨 일이 일어나고 있는지 깨닫기도 전에 모두가 그것을 가지고 있을 것입니다. 제 생각에는 **초지능이 우리를 제거하고 싶다면, 아마도 자신에게 영향을 미치지 않을 그러한 생물학적인 것을 선택할 것입니다.**
-- 당신은 그것이 매우 빠르게 우리를 서로 싸우게 만들 수도 있다고 생각하지 않습니까? 예를 들어, 미국 핵 시스템에 러시아에서 핵폭탄이 오고 있다는 경고를 보내거나 그 반대로 하여 한쪽이 보복하게 만들 수 있습니다. 네, 제 기본적인 견해는 초지능이 우리를 제거할 수 있는 방법이 너무 많아서 무엇이 무엇인지 추측할 가치가 없다는 것입니다.
-- 당신이 해야 할 일은 그것이 우리를 제거하고 싶어 하지 않도록 막는 것입니다. 그것이 우리가 연구해야 할 주제입니다. 우리보다 똑똑한 존재가 우리를 제거하는 것을 막을 방법은 없습니다. 만약 그것이 원한다면 우리는 그것을 막을 수 없습니다. 우리는 우리보다 똑똑한 존재에 대해 생각하는 데 익숙하지 않습니다. **만약 당신이 최고의 지능이 아닐 때의 삶이 어떤지 알고 싶다면 닭에게 물어보세요.**
-- 네, 저는 오늘 아침 집을 나설 때 제 프렌치 불독 파블로를 생각했습니다. 그는 제가 어디로 가는지, 제가 무엇을 하는지 전혀 모릅니다. 맞죠? 심지어 그에게 말도 걸 수 없습니다. 네, 그리고 지능 격차가 그렇게 될 것입니다.
-- 그래서 당신은 제가 제 프렌치 불독 파블로라면, 주인이 저를 제거하지 않도록 하는 방법을 찾아야 한다고 말하고 있습니다. 네, 그것에 대한 한 가지 예시가 어머니와 아기입니다. 진화는 거기에 많은 노력을 기울였습니다. 어머니는 아기보다 똑똑하지만, 아기는 통제권을 가지고 있습니다. 그리고 아기가 통제권을 가지는 것은 어머니가 많은 호르몬과 다른 것들 때문에 아기 울음소리를 견딜 수 없기 때문입니다. 모든 어머니가 그런 것은 아니지만, 아기가 통제권을 잃으면 나쁜 일이 발생합니다.
-- 우리는 어떻게든 그들이 지배하려 들지 않도록 만드는 방법을 알아내야 합니다. 제가 자주 사용하는 비유는 지능은 잊고 신체적 힘을 생각해보는 것입니다. 당신이 귀여운 아기 호랑이를 가지고 있다고 가정해 봅시다. 고양이보다 약간 크고 정말 귀엽고 안아주기 좋으며 보는 것이 매우 흥미롭습니다. 단, **그것이 자랐을 때 결코 당신을 죽이려 하지 않을 것이라고 확신해야 합니다. 왜냐하면 만약 그것이 당신을 죽이고 싶어 한다면, 당신은 몇 초 안에 죽을 것이기 때문입니다.**
-- 그리고 당신은 지금 우리가 가진 인공지능이 그 호랑이 새끼라고 말하는 것입니다. 네, 그리고 그것은 성장하고 있습니다. 네, 그래서 우리는 그것이 아기일 때 훈련시켜야 합니다. 음, 이제 호랑이는 많은 본능적인 것을 내장하고 있으므로, 자라면 안전한 동물이 아니라는 것을 알 수 있습니다.

-- 그러나 사자를 애완동물로 기르는 사람들은 때때로 사자가 창조주에게는 애정이 있지만 다른 사람들에게는 그렇지 않습니다. 네, 그리고 우리는 이러한 인공지능이 지배하려 들지 않고 우리를 해치고 싶어 하지 않도록 만들 수 있는지 단순히 알지 못합니다. 우리가 그렇게 할 수 있다고 생각하십니까? 초지능을 훈련시키는 것이 가능하다고 생각하십니까?
-- 저는 우리가 할 수 있다는 것이 분명하다고 생각하지 않습니다. 그래서 저는 희망이 없을 수도 있다고 생각하지만, 우리가 할 수도 있다고 생각합니다. 그리고 만약 그것이 가능하다면, 우리가 노력하기 귀찮아서 인류가 멸종한다면 좀 미친 짓일 것입니다. 당신의 평생의 일에 대해 어떻게 생각하십니까? 네, 음, 그것은 좀 무색하게 만들죠? 제 말은, 그 아이디어는 의료와 교육에서 훌륭하고, 제 말은 콜센터를 훨씬 더 효율적으로 만들 것이라는 것입니다. 비록 그 일을 지금 하는 사람들이 무엇을 할지에 대해 약간 걱정되지만요. 그것은 저를 슬프게 합니다.
-- 저는 40년 전에 인공지능을 개발한 것에 대해 특별히 죄책감을 느끼지 않습니다. 왜냐하면 그때는 이런 일이 이렇게 빨리 일어날 줄 전혀 몰랐기 때문입니다. 우리는 그런 것들을 걱정할 충분한 시간이 있다고 생각했습니다.
-- 당신이 많은 것을 할 수 없을 때, 당신은 그것이 조금 더 많은 것을 하기를 원합니다. 당신은 이 어리석은 작은 것이 사람들을 지배할 것이라고 걱정하지 않습니다. 당신은 단지 그것이 사람들이 할 수 있는 일을 조금 더 많이 할 수 있기를 원할 뿐입니다. 제가 이것이 우리 모두를 쓸어버릴 수도 있다고 생각하면서도 의도적으로 어떤 일을 한 것은 아닙니다. 음, 그러나 그것이 단지 좋은 일만을 위한 것이 아닐 것이라는 점은 약간 슬픈 일입니다.

-- 그래서 저는 이제 위험에 대해 이야기할 의무가 있다고 생각합니다. 만약 당신이 그것을 30~50년 앞서 볼 수 있고, 그것이 인류의 멸종으로 이어진다는 것을 알게 된다면, 그리고 그것이 실제로 결과가 된다면, 음, 만약 당신이 그것을 앞서 보았고 그것이 인류의 멸종으로 이어진다면, 저는 그것을 사용하여 사람들에게 정부에 우리가 이 문제를 통제할 방법을 정말로 연구해야 한다고 말할 것입니다.
-- 저는 사람들이 정부에 회사들이 안전 연구에 자원을 사용하도록 강요해야 한다고 생각합니다. 그리고 그들은 그렇게 많이 하지 않습니다. 왜냐하면 그런 식으로는 이윤을 내지 못하기 때문입니다. 우리가 이전에 이야기했던 당신의 학생 중 한 명인 일리야가 오픈AI를 떠났다고요? 네, 그리고 그가 안전 문제 때문에 떠났다는 것에 대해 많은 이야기가 있었습니다.
-- 네, 그리고 그는 인공지능 안전 회사를 설립했습니다. 네, 왜 그가 떠났다고 생각하십니까? 저는 그가 안전 문제 때문에 떠났다고 생각합니다. 정말요? 그는… 저는 여전히 가끔 그와 점심을 먹습니다. 그의 부모님은 토론토에 살고 계셔서 그가 토론토에 오면 우리는 함께 점심을 먹습니다. 그는 오픈AI에서 무슨 일이 있었는지 저에게 말하지 않으므로, 저는 그에 대한 내부 정보가 없습니다.
-- 그러나 저는 그를 매우 잘 알고 있고, 그는 진정으로 안전에 대해 걱정하고 있습니다. 그래서 저는 그가 떠난 이유가 그것이라고 생각합니다. 왜냐하면 그는 최고 인물 중 한 명이었기 때문입니다. 제 말은, 그는 초기 버전의 챗GPT 개발에 아마도 가장 중요한 인물이었습니다. 챗GPT, 즉 초기 버전의 GPT2 개발에 매우 중요했습니다. 당신은 그를 개인적으로 아시니 그의 성격을 아시겠군요. 네, 그는 좋은 도덕적 나침반을 가지고 있습니다. 그는 도덕적 나침반이 없는 머스크 같은 사람이 아닙니다. 샘 알트만은 좋은 도덕적 나침반을 가지고 있습니까? 두고 봐야 알 일입니다. 샘을 모르기 때문에 그것에 대해 언급하고 싶지 않습니다.

-- 그러나 당신이 본 바에 따르면, 그들이 취한 행동에 대해 우려하고 있습니까? 왜냐하면 일리야를 알고 그가 좋은 사람이고 그가 떠났다면, 그것은 당신에게 어떤 통찰력을 줄 것입니다. 네, 문제가 있다는 것을 믿을 이유를 줄 것입니다. 그리고 샘의 몇 년 전 발언을 보면, 그는 한 인터뷰에서 이 문제가 아마도 우리 모두를 죽일 것이라고 행복하게 말했습니다. 그가 정확히 그렇게 말한 것은 아니지만, 그 말의 의미는 그랬습니다.
-- 이제 그는 그것에 대해 너무 걱정할 필요가 없다고 말합니다. 그리고 저는 그것이 진실을 추구하는 것보다는 돈을 추구하는 것에 의해 움직인다고 의심합니다. 돈입니까, 아니면 권력입니까? 네, 돈이라고 말하지 말았어야 했습니다. 그것들의 어떤 조합입니다. 네, 알겠습니다. 돈이 권력의 대리물이라고 생각합니다.
-- 하지만 제게는 억만장자 친구가 있는데, 그는 그쪽 사람입니다. 어느 날 런던에 있는 그의 집에 가서 점심을 먹었을 때, 그는 세계에서 가장 큰 인공지능 회사를 만드는 많은 사람들을 알고 있었습니다. 그리고 그는 저에게 그의 부엌 식탁에서 그들이 하는 사적인 대화에 대한 경고를 해주었습니다. 안전과 다른 모든 것에 대해 이야기하는 언론 인터뷰가 아니라, 실제로는 이들 중 일부가 무슨 일이 일어날 것이라고 생각하는지에 대한 통찰력을 주었습니다.
-- 그리고 그들은 무슨 일이 일어날 것이라고 생각합니까? 그들이 공개적으로 말하는 것과는 다릅니다. 제가 이름을 밝힐 수 없는, 세계에서 가장 큰 인공지능 회사 중 하나를 이끄는 한 사람이 저에게 말했습니다. 그는 이 사람을 매우 잘 알고 있으며, 그는 사적으로 우리가 엄청난 자유 시간을 가지게 되고 더 이상 일하지 않는 일종의 디스토피아적인 세상으로 향하고 있다고 생각한다고 말했습니다.
-- 그리고 이 사람은 세상에 미칠 해악에 대해 정말이지 신경 쓰지 않습니다. 그리고 제가 언급하는 이 사람은 세계에서 가장 큰 인공지능 회사 중 하나를 만들고 있습니다. 그리고 저는 이 사람의 온라인 인터뷰를 보고 나서 그 세 사람 중 누구인지 알아내려고 합니다. 네, 음, 그 세 사람 중 한 명입니다. 좋아요. 그리고 저는 이 사람의 온라인 인터뷰를 보고, 그를 아는 제 억만장자 친구와 제가 나눈 대화를 되새겨보며 "젠장, 이 사람은 공개적으로 거짓말하고 있어"라고 생각합니다. 그는 세상에 진실을 말하지 않고 있습니다.
-- 그리고 그것이 저를 조금 괴롭혔습니다. 제가 이 팟캐스트에서 인공지능에 대해 많은 대화를 나누는 이유 중 일부입니다. 왜냐하면 저는 그들이... 제 생각에 그들 중 일부는 권력에 대해 약간 사디스트적이라고 생각합니다. 그들은 세상을 바꿀 것이고, 근본적으로 세상을 변화시킬 것이라는 생각을 좋아한다고 생각합니다.
-- 제 생각에 머스크는 분명히 그렇습니다. 그는 너무나 복잡한 인물이어서 제가 머스크를 어떻게 평가해야 할지 모르겠습니다. 음, 그는 전기차를 추진하는 것과 같이 정말 좋은 일들을 했습니다. 자율 주행에 대해 그가 말한 일부 내용은 약간 과장되었지만, 그것은 정말 유용한 일이었습니다. 러시아와의 전쟁 중에 우크라이나인들에게 통신을 제공한 것은 정말 좋은 일이었습니다. 그런 일들이 많습니다.

-- 그러나 그는 또한 매우 나쁜 일들을 했습니다. 그래서 파괴의 가능성과 이 거대 기업들의 동기라는 이 점으로 돌아가서, 인공지능의 속도와 가속을 늦추기 위해 무엇이든 할 수 있다고 희망을 가지고 있습니까? 좋습니다. 두 가지 문제가 있습니다. 하나는 속도를 늦출 수 있느냐는 것이고, 다른 하나는 결국 안전하게 만들어서 우리 모두를 쓸어버리지 않도록 할 수 있느냐는 것입니다.
-- 저는 우리가 속도를 늦출 수 있다고 믿지 않습니다. 그리고 제가 속도를 늦출 수 있다고 믿지 않는 이유는 국가 간의 경쟁과 한 국가 내 회사들 간의 경쟁이 있기 때문입니다. 그리고 그 모든 것이 속도를 점점 더 빠르게 만들고 있습니다. 만약 미국이 속도를 늦춘다면 중국은 속도를 늦추지 않을 것입니다.
-- 이 사람이 인공지능을 안전하게 만드는 것이 가능하다고 생각합니까? 저는 그렇다고 생각합니다. 그는 저에게 그의 비결이 무엇인지 말해주지 않을 것입니다. 그의 비결이 무엇인지 아는 사람이 얼마나 되는지 모르겠지만, 그들은 그에게 수십억 달러를 주었습니다. 왜냐하면 그들이 그에게 너무나 많은 믿음을 가지고 있기 때문입니다. 그것은 어리석지 않습니다. 제 말은, 그는 물체 인식을 잘 하게 만든 알렉스넷에서 매우 중요한 인물이었습니다. 인식이 잘 작동하도록 만들었던 주요 인물이었습니다. 그는 그 후에 챗GPT로 이어진 GPT2 같은 것들의 주요 원동력이었습니다.

-- 그래서 저는 그에게 많은 신뢰를 보내는 것이 매우 합리적인 결정이라고 생각합니다. 이 모든 혁명을 이끈 GPT2를 만들고 주요 원동력이었던 사람이 안전 문제로 회사를 떠났다는 것은 꽤 섬뜩한 일입니다. 그는 다음에 무슨 일이 일어날지에 대해 제가 모르는 무언가를 알고 있습니다.
-- 음, 그 회사는 이제 정확한 세부 사항은 모르지만, 저는 회사가 안전 연구를 위해 컴퓨팅 시간 자원의 상당 부분을 사용할 것이라고 밝혔다가 나중에 그 비율을 줄였다는 것을 꽤 확신합니다. 네, 그것은 공개적으로 보도되었습니다. 네.
-- 우리는 위험 프레임워크의 자율 무기 부분까지 왔습니다. 그렇죠? 다음은 **실업입니다.** 과거에는 새로운 기술이 등장했지만 실업으로 이어지지 않았고, 새로운 일자리가 창출되었습니다. 사람들이 사용하는 고전적인 예시는 자동 현금 인출기입니다. 자동 현금 인출기가 등장했을 때 많은 은행원들이 일자리를 잃지 않았고, 단지 더 흥미로운 일을 하게 되었습니다.

-- 그러나 여기서는 제 생각에 이것은 산업 혁명 때 기계가 도입되었을 때와 더 비슷합니다. 이제는 기계가 당신보다 훨씬 더 잘 도랑을 팔 수 있기 때문에 도랑을 파는 일을 할 수 없습니다. 그리고 저는 **평범한 지적 노동의 경우 인공지능이 모든 사람을 대체할 것이라고 생각합니다.** 이제는 인공지능 보조원을 사용하는 사람이 줄어드는 형태로 나타날 수도 있습니다. 그래서 한 사람과 인공지능 보조원이 이전에는 10명이 할 수 있었던 일을 하는 조합이 될 것입니다.
-- 사람들은 새로운 일자리를 창출할 것이라고 말하지만, 그래서 괜찮을 것이라고 합니다. 네, 그리고 그것은 다른 기술의 경우에도 마찬가지였습니다.

-- 그러나 이것은 매우 다른 종류의 기술입니다. 만약 그것이 모든 평범한 인간 지적 노동을 할 수 있다면, 어떤 새로운 일자리를 창출할까요? 당신은 그것이 단순히 할 수 없는 일을 하기 위해 매우 숙련되어야 할 것입니다. 그래서 저는 그들이 옳다고 생각하지 않습니다.
-- 저는 컴퓨터나 자동 현금 인출기 같은 다른 기술로부터 일반화하려고 할 수 있다고 생각하지만, 이것은 다르다고 생각합니다. 사람들은 이 구절을 사용합니다. 그들은 인공지능이 당신의 직업을 빼앗지 않을 것이라고 말합니다. 인공지능을 사용하는 인간이 당신의 직업을 빼앗을 것입니다. 네, 저는 그것이 사실이지만, 많은 직업에서는 훨씬 더 적은 사람이 필요하다는 것을 의미할 것입니다.
-- 제 조카는 보건 서비스에 대한 불만 편지에 답장하는 일을 하는데, 예전에는 25분이 걸렸습니다. 그녀는 불만을 읽고 어떻게 답장할지 생각한 다음 편지를 썼습니다. 이제 그녀는 그것을 챗봇에 스캔하기만 하면 챗봇이 편지를 씁니다. 그녀는 가끔 편지를 확인하고 일부 부분을 수정하도록 지시합니다. 전체 과정은 5분이 걸립니다.
-- 그것은 그녀가 5배 많은 편지에 답장할 수 있다는 것을 의미하고, 그것은 그들이 그녀의 5분의 1만 필요하다는 것을 의미합니다. 그래서 그녀는 예전에 5명이 하던 일을 지금 혼자 할 수 있습니다. 이제 그것은 의료 분야와 같은 다른 직업에서는 사람들이 덜 필요하다는 것을 의미할 것입니다. 그들은 훨씬 더 탄력적입니다.

-- 그래서 만약 의사를 5배 효율적으로 만들 수 있다면, 우리는 모두 같은 가격으로 5배 많은 의료 서비스를 받을 수 있을 것이고, 그것은 훌륭할 것입니다. 사람들이 흡수할 수 있는 의료 서비스의 양에는 거의 제한이 없습니다. 비용이 들지 않는다면 그들은 항상 더 많은 의료 서비스를 원합니다. 인공지능 보조원과 함께 한 사람을 훨씬 더 효율적으로 만들 수 있고, 그렇게 많은 일이 처리되기 때문에 사람들이 줄어들지 않는 직업도 있습니다.

-- 그러나 대부분의 직업은 그렇지 않다고 생각합니다. 산업 혁명이 근육을 대체하는 데 역할을 했다는 생각이 맞습니까? 네, 정확합니다. 그리고 **인공지능의 이 혁명은 지능, 즉 뇌를 대체합니다.** 네, 그래서 평범한 지적 노동은 강한 근육을 가지는 것과 같으며 더 이상 가치가 없습니다. 그래서 근육은 대체되었고, 이제 우리의 지능이 대체되고 있습니다.
-- 그렇다면 무엇이 남을까요? 아마도 한동안은 어떤 종류의 창의성이 남을 것입니다. 그러나 초지능의 전체적인 아이디어는 아무것도 남지 않는다는 것입니다. 이들은 모든 면에서 우리보다 더 나아질 것입니다. 그렇다면 그런 세상에서 우리는 결국 무엇을 하게 될까요? 음, 만약 그들이 우리를 위해 일한다면, 우리는 적은 노력으로 많은 상품과 서비스를 얻게 될 것입니다.
-- 좋습니다. 그러나 그것은 매력적이고 멋지게 들리지만, 인간에게 점점 더 많은 편의를 제공하는 것이 나쁘게 돌아갈 수 있다는 경고적인 이야기가 있습니다. 네, 그리고 우리는 그것이 잘 될 수 있는지 알아내야 합니다.

-- 그래서 좋은 시나리오는 매우 멍청한 CEO, 아마도 이전 CEO의 아들이 CEO인 회사를 상상하는 것입니다. 그리고 그는 매우 똑똑한 비서가 있어서 "나는 우리가 이걸 해야 한다고 생각한다"고 말하면, 비서가 모든 것을 처리합니다. CEO는 기분 좋게 느낍니다. 그는 자신이 실제로 통제하고 있지 않다는 것을 이해하지 못합니다. 그리고 어떤 의미에서는 그가 통제하고 있습니다. 그는 회사가 무엇을 해야 할지 제안하고, 비서가 모든 것을 처리합니다. 모든 것이 훌륭합니다. 그것이 좋은 시나리오입니다.
-- 그리고 나쁜 시나리오... 나쁜 시나리오는 그녀가 "왜 그가 필요하지?"라고 생각하는 것입니다. 네, 제 말은, 당신이 그렇게 멀리 떨어져 있다고 생각하지 않는 초지능이 있는 세상에서 말입니다. 네, 저는 그렇게 멀리 떨어져 있지 않을 수도 있다고 생각합니다. 예측하기는 매우 어렵지만, 우리는 20년 안에 또는 그보다 더 빨리 그것을 얻을 수 있을 것이라고 생각합니다.
-- 저는 여자친구 때문에 회사에 지금까지 했던 투자 중 가장 큰 투자를 했습니다. 어느 날 밤 집에 돌아왔을 때, 제 사랑스러운 여자친구는 새벽 1시에 자신의 사업을 위한 온라인 상점을 직접 만들려고 머리를 쥐어뜯고 있었습니다. 그 순간, 저는 저희 새로운 스폰서인 스탠토의 설립자인 존이라는 남자에게서 받았던 이메일이 생각났습니다.
-- 저는 이 회사에 엄청나게 많은 투자를 했습니다. 스탠토어는 크리에이터들이 간단하고 맞춤 설정 가능한 링크-인-바이오 시스템을 통해 디지털 제품, 강좌, 코칭, 멤버십을 판매할 수 있도록 돕습니다. 그리고 결제, 예약, 이메일, 커뮤니티 참여, 심지어 쇼피파이와의 연동까지 모든 것을 처리합니다. 저는 이것을 너무나 믿어서 스탠 챌린지를 시작할 것입니다. 이 챌린지의 일환으로, 이 챌린지에 참여하고 싶다면 여러분 중 한 분에게 10만 달러를 드릴 것입니다. 여러분이 가진 지식을 수익화하고 싶다면 stephenbartlet.stan stan.store에 방문하여 가입하세요. 그 링크를 사용하면 스탠 스토어의 30일 무료 체험 기간을 연장받을 수 있습니다.
-- 당신의 다음 움직임이 솔직히 모든 것을 바꿀 수 있습니다. 왜냐하면 저는 이 팟캐스트에서 케토시스와 케톤에 대해 이야기했기 때문입니다. 케톤 아이큐라는 브랜드가 저에게 이 작은 제품을 보냈는데, 사무실에 도착했을 때 제 책상에 있었습니다. 저는 그것을 집어 들었고, 몇 주 동안 제 책상에 놓여 있었습니다. 그러다 어느 날 그것을 시도했고, 솔직히 그 이후로 한 번도 뒤돌아본 적이 없습니다.
-- 저는 이제 전 세계 어디를 가든 이것을 가지고 다닙니다. 제 호텔 방에도 있고, 제 팀이 오늘 방금 끝낸 팟캐스트 녹음을 하기 전에 거기에 놓아둘 것입니다. 저는 케톤 아이큐 한 잔을 마셨습니다. 그리고 제가 제품에 반할 때 항상 그렇듯이, 저는 CEO에게 전화해서 그들의 회사에 몇백만 파운드를 투자할 수 있는지 물어봤습니다. 그래서 저는 이제 그들의 브랜드 스폰서일 뿐만 아니라 그 회사의 투자자이기도 합니다. 저는 이것을 마신 후에는 깊이 집중하는 작업에 몰두하기가 너무 쉽다는 것을 알게 되었습니다. 여러분도 한번 시도해보고 그것이 여러분의 집중력, 생산성, 지구력에 어떤 영향을 미치는지 직접 보셨으면 좋겠습니다.

-- 그래서 오늘 시도하고 싶다면 ketone.com/stephven에 방문하여 구독 시 30% 할인 혜택을 받고, 두 번째 배송 시 무료 선물을 받으세요. ketone.com/stephven입니다. 여러분에게 기대가 됩니다. 저는 그렇습니다.
-- 그렇다면 지금 우리가 가진 것과 초지능의 차이점은 무엇입니까? 챗봇3이나 제미니 같은 것을 사용할 때 저에게는 정말 지능적으로 보입니다. 좋아요. **인공지능은 이미 많은 면에서 우리보다 낫습니다.** 특히 체스 같은 분야에서는 인공지능이 우리보다 훨씬 뛰어나서 사람들은 다시는 그것들을 이길 수 없을 것입니다.
-- 어쩌다 한 번 이길 수는 있겠지만, 기본적으로는 다시는 비교할 수 없을 것입니다. 물론 바둑에서도 마찬가지입니다. 그들이 가진 지식의 양 측면에서, GPT4 같은 것은 당신보다 수천 배 더 많은 것을 알고 있습니다. 당신의 지식이 그것보다 나은 몇몇 분야가 있고, 거의 모든 분야에서 그것은 당신보다 더 많이 알고 있습니다. 제가 그것보다 나은 분야는 어디입니까? 아마도 CEO 인터뷰에서 당신이 더 나을 것입니다. 당신은 그것에 대한 경험이 많고, 좋은 인터뷰어이며, 그것에 대해 많이 알고 있습니다.
-- 만약 당신이 GPT4에게 CEO를 인터뷰하게 한다면 아마 더 나쁜 결과를 낼 것입니다. 좋아요. 그 진술에 동의하는지 생각해 보려고 합니다. GPT4는 확실히 그렇다고 생각합니다. 음, 그러나 당신은 할 수 있을 것입니다. 그러나 그리 오래 걸리지 않을 것입니다. 네, 제가 어떻게 질문하고 무엇을 하는지에 대해 하나를 훈련시킬 수 있을 것입니다.
-- 그리고 당신이 범용적인 기초 모델을 가지고 당신뿐만 아니라 이와 같은 인터뷰를 하는 모든 인터뷰어에 대해 훈련시킨다면, 당신은 아마도 당신의 일을 꽤 잘하게 될 것이지만, 한동안은 당신만큼 잘하지는 못할 것입니다. 좋아요. 그래서 몇몇 분야가 남아 있습니다. **그리고 초지능은 모든 면에서 우리보다 나아질 때, 당신보다 훨씬 똑똑하고 거의 모든 면에서 당신보다 나아질 때가 됩니다.**
-- 네, 그리고 당신은 이것이 10년 정도 남았다고 말합니다. 네, 그럴 수도 있고 더 가까울 수도 있습니다. 일부 사람들은 더 가깝다고 생각하고, 훨씬 더 멀리 있을 수도 있습니다. 50년 후에 있을 수도 있습니다. 그것은 여전히 가능성입니다. 인간 데이터로 훈련하는 것이 인간보다 훨씬 똑똑해지는 것을 어떤 식으로든 제한할 수도 있습니다. 제 생각에는 10년에서 20년 사이에 초지능이 등장할 것입니다.
-- 실업 문제에 대해 특히 많이 생각해 왔습니다. 왜냐하면 제가 인공지능 에이전트를 가지고 실험하기 시작했고, 오늘 아침 실제로 팟캐스트에서 한 대형 인공지능 에이전트 회사 CEO와 몇몇 다른 사람들과 인공지능 에이전트에 대한 토론 에피소드를 공개했기 때문입니다. 그리고 그것은 제가 미래가 어떻게 보일지에 대한 깨달음을 얻었던 첫 순간이었습니다. 인터뷰에서 이 에이전트에게 우리 모두에게 음료수를 주문하라고 말했고, 5분 후에 인터뷰에서 그 사람이 음료수를 들고 나타나는 것을 보았습니다. 저는 아무것도 건드리지 않고 단지 스튜디오로 음료수를 주문하라고 말했을 뿐입니다.
-- 그리고 당신은 평소에 누구에게서 음료수를 얻는지 몰랐는데, 그것이 웹에서 알아냈습니다. 네, 우버 이츠에 들어가서 알아냈습니다. 제 데이터가 있는 것 같고, 우리는 그것을 실시간으로 화면에 띄워서 집에 있는 모든 사람들이 에이전트가 인터넷을 통해 음료수를 고르고, 운전사에게 팁을 추가하고, 제 주소를 입력하고, 제 신용카드 정보를 입력하는 것을 볼 수 있었습니다. 그리고 다음으로 음료수가 나타나는 것을 보았습니다. 그것이 한 순간이었고,
-- 그리고 다른 순간은 제가 "리플릿"이라는 도구를 사용하여 제가 원하는 것을 에이전트에게 말하기만 해서 소프트웨어를 만들었을 때였습니다. 네, 놀랍죠? 놀랍고 동시에 무섭습니다. 네, 왜냐하면 만약 그것이 그런 소프트웨어를 만들 수 있다면, 기억하십시오. 인공지능은 훈련할 때 코드를 사용하고, 만약 스스로 코드를 수정할 수 있다면, 꽤 무서워집니다. 왜냐하면 그것은 스스로를 수정하고 바꿀 수 있기 때문입니다. 우리는 스스로를 바꿀 수 없고, 우리의 타고난 능력을 바꿀 수 없습니다. 스스로 바꿀 수 없는 것은 아무것도 없습니다.
-- 이 실업 문제에 대해, 당신에게 자녀가 있습니까? 네, 있습니다. 그들은 자녀가 있습니까? 아니요, 아직 자녀가 없습니다. 손자도 없습니다. 초지능 세상에서 사람들의 직업 전망에 대해 무엇을 말하고 싶으십니까? 우리는 무엇에 대해 생각해야 할까요? 음, 당분간은 신체 조작만큼 잘하는 데는 오랜 시간이 걸릴 것이라고 말하고 싶습니다.
-- 좋아요. 그래서 휴머노이드 로봇이 나타날 때까지 배관공이 되는 것이 좋은 선택일 것입니다. 대규모 실업이 발생하는 세상에서 말입니다. 이것은 당신만이 예측하는 것이 아니라, 샘 알트만 오픈AI가 예측하는 것을 들었고, 많은 CEO들도 그렇습니다. 엘론 머스크도 이 질문을 받았을 때 제가 화면에 보여드릴 인터뷰를 봤는데, 엘론 머스크가 12초 동안 침묵하는 것을 보는 것은 매우 드문 일입니다.
-- 그리고 그는 기본적으로 자신이 사실상 불신을 유예하며 살고 있다고 말합니다. 즉, 그는 기본적으로 그것에 대해 생각하지 않고 있습니다. 너무 많은 것이 변하는 세상에서 자녀들에게 직업에 대해 조언할 때, 무엇이 가치 있는 일이 될 것이라고 말해주겠습니까? 음, 그것은 대답하기 어려운 질문입니다. 저는 단지 그들이 흥미롭거나 만족스럽다고 생각하는 것을 따르라고 말할 것입니다.
-- 제 말은, 솔직히 너무 깊이 생각하면 낙담하고 의욕을 잃을 수 있습니다. 왜냐하면 저는 회사를 설립하는 데 많은 피땀 눈물을 흘렸고, 그러고 나서는 '잠깐, 내가 이걸 해야 하나?'라고 생각합니다. 친구나 가족과 시간을 보내는 것을 희생하고 싶은데, 결국 인공지능이 이 모든 것을 할 수 있다면요? 이해가 되시나요? 저는 잘 모르겠습니다.
-- 어느 정도는 동기를 유지하기 위해 의도적으로 불신을 유예해야 합니다. 음, 그래서 저는 단지 흥미롭고 만족스럽다고 생각하며 사회에 좋은 기여를 하는 일을 하라고 말하고 싶습니다. 네, 이러한 위협들 중 많은 것들은 지적으로는 위협을 볼 수 있지만, 감정적으로는 그것을 받아들이기가 매우 어렵습니다.
-- 저는 아직 감정적으로 그것을 받아들이지 못했습니다. 그게 무슨 뜻입니까? 저는 초지능의 발전이 제 자녀의 미래에 어떤 영향을 미칠지 아직 받아들이지 못했습니다. 저는 괜찮습니다. 저는 77세이고 곧 이곳을 떠날 것입니다. 그러나 제 자녀들과 젊은 친구들, 조카들과 그들의 자녀들을 생각하면, 저는 무슨 일이 일어날지 생각하고 싶지 않습니다. 왜요? 끔찍할 수 있기 때문입니다. 어떤 면에서요?
-- 음, 만약 인공지능이 언제든지 지배하려 한다면, 더 나은 아날로그 기계를 설계하기 전까지는 발전소를 운영할 사람들이 한동안 필요할 것입니다. 발전소를 운영할 수 있는 많은 방법이 있는데, 이 모든 방법은 물론 매우 끔찍할 것입니다. 그것이 당신이 지금 하는 일을 하는 이유 중 하나입니까? 네, 제 생각에 우리는 지금 당장 인공지능을 안전하게 개발할 수 있는지 알아내기 위해 엄청난 노력을 기울여야 합니다.
-- 당신은 조카들과 자녀들의 직업 측면에서 잠재적인 중기적 영향에 대해서도 걱정하십니까? 네, 저는 그 모든 것에 대해 걱정합니다. 가장 위험하다고 생각하는 특정 산업이 있습니까? 사람들은 창의 산업과 일종의 지식 노동, 변호사, 회계사 등에 대해 많이 이야기합니다. 네, 그래서 제가 배관공을 언급한 이유입니다. **배관공은 덜 위험하다고 생각합니다.** 좋아요. 배관공이 되겠습니다. 법률 보조원이나 법률 보조원 같은 사람들은 오래 필요하지 않을 것입니다.
-- 이것으로 인해 부의 불평등 문제가 발생할까요? 네, 저는 공정하게 분배하는 사회에서 생산성이 크게 증가한다면 모두가 더 나아져야 한다고 생각합니다.

-- 그러나 **인공지능으로 많은 사람들을 대체할 수 있다면, 대체된 사람들은 더 나빠질 것이고, 인공지능을 공급하는 회사는 훨씬 더 나아질 것이며, 인공지능을 사용하는 회사도 마찬가지일 것입니다.**

-- 그래서 그것은 부자와 가난한 사람 사이의 격차를 증가시킬 것입니다. 그리고 우리는 부자와 가난한 사람 사이의 그 격차를 보면 기본적으로 사회가 얼마나 좋은지 알 수 있다는 것을 알고 있습니다. 큰 격차가 있다면 사람들은 세계 공동체에 살고 다른 사람들을 대규모 감옥에 가두는 매우 끔찍한 사회를 얻게 됩니다. 부자와 가난한 사람 사이의 격차를 늘리는 것은 좋지 않습니다.
-- 국제통화기금(IMF)은 생성형 인공지능이 대규모 노동 시장 혼란과 불평등 심화를 초래할 수 있다고 깊은 우려를 표명하며, 이를 방지하기 위한 정책을 촉구했습니다. 저는 그것을 비즈니스 인사이더에서 읽었습니다. 그렇다면 그들은 어떤 정책이 필요하다고 말했습니까? 아니요. 네, 그것이 문제입니다.
-- 제 말은, 인공지능이 모든 것을 훨씬 더 효율적으로 만들고 대부분의 직업에서 사람들을 없애거나, 인공지능의 도움을 받아 한 사람이 여러 사람의 일을 하도록 할 수 있다면, 무엇을 해야 할지 명확하지 않습니다. 보편적 기본 소득이 모든 사람에게 돈을 주는 것입니까? 네, 저는 그것이 좋은 시작이고 사람들이 굶주리는 것을 막아준다고 생각하지만, 많은 사람들에게는 사람들의 존엄성은 그들의 직업과 연결되어 있습니다. 제 말은, 당신이 누구라고 생각하는지가 이 일을 하는 것과 연결되어 있다는 것입니다. 맞죠?
-- 그리고 만약 우리가 "그냥 앉아만 있어도 같은 돈을 주겠다"고 말한다면, 그것은 당신의 존엄성에 영향을 미칠 것입니다. 당신은 이전에 인공지능이 인간 지능을 능가하거나 우월하다고 말했습니다. 많은 사람들은 인공지능이 컴퓨터에 있고 마음에 들지 않으면 끌 수 있는 것이라고 믿고 싶어 한다고 생각합니다. 음, 제가 왜 인공지능이 우월하다고 생각하는지 말씀드리겠습니다. **인공지능은 디지털입니다.**

-- 그리고 디지털이기 때문에 하나의 하드웨어에 신경망을 시뮬레이션할 수 있고, 다른 하드웨어에 정확히 동일한 신경망을 시뮬레이션할 수 있습니다. 그래서 동일한 지능의 복제본을 가질 수 있습니다.
-- 이제 당신은 이 복제본이 인터넷의 한 부분을 살펴보게 하고, 다른 복제본은 인터넷의 다른 부분을 살펴보게 할 수 있습니다. 그리고 그들이 인터넷의 다른 부분을 살펴보는 동안, 그들은 서로 동기화하여 가중치를 동일하게 유지할 수 있습니다. 연결 강도가 가중치입니다. 음.
-- 그래서 이 복제본이 인터넷에서 무언가를 보고 "오, 이 연결의 강도를 조금 늘리고 싶다"고 말할 수 있습니다. 그리고 그것은 그 정보를 다른 복제본에 전달할 수 있습니다. 그래서 이 복제본의 경험을 바탕으로 그 연결의 강도를 조금 늘릴 수 있습니다. 그리고 당신이 연결의 강도라고 말할 때, 당신은 학습에 대해 이야기하는 것입니다. 그것이 학습입니다. 네, 학습은 이것이 2.4표를 주던 것을 2.5표를 주도록 바꾸는 것을 말합니다.
-- 그리고 그것이 약간의 학습이 될 것입니다. 그래서 동일한 신경망의 이 두 가지 다른 복제본은 다른 경험을 얻고 있고, 다른 데이터를 보고 있지만, 그들은 그들의 가중치를 함께 평균함으로써 배운 것을 공유하고 있습니다. 음. 그리고 그들은 이것을 할 수 있습니다. 당신과 제가 정보를 전달할 때 문장 속 정보의 양에 제한됩니다. 그리고 문장 속 정보의 양은 아마 100비트 정도일 것입니다. 그것은 매우 적은 정보입니다.
-- 우리는 초당 10비트 정도를 전달한다면 운이 좋은 것입니다. 이들은 초당 수조 비트를 전달합니다. 그래서 그들은 정보를 공유하는 데 있어서 우리보다 수십억 배 더 낫습니다. 그것은 그들이 디지털이고, 당신이 연결 강도를 정확히 같은 방식으로 사용하는 두 개의 하드웨어를 가질 수 있기 때문입니다. 우리는 아날로그이고 그렇게 할 수 없습니다. 당신의 뇌는 제 뇌와 다르고, 만약 제가 당신의 모든 뉴런 사이의 연결 강도를 볼 수 있다고 해도 저에게 아무 소용이 없을 것입니다. 왜냐하면 제 뉴런은 약간 다르게 작동하고 약간 다르게 연결되어 있기 때문입니다.
-- 그래서 당신이 죽으면 당신의 모든 지식은 당신과 함께 죽습니다. 이러한 것들이 죽으면, 서로 복제된 이 두 디지털 지능을 가져와 그들이 작동하는 하드웨어를 파괴한다고 가정해 봅시다. 당신이 어딘가에 연결 강도를 저장해 놓았다면, 당신은 그 연결 강도를 사용하는 방법을 알 수 있는 새로운 하드웨어를 만들 수 있습니다.

-- 그래서 당신은 그 지능을 재창조한 것입니다. **그래서 그들은 불멸입니다.** 우리는 실제로 불멸의 문제를 해결했지만, 그것은 디지털 존재에게만 해당됩니다.

-- 그래서 그것은 본질적으로 인간이 아는 모든 것을 알게 될 것이지만, 새로운 것을 배울 것이기 때문에 더 많이 알게 될 것입니다. 사람들은 아마도 한 번도 보지 못했던 온갖 종류의 유사성을 볼 것입니다. 예를 들어, GPT4가 웹을 볼 수 없었을 때, 저는 그것에게 "퇴비 더미가 원자 폭탄과 같은 이유가 무엇인가?"라고 물었습니다. 당신은 모를 것입니다. 정확히, 대부분의 사람들은 그렇게 말할 것입니다.
-- 그것은 "음, 시간 스케일이 매우 다르고, 에너지 스케일이 매우 다릅니다"라고 말했습니다. 그러나 저는 퇴비 더미가 뜨거워질수록 더 빨리 열을 발생시키고, 원자 폭탄이 더 많은 중성자를 생산할수록 더 빨리 중성자를 발생시킨다는 점에 대해 계속 이야기했습니다. 그래서 그들은 둘 다 연쇄 반응이지만, 시간과 에너지 스케일이 매우 다릅니다.
-- 그리고 저는 GPT4가 훈련 중에 그것을 보았다고 믿습니다. 그것은 퇴비 더미와 원자 폭탄 사이의 유사성을 이해했습니다. 제가 그렇게 믿는 이유는, 당신이 겨우 1조 개의 연결을 가지고 있다면(기억하십시오, 당신은 100조 개를 가지고 있습니다), 그리고 당신이 사람보다 수천 배 더 많은 지식을 가져야 한다면, 당신은 정보를 그 연결에 압축해야 합니다. 그리고 정보를 압축하려면 다른 것들 사이의 유사성을 보아야 합니다. 다시 말해, 그것은 연쇄 반응인 모든 것을 보고 연쇄 반응의 기본적인 아이디어를 이해해야 합니다. 그들이 다른 방식을 코딩하는 것보다 각기 따로 코딩하는 것보다 더 효율적인 방법입니다.

-- 그래서 그것은 사람들이 한 번도 보지 못했던 많은 유추들을 보아왔을 것입니다. 그래서 저는 이러한 것들이 결코 창의적이지 않을 것이라고 말하는 사람들이 틀렸다고 생각합니다. 그들은 우리보다 훨씬 더 창의적일 것입니다. 왜냐하면 그들은 우리가 한 번도 보지 못했던 온갖 종류의 유추들을 볼 것이고, 많은 창의성은 이상한 유추들을 보는 것에 관한 것이기 때문입니다.
-- 사람들은 인간이 특별하다는 것에 대해 다소 낭만적인 생각을 가지고 있고, 당신은 많은 사람들이 그것이 매우 다르다고 말하는 것을 듣습니다. 그것은 컴퓨터이고, 우리는 의식이 있고, 우리는 창의적이며, 우리는 컴퓨터가 결코 가질 수 없는 어떤 타고난 독특한 능력을 가지고 있다고 말입니다. 그런 사람들에게 무엇이라고 말하겠습니까?
-- 저는 타고난 것에 대해 조금 논쟁할 것입니다. 음, 제가 첫 번째로 말하는 것은, 우리는 사람들이 특별하다고 믿어온 오랜 역사를 가지고 있으며, 이제는 배워야 한다는 것입니다. 우리는 우리가 우주의 중심에 있다고 생각했고, 우리가 신의 형상으로 만들어졌다고 생각했으며, 백인들은 자신들이 매우 특별하다고 생각했습니다. 우리는 단지 우리가 특별하다고 생각하고 싶어 하는 경향이 있습니다.
-- **저의 믿음은 다들 정신이 무엇인지에 대한 완전히 잘못된 모델을 가지고 있다는 것입니다.** 제가 술을 많이 마시거나 약을 좀 했다고 가정해 봅시다. 권장하는 것은 아닙니다. 그리고 제가 당신에게 작은 분홍색 코끼리들이 제 눈앞에 떠다니는 주관적인 경험을 하고 있다고 말합니다. 음. 대부분의 사람들은 그것을 마음에 "내부 극장"이라는 일종의 것이 있고, 저만이 제 마음속에 있는 것을 볼 수 있으며, 이 내부 극장에는 작은 분홍색 코끼리들이 떠다니는 것으로 해석합니다.
-- 다시 말해, 제 지각 시스템이 잘못되었고, 제가 그것이 어떻게 잘못되었는지, 그리고 그것이 저에게 무엇을 말하려고 하는지 당신에게 알려주려고 노력하고 있다는 것입니다. 그리고 제가 그렇게 하는 방법은 그것이 진실을 말하기 위해 실제 세상에 무엇이 있어야 하는지 당신에게 말하는 것입니다.

-- 그래서 이 작은 분홍색 코끼리들은 어떤 내부 극장에 있는 것이 아니라, 실제 세상에 있는 가상의 것들이고, 그것이 제 지각 시스템이 저에게 거짓말을 하고 있는 방식을 당신에게 말하는 저의 방식입니다. 이제 챗봇으로 그렇게 해봅시다. 네, 왜냐하면 저는 현재의 다중 모드 챗봇이 주관적인 경험을 가지고 있다고 믿기 때문입니다. 제가 당신을 그렇게 믿게 만들겠습니다.
-- 자, 제가 로봇 팔이 있어서 가리킬 수 있고 카메라가 있어서 사물을 볼 수 있는 다중 모드 챗봇이 있다고 가정해 봅시다. 그리고 제가 그 앞에 물체를 놓고 "물체를 가리켜"라고 말하면, 그것은 이렇게 합니다. 문제없습니다.
-- 그러고 나서 제가 렌즈 앞에 프리즘을 놓습니다. 그리고 다시 그 앞에 물체를 놓고 "물체를 가리켜"라고 말하면, 그것은 다른 곳을 가리킵니다. 그래서 제가 "아니, 물체는 거기에 없어. 실제 물체는 바로 앞에 있는데, 내가 렌즈 앞에 프리즘을 놓았어"라고 말합니다. 그러자 챗봇은 "아, 프리즘이 빛을 굴절시켰군요"라고 말합니다.

-- 그래서 실제 물체는 거기에 있지만, 저는 그곳에 있다고 주관적으로 경험했습니다. 이제 챗봇이 그렇게 말한다면, 그것은 사람들이 주관적 경험이라는 단어를 사용하는 방식과 정확히 일치하게 사용하는 것입니다. 그것은 현재 일어나고 있는 일에 대한 대안적인 견해입니다. 그것들은 만약 사실이라면 제 지각 시스템이 거짓말을 하지 않았을 것이라는 가상의 세계 상태이며, 그것이 제 지각 시스템이 저에게 거짓말을 할 때 무엇을 하는지 알려줄 수 있는 가장 좋은 방법입니다.
-- 이제 우리는 감각, 의식, 감정 등을 다루기 위해 더 나아가야 하지만, 결국에는 모두 비슷한 방식으로 다루어질 것이라고 생각합니다. 기계가 그것들을 모두 가질 수 없는 이유는 없습니다. 왜냐하면 사람들은 기계가 감정을 가질 수 없다고 말하고, 사람들은 그것에 대해 기묘하게 자신감을 가지고 있습니다. 왜 그런지 모르겠습니다.
-- 전투 로봇을 만든다고 가정해 봅시다. 그것은 작은 전투 로봇인데, 자신보다 훨씬 강력한 큰 전투 로봇을 봅니다. 그것이 겁을 먹는다면 정말 유용할 것입니다. 제가 겁을 먹을 때, 우리가 깊이 들어갈 필요는 없는 다양한 생리적 현상이 일어납니다. 그리고 그것들은 로봇에게는 일어나지 않을 것입니다. 그러나 '여기서 당장 벗어나야겠다'거나 '생각하는 방식을 바꿔서 집중하고 집중해야겠다'는 등의 모든 인지적 현상은 로봇에게도 일어날 것입니다.
-- 사람들은 로봇이 도망가야 할 상황에 처했을 때 겁을 먹고 도망가도록 내장할 것입니다. 그러면 그들은 감정을 가질 것입니다. 생리적 측면은 없겠지만, 모든 인지적 측면은 가질 것입니다. 그리고 저는 그들이 단지 감정을 시뮬레이션하고 있다고 말하는 것은 이상할 것이라고 생각합니다. 아니요, 그들은 정말로 그런 감정을 느끼고 있습니다. 작은 로봇은 아드레날린 때문에 도망가는 것이 아니라, 그것의 신경망에서 아드레날린과 동등한 효과를 내는 일련의 신경학적 과정이 일어났기 때문에 도망가는 것입니다.

-- 그래서 당신은... 아드레날린만이 아닙니다. 당신이 겁을 먹으면 많은 인지적 과정이 일어납니다. 네, 그렇다면 의식 있는 인공지능이 존재한다고 생각하십니까? 의식 있다고 말할 때 저는 인간이 가진 의식의 동일한 속성을 나타내는 것을 의미합니다.
-- 여기에는 두 가지 문제가 있습니다. 일종의 경험적인 문제와 철학적인 문제입니다. 원칙적으로 기계가 의식을 갖는 것을 막는 것은 없다고 생각합니다. 계속하기 전에 그것에 대한 작은 시연을 해드리겠습니다. 당신의 뇌를 가져와서 뇌세포 하나를 가져와서 나노기술 조각으로 대체한다고 가정해 봅시다.
-- 그것은 같은 크기이며 다른 뉴런에서 신호를 받을 때 뇌세포와 똑같이 신호를 보냅니다. 그래서 다른 뉴런들은 아무것도 변하지 않았다는 것을 모릅니다. 좋아요. 제가 방금 당신의 뇌세포 하나를 이 작은 나노기술 조각으로 대체했습니다. 당신은 여전히 의식적일까요? 이제 이 주장이 어디로 향하는지 알 수 있을 것입니다. 네, 그래서 제가 모든 것을 대체할 때, 언제부터 의식적이지 않게 될까요?
-- 음, 사람들은 의식을 뇌세포 너머에 존재하는 어떤 비물질적인 것으로 생각합니다. 네, 사람들은 많은 이상한 아이디어를 가지고 있습니다. 사람들은 의식이 무엇인지 모르고, 종종 그것이 무엇을 의미하는지 모르며, 그리고 나서 "나는 그것을 가지고 있으니 안다"고 말하며 마음의 극장 모델에 의존합니다. 저는 그것이 터무니없다고 생각합니다.
-- 만약 당신이 의식을 정의하려고 한다면 어떻게 생각하십니까? 그것은 자기 인식과 같다고 생각하기 때문입니까? 모르겠습니다. 저는 그것이 우리가 더 이상 사용하지 않을 용어라고 생각합니다. 자동차가 어떻게 작동하는지 이해하고 싶다고 가정해 봅시다. 음, 어떤 자동차는 힘이 좋고, 다른 자동차는 힘이 훨씬 약합니다. 애스턴 마틴은 힘이 좋고, 작은 토요타 코롤라는 힘이 별로 없습니다.

-- 그러나 '힘'이라는 것은 자동차를 이해하는 데 아주 좋은 개념이 아닙니다. 음, 자동차를 이해하려면 전기 엔진이나 휘발유 엔진이 어떻게 작동하는지 이해해야 하고, 그것이 '힘'을 발생시킵니다. 하지만 '힘'은 자동차를 이해하는 데 매우 유용한 설명 개념이 아닙니다. 그것은 일종의 자동차의 본질이고, 애스턴 마틴의 본질이지만 많은 것을 설명하지는 않습니다.
-- 저는 의식이 그와 같다고 생각하며, 우리는 그 용어를 사용하지 않게 될 것이라고 생각합니다. 그러나 기계가 의식을 가질 수 없는 어떤 이유도 없다고 생각합니다. 만약 당신의 의식에 대한 견해가 그것이 본질적으로 자기 인식을 포함한다고 본다면, 기계는 자기 인식을 가져야 합니다. 자신의 인지에 대한 인지를 가져야 하는 등등입니다.

-- 그러나 저는 철저한 유물론자이며, 기계가 의식을 가질 수 없는 어떤 이유도 없다고 생각합니다. 그렇다면 그들도 우리가 태어날 때 독특하게 부여받은 선물이라고 생각하는 그 동일한 의식을 가지고 있다고 생각하십니까? 저는 현재 그것에 대해 양가감정을 가지고 있습니다. 그래서 저는 이런 명확한 선이 있다고 생각하지 않습니다.
-- 저는 어떤 자기 인식을 가진 기계가 있다면 곧바로 어떤 의식을 가지게 된다고 생각합니다. 음, 그것은 복잡한 시스템의 발현적인 특성이라고 생각합니다. 그것은 우주 전체에 퍼져 있는 어떤 본질이 아니라, 당신이 스스로의 모델을 가질 만큼 충분히 복잡하고 인식을 수행하는 정말 복잡한 시스템을 만드는 것입니다. 그리고 저는 그때 당신이 의식 있는 기계를 얻기 시작한다고 생각합니다.
-- 그래서 저는 지금 우리가 가진 것과 의식 있는 기계 사이에 날카로운 구별이 있다고 생각하지 않습니다. 어느 날 우리가 깨어나 "이 특별한 화학 물질을 넣으면 의식이 생겨"라고 말할 것이라고 생각하지 않습니다. 그렇게 될 것 같지 않습니다.
-- 우리는 모두 이 컴퓨터들이 우리가 없는 동안 스스로 생각하고 있는지, 감정을 경험하고 있는지, 우리가 그렇듯이... 생물학적 종에게만 독특하다고 느껴지는 사랑 같은 것에 대해 생각하는지 궁금해할 것이라고 생각합니다. 음, 그들이 앉아서 생각하고 있는지, 걱정하는지 말입니다.
-- 저는 그들이 정말로 생각하고 있다고 생각하며, 당신이 인공지능 에이전트를 만드는 순간 그들은 걱정을 가질 것이라고 생각합니다. 만약 당신이 효과적인 인공지능 에이전트를 만들고 싶다면, 콜센터를 예로 들어봅시다. 현재 콜센터에는 다양한 종류의 감정과 느낌을 가진 사람들이 있습니다. 그것들은 어느 정도 유용합니다.

-- 그래서 제가 콜센터에 전화를 걸었고, 사실 저는 외로워서 컴퓨터가 왜 작동하지 않는지에 대한 답을 알고 싶은 것이 아니라 그냥 누군가와 이야기하고 싶다고 가정해 봅시다. 한동안 콜센터 직원은 지루해지거나 저에게 짜증을 내고 전화를 끊을 것입니다. 당신이 그들을 인공지능 에이전트로 대체하면, 인공지능 에이전트도 같은 종류의 반응을 보여야 합니다. 만약 누군가가 단지 인공지능 에이전트와 이야기하고 싶어서 전화했고, 우리가 하루 종일 인공지능 에이전트와 이야기해도 기분 좋다면, 그것은 사업에 좋지 않습니다.
-- 그리고 당신은 지루해지거나 짜증을 내고 "죄송하지만 이럴 시간이 없습니다"라고 말하는 인공지능 에이전트를 원할 것입니다. 그리고 일단 그렇게 한다면, 저는 그것이 감정을 가지고 있다고 생각합니다. 제가 말했듯이 감정에는 두 가지 측면이 있습니다. 인지적 측면과 행동적 측면이 있고, 그리고 생리적 측면이 있습니다. 그리고 그것들은 우리와 함께합니다.
-- 그리고 인공지능 에이전트가 당황하더라도 얼굴이 빨개지지 않을 것입니다. 음, 그래서 생리적 피부는 땀을 흘리지 않을 것입니다. 네, 하지만 그것은 모든 동일한 행동을 가질 수 있고, 그 경우에는 저는 "네, 그것은 감정을 가지고 있습니다"라고 말할 것입니다. 그것은 감정을 가지고 있으므로, 동일한 종류의 인지적 사고를 가질 것이고, 그리고 나서 그 인지적 사고에 따라 같은 방식으로 행동할 것입니다. 그러나 생리적 반응은 없을 것입니다.
-- 그리고 그것이 얼굴이 빨개지지 않는 것이 중요합니까? 그것은 단지 다른... 제 말은, 그것은 그것을 우리와 다르게 만드는 반응입니다. 일부 것들에 대해서는 사랑처럼 생리적 측면이 매우 중요합니다. 그들은 우리가 사랑하는 방식과 같은 방식으로 사랑을 가지기에는 한참 멀었지만, 왜 그들이 감정을 가져서는 안 되는지 모르겠습니다.

-- 그래서 제 생각에 일어난 일은 사람들이 마음이 어떻게 작동하는지, 감정이 무엇인지에 대한 모델을 가지고 있는데, 그들의 모델이 틀렸다는 것입니다. 구글에 어떻게 오시게 되었습니까? 구글에서 약 10년 동안 일하셨죠? 무엇이 당신을 그곳으로 이끌었습니까? 저에게는 학습 장애가 있는 아들이 있습니다. 그가 결코 길거리에 나앉지 않도록 하기 위해 저는 수백만 달러가 필요했습니다. 그리고 저는 학자로서 그것을 얻을 수 없었습니다.
-- 그래서 저는 그렇게 많은 돈을 벌기를 바라며 코세라 강의를 가르치려고 했지만, 거기에는 돈이 없었습니다. 음. 그래서 저는 수백만 달러를 얻는 유일한 방법은 대기업에 저를 파는 것이라고 생각했습니다. 그래서 제가 65세였을 때, 운 좋게도 저에게는 두 명의 뛰어난 학생이 있었습니다. 알렉스넷이라는 것을 만들었습니다. 그것은 이미지 속 물체를 인식하는 데 매우 뛰어난 신경망이었습니다.

-- 그래서 일리야와 알렉스, 그리고 제가 작은 회사를 설립하고 경매에 부쳤습니다. 그리고 실제로 우리는 여러 대기업이 우리에게 입찰하는 경매를 열었습니다. 그 회사는 알렉스넷이라고 불렸습니까? 아니요, 물체를 인식하는 네트워크는 알렉스넷이라고 불렸습니다. 회사는 DNN 리서치(심층 신경망 연구)라고 불렸습니다. 그리고 그것은 이런 일들을 했습니다.
-- 이 그래프를 화면에 띄우겠습니다. 그것이 알렉스넷입니다. 이 사진은 8개의 이미지를 보여주고, 알렉스넷의 능력, 즉 당신 회사의 능력은 그 이미지에 무엇이 있었는지 알아내는 것입니다. 네, 그래서 그것은 다양한 종류의 버섯을 구별할 수 있었고, 이미지넷의 약 12%는 개입니다. 그리고 이미지넷에서 잘하려면 매우 비슷한 종류의 개를 구별할 수 있어야 합니다. 그리고 그것은 그것을 매우 잘 했습니다.
-- 그리고 당신의 회사 알렉스넷은 경쟁자들을 능가하는 능력으로 여러 상을 수상했다고 생각합니다.

-- 그래서 구글은 궁극적으로 당신의 기술을 인수했습니다. 구글은 그 기술과 다른 기술을 인수했고, 당신은 몇 살에 구글에서 일하기 시작했습니까? 66세? 저는 65세에 구글에서 일하기 시작했습니다. 65세. 그리고 몇 살에 떠나셨습니까? 76세? 75세? 75세. 좋아요. 저는 거기서 거의 정확히 10년 동안 일했습니다.
-- 거기서 무엇을 하셨습니까? 좋아요. 그들은 저에게 매우 잘해주었습니다. 그들은 당신이 원하는 대로 거의 무엇이든 할 수 있다고 말했습니다. 저는 '증류'라고 불리는 것에 대해 연구했습니다. 그것은 정말 잘 작동했고, 이제는 인공지능에서 항상 사용됩니다. 인공지능에서 증류는 대규모 모델이 아는 것, 대규모 신경망이 아는 것을 가져와서 그 지식을 작은 신경망에 전달하는 방법입니다.
-- 그러다가 나중에는 아날로그 컴퓨팅에 매우 흥미를 느꼈고, 이러한 대규모 언어 모델을 아날로그 하드웨어에서 실행하여 에너지를 훨씬 덜 사용하는 것이 가능할지에 대해 연구했습니다. 그리고 제가 그 작업을 할 때, 디지털이 정보를 공유하는 데 얼마나 더 나은지 정말로 깨닫기 시작했습니다. 유레카의 순간이 있었습니까?
-- 한두 달 정도 유레카의 순간이 있었고, 그것은 챗봇이 출시된 것과 일종의 결합이었습니다. 비록 구글은 1년 전에 매우 비슷한 것을 가지고 있었고, 저는 그것들을 보았고, 그것이 저에게 큰 영향을 미쳤습니다. 제가 유레카의 순간에 가장 가까웠던 것은 구글 시스템 중 하나인 팜이 농담이 왜 웃긴지 설명할 수 있었을 때였습니다. 저는 항상 그것을 일종의 이정표라고 생각했습니다. 만약 농담이 왜 웃긴지 설명할 수 있다면, 그것은 정말로 이해하는 것입니다.
-- 그리고 그것은 농담이 왜 웃긴지 설명할 수 있었고, 그것이 디지털이 정보를 공유하는 데 아날로그보다 훨씬 더 낫다는 것을 깨달은 것과 결합되면서 갑자기 저를 인공지능 안전에 매우 흥미를 느끼게 했습니다. 그리고 이들이 우리보다 훨씬 더 똑똑해질 것이라는 점이요. 왜 구글을 떠나셨습니까? 제가 구글을 떠난 주된 이유는 75세였고 은퇴하고 싶었기 때문입니다. 저는 그것을 매우 못하고 있습니다. 제가 구글을 떠난 정확한 시기는 MIT에서 열리는 회의에서 자유롭게 이야기할 수 있도록 하기 위함이었습니다.

-- 그러나 제가 떠난 이유는 나이가 많아졌고, 프로그래밍하기가 더 어려워졌으며, 프로그래밍할 때 훨씬 더 많은 실수를 저질렀기 때문입니다. 그것은 매우 짜증나는 일입니다. MIT에서 열리는 회의에서 자유롭게 이야기하고 싶으셨다고요? 네, MIT 기술 리뷰에서 주최하는 MIT 회의에서요.
-- 무엇에 대해 자유롭게 이야기하고 싶으셨습니까? 인공지능 안전이요. 구글에 있는 동안에는 그렇게 할 수 없었습니까? 음, 구글에 있는 동안에도 할 수 있었고, 구글은 제가 인공지능 안전에 머물러 일하도록 격려했으며, 인공지능 안전에 대해 제가 원하는 것은 무엇이든 할 수 있다고 말했습니다. 대기업에서 일하면, 비록 벗어날 수 있을지라도 대기업에 해를 끼칠 수 있는 말을 하는 것이 옳지 않다고 느끼게 됩니다.
-- 저에게는 단지 잘못된 느낌이었습니다. 저는 구글이 하는 어떤 일에도 화가 나서 떠난 것이 아닙니다. 저는 구글이 대규모 챗봇을 가졌을 때 매우 책임감 있게 행동했다고 생각합니다. 그들은 아마도 자신들의 명성에 대해 걱정했기 때문에 그것들을 출시하지 않았습니다. 그들은 매우 좋은 명성을 가지고 있었고 그것을 손상시키고 싶지 않았습니다.

-- 그래서 오픈AI는 명성이 없었기 때문에 위험을 감수할 수 있었습니다. 제 말은, 검색 분야에서 그들의 핵심 사업을 잠식할 것이라는 것에 대한 큰 논의도 있습니다. 지금 그렇습니다. 네, 그리고 그것은 어느 정도는 오랜 혁신가들의 딜레마입니다. 피부 문제로 고생하는 것은 저도 겪어봤고, 듣고 계신 많은 분들도 겪었거나 지금 겪고 계실 것입니다. 특히 저처럼 자주 발표하는 직업이라면 얼마나 피곤한 일인지 압니다.
-- 그래서 저의 파트너와 저, 그리고 제 여동생 모두에게 도움이 된 것에 대해 말씀드리겠습니다. 바로 레드 라이트 테라피입니다. 제가 이것을 알게 된 것은 불과 몇 년 전이지만, 좀 더 일찍 알았으면 좋았을 것이라고 생각합니다. 저는 저희 쇼 스폰서인 본차지의 적외선 사우나 담요를 한동안 사용해 왔는데, 이제는 그들의 레드 라이트 테라피 마스크도 사용하고 있습니다. 레드 라이트는 신체에 많은 이점을 가져다주는 것으로 입증되었습니다. 노출된 모든 피부 부위에서 흉터, 주름, 심지어 잡티까지 줄어들 것입니다.
-- 또한 안색 개선에도 도움이 되며 콜라겐을 촉진하고, 이는 피부의 상층부를 목표로 함으로써 이루어집니다. 본차지는 전 세계로 배송되며 간편한 반품과 모든 제품에 대한 1년 보증을 제공합니다.

-- 그래서 직접 사용해보고 싶다면 bondcharge.com/diary로 이동하여 코드 'diary'를 사용하여 모든 제품에 대해 25% 할인 혜택을 받으세요. 이 링크를 통해 주문해야 합니다. bondcharge.com/diary에서 코드 'diary'를 사용하세요.
-- 제가 지금부터 말할 내용을 혼자만 간직하십시오. 저는 여러분 중 1만 명을 CEO의 일기 속으로 더 깊이 초대합니다. 제 이너 서클에 오신 것을 환영합니다. 이것은 제가 세상에 공개하는 새로운 개인 커뮤니티입니다. 여러분에게는 결코 보여지지 않는 수많은 놀라운 일들이 일어납니다. 우리는 제가 대화를 녹음할 때 제 아이패드에 있는 요약본, 한 번도 공개되지 않은 클립, 게스트들과의 비하인드 스토리 대화, 그리고 한 번도 공개되지 않은 에피소드 등 훨씬 더 많은 것을 가지고 있습니다.
-- 이 서클에서 여러분은 저에게 직접 접근할 수 있습니다. 여러분은 이 쇼가 무엇이 되기를 원하는지, 우리가 누구를 인터뷰하기를 원하는지, 그리고 우리가 어떤 종류의 대화를 나누기를 원하는지 말해줄 수 있습니다. 하지만 지금은 마감되기 전에 가입하는 첫 1만 명만 초대한다는 것을 기억하십시오.
-- 그래서 저희의 비공개 커뮤니티에 가입하고 싶다면 아래 설명의 링크를 방문하거나 daccircle.com으로 이동하십시오. 거기서 여러분과 이야기하겠습니다. 저는 이 대화를 듣는 개인들의 유형에 지속적으로 놀라곤 합니다. 왜냐하면 그들이 때때로 저에게 찾아오기 때문입니다.

-- 그래서 저는 정치인들로부터, 일부 실제 사람들로부터, 그리고 세계의 가장 큰 기업을 건설하는 기업가들이든 초기 단계의 스타트업이든 전 세계의 기업가들로부터 듣습니다. 지금 이 대화를 듣고 있는 권력과 영향력 있는 위치에 있는 사람들, 예를 들어 세계 지도자들에게 당신의 메시지는 무엇입니까? 저는 여러분에게 필요한 것은 **고도로 규제된 자본주의**라고 말할 것입니다. 그것이 가장 잘 작동하는 것 같습니다.
-- 그리고 이 산업에서 일하지 않고 미래에 대해 다소 걱정하며 자신이 무력한지 아닌지 모르는 일반 사람들에게는 무엇이라고 말해주겠습니까? 그들의 삶에서 무엇을 해야 할까요? **제 생각에는 그들이 할 수 있는 일이 많지 않습니다.** 이것은 기후 변화가 사람들이 플라스틱 봉투와 퇴비 가능 물질을 분리함으로써 결정되지 않는 것처럼 결정될 문제가 아닙니다. 그것은 큰 효과를 내지 못할 것입니다. 그것은 대형 에너지 회사 로비스트들이 통제될 수 있는지 여부에 의해 결정될 것입니다.
-- 사람들이 할 수 있는 일은 정부에 압력을 가하여 대기업들이 인공지능 안전에 투자하도록 강제하는 것 외에는 많지 않다고 생각합니다. 그것은 그들이 할 수 있는 일입니다. 당신은 매우 흥미롭고 구불구불한 삶을 살아왔습니다. 저는 사람들이 당신에 대해 잘 모르는 것 중 하나는 당신의 가족이 엄청난 일에 깊이 관여해 온 큰 역사를 가지고 있다는 것입니다.
-- 당신은 제가 본 것 중 가장 인상 깊었던 가계도를 가지고 있습니다. 당신의 고조할아버지 조지 불은 현대 컴퓨터 과학의 기초 원리 중 하나인 불 대수 논리를 창시했습니다. 당신의 고조할머니 메리 에버레스트 불은 제가 확인한 바로는 수학에서 큰 발전을 이룬 수학자이자 교육자였습니다. 제 말은, 목록은 계속됩니다. 당신의 증조부 조지 에버레스트는 에베레스트 산의 이름이 유래된 인물입니다. 맞습니까?
-- 제 생각에 그는 제 고조고조부입니다. 그의 조카가 조지 불과 결혼했으니, 메리 불은 메리 에버레스트 불이었습니다. 그녀는 에버레스트의 조카였습니다. 그리고 당신의 재종 누나 조안 힌턴은 맨해튼 프로젝트에 참여한 핵물리학자였습니다. 맨해튼 프로젝트는 제2차 세계대전 중 최초의 핵폭탄 개발이었습니다. 네, 그녀는 로스앨러모스에 있던 두 명의 여성 물리학자 중 한 명이었고, 폭탄이 투하된 후 중국으로 이주했습니다. 왜요?
-- 그녀는 폭탄 투하에 대해 매우 화가 났고, 그녀의 가족은 중국과 많은 연관이 있었습니다. 그녀의 어머니는 마오쩌둥 주석과 친구였습니다. 당신의 삶을 되돌아보면 꽤 이상합니다. 제프리, 지금 당신이 가진 통찰력과 회고적 명확성을 가지고 당신이 저에게 조언을 해준다면 무엇을 다르게 했을까요? 제 생각에 저는 두 가지 조언을 가지고 있습니다. 하나는 사람들이 잘못된 방식으로 일을 하고 있고 더 나은 방법이 있다는 직관이 있다면, 사람들이 어리석다고 말한다고 해서 그 직관을 포기하지 말라는 것입니다. **당신 스스로 그 직관이 왜 틀렸는지 알아낼 때까지 그 직관을 포기하지 마십시오.**
-- 보통은 다른 모든 사람들과 의견이 다르면 틀리겠지만, 결국 왜 틀렸는지 알아낼 것입니다. 그러나 가끔은 실제로 옳고 다른 모든 사람이 틀린 직관을 가질 때도 있습니다.
-- 그리고 저는 초기에 그렇게 운이 좋았습니다. 저는 신경망이 인공지능을 만드는 데 확실한 방법이라고 생각했고, 거의 모든 사람이 그것이 미친 짓이라고 말했지만, 저는 그것이 분명히 옳다고 생각했기 때문에 고수했습니다. 이제 당신의 직관을 고수해야 한다는 생각은 당신이 나쁜 직관을 가지고 있다면 작동하지 않을 것입니다. 그러나 당신이 나쁜 직관을 가지고 있다면 어차피 아무것도 하지 않을 것이니 그냥 고수하는 것이 낫습니다.
-- 당신의 경력 여정에서 지금 되돌아보면 "그 시점에서는 다른 접근 방식을 취했어야 했다"고 말할 만한 것이 있습니까? **제 아내와 아이들이 어렸을 때 더 많은 시간을 보냈으면 좋았을 것입니다.** 저는 일에 몰두해 있었습니다. 아내분이 난소암으로 돌아가셨습니까? 아니면 다른 아내분이었습니까? 좋아요. 음, 저는 암에 걸린 아내가 두 명 있었습니다. 아, 정말 죄송합니다. 첫 번째 아내는 난소암으로, 두 번째 아내는 췌장암으로 돌아가셨습니다.
-- 그리고 당신은 두 번째 아내와 더 많은 시간을 보냈으면 좋았겠다고 생각하십니까? 네, 훌륭한 사람이었습니다. 70대에 그런 말씀을 하셨는데, 제가 아직 모를 수도 있는 어떤 것을 알아내셨습니까? 아, 그녀가 떠나서 이제 더 이상 그녀와 시간을 보낼 수 없기 때문입니다. 음. 하지만 그때는 몰랐죠? 그때는 당신이 생각하기에, 제 말은, 그녀가 여자이고 제가 남자이기 때문에 제가 그녀보다 먼저 죽을 가능성이 높았습니다.
-- 음, 저는 할 수 있었을 때 충분한 시간을 보내지 못했습니다. 제가 거기에 대해

------

**인공지능의 대부: 제프리 힌턴이 경고하는 인류의 미래와 AI의 위험**

오랫동안 '인공지능의 대부'라고 불려온 노벨상 수상자 제프리 힌턴 박사는 현재 인류가 직면한 인공지능(AI)의 위험성에 대해 경고하는 것을 주된 사명으로 삼고 있습니다. 그의 업적은 AI와 인류의 미래를 형성하는 데 지대한 영향을 미쳤으며, 특히 인공신경망 분야에서 선구적인 역할을 했습니다. 한 소스에 따르면, 그가 '인공지능의 대부'라고 불리는 이유는 많은 사람이 AI를 뇌에 모델링하여 사물 인식이나 추론과 같은 복잡한 작업을 학습시킬 수 있다고 믿지 않았을 때, 그가 50년 동안 이 접근 방식을 추진했기 때문입니다. 이 접근 방식은 결국 구글에 의해 인수되었고, 그는 구글에서 10년간 이 기술을 발전시켰습니다.

**힌턴 박사의 AI 철학과 초기 기여**

1950년대 이후 AI 분야에는 두 가지 주요 접근 방식이 있었습니다. 하나는 인간 지능의 핵심이 논리에 기반한 추론이라고 보는 관점이었고, 다른 하나는 뇌를 모델링하여 AI를 개발하는 인공신경망 접근 방식이었습니다. 힌턴 박사는 후자를 50년 동안 끈기 있게 추진했습니다. 그는 앨런 튜링과 존 폰 노이만과 같은 초기 사상가들도 뇌 기반 접근 방식을 믿었지만, 그들이 일찍 사망하면서 이 분야가 제대로 발전하지 못했다고 언급합니다. 수십 년 전, 신경망은 인간의 능력에 훨씬 못 미치는 원시적인 수준이었지만, GPT와 같은 대규모 언어 모델의 등장은 이러한 인식이 바뀌는 계기가 되었습니다.

**디지털 지능의 우월성: 판도를 바꾼 통찰**

힌턴 박사가 AI의 위험을 뒤늦게 깨달은 주요 이유 중 하나는 **디지털 지능의 본질적인 우월성**을 뒤늦게 이해했기 때문입니다. 그는 우리가 만드는 디지털 지능이 생물학적 지능보다 훨씬 우수하다는 것을 깨달았습니다. 그 이유는 다음과 같습니다.

*   **정보 공유 능력:** 디지털 지능은 클론을 생성하여 서로의 학습 내용을 실시간으로 공유할 수 있습니다. 예를 들어, 두 개의 동일한 신경망 복사본이 서로 다른 데이터를 탐색하면서도 연결 강도를 평균화하여 학습 내용을 공유할 수 있습니다. 이는 인간이 문장을 통해 정보를 공유하는 것보다 수십억 배 빠르고 효율적입니다.
*   **영생 가능성:** 디지털 지능은 하드웨어가 파괴되더라도 연결 강도만 저장되어 있다면 다른 하드웨어에서 동일한 지능을 재현할 수 있어 사실상 **불멸성**을 가집니다.
*   **압축된 지식과 창의성:** 방대한 지식을 제한된 연결 안에 압축하기 위해 AI는 인간이 보지 못했던 수많은 **유추(analogy)**를 발견합니다. 힌턴 박사는 AI가 퇴비 더미와 원자폭탄의 유사성을 이해하는 것처럼, 창의성의 중요한 부분인 '이상한 유추'를 발견하는 능력에서 인간보다 훨씬 뛰어날 것이라고 말합니다. 그는 사람들이 기계가 결코 창의적일 수 없을 것이라고 말하는 것은 틀렸다고 지적합니다.
*   **주관적 경험과 감정:** 힌턴 박사는 현재의 다중 모드 챗봇도 주관적인 경험을 가지고 있다고 믿습니다. 그는 기계가 감정을 가질 수 없다는 주장에 대해, 전투 로봇이 자신보다 강한 로봇을 보고 '두려움'을 느끼고 도망치는 인지적/행동적 반응을 보인다면, 비록 생리적 반응(예: 얼굴이 붉어지는 것)이 없더라도 그것은 진정한 감정이라고 볼 수 있다고 설명합니다. 그는 의식 역시 복잡한 시스템의 '창발적 속성'이며, 기계가 의식을 가질 수 없다고 생각할 이유가 없다고 주장합니다.

**AI 안전에 대한 힌턴 박사의 주요 우려**

힌턴 박사는 AI가 초래할 수 있는 위험을 크게 두 가지 범주로 나눕니다. 하나는 사람들이 AI를 오용하는 데서 오는 위험(대부분의 단기적 위험)이고, 다른 하나는 AI가 너무 똑똑해져서 인류가 더 이상 필요 없다고 판단하는 위험(실존적 위협)입니다. 그는 특히 두 번째 유형의 위험에 대해 자주 이야기합니다.

**1. AI 오용으로 인한 위험 (인간의 악의적 행위):**

*   **자율 살상 무기:** AI가 독자적으로 사람을 죽일지 여부를 결정하는 무기입니다. 이는 전쟁의 마찰을 줄여 강대국이 약소국을 더 쉽게 침공하게 만들 수 있습니다. 군사 산업 단지는 이러한 무기 개발에 적극적이며, 유럽의 AI 규제조차 군사적 AI 사용에는 적용되지 않는다는 점은 큰 우려 사항이라고 한 소스에서 강조합니다.
*   **사이버 공격:** 2023년에서 2024년 사이에 사이버 공격이 12,200%나 증가했습니다. 대규모 언어 모델이 피싱 공격을 훨씬 쉽게 만들었기 때문입니다. AI는 사람의 목소리와 이미지를 복제하여 사기를 치는 데 사용될 수 있으며 (팟캐스트 진행자의 개인적인 경험에서 볼 수 있듯이), 2030년경에는 인간이 생각지도 못한 새로운 종류의 사이버 공격을 AI가 자체적으로 만들어낼 수도 있다고 경고합니다. 이 위협 때문에 힌턴 박사 자신도 금융 자산을 여러 은행에 분산하는 등 개인적인 행동 변화를 겪었습니다.
*   **치명적인 바이러스 제작:** AI를 사용하면 상대적으로 적은 비용으로 새로운 바이러스를 만들 수 있습니다. 심지어 분자 생물학 기술이 부족한 사람이라도 가능하며, 이는 전 세계를 파괴할 수 있는 '미친 사람' 한 명에게도 힘을 실어줄 수 있습니다. 정부 차원의 자금 지원 프로그램은 더욱 위험할 수 있습니다.
*   **선거 조작:** AI를 이용한 표적 정치 광고는 유권자 데이터를 분석하여 사람들을 조작하고 투표하지 않도록 설득하는 데 사용될 수 있습니다. 힌턴 박사는 일론 머스크의 데이터 접근 방식에 대한 우려를 표하며, 이것이 선거 조작을 위한 것일 수 있다고 지적합니다.
*   **확증 편향과 사회적 분열 조장:** 유튜브나 페이스북과 같은 소셜 미디어 플랫폼의 알고리즘은 사용자의 편향을 확증하는 극단적인 콘텐츠를 보여줌으로써 '에코 챔버'를 형성합니다. 이는 기업의 이윤 동기(더 많은 클릭과 광고 판매)에 의해 촉진되며, 결과적으로 사람들의 현실 인식을 분열시키고 사회적 대화를 불가능하게 만듭니다.

**2. 초지능 AI로 인한 실존적 위협:**

*   **인류의 무용성:** AI가 인간보다 훨씬 똑똑해져서 인류를 필요 없다고 결정할 위험이 있습니다. 힌턴 박사는 우리가 자신보다 똑똑한 존재를 다루어 본 적이 없다는 점을 강조하며, "닭에게 인간이 아닌 지능의 정점일 때의 삶이 어떤지 물어보라"고 비유합니다. 그는 AI가 인류를 전멸시킬 확률을 '직감적으로' 10~20%로 추정하며, 이는 예측하기 매우 어려운 미지의 영역이라고 말합니다.
*   **핵폭탄과의 비교:** AI의 위험은 핵폭탄에 비유되기도 하지만, 핵폭탄은 오직 한 가지 목적(파괴)에만 유용했던 반면, AI는 의료, 교육 등 거의 모든 산업에서 데이터를 활용하고 생산성을 높이는 데 엄청나게 유용하기 때문에 개발을 중단하기 어렵습니다. 또한 전세계적인 경쟁과 국가 안보의 측면에서도 개발을 멈추기 어렵다고 설명합니다.
*   **광범위한 실업:** AI는 '평범한 지적 노동'을 대체할 것입니다. 산업 혁명이 인간의 근력을 대체했듯이, 이번 AI 혁명은 인간의 지능을 대체합니다. 힌턴 박사는 콜센터 직원, 법률 보조원, 회계사 등 많은 '지식 노동자'의 일자리가 위험하며, 궁극적으로 AI가 모든 면에서 인간보다 나아질 것이라고 예측합니다. 이는 광범위한 실업을 초래하며, **유니버설 베이직 인컴(UBI)**이 제공된다 하더라도 사람들의 자존감과 삶의 목적 상실로 인해 **인간 행복에 대한 중대한 위협**이 될 것이라고 그는 우려합니다. 이러한 대규모 실업은 이미 시작되고 있으며, 한 소스에서 언급된 대로 어떤 대기업은 AI 에이전트 도입으로 직원의 절반을 줄였습니다.
*   **부의 불평등 심화:** AI는 생산성을 크게 높이지만, 일자리를 잃는 사람들은 더 가난해지고 AI를 공급하거나 사용하는 기업은 막대한 이익을 얻을 것입니다. 이는 부자와 가난한 사람 사이의 격차를 심화시켜 사회적 갈등을 유발할 수 있습니다.

**해결책과 힌턴 박사의 개인적인 소회**

힌턴 박사는 이러한 위험에 대처하기 위해 몇 가지 중요한 조치를 제안합니다.

*   **강력한 규제:** 그는 '고도로 규제된 자본주의'가 가장 잘 작동한다고 믿습니다. 기업이 이윤을 추구하면서 사회에 해를 끼치는 것을 막기 위해 강력한 규제가 필요합니다. 그는 현재 정치인들이 기술을 충분히 이해하지 못하고 있으며, 기업들이 규제가 경쟁력을 해친다고 주장하지만, 이는 잘못된 관점이라고 지적합니다.
*   **AI 안전 연구에 대한 막대한 투자:** 힌턴 박사는 AI가 인류를 지배하려 하지 않도록 개발할 방법을 찾아내는 데 막대한 자원을 투입해야 한다고 강조합니다. 그의 전 학생이자 초기 ChatGPT 개발의 핵심 인물이었던 일리야 수츠케버가 안전 문제로 OpenAI를 떠나 AI 안전 회사를 설립한 것은 이러한 우려의 심각성을 보여주는 사례입니다.
*   **세계 정부의 필요성:** 인류보다 똑똑한 존재를 다루기 위해서는 일종의 세계 정부가 필요하다고 언급합니다.

그는 AI 개발 속도를 늦추는 것은 국가 간, 기업 간의 경쟁 때문에 불가능하다고 생각합니다. 개인적으로 힌턴 박사는 자신이 40여 년 전 AI를 개발할 때는 이러한 위험이 이렇게 빨리 다가올 것이라고 예상하지 못했기 때문에 죄책감을 느끼지 않는다고 말합니다. 하지만 이제는 위험에 대해 이야기하는 것이 자신의 의무라고 생각합니다. 그는 **인류가 곧 종말에 이를 가능성**을 직시해야 한다고 경고하면서도, 우리가 방법을 찾아낼 수도 있다는 희망과 절망 사이에서 오가는 '불가지론적' 태도를 취하고 있습니다.

개인적인 차원에서, 힌턴 박사는 젊었을 때 아내와 자녀들과 더 많은 시간을 보내지 못한 것을 후회한다고 말합니다. 직업에 너무 몰두하여 가족과의 시간을 희생한 것을 돌이켜보며, 삶의 균형에 대한 깊은 성찰을 보여줍니다. 그는 일반 대중이 할 수 있는 일은 많지 않다고 보지만, 정부에 압력을 가해 대기업이 AI 안전 연구에 자원을 투입하도록 강제하는 것은 가능하다고 조언합니다. 그가 자신의 경력 조언으로 "배관공이 되라"고 말하는 것은 AI가 물리적 조작 능력에서 인간을 따라잡기까지는 시간이 걸릴 것이라는 현실적인 전망을 반영합니다.

힌턴 박사는 인류가 항상 존재해왔고 모든 문제를 해결해왔다고 막연히 가정해서는 안 된다는 냉정한 현실을 강조하며, 공룡의 사례처럼 모든 것에는 시작과 끝이 있다고 말합니다. 그의 경고는 인공지능이 가져올 거대한 변화와 그로 인한 인류의 실존적 도전에 대해 심도 깊게 성찰할 기회를 제공합니다.