260121 AGI 이후 세상

https://youtu.be/02YLwsCKUww?si=frTW0KMvb4T9iiJE

FULL DISCUSSION: Google's Demis Hassabis, Anthropic's Dario Amodei Debate the World After AGI | AI1G

환영합니다 여러분, 그리고 라이브 스트림으로 참여하시는 분들도 환영합니다. 이 대화는 제가 몇 달 동안 기대해 온 것입니다. 작년 파리에서 다리오와 데미스 하사비스 사이의 대화를 사회할 수 있어서 운이 좋았습니다. 그때 가장 주목받은 건 두 분이 아주 작은 러브 시트에 빽빽이 앉아 계신 반면 제가 거대한 소파에 앉아 있었던 거였죠. 그건 아마 제 실수였을 거예요. 하지만 그때 저는 이게 비틀스와 롤링 스톤즈 사이의 대화를 사회하는 것 같다고 말했죠. 그리고 두 분은 그 후로 무대에서 대화를 하지 않으셨어요. 그래서 이건 속편이에요, 밴드가 다시 모이는 거죠. 기쁩니다. 두 분은 소개가 필요 없어요. 우리 대화의 제목은 AGI 이후의 날인데, 아마 우리가 얼마나 빨리, 쉽게 그곳에 도달할지 먼저 이야기해야 할 것 같아요. 그에 대한 약간의 업데이트를 하고 나서 결과에 대해 이야기하죠. 먼저 타임라인에 대해 다리오, 작년 파리에서 당신은 2627년까지 여러 분야에서 노벨상 수상자 수준으로 인간이 할 수 있는 모든 것을 할 수 있는 모델이 있을 거라고 했어요. 지금 26년인데, 그 타임라인을 여전히 지지하나요?
그래서 정확히 언제 일어날지 알기 어렵지만, 그게 크게 벗어나지 않을 거라고 생각해요. 그게 일어나는 메커니즘은 코딩과 AI 연구에 능한 모델을 만들어 다음 세대 모델을 생산하고 속도를 높여 모델 개발 속도를 증가시키는 루프를 만드는 거예요. 지금 코드 작성 모델 면에서 안트로픽 내 엔지니어들이 “나는 더 이상 코드를 작성하지 않아. 그냥 모델이 코드를 작성하게 하고, 나는 편집하고 주변 일을 해.“라고 말해요. 모델이 대부분, 어쩌면 모든 것을 엔드 투 엔드로 하는 데서 6~12개월 남았을 수도 있어요. 그리고 그 루프가 얼마나 빨리 닫히는지 문제예요. 그 루프의 모든 부분이 AI로 가속될 수 있는 건 아니에요, 칩, 칩 제조, 모델 훈련 시간 같은 거요. 그래서 불확실성이 많아요. 이게 몇 년 걸릴 수 있어요. 그 이상 걸릴 수 있다고 보긴 어려워요. 하지만 추측하자면, 사람들이 상상하는 것보다 빨리 갈 거예요. 그리고 코드와 점점 연구가 우리가 상상하는 것보다 빨리 가는 게 핵심 동인이 될 거예요. 다시 예측하기 어려워요, 그 지수가 얼마나 우리를 가속시킬지, 하지만 뭔가 빠른 일이 일어날 거예요. 데미스, 당신은 작년 더 신중했어요. 10년 말까지 인간의 모든 인지 능력을 보일 수 있는 시스템의 50% 확률이라고 했죠. 다리오가 말한 대로 코딩에서 놀라웠어요. 당신의 예측을 여전히 지지하나요, 그리고 지난 해에 뭐가 바뀌었나요?
네, 저는 여전히 같은 타임라인에 있어요. 그리고 놀라운 진전이 있었어요. 하지만 일부 영역, 엔지니어링 작업, 코딩이나 수학 같은 건 자동화가 조금 더 쉽다고 생각해요, 부분적으로 출력이 검증 가능하니까요. 자연 과학 일부 영역은 그보다 훨씬 어렵죠. 당신이 만든 화학 화합물이나 물리학 예측이 맞는지 꼭 알 수 없어요. 실험적으로 테스트해야 할 수 있고 그게 더 오래 걸려요. 그래서 현재 일부 누락된 능력이 있어요, 기존 추측이나 문제를 해결하는 것뿐만 아니라 처음부터 질문을 하거나 이론이나 가설을 만드는 거요. 그게 훨씬 더 어렵다고 생각해요, 과학적 창의성의 최고 수준이고, 명확하지 않아요. 우리는 그런 시스템을 가질 거예요. 불가능하다고 생각하지 않지만, 하나나 두 개의 누락된 요소가 있을 수 있어요. 먼저 이 자기 개선 루프가 우리가 모두 작업 중인 게 인간 없이 닫힐 수 있는지 봐야 해요. 그 시스템에도 위험이 있어요, 우리가 논의해야 할 거고, 확실히 할 거예요. 하지만 그 시스템이 작동하면 속도를 높일 수 있어요.
곧 위험에 대해 이야기할게요. 하지만 지난 해의 또 다른 변화는 레이스 순위의 변화라고 생각해요. 작년 이맘때 우리는 딥시크 순간을 막 겪었고 모두가 그곳에서 일어난 일에 매우 흥분했어요. 그리고 구글 딥마인드가 오픈AI에 뒤처진다는 감이 여전히 있었어요. 지금은 꽤 다르게 보이네요. 코드 레드를 선언했어요, 맞죠? 꽤 한 해였어요. 그래서 구체적으로 어떤 점에 놀랐고, 올해 얼마나 잘했는지, 그리고 라인업에 대해 물어볼게요.
네, 저는 우리가 리더보드 최상위로 돌아갈 거라고 항상 자신 있었어요, 그리고 다양한 모델들에서요. 왜냐하면 우리는 항상 가장 깊고 넓은 연구 벤치를 가지고 있었고, 그걸 모두 모으고 집중하고 스타트업 정신을 조직 전체에 되돌리는 거였어요. 많은 작업이었고, 아직 할 일이 많아요. 하지만 제미니 3 모델과 제품 측면 제미니 앱에서 시장 점유율이 증가하는 진전을 볼 수 있어요. 그래서 좋은 진전을 이루고 있다고 느껴요, 하지만 할 일이 엄청 많아요. 그리고 구글 딥마인드를 구글의 엔진 룸처럼 가져와 모델을 제품 표면에 더 빨리 배포하는 데 익숙해지고 있어요. 이 측면에 대해 다리아에게 한 질문, 당신이 새로운 라운드를 진행 중이고 놀라운 가치 평가를 받고 있으니까요. 하지만 당신은 독립 모델 제작자라고 부르자면, 그리고 독립 모델 제작자들이 수익이 들어올 때까지 충분히 오래 지속할 수 없을 거라는 우려가 증가하고 있어요. 오픈AI에 대해 아주 공개적으로 됐지만, 그걸 어떻게 생각하는지 말해주고, AGI 자체로 갈게요. 네, 그걸 어떻게 생각하는지, 더 나은 모델을 만들면서 컴퓨트 양과 인지 능력 사이뿐만 아니라 인지 능력과 생성할 수 있는 수익 사이에 지수 관계가 있었어요. 그래서 우리의 수익이 지난 3년 동안 10배 성장했어요, 2023년 0에서 1억, 2024년 1억에서 10억, 2025년 10억에서 100억. 그래서 그 수익 숫자, 그 곡선이 그대로 계속될지 모르겠어요. 그랬다면 미칠 거예요. 하지만 그 숫자가 세계에서 가장 큰 회사들의 규모와 멀지 않아요. 그래서 항상 불확실성이 있어요. 우리는 아무것도 없이 이걸 부트스트랩하려 해요. 미친 일이지만, 우리가 집중하는 것에서 최고 모델을 생산할 수 있다면 잘될 거라고 자신 있어요. 그리고 일반적으로 올해 구글과 안트로픽 모두에게 좋은 해였다고 생각해요. 그리고 우리가 공통으로 가진 건, 연구자들이 이끄는 회사나 연구 부분이 모델에 집중하고 세계의 중요한 문제를 해결하는 데 집중하는 거예요. 어려운 과학 문제를 북극성으로 가진 거죠. 그리고 앞으로 성공할 회사가 그런 종류라고 생각해요, 우리 사이에 공유하는 거예요.
아주 많이요. 저는 연구자들이 이끌지 않는 회사들에게 무슨 일이 일어날지 묻는 유혹을 참을게요, 왜냐하면 답하지 않을 거라 알아요. 하지만 이제 예측 영역으로 가죠, 우리는 AI 이후의 날에 대해 이야기해야 하지만 루프 닫기에 대해 이야기하죠. 모델이 루프를 닫고 스스로 동력을 줄 수 있을 확률, 그게 위너 테이크 올 문턱 접근의 핵심이니까요. 여전히 우리가 그걸 볼 가능성이 높다고 믿나요, 아니면 추종자와 추격자가 경쟁할 수 있는 더 정상적인 기술이 될까요?
네, 확실히 정상적인 기술이 되지 않을 거예요. 그래서 다리오가 언급한 대로 이미 코딩과 연구 일부 측면을 돕고 있어요. 하지만 전체 루프 닫기는 알려지지 않았어요. 가능하다고 생각해요. 일부 영역에서 AGI 자체가 필요할 수 있어요, 다시 그 영역들에서 더 지저분하고 답을 빠르게 검증하기 쉽지 않은 MP 하드 영역이요. 그래서 더 많은 걸 시작하면, AGI에 물리적 AI 로보틱스 같은 걸 포함해요, 모든 종류의 것들, 그리고 하드웨어가 루프에 들어가면 자기 개선 시스템이 얼마나 빨리 작동할지 제한할 수 있어요. 하지만 코딩과 수학 같은 영역에서 확실히 작동할 수 있어요. 그리고 질문은 더 이론적인 거예요, 공학과 수학의 한계가 자연 과학을 해결하는 거예요. 다리아, 작년 당신이 Machines of Love and Grace를 출판했어요, 아주 낙관적인 에세이로 펼쳐질 잠재력에 대해요, 천재 데이터 센터라고 했나요. 당신이 이 업데이트를 작업 중이라고 들었어요, 새 에세이, 아직 나오지 않았지만 곧 나올 거예요, 하지만 1년 후 당신의 큰 테이크를 미리 알려줄 수 있나요.
네. 그래서 제 테이크는 변하지 않았어요. 항상 제 관점은 AI가 엄청나게 강력할 거라는 거예요. 데미스와 나, 그 점에서 동의해요. 정확히 언제냐의 문제일 뿐이죠. 엄청 강력하니까 Machines of Loving Grace에서 말한 멋진 일들을 할 거예요. 암을 치료할 거예요. 열대 질병을 근절할 수 있어요. 우주를 이해할 거예요. 하지만 엄청난 중대한 위험이 있어요, 우리가 그걸 해결할 수 없다는 게 아니에요. 나는 둠머가 아니에요, 하지만 그걸 생각하고 해결해야 해요. Machines of Loving Grace를 먼저 썼어요. 왜 먼저 썼는지 세련된 이유를 주고 싶지만, 긍정적인 에세이가 부정적인 에세이보다 쓰기 쉽고 재미있었어요. 그래서 휴가에서 시간을 보내고 위험에 대한 에세이를 쓸 수 있었어요. 위험에 대해 쓰면서도, 낙관적인 사람이에요. 그래서 이 위험을 어떻게 극복할까? 어떻게 싸울 전투 계획을 가질까?처럼 썼어요. 그리고 제가 프레임 한 건 칼 세이건의 Contact 영화 버전의 장면이에요, 외계 생명을 발견하고 국제 패널이 인류 대표로 외계인을 만날 사람을 인터뷰해요. 그리고 후보 중 하나에게 외계인에게 한 질문만 할 수 있다면 뭐냐고 물어요. 한 캐릭터가 “어떻게 했나요? 어떻게 자신을 파괴하지 않고 기술적 청소년기를 통과했나요? 어떻게 통과했나요?“라고 해요. 그리고 그걸 본 이후 20년 전쯤, 그게 제게 붙어 있어요. 그게 제가 사용하는 프레임이에요, 우리는 이 놀라운 능력의 문을 두드리고 있어요, 모래로 기계를 만드는 능력요. 불을 사용하기 시작한 순간 불가피했다고 생각해요. 하지만 어떻게 다루는지는 불가피하지 않아요. 그래서 다음 몇 년 동안 고도로 자율적이고 인간보다 똑똑한 시스템을 어떻게 통제할지 다룰 거예요. 개인이 오용하지 않게 어떻게 할지? 생물 테러 같은 걱정이 있어요. 국가가 오용하지 않게 어떻게 할지? 그래서 CCP, 다른 권위주의 정부에 대해 걱정했어요. 경제적 영향은 뭐예요? 노동 대체에 대해 많이 말했어요. 그리고 우리가 생각하지 못한 게 뭐예요, 많은 경우 가장 다루기 어려운 거일 수 있어요. 그래서 그 위험을 어떻게 다룰지 생각해요. 각각에 대해 회사 리더로서 개별적으로 해야 할 일과 함께 일하면서 할 수 있는 일의 혼합이에요. 그리고 더 넓은 사회 기관처럼 정부가 이 모든 걸 다루는 역할이 필요할 거예요. 하지만 매일 AI 밖 세상에서 미친 일이 일어나지만, 제 관점은 이게 너무 빠르고 위기라서 거의 모든 노력을 이걸 통과하는 데 쏟아야 해요.
그래서 당신이 a 휴가를 간다는 데 더 놀랐는지, b 휴가에서 AI 위험을 생각한다는 데, c 에세이가 이 기술의 기술적 청소년기를 자신을 파괴하지 않고 통과할지 프레임인지 결정할 수 없어요. 제 머리가 약간 돌아요, 하지만 읽고 싶어요, 당신이 언급한 여러 영역이 우리 대화의 나머지를 안내할 수 있어요. 일자리부터 시작하죠, 당신이 그에 대해 아주 솔직했어요, 입문级 화이트 칼라 일자리의 절반이 다음 1~5년 내 사라질 수 있다고 했어요. 하지만 데미스에게 돌려서, 지금까지 노동 시장에 눈에 띄는 영향이 없어요. 네, 미국 실업률이 올랐지만, 제가 본 모든 경제 연구와 우리가 쓴 건 팬데믹 후 과잉 고용이라고, AI로 인한 게 아니에요. 오히려 AI 능력을 구축하기 위해 고용해요. 당신은 경제학자들이 항상 주장한 대로 노동 덩어리 오류가 아니라고 생각하나요, 실제로 새로운 일자리가 생길 거라고, 지금까지 증거가 그걸 시사하니까요. 네, 단기적으로 그게 일어날 거예요. 획기적 기술이 도착할 때의 정상적인 진화요. 일부 일자리가 방해받지만 더 가치 있고 의미 있는 일자리가 생길 거예요. 올해 주니어 레벨, 입문级 일자리, 인턴십 같은 데 영향을 미치는 시작을 볼 거예요. 그리고 우리 스스로 느껴지는 증거가 있어요, 그 고용이 느려지는 거요. 하지만 그건 모두에게 거의 무료로 이용 가능한 놀라운 창의적 도구가 있어서 보상될 수 있어요, 대학생 수업에서라면 그 도구에 정말 믿을 수 없을 정도로 숙련되라고 말할 거예요. 우리처럼 구축하는 사람들조차 구축하느라 바빠서 오늘 모델과 제품의 능력 오버행을 탐구할 시간이 거의 없어요, 내일 건 말할 것도 없고, 그게 전통 인턴십보다 직업에서 유용하게 자신을 도약시키는 데 더 나아요. 그래서 아마 다음 5년 동안 일어나는 거예요. 우리는 타임 스케일에서 약간 다를 수 있지만 AGI 도착 후 일어나는 건 다른 질문이에요, 그 시점에서 미지의 영역에 있을 거예요.
작년 당신이 말한 반대로 화이트 칼라 모두의 절반보다 더 오래 걸릴 거라고 생각하나요? 같은 관점을 가져요. 당신과 데미스에 동의해요, 그 댓글을 했을 때 노동 시장에 영향이 없었어요. 그 순간 영향이 있다고 말한 게 아니에요. 지금 소프트웨어, 코딩에서 그 시작을 조금씩 보는 것 같아요. 안트로픽 내에서도 주니어 쪽과 중간 쪽에서 실제로 더 적은 사람이 필요할 때를 앞두고 있어요. 그리고 안트로픽 내에서 그걸 어떻게 합리적으로 다룰지 생각해요. 6개월 전 15년, 그걸 고수할게요. 이걸 전에 말한 것과 연결하면, 인간보다 모든 것에 더 나은 AI가 12년, 어쩌면 그보다 조금 더 길게 있을 수 있어요. 그게 맞지 않아 보이네요. 이유는 지연과 대체가 있어요, 노동 시장이 적응 가능하다는 걸 알아요, 80%가 농업을 했고 자동화됐고 공장 노동자가 됐고 지식 노동자가 됐어요. 그래서 적응 수준이 있어요, 노동 시장이 어떻게 작동하는지 경제적으로 세련되게 해야 해요, 하지만 제 걱정은 지수가 계속 복합되고 오래 걸리지 않을 거예요, 다시 1년과 5년 사이에 우리의 적응 능력을 압도할 거예요. 데미스가 말하는 것과 같다고 생각해요, 타임라인 차이를 빼면, 궁극적으로 CO 루프를 얼마나 빨리 닫느냐에 달려 있어요.
정부가 이 규모를 이해하고 필요한 정책 응답을 생각하기 시작했다고 얼마나 자신 있나요?
이게 충분한 작업이 되고 있다고 생각하지 않아요. 여기서 경제학자들을 만나도 더 많은 전문 경제학 교수들이 AGI로 가는 길뿐만 아니라 모든 기술을 올바르게 하면 일어나는 걸 생각하지 않아서 놀라워요. 일자리 대체는 하나의 질문이고 그 경제에 걱정하지만, 이 새로운 생산성, 새로운 부를 더 공정하게 분배할 방법이 있을 수 있어요, 우리가 올바른 기관을 가졌는지 모르겠지만 그게 일어나야 해요, 그 시점에 부족 없는 세계일 수 있어요. 하지만 지금 나를 깨우는 건 그보다 더 큰 질문이에요, 의미와 목적과 우리의 일자리에서 경제적으로만 얻는 게 아니에요. 그건 하나의 질문이에요. 하지만 이상하게 그게 인간 조건과 인류 전체에 일어나는 것보다 해결하기 쉬울 수 있어요. 그리고 새로운 답을 찾을 거라고 낙관해요. 우리는 오늘 극한 스포츠부터 예술까지 경제적 이득과 직접 관련 없는 많은 걸 해요. 그래서 의미를 찾을 거예요, 어쩌면 그 활동의 더 세련된 버전일 수 있어요. 게다가 별을 탐험할 거예요. 그래서 목적 면에서 그 모든 걸 고려해야 해요. 하지만 지금 생각할 가치가 있어요, 제 타임라인에서도 5~10년 남았어요, 그게 많은 시간이 아니에요. AI에 대한 대중 반발 위험이 얼마나 크다고 생각하나요, 정부가 당신 관점에서 어리석은 일을 하게 할 수 있어요? 1990년대 글로벌화 시대를 생각하면, 실제로 일부 일자리 대체가 있었어요. 정부가 충분히 하지 않았어요. 대중 반발이 지금 우리가 있는 곳으로 끝났어요. 당신이 하는 일과 회사에 대한 정치적 반감이 커질 위험이 있다고 생각하나요?
네, 확실히 위험이 있어요. 그게 합리적이라고 생각해요. 일자리와 생계 같은 것에 두려움과 걱정이 있어요. 몇 가지가 있을 거예요, 다음 몇 년은 지정학적으로 복잡할 거예요, 하지만 여기 다양한 요인처럼 우리는 알파폴드와 과학 작업과 이소모픽 스핀아웃 회사로 모든 질병을 해결하고 질병을 치료하고 새로운 에너지 원천을 찾으려 해요, 사회로서 그게 분명히 원할 거예요, 산업이 하는 균형이 그런 활동 쪽으로 충분하지 않을 수 있어요, 알파폴드 같은 더 많은 예시가 있어야 해요, 다리가 동의할 거예요, 세상에 명백한 선을 돕는 거요, 그리고 산업과 우리 주요 플레이어들이 그걸 더 보여야 해요, 말만 하지 말고 증명해야 해요, 그리고 다른 의도된 방해와 함께 올 거예요, 하지만 다른 문제는 지정학적 경쟁이에요, 회사 간 경쟁이 분명하지만 주로 미국과 중국이요, 그래서 국제 협력이나 이해가 없으면, 최소 안전 표준 같은 것에 좋을 거예요, 다리오도 동의할 거예요. 그게 필수적이라고 생각해요. 이 기술은 국경을 넘어갈 거예요. 모두에게 영향을 미칠 거예요. 모든 인류에게 영향을 미칠 거예요. 실제로 Contact도 제 좋아하는 영화 중 하나예요. 재미있네요, 다리오 당신 것도 몰랐어요. 하지만 그런 것들을 해결해야 해요. 그리고 우리가 할 수 있다면 조금 느린 페이스를 가지는 게 좋을 거예요, 현재 예측보다, 제 타임라인조차, 사회가 이걸 올바르게 할 수 있게, 하지만 그건 조정이 필요해요, 당신 타임라인을 선호해요. 네, 인정할게요.
하지만 다리오, 이제 이걸로 넘어가죠, 파리에서 마지막으로 말한 이후 지정학적 환경이 더 복잡해졌어요, 미쳤어요, 어떤 단어를 써도. 둘째, 미국이 중국에 대한 접근이 아주 달라요. 무제한으로 빨리 가지만 중국에 칩을 팔아요. 그래서 미국에 다른 태도를 가졌어요. 미국과 유럽 사이의 아주 이상한 관계가 지정학적으로 있어요. CERN 같은 조직이 있으면 좋겠다고 들었어요, 우리가 있는 곳에서 백만 년 떨어져 있어요. 그래서 현실 세계에서 지정학적 위험이 증가했나요, 그리고 그에 대해 뭘 해야 한다고 생각하나요, 행정부는 당신이 제안한 반대를 하는 것 같아요? 네, 우리는 최선을 다해요, 한 회사일 뿐이고 존재하는 환경에서 운영하려 해요, 얼마나 미쳤든. 하지만 적어도 제 정책 추천은 변하지 않았어요, 칩을 팔지 않는 게 우리가 이걸 다룰 시간을 확보하기 위해 할 수 있는 가장 큰 일 중 하나예요. 데미스 타임라인을 선호한다고 했어요, 510년 있으면 좋겠어요, 그가 맞고 내가 틀릴 수 있어요, 하지만 내가 맞다고 가정하고 12년 안에 할 수 있어요. 왜 데미스 타임라인으로 느리게 할 수 없나요?
당신이 그냥 느리게 할 수 있어요. 아니요. 하지만 이유는 지정학적 적대자들이 비슷한 속도로 같은 기술을 구축하니까, 그들이 느리게 하고 우리가 느리게 하는 강제 가능한 합의가 어렵기 때문이에요, 그래서 그냥 칩을 팔지 않으면 이건 미국과 중국 간 경쟁이 아니에요. 나와 데미스 간 경쟁이에요, 우리가 해결할 수 있다고 아주 자신 있어요.
그리고 행정부의 논리를 어떻게 생각하나요, 이해한 대로 칩을 팔아야 미국 공급망에 묶기 위해요. 그래서 시간 규모뿐만 아니라 기술의 중요성 문제라고 생각해요, 텔레콤이나 그런 거라면 미국 스택 확산과 세계 곳곳에 엔비디아 칩 대신 화웨이 칩으로 데이터 센터를 짓게 하는 거요. 이걸 더 핵무기를 북한에 팔아 보잉에 이익을 주나요, 보잉이 만들었으니 미국이 이기네, 좋네처럼 생각해요. 그 비유가 이 트레이드오프를 어떻게 보는지 명확히 할 거예요, 그냥 말이 안 돼요. 그리고 우리는 중국과 다른 플레이어에 대해 이 한 조치보다 훨씬 덜 효과적인 더 공격적인 일을 많이 했어요.
한 영역 더, 그리고 질문 하나나 두 개 할 시간이 있기를 바래요. 둠머들이 걱정하는 잠재적 위험의 다른 영역은 모든 강력한 악의적 AI예요. 그리고 두 분 모두 둠머 접근에 다소 회의적이었어요, 하지만 지난 해에 모델들이 기만, 이중성을 보일 수 있음을 봤어요. 그 위험에 대해 작년보다 다르게 생각하나요? 그리고 모델이 진화하는 방식에 대해 더 걱정해야 할 게 있나요?
네, 안트로픽 시작부터 이 위험을 생각했어요. 우리 연구는 처음에 아주 이론적이었어요, 모델 내부를 보고 왜 그걸 하는지 이해하려는 기계적 해석 가능성을 개척했어요, 모델의 뇌 내부를 보고, 인간 신경과학자로서 우리 둘 다 배경이 있어요, 뇌를 이해하려 해요. 그리고 시간이 지나면서 모델의 나쁜 행동을 점점 문서화하고 이제 기계적 해석 가능성으로 그걸 해결하려 해요. 그래서 항상 이 위험에 대해 걱정했어요. 데미스와 여러 번 이야기했어요. 그는 이 위험에 대해 걱정했다고 생각해요. 나는 확실히, 데미스도 그럴 거라고 추측하지만 그가 스스로 말하게 할게요, 둠머리즘에 회의적이었어요, 우리는 운명이다, 아무것도 할 수 없거나 가장 가능성 있는 결과예요. 이건 위험예요, 우리가 모두 함께 일하면 해결할 수 있는 위험, 과학을 통해 우리가 구축하는 이 창조물을 제대로 통제하고 지휘할 수 있어요. 하지만 제대로 구축하지 않으면, 모두 레이싱하고 너무 빨라 가드레일이 없으면, 뭔가 잘못될 위험이 있어요. 그래서 그걸 맥락에서 답할 기회를 줄게요, 약간 더 넓은 질문으로, 지난 해 기술의 상향 잠재력, 과학, 당신이 많이 말한 모든 영역에 더 자신 있어졌나요, 아니면 우리가 논의한 위험에 더 걱정하나요.
20년 넘게 이걸 했어요, 그래서 이미 알았어요, 제 전체 경력을 AI에 바친 이유는 과학과 우리 주변 우주를 이해하는 궁극적 도구를 해결하는 상향이요. 어렸을 때부터 그에 집착했어요, AI 구축은 올바른 방식으로 하면 그 궁극적 도구예요. 위험도 시작부터 생각했어요, 적어도 딥마인드 시작 15년 전부터, 그리고 상향을 얻으면 이중 목적 기술이니 나쁜 행위자들이 해로운 목적으로 재사용할 수 있어요. 그래서 그걸 내내 생각해야 했어요, 하지만 인간의 독창성을 크게 믿어요. 하지만 질문은 시간과 집중과 모든 최고 마인드가 협력해서 이 문제를 해결하는 거예요. 그게 있으면 기술적 위험 문제를 해결할 거예요. 그게 없을 수 있고, 그럼 위험을 도입할 거예요, 파편화될 거고, 다른 프로젝트와 사람들이 서로 레이싱하면 우리가 생산하는 시스템이 기술적으로 안전한지 확보하기 훨씬 어려워요. 하지만 시간이 있고 공간이 있으면 아주 다루기 쉬운 문제라고 느껴요. 한 질문이 있는지 확인할게요, 신사분들. 아주 짧게 해요, 문자 그대로 2분 있어요.
감사합니다. 안녕하세요.
네. 말하세요.
감사합니다. 저는 필립, 스타클라우드 공동 창립자예요, 우주에 데이터 센터를 짓고 있어요. 약간 철학적 질문을 하고 싶어요. 제게 둠머리즘의 가장 강력한 논거는 페르미 패러독스예요, 우리 은하에 지적 생명을 보지 못한다는 아이디어예요. 두 분 생각이 있나요. 네, 그에 대해 많이 생각했어요. 그게 이유가 될 수 없어요, 왜냐하면 모든 AI를 봐야 하니까요. 그래서 모두가 아는 아이디어는, 왜 그게 일어나는지 불분명해요. 페르미 패러독스의 이유가 외계인이 자기 기술로 제거되기 때문이라면, 우리는 은하 일부에서 페이퍼 클립이 우리 쪽으로 오는 걸 봐야 해요. 그리고 분명히, 안 보여요. 구조를 안 봐요, 다이슨 스피어 아무것도, AI든 생물학적이든. 그래서 제게 FMY 파우더에 다른 답이 있어야 해요. 제 나름 이론이 있지만 다음 분의 범위 밖이에요. 하지만 그 제 예측 제 느낌은 우리가 그레이트 필터를 지났다는 거예요. 아마 다세포 생명일 거예요, 추측하자면. 생물학이 그걸 진화시키는 게 믿을 수 없을 정도로 어려웠어요. 그래서 우리는 다음에 일어날 게 없어요. 인류로서 다음에 일어날 걸 쓰는 거예요.
이건 훌륭한 토론이 될 수 있지만 다음 36 세션의 범위 밖이에요. 하지만 15초씩, 다음 해에 다시 만나길 바래요, 우리 셋, 좋을 거예요, 그때 뭐가 바뀔까요?
네, 가장 큰 건 AI 시스템이 AI 시스템을 구축하는 문제예요, 그게 어떻게 가는지, 한 방향이나 다른 방향으로 가는지, 그게 몇 년 더 걸릴지 아니면 우리 앞에 경이와 큰 비상이 있을지 결정할 거예요.
AI 시스템, AI 시스템 구축.
그에 동의해요. 그래서 그에 대해 밀접히 연락해요. 하지만 그 밖에도 세계 모델, 지속 학습 같은 흥미로운 아이디어가 연구되고 있어요. 자기 개선이 스스로 물건을 전달하지 않으면 깨야 할 것들이에요. 그리고 로보틱스 같은 게 브레이크아웃 모먼트를 가질 수 있어요. 하지만 당신이 방금 말한 기반으로, 우리 모두 당신과 모두가 더 오래 걸리길 바래야 해요, 우리에게 주기 위해.
그걸 선호할게요. 그게 세상에 더 나을 거예요.
네, 당신들이 그에 대해 뭔가 할 수 있어요. 두 분 모두 감사합니다.

---------

1 Dario Amodei의 AGI 타임라인 예측 (1m 15s ~ 2m 48s)
◦ AGI 도달 메커니즘: 모델이 코딩과 AI 연구에 능숙해져 다음 세대 모델을 생산하는 루프를 형성.
◦ 현재 상태: Anthropic 내 엔지니어들이 “나는 더 이상 코드를 작성하지 않아. 그냥 모델이 코드를 작성하게 하고, 나는 편집하고 주변 일을 해.“라고 말함.
◦ 전망: 6~12개월 내에 모델이 대부분 또는 모든 코딩 작업을 엔드 투 엔드로 처리할 수 있음. 코드와 연구가 상상 이상으로 빨리 가속될 것이 핵심 동인.
◦ 요약: 코딩 자동화가 AGI 루프의 핵심으로, 빠른 발전 예상.
2 Demis Hassabis의 타임라인과 진전 평가 (3m 6s ~ 4m 18s)
◦ 코딩과 수학: 자동화가 상대적으로 쉽다. 출력이 검증 가능하기 때문. (반대로 자연 과학은 실험 검증이 필요해 더 어렵다.)
◦ 현재 진전: 코딩에서 놀라운 발전 있었음.
◦ 자기 개선 루프: 코딩과 수학 같은 영역에서 작동 가능. 하지만 인간 없이 루프 닫히는지 불확실, 위험도 있음.
◦ 요약: 코딩은 AGI로 가는 길에서 검증 용이성 때문에 앞서 있지만, 창의적 요소(예: 새로운 문제 제기)는 아직 누락.
3 AI 레이스 변화와 Google DeepMind의 성과 (4m 53s ~ 5m 44s)
◦ Demis: Google DeepMind가 리더보드로 복귀. 코딩 등 엔지니어링 작업에서 강점. 스타트업 정신으로 집중.
◦ 요약: 코딩 자동화가 경쟁 우위로 작용, 모델(Gemini 3)과 제품에서 진전.
4 자기 개선 루프 닫기 가능성 (8m 18s ~ 9m 14s)
◦ Demis: 이미 코딩과 연구 일부 도움 받고 있음. 코딩과 수학 영역에서 루프 닫기 가능. 하지만 AGI 자체가 필요할 수 있고, 물리적 AI(로보틱스) 등에서 제한.
◦ 요약: 코딩은 루프 가속의 핵심 영역, 검증 용이성으로 인해.
5 노동 시장 영향 (15m 43s ~ 17m 32s)
◦ Demis: 단기적으로 코딩 등 일부 일자리 방해, 하지만 새로운 가치 있는 일자리 창출. 올해 주니어/입문급 코딩 일자리 영향 시작 예상.
◦ Dario: 코딩에서 노동 시장 영향의 초기 징후 보임. Anthropic 내에서도 주니어/중간 단계에서 사람 수가 줄어들 수 있음. 1~5년 내 입문급 화이트 칼라 일자리 절반 사라질 수 있음. 지수 발전이 적응 능력을 압도할 우려.
◦ 요약: 코딩 자동화가 노동 대체의 선봉, 초기 영향 관찰 중. 타임라인 차이(1~5년 vs. 5년) 있지만, 루프 닫기 속도가 결정적.
6 미래 예측 (29m 44s ~ 30m 41s)
◦ Dario: 다음 해 가장 큰 변화는 “AI 시스템이 AI 시스템을 구축”하는 것. 코딩 루프가 얼마나 빨리 닫히는지 결정.
◦ Demis: 동의. 코딩 루프 외에 세계 모델, 지속 학습 등 연구 아이디어 필요. 로보틱스 브레이크아웃 가능.
◦ 요약: 코딩은 AI 자기 구축의 핵심, 1년 내 변화 지표.
전체 맥락 요약
• 코딩은 AGI 개발의 가속기 역할: 자동화 용이성과 검증 가능성으로 인해 루프 형성의 핵심. 하지만 위험(통제 상실)과 노동 영향(대체)이 주요 우려.
• 두 CEO 모두 낙관적이지만, 타임라인 차이: Dario(빠름, 12년), Demis(510년).
• 제안: 더 느린 페이스로 안전 확보 필요, 하지만 지정학적 경쟁(중국 등)으로 어려움.
이 부분은 전체 토론의 약 30%를 차지하며, AGI의 기술적·사회적 함의를 강조합니다. 추가 질문 있으시면 말씀해주세요!