줄리안 시트위저(Julian Shitwezer)는 세계에서 가장 뛰어난 AI 연구자

https://youtu.be/gTlxCrsUcFM

Are We Misreading the AI Exponential? Julian Schrittwieser on Move 37 & Scaling RL (Anthropic)

지수적 AI 성장: 기하급수적 도약과 인류의 풍요AI 버블에 대한 논의는 최첨단 연구소에서 실제로 일어나고 있는 일이나 우리가 목격하고 있는 상황과는 매우 동떨어져 있는 것처럼 보였습니다.0:06진전 속도가 둔화되고 있는 것은 전혀 보이지 않습니다. 오히려 오랜 기간에 걸쳐 매우 꾸준한 개선이 이루어지고 있습니다.0:11모두가 3~4개월이면 이전보다 두 배나 오래 걸리는 작업을 완전히 해낼 수 있다고 말하는 시대가 있습니다.0:18그 자체로 그렇습니다. 우리가 이러한 기하급수적 추세를 직관적으로 이해하기는 매우 어렵습니다. 만약 당신이 모든 사람을 설득할 수 있다면...0:24사회 생산성이 10배 높아진다면, 우리는 어떤 풍요로움을 누릴 수 있을까요? 무엇을 얻을 수 있을까요?0:30향후 5년 안에요? 저는 우리가 엄청나게 성장할 수 있다고 생각합니다. 맷 팟캐스트에 오신 것을 환영합니다. 저는 퍼스트 마크의 맷 터크입니다. 오늘 제 게스트는...소개 — 줄리안은 누구이며, 어떤 내용을 다루는가0:36줄리안 시트위저(Julian Shitwezer)는 세계에서 가장 뛰어난 AI 연구자 중 한 명입니다. 줄리안은 딥마인드(DeepMind)의 핵심 기여자였습니다.0:42그는 전설적인 알파고 제로와 뮤즈 프로젝트에 참여했으며 현재 엔트로픽의 핵심 연구원입니다. 우리는 기하급수적인 성장을 다뤘습니다.0:49인공지능의 궤적과 2026년 및 2027년에 대한 그의 예측, 그리고 최첨단 기술0:55강화 학습과 AI 에이전트, AI 창의성 이면에 숨겨진 과학, 그리고 알파 고의 유명한 37번째 수에 대해 이야기해 주세요.1:02줄리안과의 멋진 대화를 즐겨보세요. 안녕하세요, 줄리안! 반갑습니다.1:07안녕하세요, 맷. 초대해 주셔서 감사합니다. 몇 주 전에 당신이 쓴 글이 정말 훌륭했거든요.프론티어 랩 내부에서 바라본 "지수적 성장"1:12인터넷을 뜨겁게 달군 블로그 게시물, 제목은 '이해하지 못하는 것'이었다.1:18기하급수적으로 증가하고 있네요. 현재 인공지능의 발전 추세에 대해 많은 사람들이 놓치고 있는 부분이 뭘까요?1:25네, 그 블로그 게시글 얘기를 하시니 재밌네요. 그렇게까지 반응이 좋을 줄은 정말 몰랐어요. 사실 전 그 게시글을 보고 나서...1시 30분몇 주 전 키르기스스탄으로 휴가를 갔을 때, 아주 긴 자동차 여행을 하는 동안 이 아이디어가 떠올랐습니다.1:35그리고 X에서 봤던 AI 거품에 대한 이야기들, 그리고 그런 논의들이 굉장히 거창해 보였어요.1:43제가 이혼한 이유는 프론티어 랩에서 무슨 일이 벌어지고 있었는지, 그리고 우리가 무엇을 보고 있었는지를 알고 있었기 때문입니다. 그것이 제가 이혼을 결심하게 된 계기였습니다.1:49세상이 너무 빨리 변해서 사람들이 미래를 예측하는 데 어려움을 겪는 건 아닌지 조금 궁금하네요.1:56직관적으로 이해해요. 아, 지금은 멀게 느껴질지 모르지만, 시간이 지날수록 두 배로 늘어나고 있어요.2:01수개월이 걸릴 것이라는 뜻인데, 이는 우리에게 가까워지면 상황이 훨씬 나아지고 좋아질 것이라는 의미입니다.2:06빠르게요. 그리고 그건 제게 다른 방식으로, 초기 공동 작업 중에 일어났던 일들을 많이 떠올리게 했어요.2:12저희도 비슷한 상황을 겪었어요. 처음에는 사례가 너무 적어서 '와, 절대 이런 일은 없을 거야'라고 생각했죠.2:17고작 몇백 명밖에 안 되는데. 누가 신경 쓰겠어? 하지만 계산을 이해하고 살펴보면, 아, 매번 두 배로 늘어날 거라는 걸 알 수 있지.2:23일주일, 이주일 정도 걸릴 겁니다. 분명히 엄청난 규모가 될 거예요. 하지만 우리가 직관적으로 이해하기는 매우 어렵습니다.2:29이러한 기하급수적 추세는 우리가 평소에 익숙한 환경과는 다르기 때문입니다. 그래서 그런 겁니다.2시 35분문득 이런 생각이 들었어요. 인공지능 분야에서도 비슷한 일이 벌어지고 있는 건 아닐까? 우리가 분명히 보고 있다면...2:42수많은 벤치마크와 평가를 통해 우리는 여러 기간에 걸쳐 매우 일관된 개선을 확인하고 있습니다.2시 50분모두가 3~4개월이면 어떤 일을 할 수 있다고 말하는 몇 년 동안2시 55분이전보다 두 배나 더 오래 걸리고 완전히 자체적으로 이루어지기 때문에 이를 외삽하면 1년 후에는 그렇게 될 것이라는 것을 알 수 있습니다.3:02지금부터 아마 2년 후쯤에는 최상위 모델들이 완전히 독립적으로 일할 수 있게 될 겁니다.3:08하루 종일 또는 그 이상. 여기에 더해 지식 기반 일자리가 엄청나게 많다는 사실까지 고려하면 더욱 그렇습니다.3:14경제, 지식 기반 업무, 그리고 이 모든 것을 아우르는 최첨단 연구소에서 우리는 어떠한 진전도 둔화시키지 않고 있습니다.3:22그런 것들을 종합해 보면, 아시다시피 반년이나 1년이라는 아주 짧은 기간 안에 벌써 그런 일들이 일어나고 있네요.3시 28분엄청난 경제적 파급 효과가 있을 것이라는 것을 알기에 충분합니다. 즉, 현재 상황을 살펴보면, 예를 들어 다음과 같은 상황을 살펴보면,3시 34분OpenAI, Enthropic, Google의 평가들을 살펴보면 이러한 사실들을 알 수 있습니다.3:41그 매출 수치는 사실 상당히 보수적인 수치입니다. 제가 최근에 더 살펴본 몇 가지 사항을 고려해 보면, 아마도 실제 매출은 그보다 더 높을 가능성이 있습니다.3시 48분사실, 여러분이 알고 있는 것보다 훨씬 더 흥미롭고 복잡한 것이 바로 이러한 최첨단 연구소와 최첨단 모델들입니다.3:54분명히 매우 유능하고 엄청난 성장 궤도에 있는 것 같아요. 다른 사람들도 많이 있죠.4:02그렇죠, 같은 AI 분야에 진출하려고 하는 회사들이요.4:08또한 매우 높은 평가를 받지만, 그에 걸맞은 수익을 내지 못하는 경우도 있습니다. 따라서 그러한 가능성이 있습니다.4:14동시에 더 넓은 생태계 안에 있는 일종의 거품과 같은 존재가 될 수도 있다.4시 20분동시에 프론티어 랩은 매우 견고한 궤도에 올라서 있으며 많은 것을 갖추고 있습니다.4:25수익이 많아서 엄청난 돈을 벌고 있다는 뜻이네요. 제 생각엔 꽤 이례적인 상황인 것 같습니다.4:31과거에, 예를 들어 닷컴 버블 시기쯤에 사람들이 철도 건설 붐 같은 것에 대해 이야기했던 것처럼 말이죠.4:37이런 것들 때문에 우리는 이분법을 보지 못했어요. 그래서 제 생각에는 네, 제가 그랬던 것 같아요.4:42이 문제를 더 생각해 볼수록 상황이 점점 더 흥미로워지는 것 같습니다. 정말 매력적이네요. 방금 몇 가지 사항을 언급하셨는데요.2026~2027년: 하루 종일 근무하는 상담원; 전문가 수준의 폭넓은 지식4:4826과 27에 대한 당신의 예측이나 추정치를 좀 더 자세히 설명해 주시겠어요?4:54당신은 그런 걸 세 번이나 가졌었죠. 아마 당신은 그걸 제 예측이라고 부르는 게 제 자신을 너무 과대평가하는 거라고 생각할지도 모르겠네요, 그렇죠? 그냥 이렇게만 말할게요. 만약 당신이 찾는다면5시예를 들어 계량기 평가에서 선형 회귀 분석을 너무 순진하게 외삽하는 경우, 바로 그런 겁니다.5시 7분예상했던 일이죠. 그래서 저는 겸손하게 "아, 대부분의 경우 그렇죠."라고 말하려고 합니다.5:13통계 모델이나 통계적 외삽법보다 더 똑똑하지는 않을 겁니다.5시 18분과거의 추세는 매우 일관적이었습니다. 그래서 저는 겸손한 자세로, 제가 연구에 대해 많이 알고 있다고는 하지만,5시 24분무슨 일이 일어나고 있는 거지?" 아마도, 음, 내가 할 수 있는 가장 가능성 높은 예측은 사실 그냥...5시 30분그 데이터와 추정치를 따라가면서 어디로 이어지는지 살펴보죠. 네, 그런 경우라면, 만약 당신이 롤링을 한다면요.5시 36분다른 기준들을 살펴보면, 내년에는 아마도 비슷한 결과가 나올 거라고 생각합니다.5시 41분모델들은 하루 종일 스스로 작업을 수행할 수 있을 것입니다. 소프트웨어를 생각해 보면, 아마 이렇게 말할 수 있을 겁니다.5시 47분예를 들어, "아, 이 기능 전체를 구현하고, 앱의 모든 구성 요소를 구축해야 해."라고 생각하는 거죠. 지식 노동을 생각해 보면,5시 54분어쩌면 연구 보고서 전체를 작성하는 것과 같은 규모일 수도 있습니다. 제가 생각하기에 과제의 길이가 특히 중요한 이유는 다음과 같습니다.6시흥미로운 점은 바로 그것이 더 많은 것을 위임할 수 있게 해준다는 것입니다.6시 6분언어 모델을 에이전트로 전환하는 데 더 많은 작업이 필요합니다. 아무리 똑똑한 모델이라도 피드백이나 추가 작업이 필요하다면 소용없습니다.6시 12분만약 시스템과 매우 자주 상호 작용해야 한다면, 위임할 수 있는 범위가 상당히 제한될 것입니다. 10분마다 한 번씩 시스템과 대화해야 한다면,6시 18분몇 분 정도 걸리는 작업이라면 얘기가 다르죠? 반면에 몇 시간씩 걸리는 작업이라면 당연히 한 개만으로는 부족하고 여러 개를 만들어야겠죠.6시 25분팀 전체에 작업을 위임하고 관리하는 것이죠. 그래서 모델이 정말 중요한 이유라고 생각합니다.6시 31분사실 에이전트들은 스스로 오류를 수정할 만큼 충분히 똑똑합니다.6시 37분반복하는 이유는 그것이 실제로 위임을 가능하게 하는 핵심이기 때문입니다. 테스트 길이와 완료 시간은 다음과 같습니다.6시 44분진행 상황 측정 지표입니다. 2026년 중반쯤에는 에이전트가 하루 종일 자율적으로 작업할 수 있다고 하셨는데, 2026년 말쯤에는 적어도 한 명은 가능할 것 같습니다.6시 51분이 모델은 다양한 직종의 업계 전문가들을 매칭하고, 2027년까지 모델을 완성할 예정입니다.6시 57분많은 작업에서 전문가보다 뛰어난 성과를 자주 보여줍니다. 따라서 실행하는 데 더 많은 시간이 걸립니다.7시 3분그리고 경제 전반에 걸친 일반화와 관련하여, 당신은 GDP 값과 오픈 AI 지표를 언급하셨는데, 음, 예를 들어...7시 11분벤치마크를 통해 이미 여러 직업 분야에서 진전이 이루어지고 있음을 확인할 수 있습니다.7시 16분네, 제 생각에 GDP는 OpenAI에서 만든 아주 훌륭한 평가 도구 같아요. 그들은 실제 데이터를 많이 수집했거든요.7시 22분실제 분야 전문가들이 제시하는 세계적인 과제들을 통해 여러분이 경제 현장에서 실제로 하게 될 일들을 제대로 반영하는지 확인합니다.7시 28분그런 다음 그들은 해당 작업에 대해 많은 모델을 평가했습니다. 그리고 실제 전문가의 성능과 비교하여 다음과 같은 결과를 얻었습니다.7시 35분우리가 상당한 경제적 영향을 미치기까지 얼마나 가까워졌는지, 혹은 얼마나 멀어졌는지 알 수 있는 아주 좋은 지표라고 생각합니다. 그래서 저는 이렇게 생각합니다.7시 43분정말 멋진 평가네요. 당연히 드는 질문은 GGB 값과 미터가 신중하게 고려되었는지 여부입니다.7시 50분음, 설계된 벤치마크들이죠. 규정 준수, 책임, 복잡한 데이터 등을 고려했을 때, 어떻게 생산 가치를 예측할까요?7시 57분세상은 복잡하고, 도구 사용에 따른 마찰 등 여러 가지 문제가 얽혀 있죠. 그래서 저는 복잡함과 작업이라는 개념을 떠올립니다.8시 4분독립적으로 일할 수 있는 기간과 같은 길이는 매우 유사하거나 밀접한 관련이 있습니다.8시 11분그래서 저는 그 계측기가 모델이 얼마나 오랫동안 자체적으로 작동할 수 있는지 측정하려고 한다는 점이 흥미롭다고 생각합니다. 왜냐하면 만약 당신이8시 18분생각해 보세요. 사람이 8시간에서 16시간이나 걸리는 작업을 어떻게 생각해낼 수 있을까요?8시 25분측정을 하려면 이 모든 혼란과 현실 세계의 어려움을 모두 포함해야 할 것입니다. 하지만 저는8시 32분궁극적으로 더 나아가기 위해서는 기준점이 필요하다고 생각합니다. 우리는 정말로 기준점을 원합니다.8시 37분업계 관계자든 개인 사용자든 실제 사용자의 평가가 중요합니다. 왜냐하면 궁극적으로는 그것이 가장 중요한 요소이기 때문입니다.8시 43분중요한 거죠, 그렇죠? 예를 들어, 그 모델이 당신에게 도움이 되나요? 그걸 통해 얻는 게 있나요? 서류 작업을 처리해 주나요? 도움이 되나요?8시 49분뭔가를 작성하고, 코드를 수정하고, 공부하는 데 도움이 되잖아요? 그게 바로 진짜 증거라고 생각해요. 새로운 모델을 출시하면,8시 55분네, 사람들이 더 많이 사용하게 될까요? 정말 좋아할까요? 당신의 생각을 바꿀 만한 요소가 있을까요?벤치마크와 현실의 차이: 장기적인 관점의 작업, GDP-가치, 사용자 가치9시마음? 실제 채택률이든 벤치마크 성능이든, 어떤 신호든 간에, 변화를 가져올 만한 무언가가 있을까요?9시 7분지수 함수에 대해 좀 더 조심해야 할까요? 혹시 다른 고려 사항이 있을까요?9시 14분마음을 바꾸세요. 제 말은, 많은 것들이 그렇다는 뜻이에요. 네, 제 생각에는 당신처럼 이런 것들 중 많은 부분이 당신과 닮았다고 생각해요.9시 19분내부 정보만 알고 있는 게 맞다면, 모델 사전 학습, 미세 조정, 강화 학습 등을 살펴볼 수도 있겠네요.9시 26분새로운 실행 결과가 이전 실행 결과와 비교했을 때 어떤지, 우리의 기대에 부합하는지, 그리고 확장이 계속되는지 등을 알고 계시죠?9시 33분음, 사람들이 실제로 그러한 모델을 더 효과적으로 활용할 수 있는지와 같은 공개적인 측면을 더 살펴볼 수도 있겠네요.9시 39분예를 들어 처음에는 생산적이라고 할 수 있죠. 항상 적응 기간이 필요하잖아요. 클라우드 코드 같은 새로운 도구를 사용하려면 시간이 좀 걸리니까요.9시 45분사용법을 파악하는 것도 중요하지만, 중장기적으로 사람들이 계속해서 그것을 사용할지, 더 많이 사용하게 될지 궁금합니다.9시 51분그걸 사용하면 생산성이 더 높아질 거라고 생각해요. 제가 여러 가지 신호를 살펴보는데, 그렇게 하면 생산성이 더 높아질 거라고 생각해요.9시 58분강화 학습을 하면서 연구를 하다 보면, 어떤 신호를 찾아내서 증명하려는 습관이 많이 생기는 것 같아요.10시 4분스스로 잘못 생각하고 있는 거예요. 왜냐하면 당신은 종종 자신이 가진 생각에 집착하게 되는데, 그건 좋은 방법이 아니거든요.10시 11분연구, 그렇죠? 당신의 아이디어 대부분은 좋지 않고 성공하지 못할 거예요. 그러니까 정말로 알아내야 할 건 최대한 많은 정보를 얻는 거예요.10시 17분이 아이디어가 좋은지, 아니면 실제로 틀린지 최대한 빨리 확인해야 합니다. 그러니 이런 습관을 들이면 좋을 겁니다.10시 22분예를 들어, '아니, 이건 사실이 아니야'라는 것을 보여줄 가장 빠른 방법을 찾는 것처럼요. 그래서 2026년이나 2027년까지 당신의37번째 수 — 실제로 무슨 일이 일어났고 왜 중요했는가10시 30분인공지능이 인간만큼 뛰어나게 될 것이라는 예측 프레임워크. 현재 핵심 질문은 인공지능이 어느 정도까지 인간 수준에 도달할 수 있느냐는 것입니다.10시 39분인간보다 더 나아질 수 있을까요? 요즘 그런 이야기가 좀 나오더라고요.10시 46분대략 37번째 이동과 AI가 외계인과 같은 새로운 경로를 만들어낼 수 있는지 여부에 대해서요.10시 54분생각하고 어려운 문제를 해결하세요. 우선 청중에게 37번째 동작이 무엇인지 다시 한번 상기시켜 드리고, 인공지능이 그것을 할 수 있다고 생각하시는지 여쭤보겠습니다.11시 02분현재 상태로는 앞으로 점점 더 많은 이동을 제공할 수 있게 될 것입니다.11시 8분37 유형의 사고방식인가요? 네. 그러니까, 배경 설명을 드리자면, 37번 동작은 우리가 건물을 짓고 있을 때 나온 거예요.11시 16분2016년 당시의 알파고 AI 바둑 프로그램은 어떤 모습이었을까요?11시 21분생각해 보세요, 우리는 당시 세계 최고의 선수 중 한 명과 경기를 하고 있었던 겁니다. 왜냐하면 그 당시에는 인공지능 프로그램이 없었으니까요.11시 28분컴퓨터 프로그램이 바둑에서 최고의 인간 기수들을 이긴 적은 한 번도 없었고, 그것은 아시다시피 가장 놀라운 일 중 하나로 여겨졌습니다.11시 33분가장 어려운 보드 게임 중 하나는 마치 지능을 시험하는 진정한 테스트 같아요. 37번째 수는 두 번째 게임에서 나왔습니다.11시 40분알파 고가 정말 예상치 못한 파격적인 플레이를 펼친 5K 경기.11시 47분많은 프로 바둑기수들을 놀라게 한 수였죠. 해설자도 그렇게 말했던 걸로 기억해요. 정말 놀라운 수였어요.11시 52분창의적이고 예상치 못한 방식으로, 결국 알고리즘이 그 게임에서 승리했습니다. 그래서11시 59분제 생각에 그것은 많은 사람들에게 인공지능이 단순히 순수한 기술만이 아니라는 것을 보여주는 초기 징후였을 것입니다.12시 05분최적 경로를 따라 계산하는 것 외에도 다른 일을 할 수 있습니다.12시 10분모방만으로는 알 수 없을 거라고 생각했던 정말 참신하고 창의적인 것들을 알게 된 것일지도 모릅니다.12시 15분그의 훈련 데이터 말이죠. 네, 제 생각엔 그게 현대적인 맥락에서도 아주 중요한 것 같아요. 왜냐하면 말씀하신 것처럼, 요즘에는 이런 논의가 많이 있잖아요.12시 22분LM은 단순히 훈련 데이터를 페어링하는 것일까요? 실제로 새로운 작업을 수행할 수 있을까요? 저는 오랫동안 이 분야에 종사해 왔기 때문에,12시 27분오랜 연구를 통해, 이 모델들이 참신한 일들을 해낼 수 있다는 것이 꽤 분명해졌다고 생각합니다. 그리고 바로 그 점 때문에 이 모델들이 그토록 주목받는 것이죠.12시 34분많은 사람들에게 유용합니다. 예를 들어 코드를 작성하는 데 도움이 되죠. 당연히 코드를 직접 작성하는 것만이 전부는 아니니까요.12시 40분이미 가지고 있는 코드 중에서 그다지 흥미롭지 않거나 논문 작성 등에 도움이 되지 않는 코드는 제외하세요.12시 47분모델은 말 그대로 전체 확률 분포를 생성하도록 훈련됩니다. 즉, 우리가12시 54분그것들로부터 샘플을 추출하면 무한히 많은 새로운 시퀀스를 생성할 수 있습니다. 어떤 질문에 대해서든 말이죠.13시 01분37번째 동작처럼요. 제 생각엔 거기서 정말 중요한 건 그게 어떤 것인지, 즉 그것이 무엇인지에 달려 있는 것 같아요.13시 06분충분히 창의적이고 인상적이어서 우리는 그것을 쉽게 알아볼 수 있습니다.13:11바둑 게임 말이죠, 조건이 꽤 이상적이었어요. 왜냐하면 아주 깔끔하고 추상적이어서 각자 정말 잘 해낼 수 있었거든요.13시 19분움직임은 매우 큰 영향을 미치기 때문에 확실히 눈에 띄게 볼 수 있다고 생각합니다. 현대 모델에도 그와 동등한 것을 적용하려면...13:26충분히 어렵고 흥미로운 과제와, 두 가지 조건을 모두 충족하는 모델이 결합되어야 합니다.13시 32분다양하고 창의적인 아이디어를 충분히 창출할 수 있을 뿐만 아니라 평가 능력도 갖추고 있다.13시 38분그것들이 얼마나 훌륭한지 정확하게 파악하여 점점 더 새로운 방향으로 나아갈 수 있도록 하면서 동시에 이 소설이 제대로 된 작품이 되도록 해야 합니다.13시 44분이 경로는 실제로 흥미롭고 유용합니다. 언어 모델을 사용하면 새로운 것을 만드는 것이 실제로 매우 쉽습니다.13시 51분가장 어려운 부분은 유용하고 흥미로운 참신한 것들을 만들어내는 것입니다. 이를 더 확장해 보면, 다음과 같은 점이 있습니다.혁신적인 과학: 알파코드/알파텐서 → 인공지능은 언제 노벨상을 받을 수 있을까?13시 57분새로운 과학을 창조한다는 아이디어. 단순히 한 가지 움직임이 아니라, 완전히 새로운 ID를 만드는 것과 같은 거죠.14:03새로운 개념이네요. 현재 이 개념에 대한 당신의 생각은 어떤가요? 알파 코드와 알파라고 생각합니다.14:08텐서는 새로운 프로그램과 알고리즘을 발견할 수 있다는 것을 증명했습니다. 음, 아주 그렇습니다.14:15최근, 아마 지난주쯤이었던 것 같은데, 구글이 마음과 소리를 지르는 것에 대한 소식이 있었죠.14:21어, 생의학 분야에서도 완전히 새로운 것들을 계속해서 만들어내고 있죠.14:28당신은 그것이 가속화되고 있고 인공지능이 발견 과정에 있다고 생각하십니까?14:34새로운 과학이라고요? 네, 저는 우리가 지금 새로운 것들을 발견하는 단계에 확실히 도달했고, 계속 발전해 나가고 있다고 생각합니다.14:41그것이 스스로 발견할 수 있는 것들이 얼마나 인상적이고 흥미로운가의 척도라고 생각합니다. 그래서 저는 그것이14:48내년쯤에는 사람들이 익명으로 알고 있는 내용과 관련된 몇 가지 사실이 밝혀질 가능성이 매우 높습니다.14:57정말 인상적이라는 데 동의합니다. 지금으로서는 '아, 드디어 왔구나' 하는 단계에 더 가까운 것 같아요.15:03뭔가 구상 중인데 논란도 있고... 하지만 전 이 과정을 지켜보고 있어서 크게 걱정하지는 않아요.15시 08분계속 진행하다 보면, 일단 충분히 명확해지면 논쟁할 필요가 줄어들겠죠. 어떻게?15:13인공지능이 노벨상을 수상하는 날이 얼마나 멀었다고 생각하세요? 네, 저는 그게 정말 먼 미래의 일이라고 생각해요.15:19흥미로운 질문이죠? 알파폴드로 인공지능 분야 노벨상을 받았으니까요. 그래서 다음에는 또 다른 수상자가 나올 거라고 생각합니다.15:26인공지능이 스스로 언제쯤 획기적인 발전을 이룰 수 있을지가 매우 흥미로운 관건이 될 것입니다.15시 33분그건 노벨상을 받을 만한 일이죠. 그리고 제 생각에 그 정도 수준의 능력이라면 노벨상을 받을 만할 겁니다.15:39아마 2027년쯤 될 것 같아요. 한참 후에나 알 수 있을 것 같습니다.15시 44분가격 정보 확보에 시간이 걸리기 때문에 나중에야 가능하겠지만, 2027년이나 2028년쯤에는 가능할 것 같습니다.15:52모델들이 충분히 똑똑하고 능력이 있을 가능성이 매우 높습니다.15시 58분그 정도의 통찰력과 발견을 실제로 해냈다는 건 정말 놀랍네요. 노벨상 감인 것 같아요.16:04필즈 수학상과 같은 여러 발전적인 성과들 말이죠. 제가 정말로 기대하는 부분이 바로 그런 것들이에요.16:10사실 이것은 과학을 발전시키고 모든 미스터리를 풀어내는 데 도움을 줄 수 있는 인공지능과 같은 것입니다.16:16우주와 우리의 삶의 질 및 능력 향상에 관한 모든 것들16:23우리가 세상을 더 잘 이해했다면 가질 수 있었을 것들 말이죠. 좋습니다. 그럼 이걸 더 확장해 보면 2027년의 인공지능 시대가 오게 되는 겁니다.불연속성 vs. 순조로운 진행 (및 경고 신호)16시 31분아마 여러분도 보셨을 만한 그겁니다. 그러니까 AI에 대한 전반적인 아이디어는...16시 38분AI는 새로운 과학을 창출할 수 있고, AI 연구자들을 양성할 수 있으며, 기본적으로16시 45분AI는 스스로를 만들어낼 수 있는데, 이는 사실상 단절로 이어진다.16:51순간이네요. 그래서 블로그 게시글에 있는 게 특이점인지 아닌지 잘 모르겠어요.16시 56분뭐 어쨌든. 음, 그런데 그게 당신 생각에 그 분야에 대해 가능한 한 깊이 파고든 사람처럼 보이나요?17:02단기적으로 가능한 것일까요, 아니면 서로 상쇄되는 힘 때문에 장기적으로 불가능해지는 것일까요?17시 07분불연속으로 가는 길은 가까워질수록 더 어려워지는 건가요? 네, 저는 진정한 단절은 극히 드물 거라고 생각합니다.17:16아시다시피 AI 연구자들은 이미 AI를 활용하여 연구 속도를 높이고 있습니다. 그렇다면 이미 무엇이 있을까요?17시 24분현재 일어나고 있는 일, 그리고 앞으로도 계속될 가능성이 높은 일은 생산성이 꾸준히 향상되는 모습을 보게 될 것이라는 점입니다.17시 31분그리고 나서 가장 중요한 미해결 과제는 인공지능 개선의 난이도가 어떻게 일정하게 유지되는가 하는 것입니다.17시 37분확장성은 많은 과학 분야에서 흔히 나타나는 문제이자 매우 일반적인 현상인데, 우리는 모든 쉬운 것을 찾아낸다는 점에서 비롯됩니다.17:43먼저 문제점을 파악하고, 그 문제를 계속 탐구하면서 해당 분야가 점차 발전해 나가는 것을 알게 됩니다.17시 48분진전을 이루기가 점점 더 어려워지고 있습니다. 그래서 제 생각에 가장 중요한 질문은 이 두 가지 추세가 균형을 이룰 수 있느냐는 것입니다.17시 54분서로에게 알려주는 이유는 인공지능이 우리를 점점 더 생산적으로 만들어준다는 것을 알기 위해서입니다.18:00발전하기가 점점 더 어려워짐에 따라 우리는 대략적인 추세를 유지하면서 꾸준히 개선해 나가는 것 같습니다.18시 05분선형적으로 진행하거나 여전히 너무 어렵다면 결국 시간이 지난 후에야 성장 속도가 둔화되는 것을 보게 될 것입니다.18:12생산성이 그렇게 크게 향상될 것 같지는 않다고 생각합니다.18:19실제로 가속화할 수 있습니다. 이는 다른 어떤 과학 분야와도 매우 다를 것입니다. 많은 과학 분야에서 일반적인 과정은 다음과 같습니다.18시 24분이 분야에서 우리가 진전을 계속 이루려면 연구 노력을 기하급수적으로 늘려야 한다는 것입니다.18시 31분새로운 통찰력을 찾아보세요. 예를 들어, 약리학에서 새로운 사실을 발견하는 것을 생각해 보세요.18시 37분요즘 신약 개발에는 수십억 달러가 투자되고 있습니다.18시 43분약물과 비교해 보면, 아마 100년 전에는 한 과학자가 우연히 최초의 항생제를 발견했을 수도 있겠죠.18시 49분갑자기 이륙하는 상황이 벌어져도 놀라지 않을 겁니다. 아, 저희는 그냥 조사 중일 뿐이에요.18시 55분갑자기 우리 모델이 10배는 더 좋아졌어요. 우리는 앞으로 점점 더 빠른 속도로 발전하고 있다는 긍정적인 신호들을 보게 될 거예요.19:01한 주 동안. 뭔가 변화가 일어나고 있다는 걸 알 수 있어요. 만약 무슨 일이 일어나고 있는지 이해가 안 되신다면 잠시 멈추는 것도 괜찮을 것 같아요.19시 07분현재 현대 인공지능 시스템에 대한 접근 방식이 효과적이라고 생각하십니까?사전 훈련과 강화 학습이 목표 달성에 도움이 될까요? (인공 일반 지능 논쟁은 차치하고)19:12사전 훈련과 강화 학습을 결합하면 우리가 원하는 목표에 도달할 수 있을까요? 그것을 무엇이라고 부르든 간에 말입니다.19시 20분AGI SI, 그 용어들이 정확히 무엇을 의미하는지는 불분명해요. 그런데, 음, 그렇게 느끼세요?19:27이 패러다임이 옳은 것일까요, 아니면 다른 패러다임을 찾아야 할까요?19시 33분변압기 이후의 건축 전체를 놓고 봤을 때 어떤가요? 정말 좋은 질문이라고 생각합니다.19시 38분우리가 어디에 있고 싶은가라는 말이 무슨 뜻인지에 따라 크게 달라질 것 같아요. 그러니까 제 생각에는 만약19시 44분당신은 "우리는 대략적인 성능을 낼 수 있는 시스템이 필요해"라고 생각하고 있는 것 같네요.19시 49분인간 수준에서 생산성을 발휘한다면, 우리가 중요하게 생각하는 거의 모든 작업에서 저는...19시 55분네, 현재의 접근 방식, 즉 사전 훈련이나 트랜스포머 방식이 우리에게 큰 도움이 될 가능성이 매우 높다고 생각합니다.20:00거기요. 만약 당신이 관심을 갖는 것이 "우리는 우리와 같은 방식으로 의식을 가진 지능 모델을 갖고 싶다"라면요.20:07아니면 이런 좀 더 추상적인 특성 같은 건, 어쩌면 더 불확실하다고 생각해요. 그리고 바로 이 부분이 많은 부분을 차지하는 것 같아요.20시 15분혼란과 의견 불일치는 말씀하신 대로 AGI ASI와 같은 것을 아는 데서 비롯됩니다.20:20아시다시피, 사람들이 "현재의 패러다임이 바뀔 것이다"라고 말할 때, 그들은 매우 다른 것들을 이야기하고 매우 다른 생각을 가지고 있습니다.20:26거기까지는 안 갈 거예요. 저는 AI나 ASI라는 용어를 잘 안 쓰고 좀 더 구체적으로 얘기하는 걸 좋아해요.20시 32분우리가 어떤 문제를 해결하고 있는지, 어떤 과제를 수행하고 있는지, 어떤 품질에 관심이 있는지 아시잖아요. 왜냐하면 저는20시 38분그렇게 하면 실제 의견 차이가 훨씬 더 명확해지는 경우가 많다는 걸 알게 됐지만, 네, 그냥 생각만 한다면...20시 44분이것이 우리의 생산성을 획기적으로 향상시키는 데 도움이 될까요? 이것이 속도를 획기적으로 높일까요?20시 50분과학적 진보를 고려할 때, 저는 현재의 접근 방식이라면 분명히 목표에 도달할 수 있을 거라고 생각합니다. 그리고 당신이 이 분야에 얼마나 깊이 관여하고 있는지 생각해 보면 더욱 그렇습니다.서튼의 "RL을 처음부터 다시 배우기"? 줄리안의 생각20시 59분요즘 유행하는 질문을 안 할 수가 없네요... 어...21:06리처드 서튼이 최근 도리쉬 팟캐스트에 출연한 내용을 바탕으로...21:12미래의 모델들은 처음부터 강화 학습 방식으로 훈련될 것이라고 생각합니다.21:19사실 강화 학습에 사전 훈련을 추가하는 것은 잘못된 방법입니다.21:25갈 수 있을까요? 개인적으로는 그럴 가능성이 낮다고 생각합니다. 사전 훈련이 엄격하게 제한적이기 때문이 아니라,21시 30분필수적입니다. 저는 우리가 완전히 다른 방식으로 무언가를 훈련시킬 수 있을 거라고 생각합니다.21:36다른 영역에서처럼 처음부터 다시 시작할 수 있었습니다. 하지만 그보다는 사전 학습 덕분입니다.21:42우리가 보유한 이 방대한 데이터 세트는 우리에게 매우 큰 가치를 가져다주기 때문에 우리는21시 48분실질적인 관점에서 볼 때 포기하고 싶지 않습니다. 그래서 저희는, 아시다시피, 몇 가지 조치를 취할 수도 있습니다.21시 55분과학적 관심에서 비롯된 순수한 호기심으로 처음부터 훈련된 요원들. 그들이 어떤 결과를 만들어낼지 알아보는 것은 매우 흥미로울 수 있습니다.22:01비인간 지능은 이렇게 생겼습니다. 하지만 프로그램적인 관점에서 보면, 저는22시 08분사전 학습 데이터를 계속 사용하는 것이 좋다고 생각합니다. 효율성 측면뿐만 아니라, 안전성 측면에서도 흥미로운 점이 있다고 봅니다.22:14각도는 우리가 가진 모든 인간 지식을 바탕으로 사전 훈련을 통해 얻을 수 있기 때문입니다.22:20우리와 유사한 가치관을 가진 에이전트를 암묵적으로 만들어내는 것이며, 이는 조화를 이루는 데 매우 유용하다고 생각합니다.22:27음, 아시다시피, 매우 지능적인 요원이라면, 처음부터 대략 같은 것들에 관심을 갖는 것부터 시작하는 거죠.22:33그런 가치들은 상황을 훨씬 쉽게 만들어주고, 그러면 당신은 임의의 외계 지능을 만들어낼 수도 있습니다.22시 40분가치관이 완전히 다릅니다. 과거에 처음부터 강화 학습을 많이 해봤음에도 불구하고, 저는 이 문제에 대해 상당히 실용적인 편이라고 생각합니다.22시 45분저는 정렬에 관한 그 특정 논의를 나중에 다시 살펴보고 싶습니다.22:51우리가 안전을 확보하기 위해 하는 일들을 나중에 대화에서 좀 더 자세히 다뤄보면 좋을 것 같아요. 굉장히 흥미로운 주제라고 생각하거든요. 음, 하지만...22:59잠시 화제를 바꿔볼까요? 음, 조금 다른 이야기를 해볼까 합니다.줄리안의 경력: 구글 → 딥마인드 → 앤트로픽23시 05분당신의 이야기 일부를 들려주시고, 그 다음에는...23:11구글 딥마인드에서 근무하시다가 합류하시기 전에 하신 엄청난 업적에 대해 말씀드리겠습니다.23:17알파 고 알파 제로 M0 주변의 인류 활동. 음, 그러니까 아마 3~4분 정도면 될 것 같아요.23:24어린 시절 당신의 개인적인 이야기를 들려주세요. 어떤 과정을 거쳐 세계적인 AI 전문가가 되었나요?23시 33분연구원이요? 네, 사실 어렸을 때는 인공지능 연구원이 될 거라고는 전혀 예상 못 했어요. 저는 항상...23:39저는 컴퓨터에 관심이 많았고 오스트리아 시골의 작은 마을에서 자랐습니다.23시 45분마을이었어요. 그러니까, 뭐랄까, 엄청나게 많은 일이 벌어진 건 아니었지만, 컴퓨터는 항상 있었죠.23:51제게는 아주 흥미로운 주제입니다. 마치 더 넓은 세상과 다른 흥미로운 것들과 연결되는 것 같거든요.23:56저도 컴퓨터 게임에 굉장히 관심이 많았어요. 아마 그때 처음으로 게임에 흥미를 갖게 된 것 같아요.24:02프로그래밍을 시작한 이유는 나만의 게임을 만들고 싶었기 때문인데, 이는 많은 사람들이 공통적으로 갖고 있는 생각이라고 봅니다.24:07프로그래밍을 시작하는 사람들이 많죠. 하지만 저는 어쩐지 항상 기술적인 부분에 정신이 팔리곤 했어요.24:13제가 만들려는 게임 엔진은 어떤 종류의 게임이든 실행할 수 있는 아주 범용적인 게임 엔진입니다. 그래서 저는 결코24:20실제로 게임을 만들지는 못했지만, 게임 엔진 제작과 다양한 기술에 대해 많은 것을 배웠습니다.24:27제가 결국 비엔나에서 컴퓨터 과학을 공부하게 된 계기는 바로 그거예요. 네, 비엔나에 컴퓨터 과학 정규 학위 과정이 있었거든요.24:34그리고 우연히 첫해 여름 방학 때, 저는24:40구글에서 인턴십을 하면서 '와, 이 사람들이 정말 흥미로운 일들을 하고 있구나'라고 깨달았어요.24:47아시다시피, 그곳에 수만 대의 기계가 모여 있는 대규모 클러스터가 있습니다. 저는 그런 곳을 처음 봤습니다.24:53학계에 남고 싶었던 제 계획을 완전히 바꿔놓았고, 아시다시피 저는...24:58처음에는 박사 과정을 생각해 봤는데, 나중에 마음을 바꿨어요. 아니, 사실은 그냥 구글에 입사하고 싶었어.25:04그리고 저는 최대한 빨리 학위를 마칠 거예요. 그래서 사실 그때 정규직 자리를 얻게 됐어요.25:10구글에서 일하면서 다음 해에 학위를 마치고 런던으로 이사할 계획이었어요. 그래서 저는 그냥 평범한 소프트웨어 엔지니어로 일하고 있었죠.25:17구글이 실제로 광고 분야에서 일하고 있다는 점이 저는 그다지 마음에 들지 않았습니다.25:22혹은 관심이 있었죠. 그러니까 기술 자체가 흥미로웠던 거죠? 이런 거대한 시스템들이요.25:28구글은 유명한 뛰어난 기술력을 보유하고 있지만, 실제로 알고 나면...25:34이맘때쯤 저는 광고업계에 완전히 질려버렸고, 그래서25:39사실 저는 구글을 떠나 헤지펀드에 들어가 금융업계로 진출할 계획이었는데, 우연히25:46회사 이메일함에서 데미스라는 사람이 사무실에 와서 아타리에 대해 강연을 한다는 이메일을 봤어요.25:53그리고 비디오 게임과 인공지능. 사실 그날은 쉬는 날이었는데, 다른 곳에 있는 친구를 만나러 갔었거든요.25:59영국이었죠. 하지만 그 이메일이 너무 흥미로워 보여서 ​​"아, 안 돼. 기차 타고 사무실로 돌아가야겠어."라고 생각했어요.26:04"지금 당장 이 강연을 보세요." 네, 정말 다행이라고 생각해요. 이 이메일을 보고 다시 확인해 봤거든요.26:12왜냐하면 바로 그 순간, '아, 안 돼, 난 금융업에 종사하지 않을 거야. 다른 길로 가야겠어'라고 결심했거든요.26:17딥마인드. 이 사람들에 합류하려고 해요. 정말 흥미롭고 놀라운 일처럼 보이거든요.26:23정말 흥미로운 연구를 하고 있네요. 좋습니다. 알파 고, 알파 고 제로, 알파 제로, 뮤0에 관한 이야기를 들려주시겠어요?26:33왜냐하면 인공지능 분야에 관심 있는 사람이라면 누구나 알아야 할 기본적인 지식처럼 느껴지기 때문입니다.26:40알아야 할 것은 특히 그 진행 과정을 이해하는 것입니다. 그래서 음...알파고(학습 + 탐색)를 쉽게 설명하자면 다음과 같습니다.26:45알파고의 시작부터 얘기해 보자면, 방금 전에도 언급하셨지만, 알파고는 무슨 일을 했나요? 어떻게 훈련받았나요?26:53그리고 그게 각 버전 알파마다 어떻게 발전해 나갔는지, 그 당시 상황을 생각해 보면 어떤 의미였는지 알 수 있을 것 같아요.26:59머신러닝 커뮤니티는 모두가 공감하는 정말 큰 표적이었습니다.27:05아, 그거 알잖아, ImageNet이 바로 직전에 일으켰던, 해결되지 않은 거대한 도전 과제 같은 거 말이야.27:12그러니까 모델들이 이미지를 다루고 인식하고 예측하는 능력을 갖추기 시작했다는 건 분명한 사실이죠.27:18바둑판을 잘 보면, 분류법에 사용되는 이미지들과 아주 비슷하게 생겼죠.27:23신경망을 이용해 바둑을 두는 방법에 대한 관심이 상당히 높았습니다.27:29당시 데이비드 실버와 아샹딥은 바둑을 연구하고 있었던 것 같아요.27:37두 사람 모두 꽤 오랫동안 바둑을 연구해 왔고 매우 흥미로운 논문들을 발표했습니다.27:43그리고 그때 몬테카를로 대학의 연구 결과를 딥러닝에 활용하자는 아이디어가 떠올랐습니다.27:50그래서 함께 생각해 본 것은 어떤 움직임이 일어날지 예측하도록 심층 널 네트워크를 훈련시키는 것이었습니다.27:56게임을 하고 승패를 알고 있다면 트리를 활용할 수도 있습니다.28:02게임에서 가능한 모든 것을 종합적으로 고려한 큰 계획을 세우기 위해 검색해 보세요.28:07만약 당신이 특정 수를 두거나 다른 수를 둔다면 결과는 어떻게 될까요? 상대방은 어떻게 반응할까요? 이를 아주 쉽게 설명해 보겠습니다.28:13영어에서, 이 경우 '검색'이라는 용어는 말씀하신 대로 '연구'가 아닙니다.28:18사람들은 일반적으로 검색이라고 하면 방대한 자료를 검색하는 것을 떠올립니다. 하지만 이것은 여러 옵션 중에서 효과적으로 검색하는 것입니다. 맞나요?28:26그렇게 생각하는 게 맞나요? 네. 그건 말 그대로 체스 게임을 할 때 하는 행동과 똑같습니다.28:31보드게임을 할 때면 언제나 그렇듯이, "내가 다음에 어떤 수를 둘까? 내 차례는 언제일까?"를 생각하게 되죠.28:38상대방이 어떻게 반응할지 예상하고, 그에 따른 여러 가지 가능한 움직임을 생각하며 모든 수를 계획하는 것입니다.28:44미래의 가능성. 딥러닝과 검색의 결합이죠. 알파고는 무엇을 기반으로 학습되었을까요?28:49알파고의 초기 훈련 단계는 몇몇 아마추어 인간 게임을 기반으로 진행되었습니다.28:56제대로 기억하고 있는 거죠? 네. 그러니까 기본적으로 사람들이 바둑을 많이 두는 경우를 예측해 보자는 거죠.29:03게임의 매 턴마다 상대방이 어떤 수를 둘지 예측해 보세요. 그리고 훈련을 통해 알 수 있는 사실이 밝혀졌습니다.29:09딥러닝을 사용하면 아마추어 바둑 수준 정도의 꽤 괜찮은 결과를 얻을 수 있습니다.29:14음. 음. 하지만 실력이 정말 뛰어난 선수를 이길 만큼은 아니죠. 그리고 참고로, 그냥 설정상 말씀드리자면,29:20어, 여러분은 리 돌이 완전히 박살 날 거라고 예상했나요? 그래서,29:26아까 대화에서 언급하셨던 그 유명한 바둑 기사 말인가요? 전에도 짐작했었나요? 아니면 놀라셨나요?29:32우리는 꽤 좋은 기회가 있다고 생각했지만, 당신 때문에 굉장히 긴장했어요.29:38우리가 이길까? 질까? 볼까? 네. 사실 저희는 내기를 좀 했어요.29:43경기 전에 우리가 몇 승을 거둘지, 몇 판을 질지 같은 걸 미리 예상하는 건 너무 무리한 시도였다고 생각해요. 경기를 그렇게 예상하는 건 너무 야심찬 계획이었던 것 같아요.29:50우리가 그렇게 일찍 한 건 잘한 일이라고 생각해요. 좀 더 안전하게 하고 싶었다면 몇 달 후에 시도했을지도 모르죠. 그리고 제 생각에는 만약29:57몇 달만 더 일찍 했더라면 아마 우리가 졌을 거예요. 정말 아슬아슬한 순간이었죠.30:04그 덕분에 우리도 훨씬 더 흥미진진해졌죠, 그렇죠? 매 경기가 손에 땀을 쥐게 하는 긴장감 넘치는 경기였으니까요.30:11우리가 이길 수 있을까? 아니면 어리석은 실수를 저지를까? 무슨 일이 벌어질까? 정말 흥미진진했어요.알파고 제로 (인간 데이터 없음)30:17알파 고 제로는 그 다음 해에 나온 걸로 기억하는데, 어떤 점이 달랐나요?30:22발전 과정은 어땠나요? 알파고와 알파고 제로의 가장 큰 변화는 인간 바둑을 모두 없앤 것이었습니다.30:29지식. 그래서 인간의 바둑 게임을 모방하는 것부터 시작하는 대신, 우리는30:34완전히 처음부터 훈련시키고, 자기 자신과만 대결하며, 기본적으로 모든 것을 다시 파악하는 것.30:43게임 방법을 처음부터 알려주셨나요? 게임 규칙을 알려주지 않았습니다.30:48네트워크 자체에 대한 것이 아니라, 게임 규칙을 사용하여 결과를 계산했습니다.30:55그러니까 기본적으로 그는 게임을 하면서 누가 이겼고 누가 졌는지 알려주거나, 이 수는 두면 안 된다고 말해주곤 했죠.알파제로(하나의 알고리즘으로 바둑, 체스, 쇼기까지 해결 가능)31:00그래서 다음 단계는 알파 제로였는데, 그건 1~2년 후였죠. 어때요?31:07다른가요? 그래서 아쉽게도 제로라는 아이디어는, 바둑은 정말 아름다운 게임이지만 궁극적으로 우리가 하고 싶은 것은...31:14좀 더 일반적인 이야기로 넘어가서, 구체적인 내용은 모두 제거하고 알고리즘이 실제로 제대로 작동하는지 검증해 볼까요?31:21더 많은 문제를 해결하려고 노력했고, 그 결과 체스 문제를 모두 해결하려고 시도함으로써 그렇게 할 수 있었습니다.31:27고 앤 슈로기(Go and Shroggy)는 기본적으로 동일한 알고리즘을 사용하는 일본식 체스입니다.31:34다양한 게임에서 실행해보고 직접 만들어보면 동일한 네트워크 구조를 알 수 있습니다.31:40더 간단하고, 우아하고, 빠릅니다. 기본적으로 이는 알고리즘을 실제 문제 해결에 적용하기 위한 토대를 마련한 것입니다. 그리고 나서MuZero (학습된 세계 모델을 이용한 계획 수립)31:47다음 목적지는 Mu0였고, 사람들에게 그 사실을 알려드리기 위해 말씀드리자면,31:54당신은 알파고 제로의 제2 저자였고, M0의 제1 저자였던 것으로 알고 있습니다. M0는 세계적으로 유명한 문제입니다.32:03물론 겸손하게 말씀해 주시겠지만, 인공지능 분야는 정말 엄청난 일이죠. 그래서 제가 미리 말씀드릴게요.32:09말해야겠어. 음, 메로, 다음은 뭐였지? 그건 어떻게 달랐어?32:15제가 M0ero를 만들게 된 주된 동기는, 현실 세계의 많은 문제를 해결하고 싶을 때 마땅한 방법이 없다는 점 때문이었습니다.32:22앞으로 일어날 일을 완벽하게 시뮬레이션하는 거죠. 보드게임을 해본 사람이라면 누구나 어떤 수를 두느냐에 따라 어떤 결과가 나올지 뻔히 알잖아요.32:29일어날 일이죠. 마치 조각이 거기에 갈 거고, 다른 조각을 가져갈 거고, 뭐 그런 거죠. 하지만 로봇 공학 같은 문제를 실제로 해결하고 싶다면32:35작업이나 그보다 더 복잡한 일,32:40앞으로 일어날 일을 정확하게 예측하는 건 불가능합니다. 게다가 우리 인간도 제대로 예측하지 못하죠. 그저 머릿속으로 상상만 할 뿐입니다.32:48내가 이렇게 말하면 그는 아마 이런 식으로 반응할 거야. 즉, 알파 제로는 있는 그대로였다는 뜻이지.32:54그러한 문제에는 적용할 수 없었는데, 왜냐하면 게임 결과를 시뮬레이션하고 점수를 매기는 방법이 필요했기 때문입니다.33:01m0의 아이디어는 이미 심층 신경망을 가지고 있고, 이러한 네트워크는 많은 것을 학습할 수 있다는 것이었습니다.33:10그러니 왜 그것이 환경의 미래를 예측하도록 가르치지 않는 걸까요?33:15세계의 미래. 모델이 스스로 학습하여 앞으로 무슨 일이 일어날지 예측할 수 있도록 만드는 건 어떨까요?33:22각 행동 후에요? 그 후에, 당신은 이것을 또한 적용했나요?오늘날의 에이전트를 위한 교훈: 대규모 검색 및 학습33:28어, 코드와 수학이요. 그게 바로 알파 코드와 알파 텐서였어요. 그러니까 마치 축소해서 보는 것처럼요.33:34게임에서 강화 학습이 진화하는 과정에 대해 조금 이야기해 보겠습니다.33:41코딩과 수학. 검색의 전반적인 힘에 대해 무엇을 배우셨나요?33:46오늘날 현대 인공지능 시스템에서 중요한 학습 내용은 무엇일까요? 어떻게 가능했을까요?33:52그 모든 작업들이 오늘날 당신이 하고 있는 일과 연결되는 건가요?33:58그래서 게임은 여러 가지를 아주 빠르게 배울 수 있는 훌륭한 샌드박스입니다.34:04강화 학습 과학. 효과적인 알고리즘과 우리가 마주하는 문제 유형을 알고 계시죠.34:11기술적인 관점에서 보더라도, 여러 데이터 센터와 다양한 사용 환경에 걸쳐 작동하는 학습 시스템을 어떻게 구축할 수 있을까요?34:18게임은 매우 깔끔한 샌드박스 환경이기 때문에 수만 대의 기기에서 많은 좋은 게임을 만들 수 있습니다.34:24실험들이 있었죠. 그리고 이제 훨씬 더 일반적인 모델이 생겼으니, 언어 모델은 거의 모든 작업을 수행할 수 있습니다.34:31하지만 훨씬 더 복잡합니다. 실험하는 데 시간이 훨씬 더 오래 걸리고, 우리가 이전에 배웠던 것과 같은 교훈을 적용할 수 있습니다.34:37아시다시피, 우리는 매우 견고한 강화 학습 인프라를 구축하는 방법을 알고 있습니다. 그리고 이제 언어 모델이나 다른 분야에도 동일한 인프라를 구축할 수 있습니다.34:45우리는 이런 종류의 강화 학습을 하면 모델이 보상을 활용하는 방법을 학습한다는 것을 알고 있으므로, 동일한 방법을 적용할 수 있습니다.34:53수업에서는 언어 모델에도 동일한 완화 기법을 적용합니다. 제가 제대로 이해했다면, Muse는 다음과 같은 것 같습니다.LLM에는 이미 암묵적인 세계 모델이 내재되어 있습니까?35:00음, 세계 학습 모델을 가지고 있었어요. 네.35:06그러니까, 딱히 좋은 표현이 생각나지 않지만, 미래를 일종의 예행연습하는 거라고 할까요.35:12그렇다면 현대 LM 에이전트는 그런 기능을 가지고 있을까요? 에이전트가 스스로를 제어할 수 있도록 해주는 내부 세계 모델이 있을까요?35:20실행하기 전에 미리 보기를 할 수 있나요? 그렇다면 네, 언어적인 측면에서 그렇다고 생각합니다.35:26모델들은 명시적인 세계 모델을 가지고 있지는 않지만, 암묵적인 모델을 가지고 있습니다.35:32세상의 모든 것을 예측할 수 있기 때문에, 다음에 어떤 일이 일어날 가능성이 높은지 알 수 있는 것입니다.35:38이 문장에 있는 단어는 이 단락이 어떻게 이어질지, 그들은 어떻게 해야 하는지를 나타냅니다.35:43내적으로는, 어떤 세상이 어떤 이유로 그 사람이 그런 말을 하는지 알고 있는 거죠. 그러니까 그건...35:49사실 mu0 zero도 암묵적인 세계 모델만 가지고 있었다는 점에서 m0와 다소 유사합니다. 아시다시피, 그것은35:55화면이 실제로 어떻게 보일지 예측하도록 훈련받은 적이 없어요.36:02또한, 제가 이러한 행동을 취할지 여부를 암묵적으로 예측하도록만 훈련되었습니다.36:07다음으로 내가 취해야 할 행동은 무엇일까? 그 행동이 나에게 좋을까 나쁠까? 두 경우 모두, 당신은 다음과 같은 질문을 던질 수 있습니다.36:14모델에 내재된 암묵적인 세계 표현으로, 이를 이용해 예측을 할 수 있지만, 실제로는 그렇지 않습니다.36:21세계의 완전한 상태를 재구성하는 것은 세계의 완전한 상태를 재구성하는 것이기 때문입니다.36:27아시다시피, 그런 분야는 매우 비용이 많이 들고 복잡할 수 있습니다. 초고해상도 비디오와 오디오 신호를 생각해 보세요.36:35실제로 필요하지 않을 가능성이 높은 매우 많은 양의 데이터입니다. 생각해 보세요.36:40인간의 주의력으로는 주변에서 실제로 일어나는 일의 아주 작은 부분만을 인식할 수 있습니다.36:47우리가 결정을 내리는 데 실제로 필요한 가장 관련성 높은 정보가 바로 그것이기 때문에 항상 우리에게 필요한 정보입니다.36:53이전 재교육 논의로 돌아가 보겠습니다. 그 이유는 다음과 같습니다.36:58사전 학습과 강화 학습이 잘 어울리는 이유는 암묵적으로 내재된 세계 모델이 있기 때문입니다.37:04말뭉치. 하지만 그에 대한 반론은 그것이 인간이 만든 것이라는 점이다.37:10세계 모델은 언어에 의해 구현된다고 생각합니다.37:17세계 모델은 실제로 그렇습니다. 그리고 그것이 제가 이해하는 세계 모델의 본질입니다.37:23토론의 요점은 이렇습니다. 제 생각에는 토론에 대해 사람마다 관점이 다를 수 있으므로 제가 누구를 대신해서 말하고 싶지는 않습니다.37:28네네네, 하지만 네, 제 생각에는 이런 풍부한 지식에 대한 사전 교육이 도움이 될 것 같아요.37:34이미 세상에 대한 표상을 갖추고 있기 때문에 실제로 세상과 상호작용하고 행동하기 시작할 때 매우 쉽게 이해할 수 있습니다.37:40의미 있는 결정과 의미 있는 행동을 빨리 알 수 있도록 해 드리는 거죠. 네, 저는 그렇게 생각하는 걸 좋아해요.37:47마찬가지로, 많은 동물들을 보면 태어나자마자 움직이는 법, 달리는 법까지 아주 빨리 알아차리는 것을 볼 수 있지 않나요?37:54예를 들어 사바나에 사는 가젤을 보면, 분명히 그들은 시간을 들여 제대로 살아갈 여유가 없었다는 것을 알 수 있습니다.38:00이 모든 것을 처음부터 단 몇 분 또는 몇 시간 만에 배울 수 있는데, 아시다시피 그들의 경우에는 사전 교육을 받지 않았습니다.38:08그들의 뇌에는 진화적으로 암호화된 구조가 있는데, 이는 분명히 매우 유익하기 때문입니다.38:14학습 효율을 높이기 위해 어떤 종류의 지식을 갖추는 것이 좋습니다. 네. 본질적으로 강화 학습은 그런 역할을 할 것입니다.38:20좋지 않은 결과로 이어질 수 있습니다. 예를 들어, 당신이 가젤이고 사자를 향해 달려갈지 아니면 다른 쪽을 향해 달려갈지 A/B 테스트를 해야 하는 경우처럼요.38:26사자로부터 멀리 떨어져 있는 거죠. 맞아요. 마치 수천 마리의 동물을 보는 것과 같아요.38:31가젤들은 여러 세대에 걸쳐 시간이 흐르면서 이러한 지식을 습득했습니다. 그것은 그들의 유전자에 암호화되어 있었고,38:37뇌 구조를 어떤 식으로든 제대로 이해하고 나면, 그 기반 위에서 시작할 수 있습니다. 제 생각에 가장 큰 도전 과제 또는 가장 중요한 것은 바로 이것입니다.38:43주의해야 할 점은 과도한 인코딩을 하거나 인코딩을 제한하지 않는 것입니다.38:50검색 기반이 너무 넓습니다. 사전 학습이나 기존 지식이 탐색을 방해한다면 문제가 될 수 있습니다.38:56그것이 올바른 행동 방침일 수도 있지만, 결과적으로는 좋지 않을 겁니다. 그러니까 거기에는 위험이 도사리고 있다는 거죠.39:01주의해야 할 사항입니다. 따라서 현대 AI 시스템에서 사전 학습과 강화 학습을 함께 활용하는 이러한 일반적인 아이디어가 중요한 것 같습니다.LLM에서 강화 학습에 시간이 걸린 이유 (안정성, 피드백 루프)39:082025년의 중요한 아이디어 또는 주제. 물론, 몇 년 동안 구상해 온 것이라는 건 저도 알고 있습니다. 왜 이렇게 오래 걸렸을까요?39:16오래 걸렸어? 마치 RL이 발전한 것 같아.39:22그 자체의 방향으로 나아갔고, 사전 훈련도 자체적인 방향으로 진행되었으며, 이 두 가지는 약간 별개였습니다. 왜냐하면...39:28조립하는 데 그렇게 오래 걸렸나요? 단순히 실용적이고 경제적인 이유 때문인가요, 아니면 다른 이유가 있나요?39:34우리가 언어 모델을 확장했던 것처럼 엄청난 규모로 확장하는 것39:39그 자체로도 많은 노력이 필요했습니다. 그리고 과학적 관점이나 공학적 관점에서 볼 때, 재교육은39:45지도 학습은 더 안정적이고 디버깅하기도 비교적 쉽습니다.39:53피드백 순환 과정이 없기 때문입니다. 기본적으로 고정된 목표만 가지고 학습하려고 노력하는 거죠.39:58이 목표를 설정하면, 내 훈련이 효과적인지, 내 인프라가 제대로 작동하는지 등에 집중할 수 있습니다.40:05그리고 나서, RL에서 RL과 비교했을 때, 장애 발생 시 확장성이 어떤지 궁금합니다.40:10이런 피드백 순환 과정을 거치면서 '아, 뭔가를 배웠구나' 하고, 그걸 바탕으로 새로운 학습 데이터를 생성하고, 또 그렇게 하는 거죠.40:15학습 데이터를 통해 배우고 나면, 뭔가 제대로 작동하지 않는다는 것을 알게 되더라도 그 원인을 파악하기가 매우 어렵습니다.40:22이 사이클의 어느 부분에서 문제가 발생하는 건가요? 아니요, 아마도 학습 업데이트가 잘못되어서 그런 것일 수도 있습니다.40:29갑자기 나쁘게 행동하기 시작했거나, 아니면 당신이 마음먹은 대로 행동하기 시작했을 수도 있죠.40:35행동 방식을 선택하는 방식이 올바르지 않아서 잘못된 학습 데이터가 생성되었고, 그것이 문제의 원인입니다.40:41모든 게 다 그렇죠. 그래서 제대로 작동시키려면 훨씬 더 복잡해요. 그래서 저는 그렇게 생각해요.40:46아시다시피, 우선 아키텍처 사전 학습 규모를 확대하고 뭔가 해결책을 찾아내는 것이 매우 합리적입니다.40:52특히 미세 조정이나 프롬프트를 통해 이미 상당한 진전을 이룰 수 있는 경우에 매우 효과적입니다.40:58이 모델들이 정말 일반적이고 유용하며 상당히 안정적인 상태라는 것이 명확해질 때를 알아야 합니다.41:04그러면 강화 학습을 더욱 가속화하고 더 나아가게 할 수 있다는 것을 알게 되죠. 심지어 우리 자신의 작업에서도 마찬가지입니다. 알파고를 보세요.41:10알파 제로에서도 우리는 네트워크 아키텍처를 처음 설정할 때와 마찬가지로 항상 유사한 분할 방식을 따릅니다.41:16고정된 지도 학습 데이터를 사용하여 훈련을 진행했습니다. 그리고 그 과정이 정말 안정적으로 작동하게 된 후에야 비로소 본격적인 훈련을 시작했습니다.41:24RL 루프와 전체 학습 과정을 한꺼번에 디버깅하는 건 실패할 가능성이 매우 높기 때문에, 그런 방식은 정말 비효율적입니다. 따라서 이 방법을 사용하는 것이 훨씬 유용합니다.41:30구성 요소를 분리하여 "여기에는 제대로 된 데이터가 있고, 제대로 된 목표물이 있다"라고 말할 수 있습니다.41:36저기요. 중간에 문제가 생기면 제가 그걸 분리해낼 수 있어요. 그리고 나서, 아시다시피, 저희는41:42시스템의 모든 부분을 분리할 수 있습니다. RL을 확장하는 데 필요한 컴퓨팅 자원은 얼마나 될까요?강화 학습을 위한 컴퓨팅 및 확장성 - 지금까지 우리가 목격한 것41:51강화학습에도 사전학습에서처럼 스케일링 법칙이 있나요?41:57이에 대한 출판된 문헌은 많지 않습니다. 하지만 모든 자료를 살펴보면 다음과 같은 사실을 알 수 있을 거라고 생각합니다.42:02시간이 지남에 따라 강화 학습(RL) 관련 문헌을 살펴보면 컴퓨팅 투자 대비 매우 유사한 수익률을 확인할 수 있습니다.42:07사전 학습과 강화 학습에서는 기하급수적으로 더 많은 컴퓨팅 자원을 투자할 수 있습니다.42:14그리고 계속해서 혜택을 누리게 될 겁니다. 앞으로 어떤 장단점이 있는지 알아내기 위한 흥미로운 연구들이 진행될 것입니다.42:21사전 학습과 강화 학습 연산 사이에는 어떤 분할 방식이 적합한지 알고 있습니다. 예를 들어, 대규모 모델의 경우 다음과 같이 분할할 수 있습니다.42:2750/50은 1 대 10과 같아야 하는데, 어느 쪽이 1 대 10이어야 할까요? 그래서 저는 그게 굉장히 흥미로울 것 같다고 생각합니다.42:33네, 확실히 두 가지 모두에서 좋은 수익을 보고 있습니다. 최신 기술이든 뭐든 말이죠.보상 영역: 인간 선호도, 평가 기준, RLVR, 과정 보상42:40보상 분야에 대해 생각해 보고 있습니다.42:45그러니까 알파 제로 알파 고에 대해 설명하신 내용은 기본적으로 승리였다는 거죠.42:51손실을 보상판으로 삼는 거죠. 그러고 나니 마치 모호한 인간 매칭에 들어간 것 같은 느낌이 들어요. 이건 좋은 거예요.42:57좋지 않습니다. 그리고 이제 위에서 언급한 대로 더 확장하면...43:04승패가 불분명한 일반적인 분야에서는 어떻게 진행되는 건가요? 어떤 부분이 중요한가요?43:11어떤 진화 과정을 연구하고 계신가요? 어떤 부분에 흥미를 느끼시나요? 개인적으로 저는 그 부분에 대해서는 그다지 많이 연구하지 않습니다.43:17보상 모델링. 주로 추론, 계획, 탐색 시간 등을 다룹니다.43:24검색, 컴퓨팅, 더 많은 연산을 사용하여 모델을 더 똑똑하게 만드는 방법. 네, 보상에 대해 생각하고 있어요.43:31제 생각에는 강화 학습 과정 자체는 어디에 있는지에는 크게 신경 쓰지 않는 것 같습니다.43:36보상은 어디에서 오는가? 알고리즘은 어떤 보상이든 기꺼이 활용한다. 그것이 인간과 같은 것이든 말이다.43:43피드백 신호는 마치 게임에서 이기거나 지거나 시험에 합격하는 것과 같은 자동화된 신호입니다. 그것이 더 모델적인 것인지는 모르겠지만요.43:52예를 들어 인류가 생성한 헌법적 AI에 관한 논문이 있었습니다.43:58모델 자체가 가이드라인을 잘 따르고 있는지 점수를 매기도록 하는 거죠. 네.44:03그래서 어떤 종류의 보상을 선택할지에 따라 매우 유연하게 대처할 수 있습니다. RLVR은 다른 모든 보상 시스템과 마찬가지로 말이죠.44:08이 모든 것들은 현재 단계에서 흔히 볼 수 있고, 흔히 사용되는 것들입니다.44:17많은 생각 있으신가요? 네, 정말 다양한 의견들이 섞여 있는 것 같아요.44:22보상과 환경에 관한 문제인데, 사람들이 무엇이 최선인지 알아내기 위해 정말 열심히 노력하고 있다고 생각합니다.44:28보상 출처와 규모 확장 방법, 그리고 더 많은 보상, 더 안정적인 보상을 얻는 방법은 무엇일까요? 이것이 우리가 해결해야 할 과제 중 하나입니다.44:34RL을 더욱 확장하는 데 필요한 핵심 요소 중 하나입니다. 그래서 보상에서...강화 학습 데이터와 "플라이휠" (그리고 데이터 품질이 중요한 이유)44:40강화 학습을 위한 데이터 훈련 데이터와 관련하여 최근의 생각은 무엇인가요?44:49알파고처럼 인간의 데이터에 기반했던 것에서 스스로 문제를 푸는 방식으로 진화해 온 과정을 따라가 보면, 어떻게 된 건지 궁금하네요.44:55그건 어떻게 작동하는 건가요? 데이터는 어디에서 오는 건가요? 그리고 어떤 종류의 데이터가 최신 강화 학습에 가장 적합한가요?45:03네, 제 생각에 강화학습의 가장 큰 장점은 데이터가 모델에 의해 생성된다는 점인 것 같아요.45:08그 자체로 그렇습니다. 따라서 모델이 더 똑똑해질수록 더 나은 강화 학습 데이터를 생성할 수 있습니다.45:15그들이 해결할 수 있는 과제가 더 흥미롭고 복잡해질수록, 우리는 학습에 사용할 수 있는 데이터가 점점 더 많아집니다.45:23아시다시피 작업이 복잡할수록 해결하는 데 시간이 더 오래 걸리고 생성되는 데이터도 더 많아집니다.45:28그렇게 얻은 데이터를 훈련에 활용할 수 있습니다. 제 생각에는 실제 상황을 잘 대표하는 과제를 찾는 것이 관건입니다.45:34사람들이 실제로 모델을 가지고 무엇을 하고 싶어하는지, 왜냐하면 이제 언어 모델은 매우 범용적이어서 사람들이 그것을 다양한 용도로 사용하고 있기 때문입니다.45:40다양한 것들이 많습니다. 아시다시피, 우리는 가능한 한 많은 것들을 다뤄야 하기 때문에 점점 더 많은 어려움에 직면하고 있습니다.45:46a 모델이 실제로 이러한 다양한 작업을 수행할 수 있는지 확인하기 위해서입니다. 더 중요한 것은 무엇일까요?45:54훈련 데이터요? 그건 질을 말하는 건가요? 양을 말하는 건가요? 아니면 최신성을 말하는 건가요?45:59그건 굉장히 흥미로운 질문인 것 같은데, 답이 아주 명확하진 않은 것 같네요.46:04아직 답이 나오지 않았거나, 아니면 흥미로운 연구 주제가 될 수도 있겠네요. 서로 다른 주장을 펼치는 논문들을 본 적이 있는 것 같아요.46:10여러 가지 상황이나 다양한 이점을 볼 수 있었죠? 예를 들어, 데이터 규모가 커짐에 따라 사전 학습의 효과가 분명하게 나타납니다. 우리는 데이터를 유지할 수 있습니다.46:15개선되고 있을 뿐 아니라, 아주 적은 양으로도 매우 흥미로운 미세 조정 결과 논문들이 발표되는 것을 보았습니다.46:21모델에게 흥미로운 기술을 가르치는 예시는 많지만, 아직 제대로 된 스케일링 법칙은 없는 것 같습니다.46:30특히 데이터 포인트의 품질을 측정하기가 매우 어렵기 때문에 이러한 점들이 우리에게 어떤 장단점이 있는지 알려준다고 생각합니다.46:36그러니까, 이걸 측정할 수 없다는 점을 감안하면, 이 예시가 다른 예시에 비해 얼마나 좋은 건지 판단하기는 매우 어렵습니다.46:41어떤 면에서든 그 상충 관계를 수치화하기는 어렵죠. 음, 직관적으로 생각해 보면, 만약 당신이 나쁜 것을 가지고 있다면 분명히 좋은 결과를 얻을 수 있을 거라는 건 맞는 말인 것 같아요.46:49데이터의 질이 매우 높을 경우, 강화 학습은 그다지 효과적이지 않습니다.46:54훨씬 더 안정적이게 됩니다. 예를 들어, 알파 제로 시절에 우리가 시간을 보냈던 것처럼, 그게 아주 분명하게 드러났던 것 같아요.47:03알파 제로는 많은 계산을 합니다. 어떤 수를 둘지 결정하기 위해 많은 계획과 탐색을 수행합니다.47:10매우 높은 품질의 학습 데이터를 생성하여 놀라울 정도로 안정적인 강화 학습을 가능하게 했습니다.47:17아시다시피 이 시스템은 대륙 간에도 실행할 수 있고, 데이터를 생성하고 학습시키는 데 오랜 시간이 걸리지만 매우 견고합니다.47:23현대 언어 모델을 사용하는 강화 학습과는 다릅니다. 차이점을 아시잖아요.47:29모델 자체는 괜찮지만, 모델이 생성하는 데이터 양은 그리 많지 않습니다.47:35왜냐하면 우리는 모델에서 직접 샘플링한 다음 모델을 학습시키고, 그 결과로 강화 학습이 이루어지기 때문입니다.47:42이는 안정성이 떨어지는 학습 방식입니다. 따라서 강화 학습을 확장하고 안정성을 높이는 한 가지 방향은 바로 이러한 안정성 향상입니다.47:48예를 들어 언어 모델에 더 많은 추론 기능을 추가하여 훨씬 더 많은 것을 생성함으로써 이를 개선할 수 있습니다.47:55이를 통해 훨씬 더 안정적이고 확장성이 뛰어난 고품질 학습 데이터를 얻을 수 있습니다.48:01더 쉽게요. 이제 RL과 에이전트라는 일반적인 주제에 대해 잠시 이야기해 보고 싶습니다. 유명한...강화 학습과 에이전트 기초 — 강화 학습이 견고성을 확보하는 이유48:09모두가 지난 1년 동안 이야기해 온 인공지능(AI)이요. 그러니까 듣고 계신 분들을 위해 말씀드리자면,48:16그리고 아시다시피, 이것을 더 많은 사람들이 쉽게 접근할 수 있도록 하기 위해 종종 노력합니다.48:21기술 분야에 종사하는 일반인 그룹이 있는데, 그분들 집까지 차로 데려다 주실 수 있나요?48:28RL과 에이전트 간의 교차점과 중첩점은 무엇일까요? RL의 힘은 어떤가요?48:33에이전트요? 그게 어떻게 작동하는 거죠? 네. 음, 우선 에이전트라는 게 정확히 무엇을 의미하는지부터 짚어보는 게 어떨까요?48:39네. 일반적인 언어 모델과 비교했을 때 말이죠? agisi 다음으로 가장 많이 논의되는 질문은 바로 이것입니다.48:46에이전트요? 네, 그런 것 같네요. 네, 편의상 에이전트란 ​​다음과 같은 기능을 수행할 수 있는 인공지능이라고 정의하겠습니다.48:54스스로 작동한다는 거죠. 예를 들어 컴퓨터에서 몇 가지 작업을 수행하는 것처럼요.49:00파일을 저장하고, 편집하고, 이메일을 보내는 등 원하는 모든 작업을 할 수 있죠? 하지만 가장 중요한 특징은 바로 이것입니다.49:06사용자와 항상 상호작용할 필요가 없습니다. 스스로 작업을 처리할 수 있습니다. 이것이 바로 강화 학습이 매우 중요한 이유입니다.49:12이것은 실제로 사전 학습과 관련이 있는데, 우리의 사전 학습 데이터는 다음과 같기 때문입니다.49:19에이전트답지 않네요. 사전 학습 데이터가 웹사이트나 책 같은 것들이라고 생각해 보세요.49:26정보가 많이 담긴 최근 텍스트 종류49:31하지만 액션 장면이 많지 않아요. 인간이 실제로 세상과 어떻게 상호작용하는지를 제대로 담아내지 못하죠. 그래서 만약49:38사전 학습된 모델을 그대로 사용하면 그다지 좋은 에이전트가 되지 못합니다. 약간의 프롬프트를 추가하면 좀 나아질 수도 있겠죠.49:44그리고 뭐랄까, 올바른 방향으로 밀어주는 정도는 가능하겠지만, 상호작용에는 그다지 능숙하지 못할 거고, 특히 제대로 소통하는 데는 더더욱 서툴 거예요.49:50사전 학습 데이터에 예시가 없기 때문에 자체 오류를 수정하는 데 능숙합니다.49:56우리 에이전트가 어떻게 실패할지에 대한 모든 것. 그리고 바로 그 지점에서 강화 학습이 중요해집니다. 강화 학습에서는 우리가50:05에이전트를 가져와서 환경과 상호 작용하게 한 다음 직접 학습시키세요.50:10그러한 상호작용이 중요합니다. 예를 들어, 에이전트가 잘했다면 그 행동을 강화할 수 있고, 에이전트가 잘못했다면 그 행동을 약화시킬 수 있습니다.50:18그러한 행동들로부터 그것을 밀어낼 수 있습니다. 그리고 만약 에이전트가 처음에는 잘하지 못했지만 나중에 회복했다면,50:25잘 관리한다면 회복세를 더욱 강화할 수 있습니다. 그래서 그렇습니다.50:30에이전트가 자신의 행동 분포로부터 실제로 학습할 수 있게 해주기 때문에 매우 중요합니다.50:37네. 그리고 그 덕분에 훨씬 더 견고해졌죠. 이제 그는 그럴 필요가 없으니까요.50:42그는 이전에 본 적 없는 것에 일반화할 수 없습니다. 그는 실제로 해결하려는 문제에 대해 배울 수 있습니다. 그리고 그것이 바로 당신이 아는 이유입니다.50:48강화 학습(RL)은 에이전트의 다양한 기능을 정말로 향상시켜 줍니다. 만약 제가 오늘날 AI 개발자라면,개발자는 강화 학습 서비스를 활용해야 할까요? 아니면 단순히 도구와 프롬프트만 사용해야 할까요?50:55AI 앱이고 저는 인류 원리를 기반으로 만들었어요. 인류 원리는 뭐든지 간에요.51:01해당 모델에는 이러한 종류의 배터리가 몇 개 포함되어 출시될 예정입니다. 하지만...51:07위에 건설업자가 있는데 제가 직접 RL을 해야 하나요?51:12어, 요즘 강화 학습을 서비스 형태로 제공하는 새로운 분야가 떠오르고 있어요.51:18제가 일반 모델 위에 구축한 이 작업이나 저 작업은 일종의 강화 학습을 수행할 수 있는 기능을 제공하거나 제가 할 수 있는 일을 제공합니다.51:24요즘 기술 수준을 고려하면, 단순히 PROM을 통해서나 아니면 먼저 감독된 미세 조정을 통해서도 상당한 피해를 줄 수 있을 것 같습니다.51:32아시다시피 클라우드 모델, OpenAI의 GPT 모델 같은 주제는 다루지 않습니다. 굳이 하실 필요는 없습니다.51:40미세 조정은 필요 없습니다. 모델을 그대로 사용하셔도 됩니다.51:45자신만의 도구와 장비를 만들고, 능동적인 훈련을 통해 이점을 얻으십시오.51:50에이전트의 미세 조정을 제대로 하는 것은 실제로 매우 어렵기 때문입니다. 그래서 그것은51:56최첨단 모델보다 더 나은 결과를 내기는 상당히 어렵습니다. 하지만 반대로, 좋은 결과를 내놓는 것은 쉽지 않습니다.52:04도구와 작업에 대한 훌륭한 표현 방식은 큰 차이를 만들어냅니다. 그러니까 아시다시피, 상황에 따라 다르죠.52:10모델이 문제를 표현하는 방식에 따라 모델이 훨씬 더 어려워지거나 어려워질 수 있습니다.52:15더 쉽고, 그래서 훨씬 더 효율적으로 활용할 수 있습니다. 현재 목표 달성에 부족한 것은 무엇일까요?신뢰할 수 있는 에이전트에게 부족한 점은 무엇일까요? (역량 vs. 엔지니어링)52:21유전적 AI의 큰 꿈은 무엇일까요? 핵심은 모델링 능력일까요, 아니면 다른 무엇일까요?52:28지루한 인용문이나 신뢰성 도구 사용에 관한 엔지니어링 인용문 같은 것 말이죠.52:36안전 문제, 음, 어떤 조치가 필요할까요? 제 생각에는 기본적으로 다음과 같은 것들이 있는 것 같습니다.52:41공간 전체에 걸쳐 개선이 필요합니다. 모델을 더 잘 이해할 수 있도록 도와드리겠습니다.52:47자체 오류를 수정합니다. 모델이 장기간 지속적으로 작동할 수 있도록 개선합니다.52:53집중력을 잃지 않고 더 오랫동안 작업할 수 있도록 모델을 전반적으로 더 똑똑하게 만드는 것입니다. 어쩌면 모델의 속도를 더 빠르게 만들 수도 있겠죠.53:00그러니까 기본적으로 우리가 개선할 수 있는 것들이 아주 많다는 거죠.53:06아마도 특정 한 명의 방해꾼은 없을 것이고, 그렇기 때문에 우리는 앞으로도 계속해서 이러한 상황을 지켜볼 것입니다.53:12모델 출시를 통해 점진적으로 부드럽게 발전하는 방식이지만, 어느 정도는 주어진 방식이기도 합니다.53:19우리가 더 잘하고 개선할 수 있는 것들이 얼마나 많은지 생각해 보세요. 네, 저는 모델들이 현재 어떤 위치에 있는지에 대해 매우 기대하고 있습니다.53:25결국 그렇게 될 거라는 거죠. 사실, 인공지능이 아주 재미있는 분야인 이유 중 하나가 바로 그런 점이라고 생각해요.53:31개선할 수 있는 부분이 너무나 많지만, 현재 모델들도 이미 워낙 훌륭합니다.53:38작업하는 게 정말 재밌어요. 마치 '아, 내가 이걸 고칠 수 있겠구나. 그러면 훨씬 더 좋아질 거야' 하는 느낌이죠.53:43반면에, 모든 문제가 이미 해결된 상황이라면 오히려 해결하기가 정말 어려울 거예요.53:49어떻게 개선하느냐는 완전히 다른 이야기입니다. 평가에 대해 잠시 이야기해 보겠습니다. 음, 우리는 다음과 같은 것들을 언급했었죠.Evals & Goodhart - 내부 vs 외부 벤치마크53:56이건 좀 작지만, 제대로 된 공간을 확보하기 위해서요. 블로그 게시글에 그런 내용이 있었잖아요.54:02이 대화 초반에 외부 벤치마크라는 개념에 대해 이야기했고, 그 후에 굿아트 로(Goodart Law)의 글을 인용하셨죠.54:11우선, 제대로 된 엄격한 법규란 무엇이고, 실험실에서는 결과를 어떻게 비교해야 오류가 발생하지 않을까요?54:18지난 몇 년간 조금씩 보아온 이런 종류의 순위표 쇼와 관련해서 말이죠.54:24네. 좋은 법은 기본적으로 표적이 되는 모든 조치는 중단된다고 규정합니다.54:30좋은 척도가 될 수 있고, 예를 들어 프로그래머에게 급여를 지급하기 시작하면 직관적으로 생각해 볼 수 있는 부분입니다.54:36작성하는 코드 줄 수에 따라 갑자기 주석을 추가하는 다양한 방법을 발견하게 될 것입니다.54:44아시다시피 완전히 쓸모없는 것이고, 이것은 아주 일반적인 효과입니다.54:49당연히 그렇죠. 사람들에게 최적화를 하도록 동기를 부여하면 그들은 정말 열심히 노력할 겁니다. 네.54:54언어 모델 벤치마크에서도 이러한 현상을 볼 수 있습니다. 당연히 사람들은 승진하고 싶어하고, 자신의 프로젝트를 시작하고 싶어합니다.55:00모델이죠. 그러니까 측정하기 너무 쉽거나 관심이 많이 쏠리는 벤치마크는 사람들이 최적화하려는 경향이 있어요.55:08벤치마크 테스트에서는 매우 어려운 과제입니다. 즉, 해당 벤치마크에서는 모델이 매우 좋은 성능을 보일 가능성이 높다는 뜻입니다. 하지만 실제 작업에 사용하면 성능이 떨어질 수도 있습니다.55:15다른 성과죠. 네. 어떻게 해야 할지 묻는 거잖아요? 사람들이 그렇게 하는 걸 막기는 정말 어려워요.55:21벤치마크 최적화. 따라서 한 가지 가능성은 주기적으로 수행하는 것입니다.55:27이전에는 아무도 본 적 없는 완전히 새로운 기준점을 만들어냅니다.55:33그러면 모델 성능을 상당히 정확하게 예측할 수 있습니다.55:39예를 들어, 많은 연구자들이 모델을 검증하기 위해 자신만의 가상 문제를 만들어 사용한다는 것을 알고 있습니다.55:46바로 그런 이유 때문입니다. 아무도 본 적 없는 문제, 일련의 문제라는 것을 알아두세요. 꽤 심각한 문제입니다.55:52아마 편견 없는 추정치를 제공해 줄 거라고 예상하는 게 맞을 거예요. 만약 당신이 회사 직원이라면 말이죠.55:58어떤 모델을 사용할지 고민 중이라면, 아마 비슷한 걸 사용하면 될 거예요. 그냥 내부 구조를 직접 만들어 보세요.56:03당신이 진정으로 중요하게 생각하는 것을 나타내는 기준점을 정하고, 그 기준에 따라 측정하십시오.56:08그리고 저는 그것이 내부적으로 측정하는 가장 객관적이고 정확한 방법일 가능성이 높다고 생각합니다. 그렇다면 그것은 어떤 모습일까요?56:15인류 문명이나 예전에 딥마인드 같은 곳이 있나요? 음, 저는 알아요.56:23평가에 집중하는 팀들이 있습니다. 무엇이 효과가 있고 무엇이 효과가 없는지 어떻게 생각하시나요?56:29내부 평가 측면에서요? 예전에는 좋은 평가를 받기가 훨씬 쉬웠던 것 같아요. 5년 전만 해도 그랬잖아요.56:36수행 중인 작업들이 모델 성능 측정에 더 용이했다고 생각합니다.56:41요즘은 훨씬 더 어려워졌고, 평가에 지나치게 의존하지 않으려고 노력하는 것 같습니다.56:48예를 들어 이 모델이 코드를 얼마나 잘 작성하는지 측정하기가 상당히 어렵기 때문입니다. 네.56:53제 생각에는 이는 훌륭한 평가를 만드는 분야에서 해결되지 않은 큰 문제 중 하나이거나 매우 중요한 문제라고 생각합니다.57:00두 제품 모두 운영 비용이 저렴하고 신뢰성이 높으며 정확합니다.57:09저 세 가지 특성 중 하나를 가진 악당을 만드는 건 비교적 쉽지만, 세 가지 모두를 가진 악당을 만드는 건 꽤 어렵습니다. 예를 들어, 당신이 알고 있는 것처럼 말이죠.57:15처음에 우리는 오픈 GDP evol에 대해 이야기했는데, 그건 마치...57:20아시다시피 매우 정확하고 편견이 없지만 비용이 매우 많이 듭니다. 왜냐하면 실제로는 여러 단계를 거치기 때문입니다.57:25인간 전문가에게 작업을 수행하게 한 다음 모델의 작업 결과를 전문가의 결과와 비교하고 평가하는 방식입니다.57:31여러 사람이 참여합니다. 그래서 매우 정확하지만 비용이 엄청나게 많이 듭니다. 그리고 평가라는 주제와 관련해서 말씀드리자면,기계론적 해석 가능성 및 "골든 게이트 클로드"57:37저희 능력, 아니, 당신의 능력 면에서 최근 상황은 어떤가요?57:44모델이 어떻게 작동하는지 진정으로 이해하기 위해. 일반적인 분야에 대해서.57:51기계론적 해석 가능성에 대해서요. 앞서 RL에 대해 언급하셨잖아요.57:58제가 제대로 이해했다면, 때때로 상황을 조금 더 어렵게 만들기도 합니다. 왜냐하면...58:05때로는 좀 더 불가사의한 방식으로 일이 진행되기도 하죠. 제 말이 당신 생각과 다를 수도 있겠지만요. 음, 그래서 최근 소식은 무엇인가요?58:13RL이 정말로 일을 더 어렵게 만드는 건가요, 아니면 더 쉽게 만드는 건가요? 아, 그러니까 제가 전에 말하려던 건 RL 디버깅 전반에 대한 거였어요.58:20해석 가능성과 완전히 무관한 경우는 고려해야 할 요소가 더 많기 때문에 더 어렵습니다. 하지만 만약 만약58:26강화 학습을 할 때 주의하지 않으면 해석이 더 어려워질 수 있습니다. 예를 들어, 하나는58:33현대 모델의 공통점은 사고의 흐름을 따라 추론한다는 것입니다. 사고의 연쇄를 살펴보면 무엇이 핵심인지 알 수 있습니다.58:40내면의 생각을 모델링하고 나서 '아, 이걸 보상 신호로 사용해야겠다'라는 생각을 할 수도 있겠죠.58:45강화 학습을 통해 모델이 잘못된 생각을 하면 처벌하는 방식은 해석 가능성 측면에서 완전히 무너뜨리는 결과를 초래합니다.58:52주의해야 할 점은 실제로 해석하려는 신호에 RL을 적용하지 않도록 해야 한다는 것입니다.58:59그 모델은 그렇게 하려고 생각하고 있는 겁니다. 그렇긴 하지만, 제 생각에는 기계론적 해석을 포함해서 해석 가능성 측면에서 매우 흥미로운 일들이 벌어지고 있는 것 같습니다.59:05해석 가능성. 제 생각엔 사실 작년, 존닉 이전이었던 것 같은데, 정말 멋진 골든 게이트 행사가 있었던 것 같아요.59:12발톱 모델에서 골든 게이트 개념을 담당하는 뉴런이 발견되었다는 것을 알 수 있죠.59:19그것들을 수정해서 샌프란시스코의 금문교를 정말 좋아하는 발톱 모양의 로봇을 만들었어요. 그러니까 그건 마치...59:25아, 우리가 이 모델에서 무슨 일이 일어나고 있는지 정말 잘 이해하고 있다는 것을 보여주는 아주 생생한 예시네요. 그리고 더 나은 방법은 뭘까요?59:30모델의 동작을 실제로 변경하는 것보다 그 이해를 검증하는 방법이 있다고 생각합니다.59:35그건 안전에 있어서 정말 중요한 방향이에요. 모델이 더 똑똑해질수록, 우리는 그걸 제대로 이해할 수 있어야 해요.59:42모델이 내면적으로 어떻게 생각하는지, 어떤 가치관을 가지고 있는지 궁금합니다.59:47우리에게 거짓말을 하고 있는 걸까요? 정말로 지시를 제대로 따르고 있는 걸까요? 그래서 저는 분명히 매우 불안하다고 생각합니다.59:54투자하고 일하기에 중요한 분야라고 생각합니다. 특히 AI 분야에 관심 있는 사람이나 AI 연구에 관심 있는 사람이라면 해석 가능성이 매우 중요하다고 생각합니다.1:00:02정말 좋은 분야네요. 네, 이 대화의 마지막 부분으로 자연스럽게 이어지네요. 좀 더 넓은 시각으로 보고 싶어요.앤트로픽에서의 안전과 정렬 — 실제 적용 사례1:00:08그리고 인공지능의 영향에 대해 이야기해 보겠습니다. 우리가 지금 인공지능이 미치는 영향에 대해 생각해 본다면,1:00:15기하급수적으로 증가하고 앞으로 더욱 가속화될 것이라는 것은 무엇을 의미합니까? 그리고 물론 안전과 관련해서도 마찬가지입니다.1:00:22정렬은 인류학 연구의 핵심 가치이며, 다른 분야에서도 마찬가지로 중요하게 여겨지기를 바랍니다. 하지만 인류학 연구처럼1:00:29특히 안전과 정렬에 대해 목소리를 높이시는데, 그게 실제로 어떻게 나타나는 건가요?1:00:36해석 가능성에 대해 이야기했습니다. 음, 사람들이 우려하는 점은 무엇일까요?1:00:41이 속도가 너무 빠르고, 우리 모두가 함께 괴물을 만들어내고 있는 것 같아요.1:00:46법정에서 나온 말인데요. 어떤 종류의 일을 하시는지 살짝 알려주시겠어요?1:00:51인공 구조물 같은 곳에서는 정렬과 안전을 위해 그렇게 하는 건가요? 네, 안전과 정렬에 중점을 두는 것 같아요.1:00:59인류 문명 전반에 스며들어 있으며, 우리는 매우 엄격한 과정을 통해 인재를 훈련시킵니다.1:01:04모델을 출시할 때마다 모델의 기능을 분석하고 검증하기 위해 모델을 사용합니다.1:01:13모델의 정렬. 모델이 자체적으로 유해한 작업을 수행하지 않도록 보장하십시오. 모델이 악용되지 않도록 보장하십시오.1:01:21악의적인 사용자들이 해로운 짓을 저지른다는 것을 알고 계시죠? 그리고 우리가 만약1:01:27해당 모델의 안전성에 대해 확신이 서지 않기 때문에 출시를 연기할 것이며, 아시다시피 안전성이 충분히 확보될 때까지 기다릴 것입니다.1:01:34무해합니다. 우리는 당신이 알고 있을지도 모르는 모델을 출시하지 않을 것입니다.1:01:42제 생각엔 사람들이 다른 어떤 문제보다 안전을 훨씬 더 중요하게 생각한다는 걸 보여주는 것 같네요.1:01:48재정적 수익 또는 매출. 제 생각에는 연구 및 자원 측면에서도 마찬가지일 것 같습니다.1:01:53안전 및 해석 가능성 관련 팀은 회사에서 매우 중점적으로 다루는 분야입니다.1:01:59아시다시피, 이는 우리가 이 문제에 진심으로 관심을 갖고 많은 노력을 기울이고 있다는 확신을 줍니다.1:02:06그리고 좀 더 기술적인 차원에서, 그리고 앞서 언급했던 부분과 연결해서 설명하자면...1:02:12음, 우리가 사전 교육과 안전에 대해 논의할 때 나누는 대화 말이에요.1:02:20안전과 정렬은 강화 학습(RL)의 문제인가요? 제가 말하는 건 아름다움을 의미합니다.1:02:26사전 학습을 한다는 것은 우리가 세계 모델을 가져오는 것을 의미합니다.1:02:31토론은 중요하지만, 어쩌면 당신은 뇌에 많은 나쁜 것들을 받아들이는 것일 수도 있습니다.1:02:37우리가 알다시피 인터넷에서 데이터를 수집하는 데에는 좋은 점도 있지만, 단점도 있습니다.1:02:43유해한 콘텐츠가 많습니다. 그래서 정렬은 주로 강화 학습(RL)을 사용하여 나쁜 콘텐츠를 제거하는 방식입니다.1:02:50사전 학습에 내장된 요소들이죠. 우리는 확실히 강화 학습을 활용하여 모델의 동작 방식을 다듬고, 이를 보장할 수 있습니다.1:02:58예를 들어, 적대적 공격자가 잘못된 입력을 받았을 때, 마치 안전하게 행동하거나 그것을 알고 있는 것처럼 행동하는 경우가 있습니다.1:03:04그가 거절할 수 있거나, 아니면 모델을 포장하려는 강인한 사람이라는 거죠. 네, 저는1:03:10저는 그걸 단순히 강화 학습 문제처럼 정렬 문제로만 보지는 않을 거예요. 제 생각에는 그건 전체적인 사고 과정에 걸쳐 작용하는 문제 같아요.1:03:18예를 들어 사전 학습 데이터를 어떤 방식으로든 필터링할 수 있습니다. 학습 후에는 다음과 같은 상황이 발생할 수 있습니다.1:03:24아시다시피 분류기는 모델을 살펴보고 모델의 동작을 모니터링하여 실제로 제대로 정렬되었는지 확인합니다.1:03:32사용하는 모델의 시스템 프롬프트를 작성할 때 안전 지침을 포함할 수도 있습니다.1:03:38제 생각에는 안전성 확보가 연구 전반과 제품 개발 및 배포 전반에 걸쳐 매우 중요한 요소인 것 같습니다.1:03:46특정 한 부분에만 국한된 것이 아니라, 인공지능의 영향과 같은 맥락에서 매우 흥미로운 또 다른 주제가 논의되고 있습니다.일자리: 인간과 AI의 상호보완성(비교우위)1:03:53일자리. 그러니까 GDP 논의에 따르면 에이전트들이 똑같이 좋아지고 있다는 거죠.1:04:01인간보다 훨씬 뛰어나다는 건 분명한 사실이죠. 그렇다면 그게 우리 모두의 직업에 어떤 의미를 갖는 걸까요? 무엇을 배우셨나요?1:04:08음, 알파 제로와 알파 고의 경험을 통해 우리는 무언가를 얻을 수 있을 거라고 생각합니다.1:04:14우리 모두가 초강력 요원을 갖게 되면 어떤 일이 벌어질지 살짝 엿볼 수 있습니다.1:04:19일자리 말이죠. 그래서 우리가 아직 이야기하지 않은 첫 번째 주제는 바로 그것이라고 생각합니다.1:04:25인공지능은 꽤... 제 말은, 좀 단순하게 들릴 수도 있지만, 기존 기술과는 상당히 다르다는 겁니다.1:04:32인간의 지능. 그러니까 모델이 어떤 작업에서는 우리보다 훨씬 뛰어날 수 있다는 걸 알 수 있죠. 예를 들어, 아시다시피요.1:04:38계산 능력은 명백히 뛰어나고, 다른 작업에서는 우리보다 훨씬 못해요.1:04:43그래서 저는 일대일 대체는 절대 아닐 거라고 생각합니다. 훨씬 더 복잡한 과정이 될 겁니다.1:04:49모델이 제가 좋아하지 않거나 잘 못하는 어떤 일을 정말 잘한다는 건 칭찬할 만한 일이죠.1:04:55제가 관심 있는 분야가 있거나, 아니면 제가 정말 못하는 분야가 있다면, 저는 엄마 역할보다는 모델로서 훨씬 더 잘할 수 있을 것 같아요. 그래서 저는 잘 될 거라고 생각해요.1:05:02마치 점진적인 과정처럼, 우리 모두가 점진적으로 모델을 더 많이 활용하여 스스로를 개선해 나갈 것입니다.1:05:09생산성을 높이는 것이지, 일대일로 정확하게 수행할 수 있는 모델을 갖는 것이 아닙니다.1:05:14우리가 할 수 있는 일들의 집합입니다. 예를 들어, 저는 코드 리팩토링을 하거나 프런트엔드 코드를 작성할 때 클라우드를 항상 사용합니다.1:05:21내가 쓰고 싶지 않은 부분이 있거나, 동시에 내가 클라우드보다 훨씬 더 잘 표현할 수 있는 부분도 분명히 있다.1:05:26여전히 그렇습니다. 그래서 가장 생산적인 기술을 활용하는 시너지 효과가 있는 거죠.1:05:32경제학자들은 그걸 비교우위라고 부르는 것 같은데, 아시다시피 긴 과정이 필요하죠.1:05:42생산성을 점진적으로 향상시켜 나갈 것이고, 그 과정이 우리에게 어느 정도 시간을 벌어줄 것이라고 생각합니다.1:05:48정치적으로 어떻게 해야 할지, 그리고 경제적으로 우리가 어떻게 해야 할지 알아내야 합니다.1:05:53인공지능과 무관하게도 이러한 엄청난 생산성 향상의 혜택을 누릴 수 있다는 것을 알고 계시죠?1:05:58기술의 발전으로 우리는 모두 생산성이 높아지고 부유해져서 훨씬 적게 일해도 될 것이라는 믿음이 오랫동안 이어져 왔습니다.1:06:05그런데 신기하게도, 우리 모두 수십 년 동안 주 40시간씩 일해 왔잖아요. 그래서, 제 생각엔 그게 훨씬 더 중요한 것 같아요.1:06:11마치 정치적, 사회적 문제처럼, 이러한 모든 개선 사항으로부터 우리가 실제로 어떻게 이익을 얻을 수 있는지를 알아내는 것과 같은 문제죠.1:06:17아시다시피, 부와 생산성 증가를 모든 사람에게 가져다준다면 기술적인 문제는 훨씬 덜 중요해질 것입니다.1:06:23음. 그건 우리가 기술만으로는 해결할 수 없다는 뜻이기도 해요. 일종의 다른 방식으로 해결해야 한다는 거죠.1:06:29민주적인 정치적 수준에서, 이러한 혜택을 어떻게 분배할 수 있을까요? 이것이 증가한다고 생각하시나요?불평등, 정책, 그리고 생산성 10배 증대 → 풍요의 필요성1:06:36불평등이요? 그러니까, 알파 고와 뮤의 영향에 대해 생각해 보세요.1:06:45제로, 최고의 바둑 기사들과 최고의 체스 선수들은 어떻게 됐어? 그들은 무슨 일을 저지른 거야?1:06:52사라진 건가요, 아니면 더 발전하고 좋아진 건가요? 네, 적어도 체스와 바둑의 경우에는 그런 변화가 있었던 것 같아요.1:06:59관심이 더 많아졌고, 사람들이 바둑이나 체스를 두는 방법을 배우는 것이 훨씬 쉬워졌습니다. 왜냐하면 이제는 굳이 그럴 필요가 없기 때문입니다.1:07:05전문적인 튜터를 찾아야 할 것 같아요. 누구나 스스로 연습할 수 있지만, 많은 시간을 투자해야 할 것 같아요.1:07:11체스 스트리머들이 트위치에서 매우 인기 있는 것처럼, 많은 학생들이 트위치를 많이 이용하는 것과 마찬가지로,1:07:17언어 모델을 연구하는 것은 코딩, 특히 클라우드 코드 작성에도 도움이 된다고 생각합니다. 이러한 에이전트들은 문제를 제기합니다.1:07:24누구나 아이디어를 가지고 있다면 혼자서도 충분히 해낼 수 있는 일의 범위를 넘어서는 거죠. 더 큰 그림은 당신도 잘 알고 있을 거라고 생각해요.1:07:31불평등의 증가 또는 감소는 예측하기가 매우 어렵습니다. 불평등은 어떤 사람이든 도달할 수 있는 최저 수준을 높이는 결과를 가져오기도 합니다.1:07:38성취할 수 있게 해줄 뿐만 아니라 매우 생산적인 사람들에게 다음과 같은 능력을 부여합니다.1:07:43훨씬 더 생산적일 수 있습니다. 세금 제도에 따라 국가별로 상당한 차이가 나타날 가능성이 있습니다.1:07:50그들이 가진 사회적 재분배 시스템은 불평등이 증가하는지 여부에 영향을 미칩니다.1:07:56예를 들어 전반적으로 감소하는 추세인데, 저는 이것이 0섬이 아니라는 점에 매우 고무되어 있습니다.1:08:02진보라는 개념을 생각해 보면, 사회 전체에서 이용 가능한 부를 증가시키는 것은 분명하다고 생각합니다.1:08:09번영에 대해 생각해 보세요. 그것이 가장 중요한 것이고, 파이를 재분배하는 것은 일종의 패자 게임과 같습니다.1:08:18더 부유해지려면 파이를 키워야 합니다. 농업 혁명과 산업 혁명을 생각해 보세요.1:08:24혁명 덕분에 오늘날 우리가 훨씬 더 나은 삶을 누리게 된 이유는, 아시다시피, 우리가 훨씬 더 많은 것을 갖게 되었기 때문입니다.1시 8분 30초생산성이 높아졌습니다. 우리는 훨씬 더 많은 부를 축적했습니다. 그래서 이것이 우리가 원하는 핵심 단계입니다.1:08:36잠금 해제. 만약 우리가 사회 구성원 모두의 생산성을 10배 높일 수 있다면.1:08:42우리가 어떤 종류의 풍요로움을 이룰 수 있을지 아시나요? 저는 그게 핵심 질문이라고 생각해요, 그렇죠? 어떤 발전이 그런 풍요로움을 가능하게 할까요?1:08:49의학 분야에서 어떤 가능성이 열리나요? 질병을 치료하고 노화를 멈추는 것 같은 것들이요. 어떤 의미가 있나요?1:08:54에너지 측면에서 잠금 해제를 말씀하시는 건가요? 당연하죠, 우리는 기후 위기를 겪고 있잖아요.1시 9분우리의 생활 방식을 유지하기 위해서는 더 많은 에너지 권리가 필요합니다. 재료 과학의 발전은 무엇일까요?1:09:07우리가 가질 수 있을까요? 이 모든 것들은 기본적으로 우리가 접근할 수 있는 정보의 양과 그것을 어떻게 활용할 수 있는지에 따라 제약을 받습니다.1:09:15네, 그래서 저는 앞으로 5년 동안 우리가 무엇을 이뤄낼 수 있을지에 대해 엄청나게 낙관적입니다.1:09:22우리는 정말 멀리까지 갈 수 있을 것 같아요. 음, 거기서 마무리하는 게 참 좋은 것 같네요. 정말 감사합니다.마무리 생각1:09:28줄리안, 정말 환상적인 시간이었어요. 시간을 내주셔서 감사합니다. 네, 흥미로운 질문들, 그리고 시간을 내주셔서 정말 감사했습니다.1:09:36안녕하세요, 맷 터크입니다. 이번 매드 팟캐스트 에피소드를 들어주셔서 감사합니다. 재밌게 들으셨다면, 좋아요를 눌러주시면 정말 감사하겠습니다.1:09:42아직 구독하지 않으셨다면 구독을 고려해 주시고, 긍정적인 리뷰나 댓글을 남겨주시면 감사하겠습니다.1:09:47어떤 플랫폼에서 이 에피소드를 시청하거나 청취하시든, 여러분의 참여는 저희 팟캐스트를 발전시키고 더 많은 사람들에게 알리는 데 큰 도움이 됩니다.1:09:53훌륭한 게스트였습니다. 감사합니다, 다음 에피소드에서 뵙겠습니다.