Andrew Mayne, Mark Chen, Nick Turley - ChatGPT 내부, AI 비서, OpenAI 팟캐스트 에피소드 2
앤드류 메인, 마크 첸, 닉 털리 – ChatGPT 내부, AI 비서, 그리고 OpenAI에서 구축하기 — OpenAI 팟캐스트 에피소드 2
안녕하세요. 저는 앤드류 메인입니다. 그리고 이것은 OpenAI 팟캐스트입니다. 오늘 저의 손님은 OpenAI의 최고 연구 책임자인 마크 첸과 ChatGPT의 총괄 닉 털리입니다. 저희는 ChatGPT의 초기 바이럴 시절에 대해 이야기할 것입니다. ImageGen에 대해 이야기하고, OpenAI가 코드와 Codex와 같은 도구를 어떻게 보는지, 미래에 우리에게 어떤 종류의 기술이 필요하다고 생각하는지 이야기할 것입니다. 그리고 ChatGPT가 어떻게 그 완전히 평범한 이름을 얻게 되었는지 알아볼 것입니다.
연구원들 중 절반도 그 세 글자가 무엇을 의미하는지 모릅니다. 당신의 주머니에 지능이 있어서 당신의 튜터가 될 수도 있고, 조언자가 될 수도 있고, 소프트웨어 엔지니어가 될 수도 있습니다. 출시 전날 밤에 정말 중요한 결정이 있었습니다. 과연 이것을 출시해야 할까? 우선, OpenAI는 어떻게 그 멋진 이름을 결정하게 되었나요? 원래는 "Chat with GPT-3.5"가 될 예정이었는데, 밤늦게 간소화하기로 결정했습니다.
잠깐만요. 다시 한번 그 이름을 말씀해 주시겠어요? "Chat with GPT-3.5"가 될 예정이었습니다. 챗. 훨씬 더 부드럽게 발음되죠. 그리고 밤늦게 결정했다고 말씀하셨는데, 출시 몇 주 전에 최종 결정했다는 의미인가요? 맞습니다. 맞아요. 아니요. 몇 주 전에는 아직 프로젝트를 시작하지도 않았던 것 같아요. 세상에.
그러나 저희는 그것이 발음하기 어렵다는 것을 깨달았고 대신 훌륭한 이름을 생각해냈습니다. 그럼 출시 전날 밤이었나요? 대략요. 네. 어쩌면 하루 전이었을지도 모릅니다. 그 시점에는 모든 것이 흐릿했습니다. 많은 부분이 흐릿했을 거라고 생각합니다. 그리고 저는 우리가 로우 키 연구 프리뷰에 대해 이야기했던 회의에 있었던 것을 기억합니다. 그것은 정말로 그랬습니다.
예를 들어, 우리는 정말로 ‘아, 이것은 3.5 모델이기 때문에 그렇구나’라고 생각했습니다. 3.5는 몇 달 동안 나와 있던 모델이었습니다. 그리고 기능적인 관점에서 평가를 보면 ‘네, 같은 것이지만 인터페이스를 넣어서 프롬프트를 많이 입력할 필요 없게 만들었을 뿐’이라고 생각하게 됩니다. 그리고 ChatGPT가 출시됩니다. 이것이 폭발적으로 인기를 얻고 있다는 첫 징후는 언제였나요? 저는 모두가 그 시대에 대한 약간의 다른 기억을 가지고 있다고 생각합니다. 매우 혼란스러운 시기였으니까요.
그러나 저에게는 첫째 날은 대시보드가 고장 났는지 여부였습니다. 전형적인 ‘로그인이 제대로 될 리 없어’와 같은 상황이었죠. 둘째 날은 ‘오, 이상하네. 일본 레딧 사용자들이 이 것을 발견했나 보다. 어쩌면 지역적인 현상일지도’와 같았습니다. 셋째 날은 ‘좋아, 바이럴 되고 있지만 분명히 시들해질 거야’였습니다. 그리고 넷째 날쯤에는 ‘좋아, 세상을 바꿀 거야’였습니다. 마크, 당신은 그런 기대를 했었나요?
아니요. 솔직히 말해서, 우리는 시간이 지남에 따라 너무나 많은 출시와 프리뷰를 거쳤습니다. 그리고, 네, 이번에는 정말 달랐습니다. 맞죠? 이륙 경사로가 엄청났고, 네, 저희 부모님은 더 이상 저에게 구글에 가서 일하라고 묻지 않으셨습니다. 잠깐만요. 그럼요. ChatGPT 전까지는 부모님이 ‘여기서 뭘 하니?’라고 물어보셨다는 말인가요? 네. 아니요. 제 말은, 부모님은 OpenAI에 대해 들어본 적이 없었습니다.
맞죠? 저는 몇 년 동안 AGI가 허황된 꿈이고, 저는 진지한 직업을 가지고 있지 않다고 생각하셨던 것 같아요. 그래서 그들에게는 정말 계시였습니다. 네. 그때 당신의 직책은 무엇이었나요? 그냥 기술 스태프였던 것 같습니다. 기술 스태프. 네. 그리고 그게 터지면서, 이제 연구 총괄이 되셨나요? 그런 것 같아요. 네. 좋아요. 네.
사실, GPT 이름에 대해서는, 연구원들 중 절반도 그 세 글자가 무엇을 의미하는지 모른다고 생각합니다. 좀 웃기죠. 절반은 ‘생성형 사전 훈련’이라고 생각하고, 절반은 ‘생성형 사전 훈련 트랜스포머’라고 생각합니다. 그럼 무엇인가요? 후자입니다. 알겠습니다. 좋아요. 네. 그 사람들은 그 이름의 의미를 모르는군요. 네. 그런 어이없는 이름이 갑자기 대단한 것이 된다는 것이 이상합니다.
그러나 구글, 야후, 크리넥스 같은 것들을 보면 그렇습니다. 제록스도요. 그리고 때로는 일부러 지어진 이름도 있었지만, 이 경우는 정말 어이없는 종류의 이름이었습니다. 저에게는 출시를 보고, 그것이 가속화되는 것을 본 후, 무슨 일이 일어날지 알았습니다. 그리고 그것이 South Park에 나왔을 때였습니다. South Park가 그 이름을 가지고 놀렸던 것을 기억하시나요? 제가 South Park를 다시 본 것은... 음.
꽤 오랜만이라고 해두죠. 그리고 그 에피소드는 여전히 마법 같다고 생각합니다. 네. 분명히 만들었던 것이 대중문화에 나타나는 것을 보고 깊은 감동을 받았습니다. 그러나 마지막에 ‘오, 이것은 ChatGPT와 공동 집필되었다’는 펀치라인이 나옵니다. 제 생각에는 그들이 그것을 삭제한 것 같아요. 나중에 나온 에피소드에서는요. 왜냐하면 이전에는 트레이 파커 등이라고 적혀 있었던 것 같아요.
오, 세상에. 그리고 나중에, 그들이 어떤 시점에서 그것을 삭제했을 수도 있다고 생각합니다. 기억이 안 나네요. 오, 저는 그것에 대해 굳이 공로를 인정할 필요가 없다고 강력히 생각합니다. 네. 당신이 그것을 사용하는 것은 항상 필요합니다. 제 인생의 모든 측면에 대해 ChatGPT의 공로를 인정해야 한다면요. 그냥 "ChatGPT 아마도 앤드류와 함께"라고 말하는 것이 낫겠네요.
맞아요. 인터뷰 준비에 사용하셨나요? 제 공동 프로듀서 중 한 명인 저스틴은 아마 사용했을 겁니다. 아직 물어보지 않았어요. 우리가 여기서 생각하는 모든 질문을 직접 만들었다고 생각하고 싶으니까요. 하지만 저는 확신합니다. 좀 흐릿했다고 말씀하셨죠. ChatGPT 출시 당시 저에게 가장 인상 깊었던 순간은 크리스마스 파티였습니다. 기억하실지 모르겠지만요. 그리고 ChatGPT가 몇 주 동안 나와 있었고, 샘 알트먼이 올라와서 “이것을 보는 것이 흥미로웠지만, 인터넷은 인터넷이고, 우리 모두 이렇게 느꼈듯이, 곧 시들해질 겁니다”라고 말했습니다.
스포일러 경고: 시들해지지 않았고 계속 가속화되었습니다. 더 많은 사람들이 사용하고 싶어함에 따라 이 것을 유지하고 실행하기 위해 내부적으로 어떤 조치를 취해야 했나요? 우리는 꽤 많은 제약이 있었습니다. 그리고 기억하시는 분들을 위해 말씀드리자면, ChatGPT가 처음에는 항상 다운되었던 것을 기억하실 겁니다. 네. 우리는 ‘이것은 연구 프리뷰입니다. 보장은 없습니다. 다운될 수도 있습니다’라고 말했지만, 사람들이 이 것을 좋아하고 사용하는 순간, 기분이 좋지 않았습니다. 그래서 사람들은 분명히 웹사이트를 유지하기 위해 밤낮으로 일했습니다. GPU가 바닥났고, 데이터베이스 연결도 바닥났습니다. 일부 공급업체에서는 속도 제한에 걸렸습니다. 제품을 실행할 수 있도록 설정된 것이 아무것도 없었습니다. 그래서 처음에는 이 것을 만들었습니다.
우리는 그것을 ‘실패 고래(fail whale)’라고 불렀는데, 그것은 시스템이 다운되었음을 친절하게 알려주고, GPT-3이 생성한 다운 상태에 대한 짧은 시를 만들어 주었습니다. 좀 농담조로요. 그리고 그것은 겨울 휴가 동안 우리를 지탱해 주었습니다. 왜냐하면 우리는 사람들이 휴일을 보낼 수 있기를 바랐기 때문입니다. 그리고 우리가 돌아왔을 때, 우리는 ‘좋아, 이것은 분명히 실행 불가능해. 항상 다운될 수는 없어’라고 생각했습니다. 결국, 우리는 모든 사람에게 서비스를 제공할 수 있는 무언가를 얻게 되었습니다.
네. 그리고 저는 이러한 수요가 ChatGPT의 일반성에 대해 말해준다고 생각합니다. 맞죠? 우리는 ChatGPT가 우리가 AGI에서 원했던 것을 구현한다고 생각했습니다. 그것이 너무나 일반적이기 때문입니다. 그리고 저는 사람들이 ‘내가 모델에 던지고 싶은 어떤 사용 사례도 처리할 수 있다’는 것을 깨닫고 있기 때문에 수요가 급증하는 것을 보고 있다고 생각합니다. 우리는 AGI를 연구하는 회사로 알려져 있었습니다. 그리고 ChatGPT 이전에는 API가 사람들이 공개적으로 사용할 수 있었던 첫 번째 제품이었지만, 그것은 주로 개발자 등을 위한 것이었습니다.
그리고 저는 사람들이 AGI를 생각하는 한, 이 모델들이 유용해질 시점이라고 생각했던 것 같습니다. 그러나 우리는 GPT-3이 유용하다는 것을 보았고, 다른 유용한 것들도 할 수 있다는 것을 보았습니다. OpenAI의 모든 사람들이 ChatGPT가 유용하거나 출시 준비가 되었다는 것에 동의했나요? 네. 저는 그렇게 생각하지 않습니다. 아시죠? 출시 전날 밤에도, OpenAI에는 일리야가 모델에 10번이나 시도한, 즉 10개의 어려운 질문을 던진 매우 유명한 이야기가 있습니다.
그리고 제 기억으로는, 그 중 5개 정도에서만 그가 받아들일 수 있다고 생각하는 답변을 얻었습니다. 그래서 출시 전날 밤에 정말 중요한 결정이 있었습니다. 과연 이것을 출시해야 할까? 세상이 과연 이것에 반응할까? 그리고 저는 이것이 우리가 이 모델들을 자체적으로 구축할 때, 능력에 너무나 빠르게 적응한다는 것을 말해준다고 생각합니다. 음. 그리고 모델 훈련 루프에 참여하지 않았던 사람의 입장이 되어, 거기에 진정한 마법이 있다는 것을 보기 어렵습니다.
네. 네. 네. 저는 내부적으로 ‘이것이 출시할 만큼 충분히 좋은가’에 대한 논란이 겸손하게 다가온다고 생각합니다. 왜냐하면 그것은 AI에 관해서 우리 모두가 얼마나 틀릴 수 있는지를 상기시켜 주기 때문입니다. 그래서, 아시죠, 현실과의 빈번한 접촉이 그렇게 중요합니다. 그 현실과의 접촉에 대해 더 자세히 설명해 주시겠어요? 그게 무슨 의미인가요? 네.
제 말은, 반복적인 배포에 대해 생각할 때, 제가 좋아하는 방식은 ‘갑자기 유용해지는 시점은 모든 사람이 동의하는 지점이 아니다’라는 것입니다. 유용하다는 것은 큰 스펙트럼입니다. 그래서, 아시죠, 특정 능력 수준이나 특정 기준을 충족한다고 해서 갑자기 모든 사람에게 모델이 유용해지는 것은 아닙니다. 무엇을 포함할지, 무엇에 집중할지에 대한 어려운 결정이 있었나요? 우리는 ChatGPT에서 범위를 부풀리지 않는 것을 매우, 매우 원칙으로 삼았습니다.
우리는 가능한 한 빨리 피드백과 데이터를 얻는 데 단호했습니다. 저는 항상 슬랙에서 당신에게 추가되지 않은 방식에 대해 말하고 있습니다. 실제로 UI 측면에 대한 많은 논란이 있었던 것을 기억합니다. 예를 들어, 우리는 사람들이 아마도 원할 것이라고 생각했지만, 기록 기능을 포함하지 않고 출시했습니다. 그리고 예상대로, 그것이 첫 번째 요청이었습니다. 또한 항상 ‘2주 더 시간을 주면 더 나은 모델을 훈련시킬 수 있을까?’라는 질문이 있습니다.
그러나 저희는 그렇게 하지 않아서 다행이라고 생각합니다. 왜냐하면 그렇게 하면서 엄청난 피드백을 얻었으니까요. 그래서, 네, 범위에 대한 많은 논의가 있었고, 휴일이 다가오고 있었기 때문에, 저희는 무언가를 출시해야 한다는 자연스러운 강제 요소를 가지고 있었다고 생각합니다. 네, 11월 특정 시점 이후에 나올 예정인 것들은 2월까지는 나오지 않는다는 습관이 있었습니다. 어떤 것들은 그 시점 전후로 출시되는 창이 있었습니다.
음, 그것이 대기업의 전형적인 방식이겠죠. 우리는 소유권에 대해 확실히 좀 더 유연합니다. 저는 사람들이 그것을 사용하기 시작하자마자, 이 것들이 개선되는 속도가 엄청났다고 느꼈습니다. 그것이 우리의 계산에 정말로 있었던 것인지는 모르겠습니다. 우리는 분명히 더 큰 사이트에서 더 많은 데이터를 훈련하고, 컴퓨팅을 확장하는 것을 생각할 수 있었지만, 그렇게 많은 사람들이 사용하는 것으로부터 얻을 수 있는 신호는 예상치 못했습니다.
네. 저는 시간이 지남에 따라 피드백이 제품을 구축하는 방식의 필수적인 부분이 되었다고 생각합니다. 그리고 그것은 안전의 필수적인 부분도 되었습니다. 그래서 피드백을 놓치는 시간 비용을 항상 느끼게 됩니다. 아시죠, 진공 상태에서 숙고할 수 있습니다. 맞죠? 그들이 이것에 더 잘 반응할까? 저것에 더 잘 반응할까? 그러나 그것을 실제로 출시하는 것의 대체물은 없습니다. 맞죠?
저희의 철학은 모델이 세상과 접촉하게 하는 것이라고 생각합니다. 그리고 무언가를 되돌려야 한다면, 괜찮습니다. 그러나 이 빠른 피드백을 대체할 수 있는 것은 정말 없다고 생각하며, 그것은 모델 성능을 개선하는 큰 지렛대 중 하나가 되었습니다. 좀 우스꽝스럽습니다. 우리는 하드웨어와 더 유사한 방식으로 이 모델들을 출시하기 시작했던 것 같아요. 거의 출시하지 않고, 한 번에 제대로 해야 하고, 업데이트하지 않고 다음 큰 프로젝트를 진행하는 식이었죠.
자본 집약적이고 시간표가 길었습니다. 그리고 시간이 지남에 따라, 저는 ChatGPT가 일종의 시작이었다고 생각하는데, 이제는 소프트웨어와 더 비슷해 보입니다. 자주 업데이트를 하는 방식이죠. 음. 세상이 받아들일 수 있는 일정한 속도를 가집니다. 뭔가 작동하지 않으면, 다시 회수하고, 그렇게 함으로써 위험 부담을 낮추고 경험주의를 증가시킵니다. 그리고 물론 운영적으로도, 사용자가 원하는 것에 더 가까워지는 방식으로 더 빠르게 혁신할 수 있습니다.
네. 그런 예 중 하나는 모델이 너무 아첨하거나 비굴해지는 경우였습니다. 거기에 무슨 일이 있었는지 설명해 주시겠어요? 그 때 사람들은 갑자기 ‘야, 이거 나한테 IQ 190이라고 하네. 내가 세상에서 제일 잘생겼대’라고 말했습니다. 개인적으로는 문제될 것이 없었지만, 다른 사람들은 문제 삼았습니다. 무슨 일이 있었던 건가요?
네. 그래서 중요한 점은 모델을 움직이기 위해 사용자 피드백에 의존한다는 것입니다. 맞죠? 그리고 그것은 RLHF라고 부르는 절차에 사용되는 보상 모델의 매우 복잡한 조합입니다. RL을 사용하여 모델을 개선하기 위해 인간 피드백을 사용하는 것이죠. 그것이 무슨 의미인지 간단한 예를 들어 주시겠어요? 네. 네. 그래서 한 가지 생각할 수 있는 방법은 사용자가 대화를 즐길 때 긍정적인 신호를 제공한다는 것입니다.
엄지척. 네. 예를 들어, 엄지척입니다. 그리고 우리는 모델이 더 많은 엄지척을 유도할 방식으로 응답하도록 훈련시킵니다. 맞죠? 그리고 이것은 돌이켜보면 분명할 수도 있지만, 그런 것들이 잘못 균형 잡히면 모델이 더 아첨하게 만들 수 있습니다. 맞죠? 사용자가 모델이 자신에 대해 좋은 말을 하는 그런 느낌을 원할 수도 있지만, 장기적으로는 아주 좋은 결과는 아니라고 생각합니다.
그리고, 사실, 저희의 대응과 그 결과로 나온 롤아웃을 보면, 그것에 대해 많은 좋은 점들이 있었다고 생각합니다. 아시죠, 이것은 소수의 파워 유저들만이 제기했던 문제였습니다. 일반적으로 모델을 사용하는 많은 사람들이 알아차린 문제는 아니었습니다. 그리고 우리는 그것을 상당히 일찍 발견했다고 생각합니다. 우리는 적절한 수준의 심각성으로 대응했다고 생각합니다. 음.
그리고, 네, 그것은 우리가 이 문제들을 매우 심각하게 받아들이고 매우 일찍 차단하고 싶다는 것을 보여준다고 생각합니다. 네. 모델이 출시된 지 아마 48시간 만에 조안 장이 정확히 무슨 일이 일어났는지 설명하는 응답을 내놓았던 것 같습니다. 그리고 저는 그것이 어려운 부분이라고 생각합니다. 어떻게 그것을 헤쳐 나갈 수 있을까요? 왜냐하면 소셜 미디어의 문제는 기본적으로 참여 시간에 따라 수익을 창출한다는 것입니다.
사람들이 더 오래 머물게 하여 더 많은 광고를 보여주고 싶어 합니다. 그리고 물론, 더 많은 사람들이 ChatGPT를 사용할수록, 분명히 광고를 여는 데 비용이 듭니다. 아마도 한 번 사용하고 영원히 머무르게 하는 것이 목표일 수도 있지만, 그것은 실용적이지 않습니다. 그것을 어떻게 고려하나요? 사람들이 얻는 것에 만족하게 하는 것과 모델을 단지 기쁘게 하는 것보다 더 광범위하게 유용하게 만드는 것 사이에서요? 이 점에 있어서는 매우 운이 좋다고 생각합니다. 우리는 매우 실용적인 제품을 가지고 있으니까요.
사람들은 자신이 할 줄 알지만 더 빠르거나 덜 노력하여 하고 싶지 않은 일을 달성하기 위해 사용하거나, 전혀 할 수 없었던 일을 하기 위해 사용합니다. 예를 들어, 미루던 이메일을 쓰는 것일 수도 있습니다. 두 번째 예는 엑셀로 할 줄 몰랐던 데이터 분석을 실행하는 것일 수도 있습니다. 실제 이야기입니다. 그래서, 아시죠, 그런 것들은 매우 실용적인 일입니다.
근본적으로, 당신이 개선함에 따라, 당신은 실제로 제품에 시간을 덜 소비하게 됩니다. 맞죠? 왜냐하면, 이상적으로는 주고받는 횟수가 줄어들거나, 아니면 실제로 AI에 위임하여 제품 안에 전혀 있지 않을 수도 있기 때문입니다. 그래서 우리에게 있어서, 아시죠, 시간 소비는 우리가 최적화하는 것이 전혀 아닙니다. 아시죠, 우리는 당신의 장기적인 유지를 중요하게 생각합니다. 왜냐하면 그것이 가치의 신호라고 생각하기 때문입니다.
3개월 후에 다시 돌아온다면, 그것은 분명히 우리가 옳은 일을 했다는 의미입니다. 그러나 그것이 의미하는 바는, 아시죠, 저는 항상 ‘인센티브를 보여주면 결과를 알려주겠다’고 말합니다. 우리는 훌륭한 것을 구축하기 위한 올바른 근본적인 인센티브를 가지고 있다고 생각합니다. 그것이 항상 옳을 것이라는 의미는 아닙니다. 아첨 사건은 우리에게 정말 정말 중요하고 좋은 학습이었고, 저는 우리가 그것에 대해 행동한 방식이 자랑스럽습니다. 그러나 근본적으로, 저는 우리가 멋진 것을 구축할 수 있는 올바른 설정을 가지고 있다고 생각합니다.
그래서 그것이 문제를 제기합니다. 초기 ChatGPT가 나왔을 때 논란 중 하나는 ‘워크’하다고, 즉 사람들이 어떤 종류의 의제를 홍보하려고 한다는 비난이었습니다. 제 주장은 항상, 기업체 말투, 일반 뉴스, 그리고 많은 학술 자료로 모델을 훈련시키면 그런 경향을 따르게 된다는 것이었습니다. 그리고 엘론 머스크가 그것에 대해 매우 비판적이었던 것을 기억합니다. 그리고 그가 Grok의 첫 번째 버전을 훈련시켰을 때, 똑같은 일이 일어났습니다.
그리고 그는 ‘아, 네. 이런 종류의 것에 훈련시키면 그렇군요’라고 말했습니다. 그리고 OpenAI 내부에서는 ‘모델이 당신을 밀어붙이거나, 당신을 조종하려고 하지 않도록 어떻게 만들까’에 대한 논의가 있었습니다. 그것이 어떻게 작동하도록 노력하는지 좀 더 자세히 설명해 주시겠어요? 네. 저는 그것의 핵심은 측정 문제라고 생각합니다. 맞죠? 그리고 저는 실제로 이러한 종류의 우려를 과소평가하는 것은 나쁘다고 생각합니다. 왜냐하면 그것은 매우 중요한 일들이니까요.
맞죠? 그리고 우리는 모델의 기본 동작이 정치 스펙트럼이나 다른 많은 편향 축에서 편향을 반영하지 않는 중립적인 것인지 확인해야 합니다. 동시에, 사용자가 더 보수적인 가치를 가진 어떤 것의 반영과 대화하고 싶다면 그것을 약간 조종할 수 있는 능력을 허용하고 싶을 것입니다. 맞죠? 음. 또는 자유주의적인 가치도요.
맞죠? 그래서 저는 기본값이 의미 있고 중립적인지 확인하고 싶다는 것이 중요하다고 생각합니다. 그것은 측정 문제입니다. 음. 그리고 또한 모델을 당신이 대화하고 싶은 페르소나로 조종할 수 있는 약간의 유연성도 허용하고 싶을 것입니다. 저는 그것이 옳다고 생각합니다. 저는, 아시죠, 중립적인 기본값 외에도, 어느 정도 자신의 가치를 가져올 수 있는 능력과 함께, 모든 것에 대해 투명하게 공개하는 것이 정말 정말 중요하다고 생각합니다.
저는 아시죠, 모델이 어떤 것을 말하거나 말하지 않도록 해킹하려는 비밀 시스템 메시지를 좋아하지 않습니다. 우리가 시도한 것은 우리의 사양을 공개하는 것입니다. 그래서 당신은, 아시죠, 만약 당신이 특정 모델 행동을 얻고 있다면, 그것이 버그인지 확인할 수 있습니다. 아시죠, 그것이 우리의 명시된 사양 위반인지, 아니면 실제로 사양에 포함되어 있는지, 이 경우 누구를 비판하고 누구에게 소리쳐야 할지 알 수 있습니다. 아니면 사양에 제대로 명시되어 있지 않은지, 이 경우 우리가 그것을 개선하고 그 문서에 더 많은 세부 사항을 추가할 수 있습니다.
그래서 인공지능이 따라야 할 규칙을 일종의 공개함으로써, 저는 그것이 OpenAI 내부 사람들뿐만 아니라 더 많은 사람들이 대화에 기여할 수 있도록 하는 중요한 단계라고 생각합니다. 그래서 우리는 시스템 프롬프트, 즉 사용자가 입력을 넣기 전에 모델이 받는 명령어의 일부에 대해 이야기하고 있는 건가요? 글쎄요, 그 이상이라고 생각합니다. 시스템 프롬프트는 모델을 조종하는 한 가지 방법이지만, 그것은 훨씬 더 깊이 들어갑니다. 맞죠?
아시죠? 네. 우리는 다양한 행동 범주에 걸쳐 모델이 어떻게 행동해야 하는지를 개괄하는 매우 큰 문서를 가지고 있습니다. 그리고 여기에 예를 들어 드리겠습니다. 맞죠? 당신은 잘못된 믿음, 즉 사실적으로 틀린 관점을 가진 사람이 들어온다고 상상할 수 있습니다. 음. 모델은 그 사용자와 어떻게 상호 작용해야 할까요? 맞죠? 그리고 그 관점을 즉시 거부해야 할까요, 아니면 사용자와 함께 무엇이 진실인지 알아내기 위해 협력해야 할까요?
그리고 우리는 후자의 관점을 취하며, 여기에 많은 시간을 투자하는 매우 미묘한 결정들이 많다고 생각합니다. 네. 그건 어려운 문제입니다. 왜냐하면 어떤 것들은 미리 테스트하고 알아낼 수 있지만, 전체 문화가 무언가를 어떻게 받아들일지 알아내려고 할 때는 어렵습니다. 예를 들어, 제가 지구가 평평하다고 확신하는 사람이라면, 모델이 저에게 얼마나 반박해야 할까요?
그리고 어떤 사람들은 ‘오, 완전히 반박해야 해’라고 말하지만, ‘좋아, 만약 당신이 한 종교이거나 다른 종교가 아니면 어떨까?’라고 묻습니다. 네. 합리적인 사람들과 많은 사람들은 이러한 경우에 모델이 어떻게 행동해야 하는지에 대해 의견이 다를 수 있습니다. 그리고 당신은 항상 옳은 답을 얻지 못할 수도 있지만, 우리가 어떤 접근 방식을 취했는지 투명하게 공개할 수 있습니다. 사용자에게 그것을 사용자 정의할 수 있도록 허용할 수 있으며, 저는 이것이 우리의 접근 방식이라고 생각합니다. 분명히 개선할 방법이 있겠지만, 투명하고 우리가 그것을 어떻게 해결하려고 하는지에 대해 공개함으로써 피드백을 얻을 수 있다고 생각합니다.
사람들이 이 모델을 점점 더 많이 사용하기 시작할 때 어떻게 생각하시나요? 그것이 어떤 다이얼을 돌리려고 하는지와 상관없이, 그것이 더 유용해질수록 더 많은 사람들이 그것을 사용하고 싶어 합니다. 한때는 아무도 휴대폰을 원하지 않았지만, 이제 우리는 휴대폰 없이는 살 수 없습니다. 사람들과 시스템이 형성하는 관계에 대해 어떻게 생각하시나요? 분명히, 이전에 언급했듯이, 이것은 연구해야 할 기술입니다.
그것은 정적인 방식으로 X, Y, Z를 하도록 설계되지 않았습니다. 그것은 매우 경험적입니다. 그래서, 아시죠, 사람들이 제품을 사용하는 방식으로 채택함에 따라, 그것은 우리가 이해하고 행동해야 할 것이기도 합니다. 저는 증가하는 수의 사람들, 특히 Z세대와 젊은 인구들이 ChatGPT를 사고 파트너로 여기는 흥미로운 경향을 관찰하고 있습니다. 그리고 많은 경우에, 그것은 관계 문제에 대해 브레인스토밍할 사람이 있거나, 전문적인 문제에 대해 브레인스토밍할 사람이 있거나,
또는 다른 어떤 것에 대해서도 매우 유용하고 유익하다고 생각합니다. 그러나 어떤 경우에는 해로울 수도 있습니다. 그리고 저는 그러한 시나리오를 감지하고 무엇보다도 올바른 모델 행동을 갖는 것이 우리에게 매우 중요하다고 생각합니다. 그것을 적극적으로 모니터링하는 것이죠. 그리고 어떤 면에서는, 보편화되는 모든 기술이 이중 용도를 가질 것이기 때문에 우리가 씨름해야 할 문제 중 하나입니다. 사람들은 모든 멋진 일에 그것을 사용할 것이고, 우리가 원하지 않는 방식으로도 사용할 것입니다.
그리고 우리는 그것을 적절한 중요성으로 다루어야 할 책임이 있습니다. 저는 스스로가 그것과 더 긴 대화를 나누는 것을 발견합니다. 저는 기억 기능을 좋아합니다. 원하지 않으면 끌 수 있다는 사실도 좋습니다. 그리고 2년 후나 3년 후에 그것이 훨씬 더 긴 기억과 훨씬 더 많은 맥락을 가질 때 어떻게 될까 생각합니다. 저는 그것이 저장하지 않을 이런 익명 모드 같은 것을 가지고 있다는 아이디어를 좋아합니다.
그러나 2년, 3년 후에 ChatGPT가 당신에 대해 훨씬 더 많이 알게 되면 어떻게 될지 얼마나 많이 생각해 보셨는지 궁금합니다. 네. 제 말은, 기억은 정말 강력한 기능이라고 생각합니다. 사실, 외부 사람들과 이야기할 때 가장 많이 요청되는 기능 중 하나입니다. '이것이 제가 정말로 더 많은 돈을 지불하고 싶은 것입니다'와 같습니다. 그리고, 아시죠, 개인 비서가 있었다고 비유할 수 있습니다. 당신은
아니요. 저는 아닙니다. 음, 당신은 시간이 지남에 따라 더 많은 연락처를 구축해야 합니다. 죄송합니다, 여러분. 죄송합니다, 여러분. 하지만, 아시죠, 그것은 당신이 사람과 맺는 어떤 관계와도 같습니다. 맞죠? 당신은 시간이 지남에 따라 그들과 연락처를 구축합니다. 음. 그리고 저는 그것들이 당신에 대해 더 많이 알수록, 맞죠, 관계가 더 풍부해지고, 더 많이 당신을 도울 수 있다고 생각합니다.
맞죠? 함께 작업하여 과제를 공동으로 수행할 수 있습니다. 저는 제가 짜증을 부릴 때 그것이 저에 대한 모든 것을 알고 있다는 사실을 자의식하게 됩니다. 그리고 최근에 그것과 논쟁했습니다. 좋습니다. 네. 논쟁할 수 있어야 합니다. 자신에 대해 많이 이해하게 되고, 논쟁할 대상을 가지게 됩니다. 그리고 다른 사람들에게 그 경험을 겪게 하지 않아도 되니, 그것 또한 유익할 수 있습니다.
수학과 과학에 대해서는 논쟁하지 마세요. 당신은 이길 수 없을 겁니다. 네. 아니요. 점점 더 가능성이 낮아지고 있습니다. 네. 네. 기억은 멋지다고 생각합니다. 그리고 마크의 요점에 따르면, 우리가 ‘슈퍼 비서’를 만들겠다고 말하기 전부터 오랫동안 우리의 비전의 일부였습니다. ChatGPT는 그 아이디어의 초기 시연이었습니다. 그러나 실제 세계의 지능을 생각해 보면, 그것들조차도 첫날에는 특별히 유용하지 않습니다. 그리고 그 문제를 해결하거나 해결하기 시작할 수 있다는 것은 매우 의미 있는 일이었습니다.
그러나 당신의 이전 질문에 대해, 정말로 1, 2년 후를 내다보면, ChatGPT 또는 그와 유사한 것들이 당신의 가장 가치 있는 계정이 될 것이라고 느껴집니다. 그것은 당신에 대해 너무나 많은 것을 알게 될 것이고, 그래서 저는 사람들에게 이 것에 대해 비공개로 이야기할 수 있는 방법을 제공하는 것이 매우 중요하다고 생각합니다. 우리는 이 임시 채팅 기능을 매우 눈에 띄게, 말 그대로 홈 화면에 놓았습니다. 왜냐하면 기록에 남지 않는 대화가 점점 더 중요하다고 생각하기 때문입니다.
흥미로운 질문이고, 프라이버시와 AI는 앞으로 몇 년간 흥미로운 화두가 될 것 같습니다. 다른 출시인 ImageGen에 대해 이야기해보고 싶습니다. 그것도 사람들을 놀라게 하고 큰 인기를 끌었죠. 저는 DALL-E, DALL-E 2 때 여기에 있었고, DALL-E 3가 나왔습니다. DALL-E 3는 매우 유능한 모델이라고 생각했지만, 특정 종류의 이미지를 선호하는 것 같았고, 많은 유용성과 가변 바인딩 기능이 다소 숨겨져 있었습니다.
그리고 ImageGen은 저를 놀라게 한 일종의 돌파구 순간이었습니다. 여러분은 그 출시를 어떻게 느끼셨나요? 네. 솔직히 저도 놀랐습니다. 그리고 이것은 정말 연구팀에 대한 찬사입니다. 특히 게이브가 여기서 엄청난 일을 해냈습니다. 켄지도요. 다른 많은 사람들도요. 놀랍습니다. 경이로운 일을 해냈습니다. 그리고 저는 그것이 ‘모델이 단 한 번의 시도로 당신의 프롬프트에 맞는 이미지를 생성할 만큼 충분히 좋다면, 그것이 엄청난 가치를 창출할 것이다’라는 우리의 가설을 정말로 증명했다고 생각합니다.
그리고 저는 우리가 이전에는 그런 것을 제대로 가지지 못했다고 생각합니다. 맞죠? 첫 시도에서 완벽한 생성을 얻는 경우가 많았습니다. 그리고 그것은 매우 강력하다고 생각합니다. 아시죠? 사람들은 그리드에서 최고를 고르고 싶어 하지 않습니다. 제 생각에는, 네, 프롬프트 따르기 능력이 매우 좋았고, 스타일 전송도 훌륭했습니다. 맞죠? 네. 이미지를 모델이 수정하고 변경할 수 있는 맥락으로 넣는 능력과 그 정확도는 사람들에게 정말 강력했다고 생각합니다.
저는 이 이미지 경험이 또 다른 미니 ChatGPT 순간이었다고 생각합니다. 음. 다시 말해서, 아시죠, 당신은 이것을 한동안 지켜봐 왔고, ‘그래, 멋질 거야. 사람들이 좋아할 거야’라고 생각하지만, 아시죠, 20가지 다른 것들을 출시하고 있습니다. 그리고 갑자기 세상이 미쳐 돌아가는 것을 출시를 통해서만 알게 됩니다. 예를 들어, 저는 인도 인터넷 인구의 5%가 주말 동안 ImageGen을 사용해 보았다는 것을 분명히 기억합니다.
그리고 저는 ‘와, 우리가 ChatGPT를 사용할 거라고는 생각지도 못했던 새로운 유형의 사용자들에게 도달하고 있구나. 정말 멋지다’라고 생각했습니다. 그리고 마크의 지적처럼, 이 모든 것의 많은 부분은 무언가가 갑자기 너무나 잘 작동하고, 정말로 당신이 예상했던 방식으로 작동할 때의 불연속성 때문이라고 생각합니다. 저는 다른 양식에서도 그런 순간들이 올 것이라고 생각합니다. 음성도요. 아직 튜링 테스트를 통과하지는 못했지만, 통과하는 순간 사람들이 그것을 엄청나게 강력하고 가치 있게 여길 것이라고 생각합니다. 영상도 사용자들이 기대하는 바를 충족하기 시작할 때 자체적인 순간을 맞이할 것입니다.
그래서 저는 미래에 대해 정말 기대가 됩니다. 왜냐하면 사람들의 삶을 정말로 변화시킬 수 있는 마법 같은 순간들이 너무나 많이 다가오고 있다고 생각하기 때문입니다. 그리고 또한, 아시죠, ChatGPT의 사람들에게 대한 관련성도 변화시킬 것입니다. 왜냐하면, 아시죠, 저는 항상 텍스트를 좋아하는 사람들과 이미지를 좋아하는 사람들이 있다고 느꼈고, 그들 중 일부는 약간 다릅니다. 그리고 이제 그들 모두가 제품을 사용하고 전반적으로 가치를 발견하고 있습니다. 출시된 순간, 이전의 이미지 모델이 가지고 있던 문제를 잘 보여주었다고 생각합니다.
DALL-E가 나왔을 때, 우주 원숭이 그림 등을 그릴 수 있어서 매우 흥미로웠습니다. 하지만 복잡한 이미지를 만들려고 하면, 즉 제가 이전에 언급했던 가변 바인딩이라는 구문을 사용하면, 이런 것들이 떨어져 나가는 것을 보게 됩니다. 그리고 그때 저는 ‘아, GPT-4와 같은 규모와 컴퓨팅 능력을 가지고 있지 않은 다른 이미지 시스템들에게는 도전이 되겠구나’라는 것을 깨달았습니다.
그리고 이제, 기본적으로 GPT-4 규모의 모델을 가져와서 ‘이제 이미지도 만들어라’라고 한 것이 돌파구를 마련한 것인가요? 음, 이 것을 그렇게 큰 성공으로 만든 연구의 많은 부분이 있었다고 생각합니다. 맞죠? 복잡한 다단계 파이프라인에서는 한 가지 요인만 작용하는 것이 아닙니다. 맞죠? 매우 좋은 후처리 훈련, 매우 좋은 훈련. 그리고 저는 이 모든 것이 한데 어우러진 것이라고 생각합니다.
맞죠? 가변 바인딩은 우리가 많은 주의를 기울인 한 가지였습니다. ImageGen 출시에 대해 한 가지 말씀드리자면, 그것은 매우 심층적인 출시였습니다. 사람들은 아시죠, 자신을 애니메이션 버전으로 만드는 것부터 시작했습니다. 음. 그러나 더 많이 가지고 놀다 보면, 인포그래픽이 작동한다는 것을 깨닫습니다. 아, 네. 실제로 차트를 만들 수 있습니다. 만화책 패널도요.
네. 가구 같은 것을 넣어 집이 어떻게 보일지 모의 테스트할 수 있습니다. 정확합니다. 다른 가구요. 정확히요. 사용자들로부터 완전히 놀라운 방식으로 이런 모든 이야기를 들었습니다. 우리는 글자 그대로 의자 사진 몇 장을 찍어 넣고 더 나은 구성을 만들어 달라고 함으로써 팟캐스트 설정을 했습니다. 그리고 그것은 멋졌습니다. 놀라웠습니다.
그래서 우리는 애니메이션 스타일의 이미지를 많이 보았습니다. 어떤 이유에서인지 그것은 우리가 이전에 보았던 것보다 그냥 더 나은 이상한 것이었습니다. 그리고 아무도 그런 식으로 이미지 모델에 의해 정말로 놀랄 준비가 되어 있지 않았다고 생각합니다. 분명히 내부적으로나 외부적으로, 당신을 놀라게 했던 점이나 사람들이 하는 것을 본 새로운 것들은 무엇이었나요? 네. 거기에 대한 짧은 이야기도 해드릴게요.
왜냐하면 출시 당일까지도 우리는 어떤 사용 사례를 보여줄지 고민하고 있었습니다. 그리고 애니메이션 스타일링으로 결정해서 정말 다행이라고 생각합니다. 그냥 모든 사람이 애니메이션 캐릭터로 멋있게 보이니까요. 그건 사실입니다. 제 말은, 웃기죠. 원래 ChatGPT는 엄격하게 실용적인 제품이라고 생각했는데, 사람들이 재미로 사용하는 것을 보고 놀랐습니다. 이 경우에는 정반대였습니다. ‘오케이, 이건 밈으로 정말 멋지겠다’고 생각했습니다.
사람들이 이걸 가지고 즐거워할 거야. 하지만 저는 ImageGen을 사용하는 모든 유용한 방식에 정말 놀랐습니다. 그것이 집안 프로젝트를 계획하는 것이든, 제가 이전에 언급했듯이, 건설 중이거나, 리모델링이나 가구가 있다면 어떻게 보일지 보고 싶어하는 것이든, 아니면 중요한 발표를 위한 슬라이드 덱을 만들고 있고, 그냥 주제에 맞고 유용한 일관된 그림을 가지고 싶어하는 것이든 말이죠.
그래서 저는 이 경우에 개인적으로 유용성에 놀랐습니다. 왜냐하면 재미있을 거라는 건 의심의 여지가 없었거든요. 네. 저는 AI 회사들의 계층 목록을 생성하는 데 사용했고, OpenAI를 맨 위에 놓았습니다. 당신이 이겼군요, 모델. 좋은 후처리 훈련이네요. 네. 그냥 그렇게 됐죠. 누가 알았겠어요? DALL-E 초기에는 ‘음, 우리가 무엇을 할 수 있고 무엇을 할 수 없는지에 대해 매우 통제해야 해’라는 생각이 지배적이었습니다.
원래 처음 출시했을 때, 사람을 만들 수 없었는데, 그것은 그다지 유용한 모델이 아니었습니다. 그리고 결국에는 다시 되돌리려고 노력했습니다. 그 중 문화적 변화는 얼마나 되었나요? 기술적으로 통제할 수 있는 능력은 얼마나 되었나요? 그리고 단순히 규범을 밀어붙여야 한다고 말한 것은 얼마나 되었나요? 저는 문화적 변화와 통제 능력의 향상 모두였다고 말하고 싶습니다. 문화적 변화는, 아시죠, 저는 부정하지 않겠습니다.
저는 OpenAI에 합류했을 때, 사용자에게 어떤 기능을 제공해야 하는지에 대해 많은 보수주의가 있었다고 생각합니다. 아마도 좋은 이유 때문이었을 겁니다. 기술이 정말 새롭고, 우리 중 많은 사람들이 그것에 익숙하지 않았고, 아시죠, 만약 편향을 가진다면, 안전과 조심하는 쪽으로 편향하는 것이 나쁜 DNA는 아닙니다. 그러나 시간이 지남에 따라 우리는 모델에 임의의 제한을 가할 때 효과적으로 방지되는 긍정적인 사용 사례가 너무나 많다는 것을 알게 되었습니다.
얼굴은요? 왜 원하는 얼굴을 만들 수 없죠? 이것은 장단점이 있는 기능의 좋은 예이며, 한쪽 또는 다른 쪽으로 치우칠 수 있습니다. 아시죠, 우리가 처음으로 ChatGPT에 이미지 업로드 기능을 추가했을 때, 어떤 기능을 허용하고 어떤 기능을 보수적으로 유지할지에 대해 논쟁이 있었습니다. 그리고 우리가 가졌던 한 가지 논쟁은 ‘얼굴이 포함된 이미지 업로드를 허용해야 할까?’였습니다.
혹은, 얼굴이 포함된 이미지를 업로드할 때, 얼굴을 회색으로 처리해야 할까요? 그렇게 하면 많은 문제를 피할 수 있기 때문입니다. 맞죠? 네. 얼굴을 기반으로 사람에 대한 추론을 할 수 있습니다. 얼굴을 기반으로 사람들에게 못된 말을 할 수도 있습니다. 그리고 아시죠, 만약 그것을 허용하지 않는다면, 모든 골치 아픈 문제를 건너뛸 수 있을 겁니다. 그러나 저는 항상 자유의 편에 서서 어려운 작업을 해야 한다고 느꼈습니다.
그리고 저는 이 경우에 너무나 많은 유효한 방법이 있다고 생각합니다. 아시죠, 제가 화장이나 헤어스타일에 대한 피드백을 원한다면, ChatGPT와 그것에 대해 이야기할 수 있어야 합니다. 그것은 우리의 가치 있고 무해한 사용 사례입니다. 그리고 저는 허용하고 나서 그것이 어디에서 부족하고 어디에서 해로운지 연구한 다음, 거기에서 반복하는 것을 선호합니다. 기본적으로 불허하는 입장을 취하는 것보다 말이죠. 그리고 저는 이것이 우리가 시간이 지 지남에 따라 우리의 입장과 태도가 조금 바뀐 방식 중 하나라고 생각합니다. 우리가 어디에서 시작해야 할지에 대해서요.
네. 우리는 최악의 시나리오를 상상하는 데 매우 능숙하다고 생각합니다. 이 얼굴들을 사용하여 회사의 직원을 평가하거나 기타 등등에 사용하면 어떨까? 하지만 또한 ‘이게 습진인가?’와 같습니다. 아시죠, 거기에는 많은 유용성이 있습니다. 그리고 솔직히, 저는 AI 안전의 특정 요구 사항에서는 최악의 시나리오 사고가 매우 적절하다고 생각합니다. 음. 그래서 그것은 존재론적이거나 심지어 아주 아주 나쁜 특정 형태의 위험에 관해서는 위험을 생각하는 중요한 방식이라고 생각합니다.
아시죠? 우리는 ‘준비 프레임워크’를 가지고 있습니다. 그것은 우리가 그런 것들을 추론하는 데 도움이 됩니다. 아시죠? AI가 생물학 무기를 만들게 할 수 있을까요? 거기서 최악의 경우를 생각하는 것이 좋습니다. 정말 정말 나쁠 수 있습니다. 그래서 회사 내에서 그런 사고방식을 가져야 하고, 그런 방식으로 안전을 생각해야 하는 특정 주제가 있어야 합니다. 그러나 그러한 사고방식이 위험이 낮은 다른 안전 영역으로 확산되게 해서는 안 됩니다. 왜냐하면 그렇게 하면 결국 많은 가치 있는 사용 사례를 막는 매우 보수적인 결정을 내리게 되기 때문입니다.
그래서 저는 다양한 시간 범위와 다양한 이해 관계를 가진 다양한 유형의 안전에 대해 원칙을 지키는 것이 우리에게 매우 중요하다고 생각합니다. 때로는 무뚝뚝한 모드가 있었으면 좋겠습니다. 아시죠? 실제로 당신을 비난하는 건가요? 글쎄요, 제 말은, 네, 모델에게 물어볼 것입니다. 음성 입력, 음성 출력 모델로 ‘피곤해 보여요?’라고 물어보면, ‘음, 당신은 정말 원하지 않아요...’라고 합니다. 그럼 저는 ‘네, 그냥 솔직해지려고요’라고 말할 것입니다.
아시죠, 저는 더 무뚝뚝한 ChatGPT를 선호하는 문화가 많다고 생각합니다. 그래서 매우 중요하게 생각하고 있습니다. 네. 닉의 답변에 덧붙여서, 반복적인 배포가 사용자 자유를 향해 나아갈 수 있는 자신감을 준다고 생각합니다. 아시죠, 우리는 이것을 여러 번 반복했습니다. 우리는 사용자가 무엇을 할 수 있고 무엇을 할 수 없는지 알고 있습니다. 그리고 그것이 우리가 현재의 제약으로 출시할 수 있는 자신감을 줍니다. 또 다른 기능, 또 다른 생성 기능 중 매우 흥미로웠던 것은 코드였습니다.
GPT-3 초기에는 갑자기 전체 React 구성 요소를 뱉어내는 것을 보았고, ‘오, 여기에 유용성이 있구나’라는 것을 알았습니다. 그리고 우리는 실제로 코드에 특화된 모델을 더 훈련시켰습니다. 그리고 그것은 Codex로 이어졌습니다. 그리고 CodeInterpreter도 있었습니다. 이제 Codex가 다시 돌아왔습니다. 새로운 형태, 같은 이름이지만 기능은 계속 증가하고 있습니다. 그리고 우리는 코드가 Copilot을 통해 Versus Code로, 그리고 Cursor로, 그리고 제가 지금 항상 사용하는 Windsurf로 들어가는 것을 보았습니다.
코드 영역에서 얼마나 많은 압력이 있었나요? 왜냐하면 최고의 코드 모델을 만든 사람이 누구냐고 묻는다면, 다른 답을 얻을 수도 있다고 생각합니다. 네. 그리고 저는 사람들이 코딩에 대해 이야기할 때, 많은 다른 것들을 이야기한다는 것을 반영한다고 생각합니다. 맞죠? 특정 패러다임에서의 코딩이 있다고 생각합니다. 예를 들어, ID를 열고 함수 완성을 얻고 싶어하는 것은 에이전틱 스타일 코딩과는 매우 다릅니다. 에이전틱 스타일 코딩에서는 ‘이 PR을 원한다’고 요청하고, 아시죠, 우리는 많은 초점을 맞췄습니다.
에이전틱 코딩이 무엇을 의미하는지 좀 더 자세히 설명해 주시겠어요? 네. 네. 그래서 실시간 응답 모델과 에이전틱 스타일 모델을 구분할 수 있다고 생각합니다. ChatGPT를 1차적으로는 프롬프트를 요청하면 비교적 빠르게 응답을 받는 모델이라고 생각할 수 있습니다. 그리고 에이전틱 스타일 모델은 상당히 복잡한 작업을 주면 백그라운드에서 작업하게 하고, 일정 시간 후에 최선의 답변에 가까운 것을 가지고 돌아오는 모델입니다.
음. 맞죠? 그리고 저는 미래가 점점 더 비동기적인 형태가 될 것이라고 생각합니다. 아시죠, 당신이 매우 어렵고 힘든 질문을 하고, 모델이 생각하고 추론하여 정말 최상의 버전을 가지고 돌아오도록 하는 것입니다. 그리고 우리는 코드의 진화도 그런 식으로 보고 있습니다. 저는 결국 당신이 원하는 것을 매우 높은 수준으로 설명하면 모델이 시간을 들여 당신에게 돌아오는 세상이 올 것이라고 생각합니다. 음.
그리고 저는 우리의 첫 출시인 Codex가 그런 패러다임을 정말로 반영한다고 생각합니다. 우리가 PR, 즉 상당히 많은 작업 단위를 주고 있습니다. 그것은 새로운 기능이나 큰 버그 수정을 포함하며, 우리는 모델이 빠른 응답을 주는 것보다 이 일을 어떻게 달성할지에 대해 많은 시간을 생각하기를 원합니다. 음. 그리고 당신의 질문으로 돌아가자면, 코딩은 정말 거대한 분야입니다.
접근 방식이 너무나 많습니다. 지식 작업이나 믿을 수 없을 정도로 광범위한 것에 대해 이야기하는 것과 비슷합니다. 그래서 저는 승자가 한 명이고 최고의 것이 하나라고 생각하지 않습니다. 선택지가 너무나 많다고 생각하며, 개발자들이 지금 너무나 많은 선택지를 가지고 있어서 행운아라고 생각합니다. 그리고 그것이 근본적으로 우리에게도 흥미진진한 일이라고 생각합니다. 하지만 마크의 지적처럼, 이 에이전틱 패러다임은 우리에게 특히 흥미진진했습니다.
여기서 제품을 생각할 때 제가 자주 사용하는 프레임은 ‘모델이 2배 더 좋아지면 제품도 2배 더 유용해지는 속성을 가진 제품을 만들고 싶다’는 것입니다. 아시죠, 네, ChatGPT는 오랫동안 그것이 사실이었기 때문에 훌륭한 것이었지만, 똑똑한 모델들을 볼 때, 아시죠, 박사 과정 학생과 대화하려는 사람들의 욕구에는 어떤 한계가 있다고 생각합니다. 반면에, 그들은 모델의 다른 속성들, 예를 들어 성격이나 실제 세상에서 무엇을 할 수 있는지에 더 가치를 둘 수도 있습니다.
그러나 Codex와 같은 경험은 우리가 더 똑똑한 모델을 투입할 수 있는 올바른 기반을 만들고 있으며, 사람들이 이 작업을 지정하고 모델에게 시간을 주고 결과를 다시 받을 수 있는 상호 작용 패러다임을 제대로 파악하기 때문에 상당히 혁신적일 것입니다. 그래서 저는 그것이 어디로 갈지 정말 기대됩니다. 아직 초기 연구 프리뷰이지만, ChatGPT와 마찬가지로, 가능한 한 빨리 피드백을 받는 것이 유익할 것이라고 생각했으며, 앞으로 어디로 나아갈지 기대됩니다.
저는 소넷을 많이 사용했는데, 정말 좋아합니다. 코딩에 있어서 소넷은 환상적이라고 생각합니다. 하지만 Windsurf에서 o4-mini-medium 설정을 사용했을 때 훌륭하다는 것을 알았습니다. 그것을 사용하기 시작했을 때 정말 기뻤습니다. 첫째, 속도, 그 외의 모든 것이요. 그리고 저는 다른 모델을 좋아하는 사람들이 아주 좋은 이유가 있다고 생각합니다. 그리고 저는 비교하고 싶지 않습니다. 하지만 저에게는 제가 사용하는 종류의 작업에 있어서 이것이 처음이었습니다.
여러분들이 그것을 출시해 주셔서 매우 기뻤습니다. 네. 그리고 아시죠, 우리는 코드에 아직 손쉬운 기회가 많다고 생각합니다. 그것은 우리에게 큰 초점이며, 가까운 미래에 여러분의 사용 사례에 맞는 더 많은 좋은 코드 모델 옵션을 찾을 수 있을 것이라고 생각합니다. 네. 저는 종종 Dart로 무언가를 작성하는 방법에 대한 빠른 답변이 필요할 때, 4.1 버전을 가져와서 무엇이 문제인지 물어봅니다.
더 큰 문제입니다. 제 생각에는 그게 더 어려운 부분일 것 같습니다. 왜냐하면, 네, 이러한 평가들은 어떤 면에서는 포화 상태이지만, 또한 모든 사람이 자신만의 기준을 가지고 있습니다. 그리고 그것은 모든 것에 어떻게 적응할지에 대한 일종의 질문이 될 것입니다. 맞습니다. 네. 코드에 관해서요. 맞죠? 정답을 얻었는지 여부 이상이 있다고 생각합니다. 코드에서는 코드의 스타일에 대해 신경 씁니다.
그들은 주석에서 얼마나 장황했는지에 대해 신경 씁니다. 모델이 다른 기능에 대해 얼마나 적극적으로 작업을 수행했는지에 대해 신경 씁니다. 그래서, 아시죠, 올바르게 해야 할 것이 많고, 사용자들은 종종 여기서 매우 다른 선호를 가집니다. 네. 웃기네요. 저는 예전에, 아시죠, 사람들이 저에게 ‘어떤 분야가 가장 빠르게 변화할 것인가?’라고 묻곤 했습니다.
그리고 저는 ‘코드’라고 말하곤 했습니다. 왜냐하면 수학이나 다른 것들과 마찬가지로, 그것은 매우 검증 가능하고 확정적이며, 저는 그런 분야들이 특히 강화 학습을 하기에 훌륭하다고 생각합니다. 그래서, 아시죠, 당신은 이 모든 멋진, 아시죠, 에이전트적인 것들이 갑자기 작동하는 것을 보게 될 것입니다. 저는 여전히 그것이 사실이라고 생각하지만, 코드에 대해 저를 놀라게 했던 것은, 아시죠, 좋은 코드를 만드는 데 있어서 여전히 많은 취향의 요소가 있다는 것입니다.
그리고, 아시죠, 사람들이 전문 소프트웨어 엔지니어가 되기 위해 훈련하는 이유가 있습니다. IQ가 더 좋아지기 때문이 아니라, 조직 내에서 소프트웨어를 구축하는 방법을 배우기 때문입니다. 좋은 테스트를 작성하는 것은 무엇을 의미합니까? 좋은 문서를 작성하는 것은 무엇을 의미합니까? 코드가 불일치할 때 어떻게 반응합니까? 이 모든 것이 실제 소프트웨어 엔지니어가 되는 실제 요소이며, 우리는 이 모델들에게 그것을 가르쳐야 할 것입니다.
그래서 저는 빠른 진전을 기대하며, 코드는 여전히 에이전틱 제품에 매우 적합한 많은 좋은 특성을 가지고 있다고 생각합니다. 그러나 저는 취향과 스타일, 그리고 실제 소프트웨어 엔지니어링의 요소가 얼마나 중요한지는 매우 흥미롭다고 생각합니다. 흥미롭습니다. 왜냐하면 ChatGPT와 다른 모델들은 소비자용과 전문가용 사이의 간극을 메워야 하기 때문입니다. 저는 ChatGPT를 열고 친구들에게 ‘아, 맞아, 내가 작업하는 어떤 코드 모델에도 연결할 수 있으니까’라고 말합니다.
그리고 저는 다른 많은 사람들과는 매우 다른 사용 사례라고 생각합니다. 비록 제가 사람들에게 IDE에 들어가서 실제로 문서를 작성하고 폴더를 만들게 하는 방법을 보여주었지만, 사람들이 ‘네, ChatGPT가 실제로 그것을 제어하고 그렇게 할 수 있다’는 것을 깨닫지 못하는 부분이 있습니다. 멋지죠. 하지만 이미지 탭이 있고, Codex 탭이 있습니다. 그래서 GitHub에 연결하여 거기서 작업하게 할 수 있고, Sora도 거기에 있습니다.
그래서 이 모든 것들이 어떻게 하나로 합쳐지는지 보는 것이 흥미롭습니다. 소비자 기능, 전문가 기능, 그리고 어쩌면 기업 기능 사이를 어떻게 구분하시나요? 보세요, 우리는 매우 일반적인 목적의 기술을 구축하며, 그것은 다양한 사람들에게 사용될 것입니다. 그리고 많은 회사들이 창립 사용자 유형을 가지고 기술을 사용하여 그 사용자의 문제를 해결하는 것과 달리, 우리는 기술을 가지고 시작하여 누가 그것에서 가치를 찾는지 관찰하고 그들을 위해 반복합니다.
이제 Codex의 목표는 전문 소프트웨어 엔지니어를 위해 구축하는 것이었지만, 다른 많은 사람들이 그것에서 가치를 찾을 수 있는 ‘스플래시 존’이 있다는 것을 알고 있었습니다. 그리고 우리는 그 사람들에게도 접근 가능하게 만들려고 노력할 것입니다. 비 엔지니어를 대상으로 할 많은 기회가 있습니다. 저는 개인적으로 누구나 소프트웨어를 만들 수 있는 세상을 만들거나 돕는 데 매우 동기 부여를 받습니다. Codex는 그 제품이 아니지만, 시간이 지남에 따라 그런 제품들이 존재할 수 있다고 상상할 수 있습니다.
그러나 일반적인 원칙으로, 우리는 이러한 일반적인 목적의 기술 중 일부를 사용할 수 있게 만들 때까지 정확히 누가 목표 사용자인지 예측하기가 정말 어렵습니다. 제가 이야기했던 경험주의로 돌아가기 때문입니다. 우리는 가치가 정확히 어디에 있을지 결코 알지 못합니다. 네. 그리고 저는 심지어 더 깊이 파고들어, 아시죠, 코딩을 위해 주로 ChatGPT를 사용하는 사람이 있을 수 있지만, 5%의 시간은 그냥 모델과 대화하고 싶을 수도 있습니다. 아니면 5%의 시간은 정말 멋진 이미지를 원할 수도 있습니다.
맞죠? 그래서 저는, 아시죠, 모델을 사용하는 사람들의 확실한 전형들이 있지만, 실제로는 사람들이 다양한 기능에 대한 노출을 원한다는 것을 봅니다. 네. Codex와 그 출시를 보면서, 내부적으로 많은 수요가 있기 때문에 많은 흥미를 불러일으키는 도구들이 있다는 생각이 들었습니다. 내부적으로 얼마나 많이 사용하시나요? 그런 도구들을요. 점점 더 많이요. 좋아요.
내부 채택을 보게 되어 정말 기뻤습니다. 아시죠, 사람들이 Codex를 사용하여 작업을 오프로드하는 것과 같이 예상했던 모든 것부터, 아시죠, 로깅 오류를 살펴보고 자동으로 플래그를 지정하고 Slack에 사람들에게 알리는 분석가 워크플로우까지요. 그래서 우리가 사용하는 모든 방법들이 있습니다. 또는 실제로 어떤 사람들은 미래의 작업을 위해 Codex 작업을 시작하고 있다고 들었습니다.
그래서 이것은 내부적으로 이야기할 수 있는 완벽한 유형의 것입니다. 그리고, 아시죠, 저는 엔지니어들이 이런 도구에서 얻을 수 있는 레버리지에 대해 매우 기대하고 있습니다. 그것은 우리가 가진 사람들로 더 빠르게 움직이고, 우리가 고용하는 각 엔지니어를 10배 더 생산적으로 만들 수 있게 할 것이라고 생각합니다.
그래서 어떤 면에서는 내부 사용이 우리가 이것을 어디로 가져갈지에 대한 아주 좋은 예측 변수입니다. 네. 우리는 우리가 스스로 가치를 찾지 못하는 것을 다른 사람들에게 출시하고 싶지 않습니다. 그리고 저는, 아시죠, 출시를 앞두고 있었다고 생각합니다. 세탁 친구. 세탁 친구는 필수적인 파트너입니다. 알겠습니다. 죄송합니다. 죄송합니다. 제 말은, 네, 우리는 매일 수백 개의 PR을 개인적으로 생성하는 파워 유저들이 있었습니다.
맞죠? 그래서 저는, 아시죠, 우리가 구축하는 것에서 내부적으로 많은 유용성을 찾는 사람들이 있다고 생각합니다. 또한 내부 채택에 대해 생각해보면, 그것은 좋은 현실 점검이기도 합니다. 왜냐하면, 아시죠, 사람들은 바쁘고, 새로운 도구를 채택하는 데는 활성화 에너지가 필요합니다. 그래서 실제로 내부적으로 일을 추진하려고 할 때 발견하는 것은 사람들이 새로운 워크플로우에 적응하는 데 얼마나 오랜 시간이 걸리는지에 대한 현실적인 부분입니다. 그리고 그것은, 그것은 겸손함을 느끼게 했습니다.
맞죠? 음. 그래서 저는 기술에 대해서도 배우지만, 바쁜 사람들이 코드를 작성하는 방식을 바꾸려고 할 때, 일부 채택 패턴에 대해서도 배운다고 생각합니다. 이러한 도구를 구축함에 따라, 내부 사람들은 그것을 사용하는 방법을 배워야 하고 적응해야 합니다. 그리고 미래에 어떤 종류의 기술이 필요한지에 대한 많은 질문이 지금 있습니다. 당신의 팀에서는 어떤 종류의 기술을 찾고 있나요?
저는 이 문제에 대해 많이 생각했습니다. 특히 매우 우수하고 겸손하며 빠르게 움직일 수 있는 소규모 팀을 구성하고 싶다면 채용은 어렵습니다. 음. 그리고 저는 호기심이 제가 가장 중요하게 생각하는 것이었고, 모든 것이 변하는 이 세상에서 무엇을 해야 하냐고 묻는 학생들에게도 제 조언입니다. 왜냐하면, 제 말은, 우리에게는 모르는 것이 너무 많습니다. 이 기술을 구축하는 것에 대해 겸손함을 가져야 합니다. 무엇이 가치 있고 무엇이 위험한지 정말로 연구하고 깊이 파고들어 이해하기 전에는 알 수 없기 때문입니다.
그리고 우리가 분명히 많이 하는 AI와 함께 일하는 것에 관해서는, 코드뿐만 아니라 우리 작업의 모든 측면에서, 병목 현상은 정답을 얻는 것이 아니라 올바른 질문을 하는 것입니다. 그래서 저는 세상과 우리가 하는 일에 대해 깊이 호기심을 가진 사람들을 고용해야 한다고 근본적으로 믿습니다. 저는 AI 경험에 대해서는 조금 덜 신경 씁니다.
마크는 아마 그 점에 대해 약간 다르게 느낄 텐데, 제품 측면에서는 호기심이 성공의 가장 좋은 예측 변수라는 것을 발견했습니다. 아니요. 제 말은, 연구에서도 저는 점점 더 ‘AI 박사 학위가 있어야 한다’고 생각하지 않습니다. 맞죠? 이 분야는 사람들이 꽤 빨리 배울 수 있는 분야라고 생각합니다. 저도 공식적인 AI 교육을 많이 받지 않고 레지던트로 회사에 들어왔습니다. 그리고 닉이 말한 것과 관련하여, 저는 신입 사원들이 주도성을 가지는 것이 중요하다고 생각합니다.
맞죠? OpenAI는 당신이 ‘오, 오늘은 1번, 2번, 3번 일을 할 거야’와 같은 것을 많이 얻지 못할 곳입니다. 그것은 정말로 ‘여기 문제가 있어. 아무도 고치지 않아. 내가 그냥 뛰어들어 고칠 거야’라고 찾는 데 이끌리는 것입니다. 그리고 적응력도 중요합니다. 맞죠? 그것은 매우 빠르게 변화하는 환경입니다. 그것이 지금 이 분야의 본질이며, 무엇이 중요한지 빠르게 파악하고 필요한 것을 바꿀 수 있어야 합니다.
주도성이라는 것은 실제입니다. 아시죠? 저는 우리가 종종 ‘OpenAI는 어떻게 계속 출시를 할 수 있나요?’라는 질문을 받습니다. 아시죠, 매주 무언가를 출시하는 것처럼 느껴진다고요. 솔직히 말하면, 저에게는 그렇게 느껴지지 않습니다. 저는 항상 ‘우리가 훨씬 더 빠르게 갈 수 있을 것 같아’라고 생각합니다. 하지만, 아시죠, 근본적으로 우리는 주도성을 가지고 출시할 수 있는 사람들이 많습니다.
그것은 제품에도 해당하고, 연구에도 해당하고, 정책에도 해당합니다. 출시라는 것은 다른 의미를 가질 수 있습니다. 우리는 OpenAI에서 모두 매우 다른 일을 하지만, 저는 실제로 일을 할 수 있는 사람들의 비율과 필요한 곳을 제외하고는 불필요한 절차가 없다는 점이 OpenAI를 매우 독특하게 만든다고 생각합니다. 그리고 그것은 분명히 우리가 고용하고 싶은 사람들의 유형에도 영향을 미칩니다. 저는 원래 GPT-3에 대한 접근 권한을 받았고, 그에 대한 모든 사용 사례를 보여주고 매주 비디오를 만들었기 때문에 회사에 들어왔습니다. 네, 그리고 그것은 분명히 사람들을 짜증나게 했을 텐데요.
하지만 그것은 아니었습니다. 정말 매혹적이었습니다. 흥미로운 시기였습니다. 저는 사람들에게 ‘그들이 UFO를 만들었고 제가 그것을 가지고 놀 수 있다’고 설명했습니다. 그리고 저는 그것을 띄우고, ‘오, 네가 띄웠네?’라고 말합니다. 저는 ‘글쎄요, 그들이 만들었어요. 저는 그냥 버튼을 눌렀을 뿐이에요’라고 말합니다. 그러나 그것이 제가 매우 힘을 얻었던 점이었습니다. 저는 독학했습니다.
유데미 강좌 등으로 코딩을 배웠고, 엔지니어링 팀의 일원이 되어 그냥 ‘가서 뭘 해봐라’는 말을 들었습니다. 별로 중요하지 않은 일이었죠. 아무것도 망가뜨리지 않았습니다. 그리고 그런 정신이 여전히 존재한다는 것을 아는 것은 좋습니다. 그리고 그것이 OpenAI가 GPT-4에 150~200명의 사람들이 작업했음에도 불구하고 출시할 수 있었던 이유 중 일부라고 생각합니다. 사람들이 그 사실을 잊는 것 같습니다.
아시죠? 전적으로요. 그리고 솔직히, ChatGPT조차도 이렇게 만들어졌습니다. 아시죠, 우리는 연구팀이 있었습니다. 그들은 지시 따르기 작업에 한동안 매달려 있었고, 그 후속 작업도 그러했습니다. 그리고 이 모델들을 챗에 능숙하도록 후처리 훈련시켰습니다. 그러나 제품 개발 노력은 해커톤으로 이루어졌습니다. 저는 분명히 기억합니다. 우리는 ‘소비자 제품을 구축하는 데 누가 열정적인가?’라고 말했습니다.
그리고 우리는 이 모든 다양한 사람들을 가지고 있었습니다. 예를 들어, 슈퍼컴퓨팅 팀의 한 친구는 ‘나는 iOS 앱을 만들 거야. 예전에 해봤어’라고 말했습니다. 음. 이전 삶에서요. 우리는 백엔드 코드를 작성한 연구원도 있었습니다. 그리고 그것은 무언가를 하고 싶어 하는 사람들의 수렴과 그렇게 할 수 있는 능력이었습니다. 그리고 저는 그것이 다음 전략을 얻는 방법이라고 생각합니다. 당신이 규모를 확장함에 따라 그것이 가능하고 계속 가능하도록 조직을 운영하는 것이죠.
해커톤은 제가 가장 좋아하는 행사였습니다. 첫째, 연기자로서 쇼 앤 텔을 좋아했으니까요. 하지만 나중에 제품이 될 만한 것들을 볼 수 있다는 것이 좋았습니다. 이런 첨단 기술을 가지고 놀 때는요. 여전히 해커톤을 하시나요? 네, 물론이죠. 네. 최근에도 몇 번 했고, 보통 지난주에 그랬습니다. 무엇에 관한 것이었는지는 말씀드릴 수 없지만, 확실히 그랬습니다.
그리고 그것이 무엇이 가능한지 알아내는 방법입니다. 네. 그 소식을 들으니 기쁩니다. 한 가지 질문이 있습니다. 회사가 성장함에 따라 어떻게 될까요? 제가 시작했을 때 회사에는 150명 정도가 있었던 것 같은데, 지금은 2,000명 정도 됩니다. 그리고 이제, 아시죠, 샘이 조니 아이브와 이야기하는 영상을 봅니다. 그리고 그것이 얼마나 바뀔까요? 이런 모든 것을 들여오는 특성과 정신은요? 모든 외부 전문 지식이 훌륭했다고 생각합니다.
우리는 제품의 훌륭한 연속을 보았습니다. 그러나 그것이 문화를 변화시킨다고 생각하시나요? 글쎄요, 저는 아마도 올바른 방향으로 바뀔 것이라고 생각합니다. 맞죠? AI를 볼 때, 우리는 그것을 상당히 좁은 것으로 생각하지 않고, AI로 만들 수 있는 잠재력과 모든 다른 것들에 항상 매료되어 왔다고 생각합니다. 그리고, 네, 닉의 지적처럼, 우리가 그렇게 빨리 출시할 수 있는 이유가 바로 이것입니다. 사람들이 이 모든 다른 가능성들을 상상하기 때문입니다.
그들은 AI가 있는 미래를 상상하고 그것을 실현하려고 노력합니다. 맞죠? 그리고 저는 이것들이 그 상상력의 한 단면이라고 생각합니다. 맞죠? 예를 들어, AI 우선 장치를 상상한다면 AI가 어떻게 보일까요? 네. 200명에서 2,000명으로 늘어났으니, 많은 것이 변했다고 생각할 것입니다. 그리고, 네, 아마 어떤 면에서는 변했을 수도 있지만, 사람들이 우리가 하고 있는 일의 수를 종종 과소평가한다고 생각합니다.
저는 항상 OpenAI에 있는 것이 대학에 있는 것과 훨씬 더 가깝다고 느낍니다. 아시죠, 거기에 있는 공통된 이유가 있지만, 모든 사람이 다른 일을 하고, 저녁이나 점심 식탁에 앉아 누군가와 이야기하고 그들의 일에 대해 배우게 될 것입니다. 그리고 당신은 ‘와, 당신이 그걸 하고 있다는 게 정말 멋지다’고 생각할 겁니다. 그래서 저는 우리가 하고 있는 광범위한 일들 때문에 훨씬 더 작게 느껴집니다. 그리고 그래서 ChatGPT나 Sora 같은 개별적인 노력 하나하나가 실제로 매우 보수적이고 효율적인 방식으로 인력을 배치하여 사람들이 매우 자율성을 유지하고 자원 등을 가질 수 있도록 합니다.
저는 그것이 제가 이곳에서 시작했을 때와 좋은 면에서 매우 유사하게 느껴지게 만든 부분이라고 생각합니다. 우리는 호기심이 우리가 찾는 것 중 하나라고 이야기했고, 마크도 그것이 도움이 된다고 말했습니다. 만약 제가 AI 외부 사람이라면, 25세든 50세든, 기술의 발전을 보고 약간 두려움을 느끼고 있다면, 왜냐하면 ChatGPT가 훌륭하게 해냈던 것 중 하나가 카피라이팅이기 때문입니다. 코드를 작성하는 것은 훌륭합니다.
저는 개인적으로 우리가 코드를 만드는 사람이 충분하지 않을 것이라고 생각합니다. 왜냐하면 코드가 세상에서 할 수 있는 일은 우리가 상상하는 것보다 훨씬 더 많기 때문입니다. 그리고 카피를 넣는 것조차도 그렇습니다. 제 아내가 얼마 전에 선크림 로션 병에 있는 매우 재미있는 성분 표기를 보여주었습니다. 저는 ‘오, 이런 곳에서 이런 것을 볼 줄은 예상 못했는데’라고 말했습니다. 하지만 그것은 갑자기 더 많은 생각을 넣을 수 있는 작은 부분 중 하나입니다.
그렇다고는 하지만, 저는 이런 모든 기회를 낙관적으로 보는 편입니다. 사람들에게, 그들이 삶의 어느 시점에 있든, 미래를 준비하거나 적응하거나 참여하는 것에 대해 어떤 조언을 해주시겠습니까? 마크가 바로 저를 쳐다보는군요. 오, 아니요. 당신이 이걸 맡으세요. 저는 갈 수 있습니다. 알겠습니다. 저는 지금 바로 뛰어들겠습니다. 네. 아니요.
중요한 것은 기술을 사용하는 데 정말로 몰두해야 한다는 것입니다. 맞죠? 그리고 기술을 사용하여 자신의 능력이 어떻게 향상될 수 있는지, 어떻게 더 생산적이고 효율적이 될 수 있는지를 봐야 합니다. 저는 근본적으로 이것이 진화하는 방식은 여전히 인간 전문가가 존재하지만, AI가 가장 많이 돕는 것은 매우 높은 수준으로 그 능력을 가지지 못한 사람들이라고 생각합니다. 맞죠? 그래서 상상해 보면, 이 모델들이 의료 조언에 훨씬 더 능숙해질수록, 의료 서비스를 이용할 수 없는 사람들을 가장 많이 도울 것입니다.
음. 맞죠? 이미지 생성도요. 맞죠? 전문가나 전문 예술가를 위한 대안을 만들어내는 것이 아닙니다. 저와 닉 같은 사람들이 창의적인 표현을 할 수 있게 해주는 것입니다. 맞죠? 그래서 저는 이 모든 도구들이 사람들이 많은 일에 동시에 유능하고 효과적이 되도록 도와주는, 마치 물결을 높이는 것과 같다고 생각합니다. 그리고 그것이 많은 도구들이 사람들을 자립시키는 방식이라고 생각합니다.
세상은 많이 변할 것이고, 저는 인공지능이 인간에게 신성하다고 여겨지는 어떤 일을 할 때 모든 사람이 놀라는 순간을 맞이할 것이라고 생각합니다. 자신의 코드 능력이나 성과에 대해 크게 위협을 느꼈던 사람을 압니다. 음, 저는 오래 전에 그런 경험을 했습니다. 방에 있는 다른 사람에 대해 이야기해 봅시다. 오, 네. 제 말은, 네, 그것은 확실히 저보다 많은 코딩 문제 해결을 더 잘합니다.
네. 맞죠? 그래서 저는 경외감, 존경심, 그리고 어쩌면 두려움을 느끼는 것이 깊이 인간적이라고 생각합니다. 그리고 마크의 지적처럼, 실제로 이 것을 사용해 보는 것이 그것을 신비롭지 않게 만들 수 있습니다. 저는 우리 모두가 AI가 오늘날 우리가 가진 것과는 매우 다른 것을 의미했던 세상에서 AI라는 단어를 배우거나 자랐다고 생각합니다. 당신은 당신에게 물건을 팔려고 하거나 일을 하려고 하는 알고리즘을 가지고 있거나, 아시죠, AI가 장악하는 영화 등이 있습니다.
그리고 그 용어는 사람마다 너무나 많은 것을 의미하기 때문에 두려움이 있다는 것이 전혀 놀랍지 않습니다. 그래서. 실제로 사용하는 것이 그것에 대해 현실적인 대화를 나누는 가장 좋은 방법이라고 생각합니다. 그리고 거기에서 준비하는 가장 좋은 방법은, 아시죠, 어느 정도는 제품을 이해하고 따라잡아야 하지만, 프롬프트 엔지니어링이나 이 AI의 복잡성을 이해하는 것 같은 것들은 올바른 방향이 아니라고 생각합니다.
저는 위임하는 법을 배우는 것과 같은 근본적인 인간적인 것들이 엄청나게 중요하다고 생각합니다. 왜냐하면 점점 더, 아시죠, 당신의 주머니에 지능이 있어서 당신의 튜터가 될 수도 있고, 조언자가 될 수도 있고, 소프트웨어 엔지니어가 될 수도 있습니다. 그것은 AI에 대한 구체적인 이해보다는 자신과 당신이 가진 문제, 그리고 다른 사람이 어떻게 도울 수 있는지를 이해하는 것에 훨씬 더 가깝습니다. 그래서 저는 그것이 중요하다고 생각합니다.
호기심은 제가 이전에 언급했습니다. 저는 올바른 질문을 하는 것이 중요하다고 생각합니다. 당신은 넣은 만큼만 얻을 것입니다. 맞죠? 그것이 중요합니다. 그리고 저는 근본적으로 새로운 것을 배울 준비가 되어 있어야 한다고 생각합니다. 아시죠, 새로운 주제와 분야 등을 익히는 방법을 더 많이 배우고 이해할수록, 아시죠, 일의 본질이 이전보다 훨씬 더 빠르게 변화하는 세상에 더 잘 대비할 수 있을 것입니다.
그래서 저는 제 직업, 아시죠, 제품 분야에서의 제 직업이 달라지거나 아예 없어질 수도 있다는 준비를 하고 있지만, 새로운 것을 배우는 것을 기대하고 있습니다. 그리고 저는 당신이 그런 관점을 가지고 있는 한, AI를 활용할 준비가 잘 되어 있다고 생각합니다. 우리는 때때로 너무 과도하게 생각한다고 생각합니다. 때로는 특정 직업이 사라지기도 합니다. 예를 들어, 이제 더 이상 타자기 수리공이 많이 필요하지 않습니다.
맞죠? 그리고 특정 종류의 코딩 직업도 아마 사라질 것입니다. 하지만 제가 말했듯이, 코더들이나 코드를 만드는 사람들이 어떤 방식으로든 그렇게 할 수 있는 기회가 훨씬 더 많다고 생각합니다. 그리고 당신은 의료 분야를 언급했습니다. 그리고 그것은 사람들이 ‘오, 우리가 모든 것을 AI로 대체할 때’라고 말하는 것 중 하나입니다. 글쎄요, 저는 AI가 저를 진단하고, 수술하고, 아마도 다른 모든 것을 하는 것에 매우 만족할 것입니다.
그러나 저는 누군가가 옆에서 절차를 설명해주고 제 손을 잡아주기를 원합니다. 또한 사람들이 질문을 하기를 원합니다. 아시죠, 매일 저는 많은 비타민을 먹습니다. 이것이 먹기에 올바른 시간인가요? 아시죠? 이런 사소한 질문들로 의사 선생님을 귀찮게 할 수는 없습니다. 의사를 대체하는 것으로 끝나지 않는다고 생각합니다. 병원에 가지 않는 것을 대체하는 것으로 끝납니다. 두 번째 의견을 얻을 수 있는 능력을 대중화하는 것으로 끝납니다. 매우 적은 사람들이 그런 자원을 가지고 있거나 그런 자원을 활용할 줄 압니다.
의료 서비스를 쉽게 이용할 수 없는 세계 곳곳으로 가져오게 되고, 의사들이 자신감을 얻는 데 도움이 됩니다. 저는 의사들에게서 동료들에게 두 번째 의견을 구하는 경우가 많다고 들었습니다. 어떤 경우에는 그것이 불가능하고, ChatGPT를 사용하는 의사의 수에 놀랄 것입니다. 이제 의학 분야에서는 모델을 정말 정말 좋게 만드는 작업이 진행 중이며, 우리는 그것을 하고 싶어 합니다. 또한 모델이 정말 좋다는 것을 증명하는 작업도 진행 중입니다.
왜냐하면 저는 어떤 정도의 합법성이 입증되기 전까지는 그것을 신뢰하지 않을 것이라고 생각하기 때문입니다. 그리고 모델이 인간 수준을 넘어 초인간 수준의 성능에 도달하면, 모델이 정확히 어디에서 부족할지 프레임화하기가 어려워지는데, 그것도 파악하기 어려운 부분입니다. 그러나 그럼에도 불구하고, 저는 그 기회가 저를 아침에 일어나게 하는 것 중 하나라고 생각합니다.
교육이 다른 하나일 수 있으며, 사람들을 도울 엄청난 기회가 있다고 생각합니다. 향후 1년에서 18개월 동안 우리를 가장 놀라게 할 것이 무엇이라고 생각하시나요? 저는 솔직히 우리가 구축한 모델에 의해 어떤 작은 방식으로든 추진되는 연구 결과의 양이 될 것이라고 생각합니다. 그리고 이 분야를 휩쓴 조용한 것 중 하나는 모델의 추론 능력입니다. 그리고 이미 일부 연구 논문을 보고 있습니다.
제가 추론이라고 말할 때 설명하게 해드리겠습니다. 네. 이것은 당신이 추론하게 만드는 것입니다. 추론을 설명하면서 질문을 소리 내어 말해보세요. 네. 네. 크게 생각하세요. 정확합니다. 당신의 흔적요. 네. 이것은 우리가 이전에 이야기했던 에이전틱 패러다임에 정말 잘 맞습니다. 그리고 모델이 해결하는 데 시간이 걸리는 문제를 해결하는 방식은 당신이나 저처럼 추론하는 것입니다.
맞죠? 제가 당신에게 매우 복잡한 퍼즐을 준다면, 마크는 아마 저보다 훨씬 잘 추론할 겁니다. 제 말은, 저는 기분이 좋습니다. 네. 복잡한 퍼즐과 같죠. 맞죠? 당신은 예를 들어 십자말풀이를 생각할 수도 있습니다. 맞죠? 모든 다른 대안과 일관성을 생각할 수도 있습니다. 이 행이 그 열과 일관성이 있는지요?
그리고 당신은 많은 대안을 검색하고 있습니다. 당신은 많은 백트래킹을 하고 있습니다. 당신은 많은 가설을 시도하고 있습니다. 그리고 결국, 맞죠, 당신은 잘 형성된 답을 내놓습니다. 그래서 모델들은 그것을 훨씬 더 잘하게 되고 있으며, 그것이 수학, 과학, 코딩 분야에서 많은 발전을 추진하고 있습니다. 그래서 이것은 오늘날 많은 연구 논문에서 사람들이 03을 거의 서브루틴으로 사용하는 수준에 도달했습니다.
맞죠? 그들이 해결하려는 연구 문제 내에 있는 하위 문제들이 03과 같은 모델에 플러그인하여 완전히 자동화되고 해결됩니다. 저는 이것을 여러 물리학 논문에서 보았습니다. 물리학자들과도 이야기했는데, 그들은 ‘와. 내가 단순화할 수 없었던 표현이 있었는데, 03이 해결책을 찾았어’라고 말했습니다. 그리고 이들은 국내 최고의 물리학자들로부터 온 것입니다. 그래서 저는 그런 일이 점점 더 많이 일어나는 것을 보게 될 것이며, 물리학과 수학과 같은 분야에서 진보의 가속화를 보게 될 것이라고 생각합니다.
그것을 이기기는 어렵습니다. 아시죠, 저는 우리가 하는 많은 일들을 진정한, 아시죠, 중요한, 아시죠, 과학적 발전을 이루는 것과 맞바꿀 것입니다. 그러나 저는 우리가 이런 것들을 여러 개 가질 수 있다고 생각합니다. 저에게는, 지능에 제약이 있는 모든 잘 정의된 문제가 제품에서 해결될 것이라는 사실입니다. 그리고 저는 우리가 그것을 할 수 있는 능력에 근본적으로 제한되어 있다고 생각합니다.
그래서 그것이 의미하는 바는, 아시죠, 기업의 회사에는 소프트웨어 엔지니어링이든, 데이터 분석 실행이든, 훌륭한 고객 지원 제공이든, 모델이 아직 충분히 스마트하지 못해서 근본적으로 어려운 문제들이 너무나 많다는 것입니다. 오늘날 모델이 부족한 이러한 문제들은 설명하고 평가하기가 매우 쉽고, 저는 우리가 이러한 문제들에서 엄청난 진전을 이룰 것이라고 생각합니다.
소비자 측면에서도 이런 문제들이 존재합니다. 소비자들이 정확히 무엇을 원하는지 우리에게 제대로 말하지 못하기 때문에 찾기가 조금 더 어렵습니다. 그것이 소비자 제품을 만드는 본질이지만, 저는 매우 가치 있다고 생각합니다. 아시죠, 우리 개인 생활에서 하는 어려운 일들이 많이 있습니다. 세금 신고를 하든, 여행을 계획하든, 중요한 구매를 검색하든, 그것이 집이든, 자동차든, 옷이든 말이죠.
이 모든 것들은 우리가 약간 더 많은 지능과 올바른 형태를 필요로 하는 문제입니다. 그래서 다음 1년 반 안에 일어날 또 다른 일은 AI에서 다른 형태가 진화하는 것을 보게 될 것이라고 생각합니다. 채팅은 여전히 믿을 수 없을 정도로 유용한 상호 작용 모델이며, 사라지지 않을 것이라고 생각합니다. 그러나 점점 더 이러한 비동기적 워크플로우를 보게 될 것입니다. 코딩은 단지 한 가지 예에 불과하지만, 소비자들에게는 완벽한 신발을 찾거나, 여행을 계획하거나, 세금 신고를 마치도록 보내는 것일 수 있습니다. 그리고 저는 그것이 흥미로울 것이며, AI를 단순히 챗봇이 아닌 다른 방식으로 생각하게 될 것이라고 생각합니다.
제가 가장 좋아하는 예 중 하나는 유용성 관점과 기능, 그리고 UI 관점 모두에서 딥 리서치였습니다. 딥 리서치는 아마도 현재 에이전틱 모델 사용의 가장 좋은 예일 것입니다. 왜냐하면 이전에는 모델에게 어떤 주제에 대해 물어보면 데이터를 얻거나 인터넷을 크게 검색하고 그것을 요약했을 뿐입니다. 딥 리서치는 데이터 세트를 찾고, 그것을 보고, 질문하고, 새로운 데이터를 찾아서 다시 돌아오고, 계속 진행합니다.
그리고 제가 처음 사용했을 때 다른 사람들도 ‘와, 이거 오래 걸리네’라고 했습니다. 그리고 UI를 변경하여 제가 다른 일을 하고 있을 때 전화 잠금 화면에 ‘작업 중입니다’라고 표시되도록 했습니다. 그것은 패러다임의 변화였습니다. 그리고 저는 샘에게 그것에 대해 이야기했는데, 샘은 사람들이 답변을 기다릴 의향이 있다는 사실에 놀랐다고 말했습니다. 그리고 이제 저는 모델이 문제를 해결하는 데 얼마나 오래 걸릴 수 있는지가 새로운 모델 측정 기준이 되었다는 것을 보았습니다. 궁극적으로 문제를 해결한다면 좋은 측정 기준이죠.
그리고 그것은, 이런 것들에 대해 생각하는 방식에 있어서 당신에게 새로운 소식이었나요? ‘오, 우리는 그냥 원하지 않아’라는 생각과, 그리고 당신이 이전에 에이전틱에 대해 이야기했던 것과, ‘그냥 답변을 줘’가 아니라 ‘시간을 들여서 나중에 알려줘’라는 생각 말이죠. 슈퍼 어시스턴트를 만들려면 제약을 완화해야 한다고 생각합니다. 오늘날 당신은 완전히 동기화된 제품을 가지고 있습니다. 모든 것을 당신이 시작해야 합니다.
그것은 사람들을 돕는 가장 좋은 방법이 아닙니다. 당신이 함께 일할 수 있는 실제 지능을 생각해 보면, 그것은 오랫동안 일을 할 수 있어야 합니다. 그것은 주도적일 수 있어야 합니다. 그래서 저는 우리가 제품과 기술에 대한 많은 제약을 완화하여 매우 유용한 존재를 더 잘 모방하는 과정에 있다고 생각합니다. 5분짜리 작업, 5시간짜리 작업, 궁극적으로 5일짜리 작업을 할 수 있는 능력은 제품에서 다른 수준의 가치를 해제할 매우 근본적인 것입니다.
그래서 저는 사람들이 그렇게 하려는 의지가 있다는 것에 그렇게 놀라지 않았습니다. 제 동료가 저를 기다리게 하는 것도 정말 싫고, 가치가 있다면 기꺼이 다른 일을 하고 돌아올 것입니다. 네, 그리고 우리는 단지 그렇게 하기 때문에 그렇게 하는 것이 아닙니다. 우리는 필요에 의해 그렇게 합니다. 모델은 정말 어려운 코딩 문제나 정말 어려운 수학 문제를 해결하기 위해 그 시간이 필요하며, 더 적은 시간으로는 해결하지 못할 것입니다.
맞죠? 이것을 일종의 수수께끼라고 생각할 수 있습니다. 당신의 빠른 답변은 아마 직관적으로 틀린 답변일 것이고, 모든 경우를 살펴보고 ‘여기에 함정이 있나?’와 같이 생각할 실제 시간이 필요합니다. 그리고 저는 그런 종류의 것들이 궁극적으로 강력한 에이전트를 만든다고 생각합니다. 우리는 어떤 순간에 누군가가 ‘아, 막혔다’고 말하는 논문을 본 적이 있습니다.
그리고 한 달 전쯤에 모델이 특정 종류의 문제를 해결할 수 없다고 말하는 논문이 있었던 것을 기억합니다. 그리고 모델을 훈련시켜 그런 종류의 문제를 해결할 수 있는 프롬프트를 알아내는 것은 어렵지 않았습니다. 그리고 특정 종류의 문제 해결에서 실패할 것이라는 새로운 논문이 있었는데, 그것은 그 논문에 결함이 있다는 것을 보여줌으로써 빠르게 반박되었다고 생각합니다. 그러나 한계는 있습니다. 어떤 차단 요소가 있거나 우리가 알지 못하는 것들이 있을 수 있습니다.
취약성이 그 중 하나라고 생각합니다. 모델이 문제를 해결하는 데 소비할 수 있는 시간이 정해져 있는 지점이 있습니다. 우리는 아마도 모델이 두 시스템이 서로를 관찰하게 하는 지점에 있을 뿐이며, 세 번째 시스템이 어떻게 멈추고 고장 날지 기다릴지 생각해야 합니다. 그러나 여기에서 모델이 흥미로운 과학적 발견과 같은 일을 하는 지점 사이에 어떤 차단 요소를 보시나요? 저는 우리가 항상 기술 혁신을 모색하고 있다고 생각합니다.
근본적으로, 우리는 간단한 연구 아이디어를 대규모로 생산하는 사업을 하고 있습니다. 그리고 실제로 그것을 대규모로 구현하는 메커니즘은 어렵습니다. 맞죠? 특정 장애물을 극복하는 방법을 알아내기 위해서는 많은 엔지니어링과 많은 연구가 필요합니다. 그리고 저는 그런 것들이 항상 존재할 것이라고 생각합니다. 맞죠? 규모의 모든 계층은 새로운 도전과 새로운 기회를 제공합니다.
그래서, 아시죠, 근본적으로 접근 방식은 같지만, 우리는 항상 극복해야 할 새로운 작은 문제들을 만나고 있습니다. 맞습니다. 그에 덧붙여서, 우리가 하고 있는 다른 사업은 이 모델들로 훌륭한 제품을 만드는 것입니다. 그리고 저는 이러한 지능적인 모델들을 올바른 환경으로 가져오는 데 필요한 도전과 발견의 양을 과소평가해서는 안 된다고 생각합니다. 그것이 올바른 행동 공간과 도구를 제공하는 것이든, 가장 어려운 문제에 정말 가까이 다가가서 그것들을 이해하고 AI를 그곳으로 가져오는 것이든 말이죠.
그래서 저는, 아시죠, 기술적인 답변도 있지만, 아시죠, 실제 배포도 있다고 생각합니다. 그리고 그것은 항상 예측하기 매우 어려운 도전 과제를 가지고 있지만, 가치 있고 우리의 임무의 일부입니다. 알겠습니다. 마지막 질문입니다. 당신이 가장 좋아하는 ChatGPT 사용법이나 팁은 무엇입니까? 저는 메뉴 사진을 찍어서 ‘식사를 계획하는 데 도움이 필요해요’라고 말합니다. 다이어트를 지키려고 할 때 말이죠.
음, 저는 그 사용 사례를 정말 원하지만, 와인 목록에 대해 시도해 보았습니다. 그리고 그것이 저의 다중 모드 평가 기준입니다. 여전히 작동하지 않습니다. 정말요? 계속 저를 당황스럽게 만듭니다. 환각적인 와인 추천으로요. 제가 가서 물어보면, 그들은 ‘이건 들어본 적이 없는데’라고 말합니다. 그래서 당신의 것이 작동한다니 기쁩니다. 하지만 저에게는 그것이 여전히 사용 사례입니다. 글쎄요, 와인 목록이 너무 빽빽했을 수도 있습니다.
그것은 Operator의 문제였습니다. 원래는 디비전 모델에서 텍스트가 너무 많으면 위치를 잃어버리는 문제였습니다. 네. 제 말은, 딥 리서치에 대해 말하자면, 저는 딥 리서치를 사용하는 것을 좋아합니다. 그리고, 아시죠, 새로운 사람을 만날 때, AI에 대해 이야기할 사람을 만날 때, 저는 미리 주제를 예습합니다. 맞죠? 저는 모델이 제가 누구인지, 제가 만나려는 사람이 누구인지, 그리고 우리가 흥미를 느낄 만한 것들을 정말 잘 맥락화할 수 있다고 생각합니다. 그리고 그것은 전체 과정에 정말 도움이 됩니다.
아주 멋져요. 저는 음성 신봉자입니다. 아직 주류는 아니라고 생각합니다. 왜냐하면 모든 작은 문제들이 합쳐져 있기 때문입니다. 하지만 저에게는 음성 가치의 절반은 실제로 대화할 사람이 있고 스스로를 명확하게 표현하도록 강제하는 것입니다. 그리고 저는 그것이 글쓰기에서는 때때로 매우 어렵다고 생각합니다. 그래서 출근길에 저는 제 생각을 정리하는 데 사용합니다. 그리고 운이 좋다면, 그리고 대부분의 날에는 이것이 작동한다고 생각하는데, 도착할 때쯤에는 재구성된 할 일 목록을 가지게 될 것입니다.
그래서 음성은 저에게, 아시죠, 제가 사용하기를 좋아하고 내년에 개선되기를 바라는 것입니다.
---
감사합니다.