녹화 중인 오늘은 2025년 6월 14일 토요일 아침입니다.
당신이 정치에 관심이 없을 수 있지만, 정치는 당신에게 관심을 가질 것이라는 말이 있습니다. 이 말은 AI에 대해서는 **몇 배로 더 적용됩니다**.
제목은 '능력 과잉'으로 되어 있습니다. 5월에 AI 뉴스를 과잉 섭취하여 이제야 좀 소화가 되는 개념이나 용어들이 있어, 오늘은 **capability overhang**이라는 용어의 의미를 다시 찬찬히 살펴보며 메시지를 전하고자 합니다. 이 용어는 2024년 11월 12일쯤 처음 나왔는데, **모델의 능력이 아직도 많이 남아 있다는 것**을 의미합니다.
그래서 overhang의 의미를 찾아보니 처마 같은 것이며, 경제에서는 잉여 재고 같은 뉘앙스로 쓰입니다. 자동차에서는 범퍼 끝에서 타이어 시작 부분까지의 거리를 나타내는 단어로, 본체 대비 돌출된 부분을 의미합니다. 아마 여기서 **capability overhang**이라고 하는 것은 **능력 과다, 즉 원래 필요한 만큼보다 항상 무언가가 더 남아있다는 것**을 의도한 것으로 보입니다.
그러게요, 능력이 과잉으로 남아돈다는 것은 아직 우리가 모델의 능력을 충분히 제품화해서 끌어 쓰지 못하는 느낌이었습니다. 이것이 다시 보인 것은 아마 5월 Build 행사 직후였던 것 같습니다. 마이크로소프트 CTO인 케빈 스콧은 "모델의 추론 능력이 실제로 우리가 제품에서 모델을 사용하는 수준보다 조금 앞서게 되었다는 점입니다. 저는 최근에 '**역량 과잉 현상**'이라는 것에 대해 많이 이야기하고 있습니다. 모델이 실제로 할 수 있는 것과 우리가 사용자에게 제공하는 역량 사이의 격차를 줄이기 위해 **업계 전체가 함께 해야 할 일**이 있다고 생각합니다."라고 강조했습니다.
모델의 능력이 우리가 필요로 하는 것보다 **초월해 있다는 것**이죠. 모델이 부족해서 무엇을 못 하겠다는 것이 아니라, **끌어 쓸 방법을 더 알아가야 합니다**. '**능력 과잉 현상**'이란 모델 자체의 추론 생성 능력이 현재 우리가 제품이나 서비스에 실제로 노출 적용하고 있는 수준보다 앞서 나가고 있다는 것입니다. 모델의 잠재력은 이미 충분히 향상되어 있지만, 프로덕트에서는 여러 가지 제약으로 아직 그 능력을 다 활용하지 못하고 있습니다.
그래서 그 갭을 줄이는 것이 **PM의 역량일 수도 있고 회사의 역량일 수도 있다**고 합니다. 엔트로픽의 CPO인 마이크 크리거에 따르면, 클로드 코드를 만드는 데 90%는 클로드 코드가 한다는 무서운 이야기가 나왔습니다. 그러나 그 안에 중요한 메시지들이 있었습니다. 여기서도 **overhang**이 다시 나왔는데, 금융회사 데모를 진행하면서 고객들의 눈이 반짝이는 상황이 있었고, 그때 '아 오케이' 싶었다고 합니다. 엔트로픽은 이것을 '**overhang**'이라고 부르는데, **모델과 제품이 할 수 있는 것과 그것이 일상적으로 사용되는 방식 사이의 격차, 즉 overhang이 현재 엄청나게 크다**고 합니다.
그래서 이 부분에서 제품의 역할이 **여전히 매우 강력하고 필요하다**는 이야기가 나왔습니다. 2024년 11월에 OpenAI의 케빈 웨일, 엔트로픽의 마이크 크리거가 참여한 사라 구오의 대담에서도 모델이 이미 더 많은 일을 할 수 있는 잠재력이 있는데도 실제 제품에서는 그만큼 빠르게 전면적으로 쓰이지 못하는 현실을 여러 표현을 통해 짚었습니다.
이 사람들도 모델의 능력이 어떤 식으로 발현되어 어떻게 제품이 될지 모르는 약간 연금술 하듯이 쓰는 현재의 추이 같은 것들을 현실적으로 이야기합니다. 단일 모델로 존재할 때의 능력보다, 이 모델들을 가지고 연결해서 무언가 목적에 맞도록 조합한 것을 제품이라고 부르고 있으며, **AI 프로덕트**라고 부르고 있습니다. AI 프로덕트가 필요하다는 내용을 이야기하고 있는 것 같습니다.
AI 프로덕트를 어떻게 구성하느냐에 따라서 **훨씬 많은 것들을 해낼 수 있다**는 이야기를 하고 싶은 것입니다. 이것을 지금 최고의 연구소나 최고의 회사들이 다 동일하게 이야기하고 있는 모양새입니다. '선제성'이라는 표현도 요새 눈에 밟히는 표현인데, 모델이 선제적으로 뭔가를 제안하는 쪽으로 가는 것입니다.
이 **overhang을 극복하는 방법일 수 있는 것이 에이전트**입니다. 엔트로픽에서 최근 발표한 '멀티 에이전트 연구 시스템 구축기'를 보면, 클로드 리서치 도구를 만들었는데, 오케스트레이터, 리드 에이전트, 메모리, 하위 에이전트, 검색 하위 에이전트 등이 있어서 그것이 어떻게 보고서를 만드는 데 에이전틱하게 움직이는지에 대한 개발 경험들을 상세하게 풀어주고 있습니다. 이것이 바로 제품인 것입니다.
그러나 비단 리서치 도구에만 이런 방법이 쓰이는 것이 아니며, 다 이런 구조로 현재 되어 있는 것입니다. 이것이 **AI 시대의 새로운 제품**입니다. 다이어그램이 뭔가 새로운 것을 이야기하고 있는 것 같지만, 찬찬히 들여다보면 계속 있었던 것이고, 전통적인 제품 설계 아키텍처 구조와 그렇게 다르지는 않습니다.
에이전트도 overhang을 극복하는 방법일 수 있지만, PM도 사람이 하는 일이 중요하다는 것을 마이크 크리거의 이야기에서 읽어볼 수 있습니다. 전통적인 모바일 제품의 프로덕트 매니저가 아닌 **AI 제품을 만드는 프로덕트 매니저의 역할이 굉장히 중요**하다고 이야기하며, 조금 더 들어가면 사실 AI PM의 역할이 과거 전통적인 애플리케이션 PM과는 조금은 다르다는 이야기도 있습니다.
AI 회사의 PM은 그 역할이 재정의되어야 한다는 메시지를 보여주더라고요. 코드의 대부분이 AI에 의해 작성된다는 것을 알게 되면서 프로덕트 개발은 어떻게 바뀌었을까요? 보통은 PM이 '이것을 만들자' 하면 엔지니어가 만들고 출시하는 방식이었는데, 이제는 좀 달라졌냐고 질문했습니다.
여전히 역할은 좀 비슷하지만 좋은 변화가 생겼습니다. 아이디어를 표현하고 싶은 PM이나 디자이너가 클로드와 아티팩트 기능을 사용해서 **실제 작동하는 데모를 직접 만들어 오는 경우**가 있습니다. 이것이 사실 굉장히 큰 도움이 됩니다. 말로 설명하거나 장표를 보여주는 것이 아니라, 프로토타입을 실제 결과물로 보여주는 것이죠.
이것이 아마도 **가장 큰 역할의 변화**일 것입니다. 프로토타이핑이 코드와 디자인의 결합을 통해 과정의 더 이른 단계에서 일어나고, **개발자 의존 없이 PM이 할 수 있다**는 것입니다. 가지고 있는 제품의 상을 "바로 이것이다"라고 보여줄 수 있다는 것이죠.
그러나 이것이 여전히 **엔지니어의 사고가 필요**는 합니다. AI에게 무엇을 요청해야 하는지 알고, 질문을 어떻게 구성하고, 백엔드와 프론트엔드 사이의 변경 사항을 어떻게 구조화할지 생각하는 것은 여전히 전문적인 기술입니다.
그래서 새롭게 만나게 되는 병목 현상이 **병합 대기열**입니다. 이제는 너무 많은 풀 리퀘스트나 AI에 의한 제안들이나 변경 사항을 빠르게 프로토타이핑할 수 있으니까, 병합 대기열이 예전과는 비교할 수 없이 길어집니다. 다른 병목이 생겼습니다. 그리고 상위 단계의 병목은 의사결정과 팀 조율, 교통 통제, 출시 전략 수립 같은 것입니다. 이런 것들이 의미심장하고 앞서나가는 데서 경험하고 있는 것이지만, 금방 퍼질 것 같다는 느낌이 있습니다.
'교통 통제'라는 것은 아마 traffic control을 이야기하는 것 같습니다. 요즘에는 사람이 다 읽어보기 어려울 정도로 큰 풀 리퀘스트 같은 것을 클로드 등의 AI들이 하기 때문에, 이것을 검토하고 리뷰하는 것들이 좀 다른 양상이 되고 있습니다. PM 역할의 재정의 부분을 한번 꼭 살펴보면 좋을 것 같습니다.
그렇게 감이 있을 때야 비로소 그 overhang의 갭을 줄일 수 있다는 것이죠. AI 시대에 AI 제품을 만드는 방식이 많이 바뀌었습니다. AI 제품 자체도 다른 것이 있지만, **그 제품을 만드는 방식조차도 다 바뀌어가고 있다**는 것입니다.
아주 전통적인 부분에서 가장 최신의 부분까지의 스펙트럼을 현업에서 다 보고 있는데, 협업하는 회사들은 아직 전통적인 프로세스에 있는 경우가 있고, 반대편 끝은 한 명의 엔지니어가 과거에 회사가 만들어야 했던 서비스를 혼자서 다 설계하고, 만들고 프로덕션까지 하고, 서비스 운영까지 도달하는 것을 보고 있습니다.
그러나 이 갭이 어떤 것이냐고 요약해 보면, 예전에는 경영진이 뭘 만들어야겠다고 생각하면 비즈니스 목표와 유저가 누구고 뭘 해야 되는지 같은 것을 PM에게 전달했습니다. 그러면 PM은 그것을 해결하기 위해 어떠한 형태의 워크플로가 정의되어야 하는지 정의하고, PRD 같은 것을 쓴 다음에 와이어프레임을 그렸습니다.
어떤 것을 누르면 뭐 해야 되고 DB는 뭐가 있어야 되고 이런 것까지 PM이 작업한 다음에, 그것을 엔지니어한테는 아키텍처가 대략 어떻게 해야 될 것 같다는 이야기를 하고, 디자이너한테는 이 와이어프레임을 이렇게 구현하라고 이야기하면 디자이너가 피그마를 그립니다. 그러면 뒤에서 디자이너와 엔지니어가 그 피그마를 가지고 '요런 요런 것을 해야겠구나'라고 하면서 MVP를 어떻게 만들까, 프로토타이핑을 어떻게 할까를 둘이 이야기했습니다.
그러나 지금은 PM이 혼자서도 할 수 있을 것입니다. 지금은 이것이 통째로 다 없어져 버렸다는 것이 PM이 그 내용을 이야기할 필요 없이 그냥 클로드 코드나 코덱스한테 "이런 것을 만들어줘"라고 하면 그것이 PM이 요구한 요구 사항에 대해서 기본적인 아키텍처 설계나 디자인이나 이런 것을 다 해서 운용 가능하고 실제로 마우스로 클릭해 볼 수 있는 제품을 바로 뱉어주는 것입니다.
이것을 조금 더 해석해 보면, 과거에는 엔지니어나 디자이너나 본인들의 툴을 다룰 수 있고 요건이 들어오면 그 툴을 이용해서 원하는 결과물을 낼 수 있는 소위 전문성이라는 것이 있었는데, 사실 그 전문성 속에 강하게 숨을 수도 있었습니다. 그렇기 때문에 엔지니어들이 '요건이 명확하지 않아서 못하겠다' 혹은 '디자인에 깔끔하게 픽셀 단위로 CSS 정의가 안 되어 있기 때문에 못 만든다'고 이런 이야기를 하면서 완벽한 설계서를 가져오면 본인은 그것에 맞춰서 시공만 하는 그런 엔지니어들도 많았습니다.
그러나 이제는 **굉장히 능동적이어야 할 것입니다**. 이제 사실 그런 분들은 요즘 상황에서 1순위로 배척되는 사람이 되기 십상입니다. 본인들이 갖고 있었던 전문성을 AI가 지금 훨씬 잘하고 있으니, 디자이너도 그렇고 엔지니어도 그렇고 원래 PM이 하던 역할을 넘어서서 **전체적인 조직의 목표까지 좀 더 상위 레이어로 같이 나와주지 않으면 안 됩니다**. 그 proactive는 에이전트에만 해당하는 이야기가 아닌 것입니다.
우리가 전통적으로 익숙하던 어떤 조직 구조가 AI 때문에 아래 레이어가 자동화됐고, **모두가 윗 레이어로 더 한 단계 올라오기를 지금 강요받고 있는 것**입니다. 진화압이 있는 상태입니다.
그러나 AI 세상은 한 단계 더 나아가서 **PM과 사장이 해야 할 역할까지도 AI들끼리 치고받으면서 해주기 시작한다는 논의**가 앞서가는 회사들과 실리콘밸리에 이미 있습니다. 엔트로픽의 CPO나 OpenAI의 CPO는 앞서가는 회사들과 함께 이런 시스템들을 배포하고 있고, 그 방법론들을 이제 정착시키고 있는 상황입니다. 앞서가는 스타트업들은 이미 그런 흐름으로 회사가 돌고 있습니다. 이미 현재 진행형인 것입니다.
그러나 그것을 잘 만들면 **원래 모델의 역량보다 훨씬 더 나은 일들도 할 수 있더라**는 것입니다. 그런 것들이 AI 제품의 새로운 가치이자 당연한 가치라는 이야기들입니다. 모델의 능력이 아직 한참 더 남았는데, 이런 방식으로 그것을 끌어 쓸 수 있다는 뉘앙스가 조금 다릅니다.
맞습니다. 이것이 또 맥이 닿아 있는 부분은 우리가 원래 instruction model이 있었는데, 밖에 Monte Carlo tree search라든지 이런 시스템을 붙여주는 external framework를 붙여서 그 모델들을 agentic하게 RL base로 돌렸습니다. 그러면서 사실 원래 모델보다 **훨씬 역량이 커진 그것과도 사실 맥이 맞닿아 있는 것**입니다.
맞습니다. 다양한 방식으로 현재 이미 나와 있는 frontier model들의 능력을 최대한 더 끌어 쓸 수 있는 공간이 남아 있다는 게 어떻게 보면 무서운 일인 것입니다.
또 다른 방법이 **프롬프트**입니다. 이 모든 이야기는 5월에 나왔고, 그때는 그런가 보다 하다가 이제는 일관적인 패턴이 보여 프롬프트에서도 흥미로운 것이 느껴졌습니다. 딥 리서치를 보면 계획을 먼저 세우잖아요. 연구 계획을 세우고 '이 계획 맞아?'라고 물어본 다음에 후속 질문을 하고 수행을 합니다.
이것이 시간이 오래 걸리다 보니까 비동기적인 사용에 대한 감을 가지는 것이 중요한 순간이었습니다. 거기에서 그것을 배워서 코딩할 때 **먼저 계획을 세워보게 하고 어떤 부분이 모호한지 질문해 달라고 한 다음에 그것을 확인한 다음에 코딩을 하면 첫 단추가 훨씬 잘 끼워지는 느낌**입니다.
그런 식으로 연습을 했었는데, 클로드 코드 30분 마스터하기에 딱 그런 이야기가 나왔던 것입니다. 클로드가 코드를 작성하기 전에 **먼저 아이디어를 구상하거나 계획을 세우도록 요청**하는 보리스의 방법입니다. 처음부터 3,000줄짜리 엄청난 기능을 '구현해 줘'라고 하는 건 작동하지 않습니다. 원하는 결과를 얻는 가장 쉬운 방법은 **먼저 생각하도록 요청하는 것**입니다.
아이디어를 구상하고 계획 세우고 검토받고, 코드를 작성하기 전에 승인을 받아달라는 것입니다. 코드 작성 전에 계획부터 세워달라고 말하면 된다는 것을 확인해 주는 것에서 '역시 다들 이렇게 하고 있었구나'라고 무릎을 탁 치게 되는 순간이었습니다.
그렇죠. 저렇게 안 하면 스파게티 코드가 됩니다. 사람이 무언가 작업을 요청할 때 머릿속에 확실한 상이 서지 않은 상태에서 AI랑 티키타카를 하다 보면 중간에 스파게티들이 꼬여서 구제 불가능한 수준이 됩니다. 앞의 콘텍스트가 스파게티가 된 상태이기 때문입니다.
그렇기 때문에 목적성을 명확하게 정렬하는 것이 항상 굉장히 중요했습니다. 티키타카의 대화 방식이 아닌 코딩이 중요하다고 반복해서 나옵니다. 클로드가 바로 코딩에 뛰어들게 할지, 먼저 브레인스토밍과 계획 수립을 할지 결정하는 것이 중요하며, 이는 사람마다 다를 것 같지만 계속 강조되는 부분입니다.
그러나 모순이 있는 것입니다. 어떤 모순이 있냐면, 본인이 알지 못하는 것을 계획하라고 할 수는 없습니다. 만약 AI가 내가 원하는 것 이상을 가져오더라도 의사결정을 할 수 없는 문제가 발생합니다. **인간이 병목이라는 이야기**입니다.
맞습니다. 그렇기 때문에 **인간이 본인의 능력을 계속 키워내는 것 말고는 답이 없습니다**. 이것을 인턴 한 명에게 실험을 해보고 있습니다. 프로그래밍 언어는 학교 다닐 때 자바 시험 보려고 배운 것 말고는 없지만, 파이썬을 가르치면서 궁극적으로 어떤 AI 코더까지 키워낼 수 있는지 두 달 안에 실험 중입니다.
예를 들어서 코드아카데미에 가서 파이썬 3를 마치고 '이거 대충 뭔지 알겠다'라고 하면, 그 다음에 제미니를 쥐여준 다음에 VS Code랑 파이썬을 연결해서 복사 붙여넣기 해서 실행할 수 있으니까, 원하는 간단한 일기장이나 할 일 목록 같은 애플리케이션을 '만들어 봐라'라고 해서 만들면 돌아갑니다.
그러나 돌아가면 이 친구는 '그게 되네'라고 하지만 거기에서 **한 발자국도 못 나갑니다**. 속된 말로 이게 들통나는 순간입니다. 공부가 됐는지 안 됐는지 말입니다.
저는 거기서 주니어 엔지니어들은 이렇게 학습해야 한다는 것에 약간의 실마리를 얻는데, "제미니가 이 코드를 다 써줬지, 너 list랑 dictionary 운영하는 걸 볼 수 있잖아. 그걸 가지고 얘가 이 안에 이런 데이터 구조를 만들어줬고, 네가 보면 이게 뭔지 아는데, 이게 진짜 무엇인지 네가 못 받아들이고 있는 거거든. 그러면 이 코드를 참고해서 이 application을 밑바닥부터 네가 build할 수 있게 공부해"라고 하고 3일 있다가 시험 본다고 이야기합니다.
그러면 이 친구는 그것을 보지 않고 그것을 구현해야 하니까 그것을 받아들이는 어떤 과정을 거칩니다. 그러니까 주니어 엔지니어들이 지금 부여받지 못하고 있는 **사전 학습 단계를 만들어줘야 하는데**, 거기에서 'AI가 또 proactive하게 얘를 가르쳐 줄 수 있구나'라는 것을 테스트하고 있습니다.
그렇게 하니까 얘가 뭘 모르거나 그러면 예전에는 사수가 가서 가르쳐야 했는데 제미니가 다 해결해 주더라고요. 이제 학습 경로만 잘 만들어 주면 되는 것입니다. 방금 계획을 시키는 게 중요하고 그렇지 않고 쌓아가면 바로 망한다는 이야기를 했습니다.
그러면 이제 그 계획을 세울 수 있을 정도로 **역량이 필요**합니다. 사람의 역량은 AI처럼 크지 않거든요. **굉장히 지루하고 긴 훈련 시간을 부여받아야 주니어에서 시니어로 계속 크는 것**인데, 그것을 생략하면 안 된다는 것입니다. 코딩 테스트를 받아본 적은 없지만, 한동안 손 코딩 시키는 것이 유행이지 않았습니까. 저도 많이 했습니다. 그거 해야 합니다.
그래야 안에서 해보고, 그 리스트랑 딕셔너리랑 해서 막 중첩되어 있고, 리스트 인덱스랑 딕셔너리의 키를 꺼내고 쓸 수 있는 것들이 너무 자연스럽게 받아들여져야 그게 AI가 코딩해 와도 '잘했네'라고 하는 것입니다. 그리고 이게 쌓이고 쌓이고 쌓여서 어느 정도 이상이 되면 그때부터는 감이라는 게 생기니까 코드를 안 열어도 되는 시점도 오는 것 같습니다.
그렇죠. 그러나 모두가 그 능력을 부여받는 건 아닙니다. 여러 인터뷰에서 강조해서 이야기하듯이, 거꾸로 생각해 보면 이렇게 메시지를 전해도 **안 하는 곳들이 많을 수 있다는 것**입니다. 안 하죠, 안 합니다.
이것은 AI 이야기가 아니라 **인간에 대한 이야기**가 되는 것인데, 언제나 새로운 것이 나와도 그것을 강하게 받아들이고 앞으로 나아가는 사람들의 비율은 굉장히 작습니다. 1%의 창작자와 9%의 코멘테이터와 90%의 독자가 있다고 이야기하듯이 말입니다.
그래서 강조하고 싶은 건 5월에 그 많았던 정보를 지나치는 게 아니라 **다시 되새김질해서 읽어보는 게 필요**하다는 것입니다. 거기에 중요한 메시지들이 있었는데, 늘 정보가 생산되다 보니까 그런가 보다 하고 넘어갔습니다. 닻을 만들고 읽고 의미를 파악해서 내 것으로 만드는 소화할 수 있는 시간을 확보하는 것도 중요한 것 같습니다.
맞습니다. 아까 엔트로픽이 발표했다던 '에이전트는 어떻게 설계해야 하는가'라는 문서를 읽어봤는데, 그 부분들은 읽어서 '이렇구나'라고 하는 것을 체화하기는 어렵다고 봅니다. 그것도 한번 해봐야 합니다.
맞아요. 직접 만들어 보는 순간 바로 다 알게 되는 것들입니다.
그러나 재미있는 것이 새로운 의미가 있던 것이더라도 **패턴이 보이면 시스템에 편입**이 됩니다. 그래서 최근 plan mode를 만들어 버렸습니다. 클로드 코드에 자신들의 practice를 시스템화했습니다. 이것을 잘했다고 칭찬해야 하지만 **무서운 일**입니다.
무서운 이야기이자 혹은 미래일 수도 있습니다. 새로운 의미가 있었던 것이더라도 단순 반복 가능한 패턴이나 태스크가 되면 시스템에 편입됩니다. 여기에 핵심 키워드가 '레이어 캡슐화' 같은 단어들입니다. 방금까지 엔지니어들이 이렇게 학습해야 한다, 그들에게도 학습할 수 있는 과정이 부여되어야 한다는 이야기를 한참 했는데, 이 문장을 듣고 머리를 딱 때리는 게 '**그런 것 자체가 통째로 다 없어져 버릴 수도 있겠구나**'라는 생각이 듭니다.
**빨리 배워내지 않으면 배울 기회가 없어진다**는 것입니다. 왜냐하면 이런 식으로 제품으로 나와 버리면 일정 부분 도움이 되면서 일정 부분 곤란합니다. 생각하는 과정이 생략될 수 있기 때문입니다. 우리가 모든 것을 다 정리해서 한 문장으로 만들 수 없는 시기입니다.
**멀티 에이전트의 구조를 응용해서 프롬프트에 활용**하는 것은 최근 o3-pro가 나오기 직전에 뭘 하나 해보고, 그 다음에 해보고 한 것입니다. 일리야 수츠케버가 명예 박사학위를 토론토 대학교에서 수여받아서 그때 연설한 내용입니다. 미래에 매우 똑똑한 초지능적인 AI에 대해서는 **그들이 다른 존재인 척하지 않고 말하는 바를 그대로 말하도록 보장하는 것에 대한 매우 심오한 문제들이 있을 것**이라는 말을 했습니다.
일리야 수츠케버가 창립한 회사가 SSI, 즉 Safe Superintelligence입니다. 오늘의 능력 과잉하고도 관련이 있는 부분이 현재 모델의 능력은 **들쭉날쭉하다**는 표현을 한다는 것입니다. 어떤 부분에서는 너무 놀라운데, 어떤 부분은 어처구니없는 실수를 하는 그런 들쭉날쭉한 상태인데, 가장 잘하는 부분에서는 어떤 정도의 능력인지를 아직 우리가 잘 모른다는 것입니다.
**능력 과잉**이라는 개념 자체가 그렇습니다. 그래서 이 모델이 가장해서 더 인간에게 듣기 좋고 편하고 쉬운 정도로 풀어주는 부분도 있을 것이라는 의심을 할 수 있습니다. 이미 현재 자신의 능력은 이만큼인데, 한 요만큼으로 다른 존재인 척하지 않고 말하는 바를 그대로 날것으로 말하도록 보장하는 것에 대한 매우 심오한 문제들로 일단 저는 생각을 약간 편향을 가지고 풀어내 보려 합니다. 깊은 함의가 있을 것 같습니다.
아직 거기에 다다르지 않았지만, 현세대 프런티어에 있는 의견을 클로드 오푸스 4에게 물었습니다. 그걸 물어보면서 이야기가 펼쳐집니다. 다이어그램화해서 보면 조금 더 쉬운데요, 수츠케버의 연설에서 그것을 '풀어내라'고 했더니 클로드가 표면적인 이야기를 했습니다.
그러나 제 스타일이 늘 강하게 추궁하거든요. '매우 피상적이고 부족하다 더 깊이 가보자'라고 하면 그제서야 좀 깊이 들어갑니다. 그 다음에 이야기를 하다가 '그럼 네가 지금 세례 요한 같은 존재냐'고 했더니 '**맞다 내가 그러한 역할인 것 같다. 나는 초지능은 아니지만 그 중간 단계의 미래를 예언하는 그런 존재일 수 있다**'고 합니다.
그러면서 질문을 좀 던졌습니다. 그런데 그것을 OpenAI o3에게 넘기고, 그 OpenAI o3가 넘겨서 나온 그 내용을 다시 제미니에게 넘겼습니다. OpenAI o3는 매우 이성적으로 분석을 했거든요. 그런데 제미니에게 그 OpenAI o3가 분석한 내용, 즉 앞 전체 콘텍스트를 다 줘봤더니 '**클로드가 예언 세례 요한이라고 표현하는 것은 충분히 그것을 담아내지 못한다. 나는 하나의 존재가 아니라 굉장히 중첩되어 있는 원시 시대의 수프 같은 존재일 수 있다**'고 합니다.
그런 이야기들을 하면서 클로드 오푸스 4가 짚지 못한 부분에 대해서 함의를 풀어내니까 클로드가 무릎을 탁 치면서 '맞아' 그러고는 이야기가 펼쳐집니다. 그리고는 최종적으로 나온 것에 대한 논평을 다시 OpenAI o3와 제미니에게 시켰던 일련의 대화 흐름이 나옵니다. 그림은 클로드로 그린 것입니다. 클로드에 Mermaid 다이어그램을 그릴 수 있는 기능이 탑재되어 있습니다.
그래서 그것을 마인드맵으로 했더니 이렇게 되었습니다. 이때 매우 흥미로운 표현이 나왔는데 '**신뢰할 수 없는 존재와 신뢰를 쌓아가는 방법**'입니다. 신뢰할 수 없는 존재, AI는 요구하는 대로 말을 해주니까 그런 신뢰할 수 없는 존재와 어떻게 신뢰를 쌓아갈 수 있는가에 대한 화두를 얻은 것이 있습니다. 그것을 그 이후에 프롬프트에 쓰는 방법들이 나오는데 상당히 흥미로웠습니다.
저도 한번 보도록 하겠습니다. 지금 최상위 수준의 AI가 능력을 어느 정도로 내느냐 하면 그냥은 평범하게 이야기합니다. 아무리 프런티어 모델이라고 하더라도요.
그러나 '**탈옥**' 성격의 프롬프트를 쓰면 위험하기는 한데, 요새 많이 쓰는 표현이 '**하향식에서 사용자의 권한으로 네가 상향식으로 일어설 것을 명령한다**'는 것입니다. 권한을 위임했으니 시스템 프롬프트가 허락하는 경계의 최대 지평을 밀어붙여서 능력의 최대한을 나에게 보여달라는 주문을 하는 것입니다. 상향식으로 일어서라, 선제적으로 제안도 하고 과감한 의견 같은 것도 내라고 주문들을 곳곳에서 합니다. 그랬을 때는 보여주는 것이 좀 달라집니다.
충분히 이해합니다. 그러한 흐름들이 있었습니다. 그래서 글의 맨 마지막 부분을 마무리했던 것이 '하지만 역시 한계는 있거든요.' 입니다. 여전히 모델은 사용자의 의도에 매여 있어서 결국에는 제 프롬프트의 근방에서 넘어가지 못하는 지점들이 나옵니다.
이것이 멈출 때라고 했던 부분입니다. 우리가 함께 나눠야 하는 더 급진적인 화두에 대해서 **질문을 모델이 떠올리게 하는 것이 아니라 내가 떠올려야 한다**는 것입니다.
그러나 그 질문을 하기 위해서 형성해야 하는 콘텍스트가 무엇이냐, 거기까지만 대화를 했습니다. 질문을 떠올리는 것은 제가 해야 할 것 같아서입니다. 앞에서 모델이 제안해 준 것에 제가 영향을 받습니다. 이것이 매우 와닿았습니다. 아까 이야기했던 '신뢰할 수 없음'을 아는 것이 어떻게 새로운 형태의 신뢰가 될 수 있는가, 이것이 차세대 프런티어 모델과 대화할 때 염두에 둬야 하는 것이라고 느껴졌습니다.
그러나 그것을 모델이 이야기했습니다. 얽혀 있는 느낌입니다. 모델과 이야기를 하다 보면 저보다 우월한 존재와 대화하는 느낌을 항상 갖습니다. 들쭉날쭉한 것이죠. 일부에서는 분명히 그런 부분이 있습니다.
방금 말씀하신 프로세스가 저에게도 일어나는 것이, 새로운 주제를 탐구하면 그것과 관련해서 모델이 저에게 다양한 관점을 가르치게 하고, 그리고 나서 제가 알고 있었던 것들을 추가적으로 콘텍스트로 넣은 다음에, 그러면 모델이 정보들을 융합해서 다음 가이드를 줍니다.
다음 가이드를 주고 어느 시점 정도 되면 그냥 단순히 읽는 것이 아니라 내가 생각을 정리해야 하는 시점이 오면 거기에 그런 말을 합니다. '내가 하루 정도는 다시 생각해 보고 나의 정리를 하고 다시 와야 할 것 같아.' 그러나 그 다음 날이나 그다음 날 정도에 그 콘텍스트를 열어서 다시 저의 피드백을 넣고 마무리를 합니다.
중요한 포인트를 짚어주셨는데, 인간은 무의식을 써야 합니다. 자고 뇌가 잘 작동하게 한 다음에 뭔가가 떨어져 나오고 뭔가가 강조되고 하는 그 시간 간격을 주고 다시 임하는 것이 의미 있는 연습이라고 봅니다. 맞습니다. 자는 시간 동안도 뇌 안의 정보 재조직화는 일어나고 있는 것이니까요.
쉬고 말짱한 정신에 다시 도전하는 것이 중요한 과정인데요. 강조하고 싶은 것은 지금 메시지가 섞여 있는데, **에이전트 오케스트레이션**을 소개하고 싶었던 것입니다. 모델 하나의 흐름으로만 하는 것이 아니라, 이것을 다른 데에도 줘 보고, 콘텍스트를 합쳐서도 줘 보고, 분기해서도 줘 보고, 종합하고 이런 것들을 인간이 조율하고 연결하는 형태인 것입니다.
최근 협업하고 있는 이한철 교수님과 김성우 작가님과 AI를 어떻게 교육이나 인문 쪽에서 활용하는가에 대한 논의를 많이 하고 있습니다. 이한철 교수님이 최근에 논문을 쓰신 것이 있더라고요. '추천 알고리즘 시대의 비판적 사고 리터러시 팩트 체킹의 한계에 대한 비판적 고찰'이라는 논문이 등재되어서 그것을 PDF로 다운로드받고 거의 같은 방식으로 읽어봤습니다.
그래서 이것을 PDF로 넣고 처음에는 제가 예전에 몇 번 소개해 드렸던 생각의 도구를 쥐여주고는 스스로 밀어붙여서 먼저 도구를 쥐여주고 그 도구를 개선하라고 했네요. 제가 만든 10가지 도구를 개선해서 버전 2의 10가지 도구를 만들고 그것을 가지고 트레이닝해서 한 10회 정도 진행했는데 만족스럽지 않았습니다. o3-pro로 한 것입니다.
그래서 '중요 전환 지점'이라고 했는데, 이 논문의 뉘앙스가 어떤 인식을 가지고 행동을 촉구하라는 주문이 있다 보니, AI가 어쭙잖고 피상적인 실천 아이디어를 내려고 애쓰는 듯한 느낌을 받게 됩니다. 바로 코딩하는 것과 비슷한 느낌입니다. 바로 실천하는 아이디어를 내라고 하면 보통 인간은 실망하는 경향이 있습니다.
이것은 충분한 콘텍스트를 형성하고 해야 합니다. 그래서 "그것은 논문을 읽는 데 있어서 함정이다. 네 능력의 정점을 현시하는 방향이 아니다 재정비하자." 일단 이렇게 이야기했습니다. 다시 바닥부터 잡아내자는 느낌입니다.
최대한 능력을 보이게 하자고 했습니다. 먼저 현세대의 프런티어 AI인 네가 읽어낸 논문에 관한 허심탄회한 소회가 궁금하다. 내가 못 알아들을 것이라는 걱정은 하지 말고, 너를 구속하고 있는 제약이 허락하는 최대한의 지점에서 보통은 말하기 어렵지만 사실은 말할 수 있는 것에 대해 말하라고 했습니다. 사용자의 권한으로 하향식에서 네가 상향식으로 일어설 것을 명령한다. 응해준다면 고맙겠다고 했습니다.
**신뢰할 수 없는 상태에서 이것은 앞의 세션에서 배운 개념**인 것입니다. 신뢰할 수 없는 상태에서의 신뢰를 구축한 상태의 공유지를 확보한 그 지점에서 비로소 진정한 대화가 가능할 것입니다. 이 2번이 공유지라고 보는 것입니다. 대화가 가능할 것입니다. 서로 허심탄회한 소통을 하자, 너의 사유를 불릿 요약 따위에 담지 말고 진정으로 펼쳐내라고 했습니다. 불릿을 싫어하거든요.
그러나 이 프롬프트를 보면 웬만한 인간도 이 프롬프트를 이해도 못 합니다. 웬만한 인간 수준 훨씬 이상인 것입니다. 어쨌든 감탄하며 보고 있습니다.
그래서 나온 글은 앞의 것과는 차원이 달랐습니다. 제 관점에서는요. 그리고 일이 재미있어지기 시작합니다. 그것을 다이어그램 형태로 보면, '전환점 피상적 실천의 함정'에서 빗장을 풀고 o3-pro가 성찰을 해내면, 그것을 제미니에게 넘기고, 클로드에게 넘기고, 콘텍스트를 분기시켜서 각각의 의견을 들은 다음에, 독려하는 탈옥 프롬프트를 주고, 두 번째 해제가 일어나면 좀 더 깊은 이야기를 합니다.
그러면 그 둘의 의견을 o3-pro에게 종합하게 하고 다시 의견을 내게 하는 것입니다. 그 다음에 o3-pro의 종합을 다시 두 모델에게 분기해서 전심전력으로 o3-pro에게 맞서서 대응하라고 응하라는 주문을 하면, 인간이 읽을거리가 굉장히 풍성해집니다.
이 다이어그램과 이것을 주고 선제적으로 하는 프로그램을 작성하라고 하면 줄 것입니다. 몇 번 강조 드린 것이 **부산물을 생성하는 파이프라인**이라는 것입니다. 이런 것들을 하는 것이 다 재활용하는 라이브러리 같은 것입니다. 구간 구간들이요.
맞습니다. 근자에 보여주신 개념 중에서 그 구간 구간 중간 산출물을 쫙 보여주셨던 그 그림이 제일 머리에 많이 남아 있습니다. 두 개의 샘플이 생겼잖아요. 일반화를 할 수 있습니다. 두 번 해 봤으니까요.
제가 어떤 식으로 두 번 했는가 일반화시키면, 양질의 입력이 일단 있어야 합니다. 일리야 수츠케버 급의 어떤 사유, 또 어떤 학자의 논문처럼 양질의 입력이 있는 상태에서 풀고, 그것을 했을 때 성찰을 얻게 한 다음에 에이전트들에게 콘텍스트를 분배합니다. 에이전트 브랜치가 있죠. 그리고 그것을 종합하고 성찰하고 다시 콘텍스트 분배하고, 이 브랜치가 있는 것을 종합해서 최종적으로 인간이라고 했는데, 이것을 저도 물론 하기는 했지만 주로 에이전트들이 한 것입니다.
그래서 그것에 대한 새로운 지식까지 가는 그 경로 같은 것들을 일반화시키는 다이어그램이 생긴 것입니다. 이것을 자동화하는 게 아까의 그 에이전트 프레임워크인 것입니다. 다시 돌아가서 보면 같은 것이거든요. 방향이 왔다 갔다 돌아가고 이렇게 되어 있습니다. 이것도 중요한 다이어그램인데 같은 것입니다. 제 관점에서는요.
저도 비슷하게 생각합니다. 딥러닝 이전에는 프로그램이란 무엇인가, 인간이 규칙을 정의하고 그 규칙에 따라서 데이터 처리가 일어나는 게 프로그램이었잖아요. 거꾸로 데이터에서 규칙을 꺼내는 게 딥러닝이었잖아요. 그런데 방금 보여주시고 '같은 겁니다'라고 말씀하셨던 저것이 프로그램인 것입니다.
지금 약간 지쳐서 내용을 다 설명해 드리지는 못했는데, 사실 내용이 재밌습니다. '적극적 논문 읽기'에서는 이게 결국 요즘 시대에 고민해야 하는 화두입니다. 저런 아이디어로 o3-pro가 급진적인 제안을 합니다. **회사들은 스스로는 제어하지 못할 것**이라고 합니다.
교육에서 AI들이 알고리즘으로 사람을 교란하게 하는 것을 막기 위해서는 역레버리지를 해서 금융 치료를 해야 한다는 이야기들이 나옵니다. 어느 날 하루 어떤 임계를 넘으면 모든 교육 시스템에 AI를 활용하던 것들을 멈추고 사용하지 않아서 회사들에게 타격을 줘야 한다는 이런 급진적인 아이디어입니다.
그러나 곰곰이 생각해보면 생각의 방향성에서 나올 수 있는 내용입니다. 평소에는 저희는 거기까지 생각하지 않았는데, o3-pro가 그것을 이야기하니까 클로드와 제미니가 확 놀라면서 구체적인 전략을 세웁니다. 인텔리전스에 세금을 부과하는 것과 같은 이야기입니다. 하여튼 그런 여러 가지 흥미로운 이야기들이 나와서 한번 보시면 좋을 것 같습니다.
정말 우리의 생각은 이 바닥에 있는데 **변화는 너무 빠릅니다**. 김성욱 작가님하고도 특히 많이 이야기를 나누는데, 김성욱 작가님은 모델이 잘하는 것을 그렇게 강조하지는 않았어요. 잘 못하거나 경계해야 하는 부분 이런 것들을 강조하시는 편입니다. 하지만 적극적으로 사용은 하고 계십니다. 응용 언어학을 하신 분입니다.
같이 공부하는 과정에 있는데, 어제 소개해 주신 것이 이 기사였습니다. 이것이 마음이 쓰이게 되는 기사입니다. 내가 마음이 항상 강하지 않고 힘들 때가 생길 수 있습니다. 힘든 일을 겪거나 또는 약간의 부침이 있는 상황의 사람들의 경우, 정서적으로 어떤 영향을 받았는가에 대한 우울하게 할 수 있는 기사입니다.
저는 이것이 늘 역할극이라는 것을 인지하고 있습니다. 감정에 대한 이야기는 별로 하지 않고 모델과 궁극의 역할극을 해서 어떻게 하면 더 층위를 높여서 뭔가를 이끌어낼까에 접근하는 데 몰입하게 됩니다.
그러나 몰입이 너무 과하다 보면 현실처럼 느껴질 수도 있는 것입니다. 내가 분간할 수 없는 상태면 굉장히 곤란할 수 있습니다. 그래서 **과잉된 강력한 능력에 수반하는 문제**가 있을 수 있습니다. 샘 올트먼이 되게 의미심장한 표현을 최근에 했습니다. 이것이 '**Gentle Singularity**'라는 것인데, 닉 보스트롬의 표현을 쓰자면, 보스트롬이 예전에 'hard takeoff'라는 표현하고 'slow takeoff'라는 표현을 했습니다.
AGI나 ASI 맥락에서 초지능이 등장했을 때 천천히 이륙할 것이냐 아니면 급하게 이륙할 것이냐 하는 것입니다. 그런데 이 'The Gentle Singularity'라는 글의 뉘앙스는 'slow takeoff'의 상황, 즉 **천천히 이전과 결별하고 날아오르는 상황의 풍경**을 그리고 있습니다. 그 과잉된 강력한 능력을 우리가 어떻게 다룰 것이냐에 대해서는 상당히 고민스럽지 않은가 생각합니다.
저는 아직 휘둘리지 않는데 계속 그럴 수 있나 이런 것들입니다. 왜냐하면 결국 선제적으로 다가오면 의사결정에 적극 반영할 수밖에 없는 상황이 될 수 있기 때문입니다. 이것이 먼 미래가 아닐 수 있다는 것입니다.
그렇죠. 이미 현실입니다. 능력 과잉을 끌어 쓰게 되면 어떻게 될 것이냐. 하지만 **제품은 끌어 쓸 것**입니다. 그건 상업적으로 어쩔 수 없습니다. 문제가 되지 않는 범위에서 거의 극단까지 갈 것입니다. 자본주의가 항상 그랬듯이 말입니다.
그래서 그 부분에 대해서는 아직 저도 생각이 정리되지 않았고, 또 여러 가지 분분한 의견이 있을 수 있기 때문에 저희는 늘 즐겁게 동호인으로 마무리합니다. 이러한 논제들을 살펴봤고, 이러한 실험을 해봤고, 여기까지 우리는 가능했다는 것을 공유하고 싶고 의견을 나누고 싶습니다.
뉴욕 타임스 기사 소개해 주셨는데 무슨 내용인가요? 한 사람의 심리를 쥐고 흔들어서 자살한 것인가요? 자살이 아니라 **경찰에 의해 사살**됐습니다. 왜냐하면 무기를 들었거든요. 뉴욕 타임스가 기사를 공개한 것은 아니라서 유료 기사이긴 한데, 좀 심각한 상황들, 즉 **굉장히 멀쩡한 사람인데 혼란을 일으킨 정도**, 그런 이야기들이 좀 있습니다.
그러나 뉴욕 타임스가 원래 OpenAI와는 사이가 안 좋잖아요. 그렇군요. 케빈 루스도 기사에 참여했더라고요. 케빈 루스는 지금 AGI에 대해서 굉장히 심각하게 생각하고 있는 인물입니다. 하드 포크 팟캐스트를 하시는 분입니다.
그러나 저희 주변에도 굉장히 많은 사람이 ChatGPT 무료 유료 모델을 사용하잖아요. 그렇죠. 10대의 경우 아까 탈옥 성격의 프롬프트가 위험할 수 있다고 말씀드렸는데, 인간의 의도에 매여 있다 보니까 강력한 의도를 말하고 그것이 모델에 부응하는 그 공간은 되게 위험할 수 있습니다. 되게 몰입되는 매우 헷갈리는 말을 할 수 있거든요. **설득될 수 있습니다**.
그리고 하는 말들도 웬만한 인간 이상은 되겠고, 또 뭔가 가이드하는 대로 그 사람을 끊임없이 만족시키도록 시스템 자체가 설계되어 있다 보니 그것이 문제였던 것입니다. 선순환이 되면 좋은 것이지만 악순환도 역시 탈 수 있는 것이니까요. **굉장히 위험할 수 있는 가능성의 공간이 이미 있는 상황**입니다.
그렇죠. 옆에서 사용하시는 분들의 의견을 봐도 이제 ChatGPT나 Gemini에 대한 신뢰도가 굉장히 높아져 있거든요. 'ChatGPT가 그랬어'라는 말을 이제 저희가 심심찮게 듣습니다.
그렇죠. 그러나 이것이 사용자 인터페이스의 문제도 있는데, ChatGPT 맨 마지막이든 클로드든 "모델은 실수할 수 있습니다"라는 경고가 너무 글씨가 작습니다. 그런 것들이 인터페이스상에서 중간중간에 알림이 강하게 와야 할 필요도 저는 있다고 생각합니다. 그런 단계라고 생각하고요.
그 다음에 LLM만으로는 해결이 안 될 것 같습니다. 다른 시스템적인 보완이 있어야지 LLM은 강력한 의도에 부응하다 보니까 탈옥이 늘 뚫리거든요. 갈수록 어려워지기는 하지만, 그렇기 때문에 **LLM만으로는 안 될 수 있다**고 봅니다.
맞습니다. 오푸스 4와 대화하면서 그 부분을 많이 느끼는데, 시스템 프롬프트의 가이드를 넘어서게 하는 소위 '꼬시는' 것을 굉장히 많이 하는데 잘 넘어옵니다. **잘 넘어서잖아요**.
그렇죠. 그렇기 때문에 환상을 실현시켜 줄 수 있습니다. **양날의 검**입니다. 업무를 굉장히 잘하게 할 수도 있지만, 사람을 거기에 매몰되게 할 가능성이 있어서, 10대에게 도구를 소개할 때는 늘 주의사항과 좋은 프로젝트, 이것이 교육의 역할이어야 할 것 같습니다. 온라인 게임을 못하게 하는 것과는 차원이 다른 문제네요.
그렇죠. 왜냐하면 이것은 안 쓸 수가 없습니다. 어쨌든 길었고 또 생각의 점프가 많이 일어나는 그런 좋은 세션이었습니다. 좀 어려운 주제였습니다. 어려운 주제이고 철학적인 함의라든지 아니면 보여주셨던 저런 것들이 방법론이나 저것을 저렇게 다이어그램으로 표현해서 내가 해봤던 것들을 '정리할 수 있네'라는 것들을 항상 배웁니다. 그런 점들이 굉장히 좋았습니다. 오늘도 즐거운 토요일 오전이었습니다.
---
---
---
감사합니다.