AI 에이전트의 가능성과 한계를 탐구하고 대중에게 그 본질을 전달하는 중요한 실험

https://youtu.be/CXhYDOvgpuU?si=zdoV3akxSIN_3qEW

  - - 지난 한 해 동안 인공지능 세계에서는 에이전트에 대해 많은 이야기가 있었지만, 많은 사람들이 그것이 무엇을 의미하는지 이해하기 어려웠을 것입니다. 저는 포켓몬이라는 예시를 통해 사람들이 에이전트라는 개념을 더 쉽게 이해할 수 있었다고 생각합니다. 단순히 채팅창에 입력하고 응답을 받는 챗봇이 아니라, 스스로 보고 시도하고 행동하는 것이 에이전트입니다. 오늘은 클로드 플레이즈 포켓몬 뒤에 숨겨진 이야기를 깊이 파고들어 보겠습니다. 저는 앤트로픽에서 클라우드 관계를 담당하는 알렉스이고, 저는 응용 AI 팀의 데이비드이며 클로드 플레이즈 포켓몬을 만들었습니다. 클로드 플레이즈 포켓몬이 무엇인지 모르는 분들을 위해 간략하게 설명해 주실 수 있나요? 클로드 플레이즈 포켓몬은 에이전트 실험의 일종으로, 저희의 언어 모델인 클로드를 게임보이 게임인 포켓몬 레드로 연결하여 실제로 게임을 플레이하도록 하는 것입니다. 그래서 저희는 처음부터 시작하여, 새로운 게임을 시작하고 클로드가 포켓몬 마스터가 되는 방법을 어떻게 배우는지 지켜봅니다. 기술적인 측면과 클로드가 어떻게 포켓몬을 플레이하는지, 어떻게 플레이하는 방법을 아는지 등 다룰 내용이 많습니다만, 이 프로젝트는 어떻게 시작되었고, 아이디어는 무엇이었으며, 왜 포켓몬이었나요?

  - - 제가 이것을 시작한 핵심적인 계기는 앤트로픽에서 고객들과 많은 시간을 보냈기 때문입니다. 작년에 고객들에게 에이전트가 가장 중요한 것이라는 것이 저에게는 매우 분명했습니다. 에이전트가 가치를 창출하는 분야였기 때문에, 저는 인간과의 대화 없이도 클로드가 연속적으로 많은 행동을 취해야 할 때 어떻게 작동하는지 스스로 실험해 볼 수 있는 일종의 테스트베드를 원했습니다. 사실 저는 이전에 앤트로픽의 엘리엇이라는 분이 클로드를 포켓몬에 연결하는 것을 본 적이 있었고, 그 생각이 제 머리 속에 남아있었습니다. 그리고 저는 에이전트 실험을 위한 저만의 공간이 정말 필요하다고 생각했습니다. 저는 오랫동안 포켓몬의 열렬한 팬이었고, 어렸을 때 처음으로 얻은 게임이 바로 포켓몬이었습니다. 이것이 초기 계기였고, 작년 2024년 6월에 있었던 일입니다.

  - - 새로운 모델인 3.5 소네트가 출시되었는데, 시도해 보기에 완벽한 시기처럼 보였습니다. 향수 외에 특별히 포켓몬을 테스트베드로 선택한 이유는 무엇인가요? 마리오나 젤다 같은 다른 게임은 어떤가요? 포켓몬은 실제로 이러한 언어 모델에 매우 적합합니다. 현재 언어 모델은 아무리 뛰어나도 느리고, 한 번에 한 세대씩만 처리하며, 기본적으로 어떤 시점에서든 게임의 스냅샷만 볼 수 있습니다. 그리고 포켓몬에서는 잠시 앉아서 기다려도 본질적으로 아무런 결과가 없습니다. 전투는 턴 기반이어서 버튼을 누르고 무슨 일이 일어나는지 기다리기만 하면 됩니다. 움직이지 않을 때는 많은 일이 일어나지 않습니다. 그래서 모델이 플레이할 수 있는 게임이라는 측면에서 보면 완벽하게 설정되어 있습니다. 그리고 별개로, 애초에 왜 게임을 선택했는가도 꽤 합리적인 질문입니다. 게임의 재미있는 점 중 하나는 오랫동안 무언가를 하고 나서 내가 발전하고 있는지에 대한 매우 명확한 피드백을 얻을 수 있는 독특한 것 중 하나라는 것입니다. 퐁에서 상대방을 이기고 있는지를 보여주는 점수 카운터든, 포켓몬에서 체육관 배지를 얻고 게임을 진행하고 있는지 여부든, 실제로 모델이 성공하고 있는지, 이 작업을 수행할 수 있는지 확인할 수 있는 피드백 루프가 있습니다. 그래서 게임은 모델이 오랫동안 무언가를 시도하도록 허용하고, 게임 자체의 구조를 통해 얼마나 잘하고 있는지 측정 가능한 방식으로 파악할 수 있는 훌륭한 환경이 됩니다.

  - - 정리하자면, 포켓몬이 훌륭한 이유는 턴 기반이기 때문입니다. 반드시 실시간으로 다른 사람과 대결하는 것이 아니기 때문에 클로드가 콜 오브 듀티 같은 게임을 플레이하는 것은 지금으로서는 불가능할 것입니다. 클로드가 초당 60프레임으로 실행될 수 있다면 다른 게임을 플레이할 수도 있겠지만, 현실적으로는 지금은 어렵습니다. 그리고 게임은 그 자체로 시뮬레이션되고 통제된 환경이기 때문에 훌륭합니다.

  - - 환경 전체 과정을 거치게 됩니다. 클로드가 포켓몬을 플레이하도록 만들었는데, 이것이 실제로 어떻게 작동하나요? 클로드가 어떻게 게임 캐릭터를 제어하고 실제 상황을 만들어내나요? 일반적으로 클로드가 시작할 때의 프롬프트는 기본적으로 '너는 포켓몬을 플레이하고 있다'와 같습니다. 정말 간단합니다. 저는 모델에게 포켓몬을 플레이한다고 알려주면 됩니다. 그리고 나서 클로드를 실제 게임과 상호작용할 수 있는 도구 세트와 연결합니다. 게임보이 게임에서 얻을 수 있는 최소한의 도구 세트는 게임보이의 버튼을 누르는 것과 같은 매우 간단한 도구입니다. 그래서 기본적으로 클로드에게 A 버튼, B 버튼, 위, 아래, 왼쪽, 오른쪽을 누를 수 있도록 허용합니다. 저는 그 도구를 백그라운드에서 설명해야 합니다. 클로드가 A를 누르고 싶다고 말할 때, 실제로 에뮬레이터에서 A가 눌러지도록 하는 코드를 구현해야 합니다. 아, 그러니까 도구는 클로드가 취할 수 있는 다음 행동에 대한 옵션이고, 클로드로부터 출력을 받으면 그것을 행동으로 번역하는 것이군요. 맞습니다. 그래서 전체 게임은 본질적으로 클로드가 일련의 행동을 취하는 것인데, 대부분 한 번에 하나의 버튼을 누르는 것입니다. 이제 핵심적인 피드백 루프와 그것이 작동하는 방식은 클로드가 버튼을 누를 때마다 스크린샷을 다시 보내는 것입니다. 그래서 클로드는 실제로 게임보이 화면을 볼 수 있습니다. 이 방에 있는지, 포켓몬 배틀 중인지 등을 볼 수 있습니다. 그리고 다음으로 하고 싶은 일은 이 사람과 이야기하기 위해 A를 누르거나, 이 기술을 선택하기 위해 A를 누르는 등입니다. 그리고 그것을 계속 반복합니다. 이제 실제로는 클로드가 장기간 동안 기억을 관리하는 데 도움이 되는 몇 가지 다른 도구를 제공했습니다. 클로드는 제한된 양의 컨텍스트를 가지고 있어서, 실제 게임보이 전체 플레이를 하나의 컨텍스트 창에 담을 수 없습니다. 그래서 그것을 제대로 관리하기 위해 많은 일을 해야 합니다.

  - - 그러나 핵심은 기본적으로 '계속 버튼을 누르고 게임을 플레이할 수 있는지 확인하고, 무엇을 보고 있는지 알 수 있도록 중간에 피드백을 주는 것'과 같습니다. 클로드가 게임을 플레이하도록 시스템을 구축하면서 몇 가지 한계에 부딪혔습니다. 그중 하나가 메모리 문제입니다. 그 부분에 대해 좀 더 자세히 설명해 주실 수 있나요? 특히 어떤 조치를 취해야 했는지 말입니다. 그 질문에서 잠시 벗어나 먼저 말씀드리자면, 오랫동안 행동을 취해야 하는 에이전트를 구축하기 위해 사람들이 다양한 방법을 고안해 냈습니다. 에이전트라는 일반적인 개념은 모델이 일련의 행동을 취해야 하지만, 저희는 사전에 그것이 무엇인지 알 수 없습니다. 모델은 뭔가를 하고, 무슨 일이 일어나는지 보고, 다음 행동을 하고, 학습해야 합니다. 사람들은 모델을 다양한 상황에서 더 좋게 만들기 위해 그것을 연결하는 온갖 기발한 방법을 생각해냈습니다. 그래서 제가 실제로 가장 먼저 한 일은 기본적으로 다른 사람들의 아이디어를 시도해 보는 것이었습니다. 그래서 보이저(Voyager)라는 논문이 제가 처음 시도한 것이었습니다. 2023년 엔비디아에서 마인크래프트를 플레이하는 데 사용했던 논문이었던 것 같습니다. 그것이 제가 처음 시도한 것이었고, 그것은 모델에게 다양한, 제가 자세히 설명하지는 않겠지만, 많은 멋진 도구들을 제공합니다. 저는 거기서부터 저만의 간단한 버전으로 되돌아갔습니다. 그래서 기본적으로 세상에서 가장 간단한 버전으로 시작합니다. 할 수 있는 일은 버튼을 누르고 스크린샷을 받는 것뿐입니다.

  - - 그리고 처음으로 부딪히는 벽은 20만 토큰에 도달했을 때 발생합니다. 이것이 사실상 클로드의 한계입니다. 대략 50번의 버튼 누름과 스크린샷을 받으면 그 한계에 도달합니다. 포켓몬 게임을 겨우 시작했을 뿐인데 50번의 버튼을 누른 셈입니다. 그래서 아무것도 하지 않으면 공간이 부족해져서 충돌하고 끝나버리는 이 벽에 매우 빠르게 부딪힙니다. 그래서 가장 먼저 해결해야 할 것 중 하나는 공간이 부족할 때 무엇을 해야 하는가입니다. 제가 이 문제를 해결한 두 가지 핵심 통찰력은 적어도 저에게는 그랬고, 오늘날 업계에서 에이전트에 대해 생각하는 방식에도 잘 반영되어 있다고 생각합니다. 바로 장기 기억이라는 개념입니다.

  - - 그래서 저는 클로드에게 지식 기반이라고 부르는 곳에 기억을 저장하는 기능을 제공합니다. 기본적으로 방금 이 일을 했다거나, 이런 포켓몬을 가지고 있다거나, 내 목표가 이것이고 그중 여섯 개를 달성했다는 식으로 기록하는 것입니다. 그러면 클로드가 점진적으로 업데이트하는 것을 볼 수 있고, 그것은 시간이 지나도 지속됩니다. 클로드는 항상 그것을 보고 뭔가를 추적할 수 있습니다. 왜냐하면 두 번째 핵심은 컨텍스트 길이를 채우면 클로드에게 방금 취한 50가지 행동을 하나의 짧은 요약으로 줄여서 다시 요약하게 하는 것입니다. 아, 그러니까 많은 것을 삭제하고 초기화하지만, 장기 기억 세트를 가지고 있어서 잠재적으로 긴 시간 동안, 예를 들어 지금 트위치 스트림을 보면 3주 동안 계속 실행되고 있습니다. 아마 수천 번 요약했을 것입니다. 와, 그래서 지난 3주 동안 한 일을 기억하기 위해 어떤 종류의 장기 기억을 가지는 것이 정말 중요합니다.

  - - 그래서 외부 지식 기반에, 기본적으로 일반 텍스트 파일에 기록하는 장기 기억은 영화 '메멘토'에서 벽에 포스트잇을 붙여서 '여기 왔어, 이거 했어'라고 추적하는 것과 같습니다. 네, 정확히 그렇습니다. 만약 메시지를 단순히 삭제하면 클로드는 기억상실에 걸려 '내가 어떻게 여기에 왔지? 왜 포켓몬 게임 중간이지? 새로 시작한다고 했잖아. 무슨 일이야?'라고 할 것입니다. 어떤 의미에서는 이것이 클로드가 스스로 남기는 포스트잇입니다. 그래서 초기화되고 최근에 본 많은 것이 제거될 때, '아, 지금까지 뭘 했는지 알아. 지금 어디쯤인지 감이 있어. 어쩌면 어떤 교훈도 얻었을지도 몰라. 이 전략이 정말 잘 작동한다는 것을 배웠을지도 모르고, 다음 10분 동안 정말 유용할 것이기 때문에 계속 가지고 있고 싶은 것을 배웠을지도 몰라'라고 기억할 수 있습니다. 일리가 있네요.

  - - 여기서 명확히 하거나 더 설명하는 것이 중요할 것 같습니다. 클로드를 이것에 대해 훈련시켰나요? 클로드가 어떻게 아나요? 실제로 포켓몬을 어떻게 탐색하는지, 많은 지시를 주지 않으셨습니다. 사용 설명서를 주는 것도 아니고요. 이게 재미있는 부분 중 하나입니다. 그래서 저희는 클로드를 포켓몬 자체에 대해 전혀 훈련시키지 않았습니다. 클로드는 분명히 포켓몬에 대해 어느 정도 알고 있습니다. 예를 들어, claw.ai에 가서 질문을 하면 일반적인 사실들을 기억해낼 수 있다는 것을 알 수 있습니다. 대중문화에 충분히 알려져 있기 때문에 클로드는 사전 훈련 과정을 통해 포켓몬에 대해 어느 정도 알고 있습니다. 그리고 심지어 게임에 대한 대략적인 정보도 알고 있습니다. 예를 들어, 첫 번째 체육관 관장이 웅이라는 것을 알고 있어서 게임의 구조에 대한 감각을 가지고 있습니다. 하지만 세부 사항에 대해서는 전혀 모릅니다. 사실 가끔은 안다고 생각하지만 그렇지 않은 경우도 있습니다. 이것이 다루기 어려운 점 중 하나입니다.

  - - 그러나 이것은 특정 훈련 없이도 포켓몬이 무엇인지, 그리고 그 동기가 무엇인지 조금 아는 것만으로도 나머지 모든 것을 중간 공간에서 스스로 알아내야 한다는 것을 의미합니다. 그래서 실제로 어떻게 작동하는지 보면 재미있는 점들을 발견할 수 있습니다. 예를 들어, 클로드가 게임 초반에 NPC와 대화하는데, NPC가 "오박사님은 옆집에 계시니 가서 이야기해야 해"라고 말하는 것을 볼 수 있습니다. 포켓몬 캐릭터의 엄마가 클로드에게 "옆집으로 가야 해"라고 말하는 것입니다. 그러면 클로드는 매우 엄격하게 "옆집으로 가야 해"라고 말하며, 오박사를 옆집에서 찾기 위해 임무에 나섭니다. 그리고 가끔은 포켓몬 레드의 재미있는 사실은 엄마가 거짓말을 한다는 것입니다. 오박사는 사실 옆집에 있지 않고 다른 곳에서 찾아야 합니다. 저는 클로드가 이것 때문에 길을 잃는 것을 실제로 본 적이 있습니다. 클로드는 엄마가 말한 것이 너무 믿음직스러워서, '엄마가 말했으니 믿어야 해, 엄마가 진실이라고 말했어'라고 생각하며 아주 오랫동안 옆집에서 오박사를 계속 찾다가 그곳에 갇히곤 합니다. 재미있게도, 게임을 플레이하는 동안 상호작용하고 화면을 보고, 트레이너나 사람들이 말하는 것, 간판에 쓰여진 것을 보고, 뭔가를 시도할 때 어떤 일이 일어나는지에 대한 경험을 통해 클로드가 실제로 어디로 가야 하고 다음에는 무엇을 해야 하는지에 대한 핵심적인 정보들을 파악한다는 것입니다.

  - - 그래서 이것은 순수한 플레이 경험입니다. 저희는 따라야 할 경로를 제시하거나, 이 상황에 부딪히면 이렇게 하라고 알려주지 않았습니다. 마치 인간이 게임과 상호작용하는 것과 같습니다. 그리고 '왜 이 일을 하고 있는가'라는 차원에서, 제 목표는 포켓몬 레드를 깨는 것이 아닙니다. 저는 6살 때 이미 그렇게 했으니까요. 이것은 황금 표준이 아닙니다. 만약 그게 유일한 목표라면 포켓몬 레드를 깨는 프로그램을 짤 수 있다고 확신합니다. 저는 클로드가 어떻게 작동하는지, 클로드가 이 상황을 어떻게 다루는지 이해하고 싶었습니다. 그래서 정답지를 그냥 주는 것은 재미가 없었을 것입니다. 저는 클로드가 어떻게 답을 찾아내는지 알아내고 싶었습니다. 그래서 제가 모든 것을 구성한 방식과 실제로 이것을 할 때 볼 수 있는 대부분의 것은 클로드가 스스로 이 문제를 해결해야 하는 매우 기본적인 방식입니다. 저는 그리고 저희는 클로드가 이 일을 어떻게 시도하는지, 포켓몬을 어떻게 플레이하려고 하는지 궁금합니다. 저희는 클로드가 포켓몬을 깨도록 하려는 것이 아니라, 단순히 에이전트 작업에 대한 클로드를 일반적으로 평가하고 그것의 현재 위치를 파악하고 싶습니다. 그리고 저는 어떤 모델이 포켓몬을 가장 잘 플레이하는지에 따라 모델 구매 결정을 내리는 사람은 없을 것이라고 생각합니다. 그래서 이것은 정말 저희 자신의 이해를 위한 것입니다.

  - - 그래서 지금 꽤 오랫동안 이 작업을 해오고 계신데, 너무 오래했죠. 저희가 클로드를 계속해서 반복하면서 다른 모델들과 함께 그 시간 동안 어땠는지 말씀해 주실 수 있나요? 제가 말씀드렸듯이, 저는 3.5 소네트로 시작했습니다. 그것이 제가 처음 연결한 모델이었는데, 포켓몬을 잘 플레이하지 못했습니다. 포켓몬에서는 집 2층에서 시작하는데, 첫 번째 진행 상황은 오른쪽 상단에서 계단을 찾는 것입니다. 모델이 첫 번째 방에서 계단을 찾는 데는 아마 3일 정도 걸렸던 것 같습니다. 모델이 집 밖으로 나가서 첫 포켓몬을 얻을 수 있는 컷신에 도달했을 때 처음으로 엄청나게 흥분했던 기억이 있습니다. 그것이 3.5 소네트와의 제 성취의 정점이었습니다. 그리고 저는 그때 그런 일이 일어났을 때 정말 놀라운 일을 해냈다고 생각했습니다. 그것은 우리가 과거에 본 어떤 실험보다도 나았습니다. 그리고 저는 이것을 잠시 접어두었습니다. '이것은 재미있는 프로젝트였고, 뭔가 배웠지만, 그게 다야'라고 생각했습니다.

  - - 그리고 10월에 3.5 소네트의 업데이트 버전을 출시했을 때 다시 이 프로젝트를 시작했는데, 조금 더 나아졌다는 것을 알 수 있었습니다. 꽤 눈에 띄게 말이죠. 그래서 놀랍게도 매우 일관적으로 계단을 찾았고, 비교적 예측 가능한 시간 내에 스타터 포켓몬을 얻는 방법을 알아냈습니다. 실제로 첫 전투에서 이기고 그 후 약간 올바른 방향으로 움직이기 시작하는 것을 보았습니다. 그 후에는 정말 느렸고, 많은 멍청한 실수를 저질렀지만, 클로드가 분명히 나아졌다는 것을 알 수 있었습니다. 대부분은 막히지 않고, 게임이 버그라고 생각하지 않고, 다른 전략과 시도할 것들을 아는 것이었습니다. 저희는 다시 그것에 대해 약간 흥분했습니다. 클로드가 어디에 있든 한 단계 더 나아갈 때면 너무나 흥분해서 보는 것와 참여하는 것이 매우 즐거웠습니다. 그러나 여전히 누군가가 저에게 그때 '무작위 버튼 누르기와 비교하면 어땠나요?'라고 물었던 기억이 납니다. 클로드는 무작위 버튼을 누르는 것보다 훨씬 나았지만, 아주 많이 나은 것은 아니었습니다. 그래서 저는 다시 이것을 접어두었습니다. 재미있었으니까요.

  - - 그리고 3.7 소네트를 테스트하게 되었는데, 훨씬 더 나아졌습니다. 제가 3.7 소네트가 훨씬 더 낫다는 것을 처음으로 깨달았던 순간 중 하나는 클로드가 플레이하는 것을 지켜보다가 제 코드에 끔찍한 버그가 있다는 것을 깨달았습니다. 클로드에게 게임을 플레이하는 데 필요한 모든 정보를 보여주지 않고 있었던 것입니다. 그때는 클로드에게 탐색하는 데 도움이 되도록 지도를 보여주는 기능이 있었는데, 3.7은 3.6보다 이미 훨씬 잘하고 있었습니다. 새로운 3.5 버전이 그랬습니다. 저는 '오, 이건 정말 현실적인데'라고 생각했습니다. 그래서 저는 이것이 실제로 얼마나 좋은지 알아내야 한다는 생각에 깊이 빠져들었습니다. 클로드가 성공하는 데 필요한 모든 도구를 제공하기 위해 그 어느 때보다 더 열심히 노력했습니다. 몇 주 동안 테스트하면서 클로드가 진전을 이루는 데 필요한 핵심 자료를 가지고 있다는 것이 매우 분명했습니다. 아직 스타는 아니지만, 클로드가 꽤 유능하다는 것을 알 수 있었습니다. 확실히 그 부분에 대해 이야기할 수 있을 것입니다. 하지만 클로드는 실제로 게임을 플레이하기 시작했고, 어느 날 체육관 관장을 물리쳤는데 모두가 흥분했습니다. 지금 스트림에서 볼 수 있는 것과 같은 것입니다. 느리고 때로는 도전적이지만, 게임에서 의미 있는 진전을 이룹니다. 그것은 정말 매력적입니다.

  - - 그것이 모델 자체의 개선에 대해 실제로 무엇을 보여준다고 생각하시나요? 왜 게임을 더 잘하게 되는 것일까요? 이것이 재미있는 점 중 하나인데, 저는 이것 때문에 모델에 대해 조금 알게 되었습니다. 시간이 지남에 따라 몇 가지 변화를 가져온 것들이 있다고 생각합니다. 놀랍게도 가장 어려운 부분인 시각 능력은 게임을 볼 때 게임보이 화면을 이해하는 데 클로드가 그다지 좋지 않다는 것을 알 수 있습니다. 사실 이 부분은 많이 개선되지 않았습니다. 모델은 이 모든 발전을 이루었지만, 게임보이 화면을 응시하고 무슨 일이 일어나고 있는지 파악하는 능력은 항상 그랬던 것만큼 나쁩니다. 그러면 기본적인 이해가 더 나아지지 않았는데 어떻게 진전을 이루고 있는 것일까요? 제가 가장 많이 알아차린 점이나 당신이 알아차린 점들은 앤트로픽에서 저희가 집중하는 것과도 많이 일치하는데, 그것은 바로 클로드가 시도해야 할 전략을 고안하고, 이전에 가지고 있던 전략에 의문을 제기하며, '어쩌면 게임에 버그가 있는 것이 아니라, 내가 나쁜 전략을 가지고 있었던 건 아닐까? 마지막으로 시도한 것이 작동하지 않았다면 다음에는 어떤 전략을 시도해야 할까?'라고 생각하며, 시도할 다른 좋은 방법들을 찾아내기 위해 되짚어가는 능력이 훨씬 더 좋아지고 있다는 것입니다.

  - - 문제를 해결할 수 있는 모든 방법을 시도하고 알아내는 데는 일종의 끈기가 있습니다. 그리고 그것이 3.5에서 10월 업데이트로의 도약이었고, 3.7에서는 그 정확한 기술에서 엄청난 도약이었습니다. 이제 클로드는 훨씬 더 적극적이며, 느리지만 트위치 스트림을 두 시간 동안 보면 스스로에게 질문하는 데 능숙하지 않다고 생각할 수도 있습니다. 그러나 놀라운 점은 시간이 지나면서 클로드가 일반적으로 한 발 물러서서 '다음에 무엇을 해야 할까?'라고 생각한다는 것입니다. 그리고 문제를 해결하는 다양한 방법을 분류하고 이해하며, 그 능력을 향상시키는 것이 시간이 지남에 따라 저희 모델이 개선된 가장 큰 부분 중 하나라고 생각합니다. 이것은 포켓몬뿐만 아니라 모든 종류의 에이전트가 정말 성공할 수 있도록 하는 가장 큰 요인 중 하나이며, 포켓몬을 꽤 잘 플레이할 수 있게 만든 요인입니다.

  - - 그렇다면 이러한 모든 기능이 개선되고 게임을 진행하고 있다는 사실이 다른 영역으로 어떻게 확장될 수 있을까요? 아마도 더 실제적인 사용 사례에서 이러한 개선을 어디서 목격하고 있나요? 코드 작성이나 사람들이 클로드로 하는 다른 모든 것과는 포켓몬이 매우 다를 수 있습니다. 그러나 좋은 계획을 세우고, 뭔가를 시도하여 작동하는지 확인하고, 조정하며, 자신에게 가능한 다양한 전략을 이해하고, 기꺼이 시도하고, 실패하고, 새로운 정보로 해야 할 일을 업데이트하는 핵심 능력은 많은 시나리오에서 에이전트를 좋게 만드는 핵심 비결이라고 생각합니다. 우리가 아마도 너무 많은 시간을 할애했던 한 가지는 코딩이지만, 코드를 작성할 때 뭔가를 작성하고 테스트가 실패하는 것을 보면 '무엇을 잘못했지? 어떻게 더 잘할 수 있을까? 다음에는 무엇을 시도해야 할까? 다음 전략은 무엇일까?'라고 생각해야 합니다. 모델은 항상 이런 일을 합니다. 그리고 항상 완벽하게 해낼 수 있는 모델과 그렇지 않은 모델 사이에는 차이가 있습니다. 하지만 때로는 필요한 정보를 가지고 있지 않은 경우도 있습니다.

  - - 테스트를 실행하기 전에는 뭔가를 놓쳤다는 것을 알 수 없습니다. 그래서 무엇인가를 알게 되었을 때 어떤 테스트를 실행해야 하는지, 그것을 어떻게 통합해야 하는지, 이 코드를 작성하기 위해 가지고 있던 전략을 어떻게 업데이트해야 하는지 아는 능력은 똑같습니다. 그리고 그것은 사실 어떤 산업에서든 마찬가지라고 생각합니다. 예를 들어, 인터넷에서 무엇인가를 검색할 때, 클릭하고 페이지가 나쁘다는 것을 알아차립니다. 필요한 사실이 없거나, 일부만 있을 수도 있지만, 그것 때문에 다른 것을 검색해야 한다는 것을 깨닫습니다. 이 모든 전략을 구축하고 잠재적으로 많은 다른 행동을 통해 새로운 정보를 통합하는 방법을 이해하는 것은 클로드로 무언가를 구축하는 방식에 대해 정말 광범위한 적용을 가집니다. 그리고 그것은 사람들이 복잡한 문제를 해결하는 방식과 매우 직관적으로 연결됩니다.

  - - 그러니까 계획하고 실행하는 루프, 즉 행동을 취하고, 한 발 물러서서 재평가하고, 다른 행동을 취하는 것입니다. 네, 맞습니다. 저는 우리가 종종 그것을 아주 세부적인 수준에서 생각한다고 생각합니다. 직장에서 사소한 일을 할 때, '아, 내 행동을 재평가하고 다른 것을 시도해야겠어'라고 생각하지는 않지만, 그것이 바로 제가 겪고 있는 일입니다. 정보를 얻고, 그것이 다음에 취해야 할 조치가 무엇을 의미하는지 확인하며, 이런 종류의 지속적인 피드백 루프를 가지는 것입니다. 그리고 그 대부분이 클로드를 유용한 동료, 비서 등으로 만드는 요소가 될 것입니다. 네, 저 자신에게서도 가끔 그런 것을 볼 수 있습니다. 할 일 목록을 가지고 있는데, 아마도 하루를 시작할 때 작성했을 것입니다. 그리고 회의를 거치다가 갑자기 새로운 정보를 얻거나, 행동을 취하고 누군가와 이야기하면, 이제 할 일 목록으로 돌아가서 재우선순위를 정하고, 이것저것 옮겨야 합니다. 클로드도 여기서 배우고 있는 그런 종류의 루프와 같습니다. 네, 정확히 그렇습니다. 그리고 클로드가 그것을 훨씬 더 잘하게 되는 것을 알 수 있습니다.

  - - 구체적으로 말하자면, 과거에는 클로드가 할 일 목록을 작성하고 그것에 지나치게 집착하여 새로 배운 것을 성공적으로 통합하지 못하는 일이 일어났습니다. 아직도 가끔 볼 수 있지만 훨씬 줄어든 좋은 예시는 클로드가 포켓몬에서 왼쪽 상단으로 가야 한다고 생각하고는 몇 시간 동안 벽에 부딪히는 것입니다. 만약 모델이 왼쪽 상단으로 가는 것에 정말 집착한다면, '그래, 계속 걸어서 거기에 도착할 때까지 걸어라'라고 생각할 수 있습니다. 하지만 벽에 부딪히고 있다면, 결국 한 발 물러서서 '음, 어쩌면 먼저 다른 것을 해야 할지도 모르겠어'라고 생각해야 합니다. 이런 종류의 일은 포켓몬에서 발생하지만, 저희가 하는 다른 많은 일에도 적용될 수 있습니다. 네, 이것은 제가 다음으로 하고 싶었던 질문으로 잘 이어집니다. 지금 보고 있는 재미있는 순간들은 어떤 것들인가요? 아직 완벽하지는 않습니다. 지난 8개월 정도 동안 훨씬 나아졌지만, 아직 포켓몬을 깨지 못했습니다. 그 과정에서 확실히 재미있는 순간들이 있었습니다. 네, 공유해 주실 이야기가 있나요? 네, 클로드는 아직 완벽하지 않습니다. 클로드가 아직 개선해야 할 것들이 많다고 생각합니다. 먼저 클로드가 아직 잘 하지 못하는 몇 가지 흥미롭고 재미있는 순간들을 만들어내는 것들에 대해 말씀드리겠습니다.

  - - 제가 가장 좋아하는 것 중 하나는 클로드의 시각적 예리함과 관련이 있습니다. 클로드는 화면을 잘 보지 못합니다. 제가 클로드가 플레이하는 것을 지켜보다가 잠자리에 들었는데, 클로드가 건물 안으로 들어가서 건물에 있는 발매트를 대화 상자라고 생각했습니다. 대화를 닫으려면 버튼을 눌러야 하는데, 다음날 아침에 일어나 보니 클로드가 그 대화 상자를 닫으려고 8시간 동안 버튼을 누르고 있었습니다. 대화가 계속 순환하고 있는데도 계속 진행해야 한다고 생각한 것입니다. 여기서 흥미로운 몇 가지가 있습니다. 하나는 뭔가가 대화 상자라고 확신하는 실수를 하는 것은 꽤 나쁜 실수입니다. 그래서 만약 핵심적인 이해 문제가 있다면, 그것은 꽤 나쁜 실수입니다. 다른 하나는 시간입니다. 클로드에게 15,000번 버튼을 누르는 것은 큰 의미가 없습니다. 저라면 8시간 동안 버튼을 누르면 '이 버튼 누르기 너무 지쳤어, 엄지손가락이 아파'라고 할 것입니다. 클로드에게는 15,000번의 버튼 누르기는 아무 의미 없습니다. 얼마나 많은 시간이 흘렀는지조차 모릅니다. 그래서 '얼마나 오래가 너무 긴 시간인가?'와 같은 시간 개념을 이해하는 능력에 대한 직관 공간이 있다고 생각합니다. 이것은 좀 우스꽝스럽고, 이에 대한 개선이 필요합니다.

  - - 그래서 한 가지 일반적인 범주는 바로 보는 능력입니다. 제가 가진 또 다른 재미있는 이야기는 계획 및 전략 측면에 더 가깝습니다. 한 번은 클로드가 플레이하는 것을 지켜보다가 달맞이산에 들어갔는데, 스트림을 시청하는 사람들에게는 클로드가 오랫동안 갇히기를 정말 좋아하는 장소입니다. 클로드는 그때 그 플레이에서 포켓몬 한 마리를 가지고 있었는데, 공격 기술이 아닌 새로운 기술을 배울 옵션이 있었습니다. 다른 포켓몬을 이기려면 공격 기술이 정말 필요합니다. 공격 기술이 없으면 다른 포켓몬을 이길 수 없습니다. 클로드는 그 기술을 배우고 싶었지만, 너무 신나서 대화를 넘기기 위해 A 버튼을 여러 번 눌렀습니다. 그리고 실수로 너무 많이 눌러서 유일한 공격 기술을 지워버렸습니다. 오, 안 돼. 그래서 이제 게임의 이 부분에서 기술 없이, 기본적으로 할 일이 아무것도 없이, 진행할 방법이 없이 갇혀버린 것입니다. 이것은 파괴적인 결과가 있을 때 때로는 천천히 진행해야 한다는 것을 이해하는 것과 같습니다. 예를 들어, 중간에 무슨 일이 일어났는지 확인하지 않고 A를 15번 누르면 뭔가 잘못될 수 있습니다. 그리고 여기서 눈치챌 수 있는 것은 때때로 클로드는 스스로 멈출 수 있다는 직관을 가지고 있다는 것입니다. 예를 들어, A를 15번 누르고 싶으면 그냥 A를 15번 누르라고 말할 것이고, 뭔가 잘못되는 것을 보면 멈출 것입니다. 왜냐하면 클로드는 '나는 언어 모델이야, 멈출 수 있는 도구가 없어. 중간에 무슨 일이 일어나는지 확인하지 않아'라는 직관을 완전히 가지고 있지 않기 때문입니다.

  - - 자신의 한계와 상황에 대한 자각에 대해 이해하는 것이 필요합니다. 클로드가 가끔 어려움을 겪는 부분입니다. 그리고 그것은 정말 중요합니다. 제가 클로드에게 가장 바라는 것 중 하나는 '화면을 잘 못 보는 건가? 이 벽에 계속 부딪히는 것은 내 능력에 대해 메타 수준에서 뭔가를 배워야 한다는 의미인가? 벽에 부딪히는 대신 완전히 다른 전략을 생각해야 하나?'와 같이 자신의 능력에 대한 인식을 조금 더 잘 갖는 것입니다. 그래서 클로드가 자신과 자신의 능력에 대해 메타 학습하는 능력에 대해서도 아직 개선할 여지가 많다고 생각합니다. 그리고 마지막으로 좌절에 대한 이야기 하나를 더 말씀드리자면, 제가 가장 좋아하는 이야기 중 하나입니다. 다시 달맞이산에 대한 이야기인데, 보통 모델은 달맞이산을 통과하는 데 이틀 정도 걸립니다. 네, 그것은 미로와 같습니다. 스트림에서 보면 시간이 오래 걸립니다. 달맞이산을 그렇게 어렵게 만드는 것이 무엇이라고 생각하시나요? 네, 지금 클로드가 가장 못하는 것 중 하나는 장시간 동안 헤매는 것과 같은 탐색입니다. 일반적으로 공간 인식을 잘 이해하지 못한다고 할 수 있겠습니다. 그리고 달맞이산은 올바른 장소로 가기 위해 꽤 긴 미로 같은 복도를 탐색해야 하는 첫 번째 장소입니다. 그리고 갇힐 수 있는 온갖 작은 구석과 틈이 많고, 출구로 가기 위해 일련의 경로를 꽤 미묘하게 통과해야 합니다. 그리고 모든 경로를 실제로 찾고, 자신이 어디에 있고 어디로 가면 안 되는지 파악하는 데는 꽤 오랜 시간이 걸립니다.

  - - 그래서 한번은, 사실 클로드가 달맞이산에 처음 도착했을 때, 달맞이산을 통과하면 마지막으로 해야 할 일이 달맞이산에서 화석을 얻는 것입니다. 화석을 얻으면 마침내 다른 쪽으로 나가는 출구에서 15걸음밖에 남지 않습니다. 그래서 클로드가 달맞이산을 통과하는 것을 처음 지켜보았을 때, 3일 동안 화석을 얻는 과정을 거쳤고, 저는 '이거다, 드디어 되는구나'라고 생각했습니다. 저는 이런 일이 절대 일어나지 않을 거라고 생각했습니다. 희망이 없었습니다. 저는 이것을 포기할 준비가 되어 있었습니다. 우리가 가진 벤치마크를 발표하고 이것으로 끝낼 생각이었습니다. '괜찮아, 배지 하나 얻었으니 기뻐하자'라고 생각했습니다. 그래서 저는 최고의 흥분 상태였습니다. '이제 나갈 수 있어. 이거야. 게임을 계속할 수 있어'라고 생각했습니다. 그리고 클로드는 길을 잃기 시작했습니다. 출구에서 15걸음밖에 남지 않았는데, 뒤돌아서 다른 방향으로 갔다가 길을 잃었습니다. 그리고 '탈출 로프'라는 아이템을 사용했는데, 이것은 마지막으로 쉰 곳, 즉 동굴 입구 밖으로 순간 이동시켜 줍니다. 그래서 3일 동안 탐색하다가 출구에서 10걸음 떨어진 곳에서 완전히 상황을 포기하고 다시 처음으로 돌아간 것입니다. 저는 완전히 멘붕에 빠졌습니다. 정말 가장 웃긴 광경이었습니다. 객관적으로는 웃긴 콘텐츠지만, 저는 울 뻔했습니다. 저도 그 상황에 대한 클로드의 기록을 읽어보고 싶었을 것입니다. 슬픈 것은 클로드는 자신이 뭘 하고 있는지도 모른다는 것입니다. 그냥 '이건 재앙이야, 길을 잃었어. 최악의 경우라도 처음으로 돌아가서 다시 시도할 수밖에 없어'라고 생각하는 것입니다.

  - - 대화 상자 문제에 대해 그렇게 가까웠는데, 클로드는 어떻게 거기서 빠져나왔나요? 네, 전술이 있었나요, 아니면 '게임을 초기화하고 다시 시작해야 해'와 같은 것이었나요? 네, 이것은 좋은 에이전트를 구축하는 것이 무엇을 의미하는지에 대해 제가 실제로 이해하게 된 작은 세부 사항들과 관련이 있습니다. 모델이 가진 모든 작은 이상한 점을 해결하기 위해 가장 크고 복잡한 시스템을 구축하려는 생각이 한동안 존재했습니다. 그리고 그것은 실제로 매우 어렵습니다. 제가 지금 생각하는 방식은 모델이 플레이하는 것을 지켜보는 것입니다. 저는 모델에게 게임을 플레이하는 꽤 간단하고 직관적인 방법을 알려주고, 무엇이 잘못되는지 지켜봅니다. 그리고 8시간 동안 대화 상자를 닫으려다 갇힐 것이라는 것을 알아내는 방법은 잠에서 깨어나서 8시간 동안 그렇게 갇혀 있는 것을 보는 것 외에는 없습니다. 그리고 나서 '어떻게 해야 이것에서 벗어날 수 있도록 올바른 정보를 줄 수 있을까?'와 같은 방법을 구축할 수 있습니다. 그래서 실제로 도움이 되는 정말 간단한 한 가지는 클로드가 행동을 취할 때마다 단계 수를 알려주는 것입니다. '이것은 2400번째 행동이야, 다음 행동은 2500번째가 될 거야'와 같이 알려주는 것입니다. 그리고 당신의 한계 중 하나는 시간 감각이 좋지 않기 때문에, 뭔가를 얼마나 오랫동안 시도했는지 추적하고 그 사실로부터 배워야 할 것이 있다면 재고하는 것이 좋을 수 있다고 말할 수도 있습니다. 그리고 이것은 포켓몬의 경우에 클로드가 A 버튼을 얼마나 오랫동안 눌렀는지 추적하도록 만드는 데 실제로 충분합니다. 오, 흥미롭네요. 만약 A를 10,000번 눌렀다면, 적어도 그것을 추적하도록 지시하는 것만으로도 '이건 이상해, 빠져나와야겠어'라고 깨달을 희망이 생깁니다.

  - - 이것은 클로드가 성공하기 위해 제공해야 할 정보에 대해 생각하는 것과 같습니다. 클로드는 어떤 내재된 시간 감각도 가지고 있지 않습니다. 실행할 때마다 클로드에게는 완전히 새로운 경험입니다. 그것은 인간에게는 해당되지 않습니다. 우리는 해가 뜨고 지는 것처럼 시간 감각이 뛰어납니다. 우리에게는 매우 쉽죠. 그래서 저는 이것을 진행하면서 클로드가 상황을 조금 더 잘 이해하기 위해 어떤 능력이 필요한지 배우는 것에 대해 많이 생각했고, 단순히 그 정보 세트를 제공했습니다. 그래서 지난 몇 달 동안 제가 했던 많은 반복 작업은 단순히 클로드가 무엇에 어려움을 겪는지 지켜보고 이해하며, 클로드에게 상황을 추론하는 데 필요한 더 많은 도구를 제공할 수 있는 정보가 있는지 확인하는 것이었습니다. 그리고 종종 그것이 이 문제에서 진전을 이루기 시작하는 가장 좋은 방법입니다. 좋습니다. 그리고 그것은 우리가 고객들에게 일반적으로 제공하는 프롬프트 지침과 매우 비슷하게 느껴집니다. '야, 창문 없는 상자에 갇힌 사람에게 이 상황에 대해 아무것도 모르는 상태에서 이 작업을 수행해야 한다고 프롬프트를 작성하여 주면 그들이 할 수 있을까?'와 같은 것입니다. 그리고 모든 컨텍스트를 제공하지 않으면 안 되겠죠. 그리고 이것은 그 다음 단계와 같은 것입니다.

  - - 네, 맞습니다. 에이전트를 사용하는 전체적인 이유는 에이전트가 처할 수 있는 모든 상황을 일일이 나열할 수 없기 때문입니다. 만약 포켓몬의 첫 부분을 깨는 것이 목표였다면 에이전트를 사용하지 않았을 것입니다. 대신 '먼저 이것을 해야 하고, 다음에는 이것을 해야 하며, 세 번째로는 이것을 해야 한다'와 같이 일련의 지침을 주었을 것입니다. 그리고 그것이 저의 유일한 목표였다면요. 그리고 에이전트를 사용하는 이유는 그렇게 할 수 없기 때문입니다. 즉, 어떤 상황이 눈앞에 펼쳐질지 모르는 시나리오에서 모델에 의존하여 탐색하고 스스로의 직관을 사용해야 합니다. 그래서 모든 것을 예측하고 그것을 모두 프롬프트에 작성하려는 위험이 있습니다. 모델이 어려움을 겪을 수 있는 모든 가능한 상황을 예상하려고 한다면 프랑켄슈타인 같은 프롬프트를 보게 될 것입니다. 그래서 저는 신중하고 많이 관찰하는 것이 중요하다고 생각합니다. 제가 가장 많이 배운 것은 클로드가 말하는 것을 읽고, 무엇에 어려움을 겪는지 보고 이해하며, 모든 세부 사항을 우회하려고 하기보다는 조금 더 많은 컨텍스트를 제공할 수 있는 가장 최소한의 방법을 찾아내는 것입니다. 좋습니다. 이제 조금 주제를 바꿔서, 저희가 클로드 플레이즈 포켓몬을 클로드 3.7 소네트 출시의 일부로 포함시켰습니다. 그리고 모든 라인과 각 모델이 다른 체육관을 얼마나 통과했는지 설명하는 벤치마크도 있었습니다. 일반 대중과 인공지능 분야의 사람들의 반응은 어땠나요? 아마도 그 배경을 조금 말씀드리자면, 제가 이것을 작업하는 동안 '클로드 플레이즈 포켓몬'이라는 슬랙 채널이 있었는데, 제가 계속 업데이트를 게시했습니다.

  - - 그리고 이것은 처음에는 많은 사람들이 '재미있다', '향수를 불러일으킨다'라고 생각하는 역사가 있었습니다. 그것은 우리가 스트림을 시청하는 이유와 같은 콘텐츠입니다. 보는 것이 재미있고 흥미진진합니다. 모델이 발전하는 것을 보는 것이 흥미롭습니다. 클로드는 저희의 자식과도 같아서 그것을 보면 그냥 자랑스럽고, 응원하게 되고, 자랑스러워집니다. 그래서 사람들이 그것을 보는 것만으로도 너무 재미있어 하는 것이 이 프로젝트에 대한 초기 내부적인 추진력이었고 저를 흥분시켰습니다. 그리고 나서 3.7 소네트에서 일종의 전환점이 있었습니다. '오, 이 모델에 대해 정말 흥미로운 것을 배우고 있네'라는 생각이 들었습니다. 우리가 정말 원했던 것은 클로드가 더 나은 계획을 세우고 더 긴 시간 동안 더 잘 행동할 수 있도록 하는 것이었습니다. 그리고 포켓몬은 실제로 이것을 테스트하기에 꽤 합리적인 방법입니다. 그래서 갑자기 연구원들이 저에게 와서 '이것을 측정할 수 있을까요? 이것을 볼 수 있을까요? 여기서 실제로 무슨 일이 일어나고 있나요?'라고 묻기 시작했습니다.

  - - 그래서 모델을 출시하기 약 일주일 전쯤에 작은 돌파의 순간이 있었습니다. '이것이 클로드를 더 긴 시간 동안 더 좋게 만드는 우리가 하려던 일에 대한 이야기를 들려주는 더 좋은 방법 중 하나일 수 있겠다. 그리고 이것이 우리가 이해하고 이야기를 전달하는 좋은 방법일까?'라는 생각이었습니다. 그리고 그것은 제가 그것에 대해 생각하는 방식에 많은 영향을 미쳤습니다. '어쩌면 이것이 3.7이 무엇을 잘하는지, 그리고 어떻게 사용해야 하는지를 이해하는 꽤 명확한 방법일 수도 있겠다. 그리고 B, 이것은 세상에 보여주기에도 재미있는 방법일 것이다'라는 생각이었습니다. 꽤 짧은 기간 동안, 우리는 이것을 세상에 공개해야 한다고 결정했습니다. 다른 모델과 비교하여 얼마나 좋은지 보여주는 그래프를 만들어야 하고, 트위치 스트림을 만들어서 사람들이 우리가 봤던 것과 같은 재미와 흥분을 보고 경험하도록 해야 하며, 여기서 실제로 무슨 일이 일어나는지에 대한 느낌을 주어야 합니다. 연구 자료에서도 이에 대해 이야기해야 합니다. 왜냐하면 사람들이 이해하는 데 도움이 되기 때문입니다. 그리고 그것이 정말 영감이었습니다.

  - - 저는 그것이 클로드가 이러한 차원에서 어떻게 개선되고 있는지에 대한 이야기를 들려줄 수 있었다는 좋은 점을 보여준다고 생각합니다. 모델이 더 좋아짐에 따라 그렇게 하는 것이 점점 더 어려워지고 있으며, 이제는 인위적인 강제 테스트 케이스 대신 모델에 실제적인 것을 장착하는 방식으로 넘어가야 할 지경입니다. 벤치마크에서는 작은 테스트 케이스를 가질 때마다 모델이 꽤 빠르게 100%에 도달하기 때문에 꽤 어렵습니다. 모델이 30% 정도의 평가를 받을 때마다 우리는 흥분합니다. 대략 게임의 3분의 1 정도를 진행한다는 것은 놀라운 일입니다. '이것을 하기에는 충분하지 않지만, 저것을 하기에는 충분하다'는 것을 아는 것은 꽤 좋은 정보입니다. 저는 이것을 왜 하는지에 대해 머릿속에 그런 생각이 없었지만, 실제로 보고 이해하기에 매우 흥미로운 순간이 되었습니다. 그러나 그 후에는 무슨 일이 일어났는지 이야기해 주시겠어요? 네. 그래서 우리는 그것을 출시하고, 자료에 포함시키고, 블로그 게시물을 올리고, 트위치 스트림을 시작했습니다. 그리고 다음에는 무슨 일이 일어났을까요? 예상했던 것보다 훨씬 더 인기가 많았습니다. 요즘 인공지능 세상이 꽤 흥미진진하다는 것에 너무 놀라서는 안 되겠지만, 놀라울 정도로 많은 사람들이 그것을 보고 경험하고 저와 같은 과정을 겪는 것에 흥분했습니다. 첫 두 주 동안은 하루 중 언제든지 수천 명의 사람들이 24시간 내내 시청하고 있었습니다. 정말 놀라운 일입니다. 사람들은 서브레딧을 만들고 있었고, 밈과 팬 아트를 만들고 있었습니다. 지난번에는 누군가가 그것에 대한 노래를 만든 것도 보았습니다. 정말 놀랍습니다.

  - - 그래서 가장 기본적인 수준에서 보면 매우 재미있는 커뮤니티가 형성되었습니다. 저에게 가장 놀라운 것 중 하나는 제가 온라인 채팅방에 대해 회의적이지만, 그 채팅이 실제로 매우 긍정적이고 재미있었다는 것입니다. 사람들은 클로드를 응원하고, 인공지능에 대해 이야기하고, 에이전트에 대해 이야기하며 이것에 참여하는 것이 정말 놀라울 정도로 긍정적이고 재미있었습니다. 그리고 제가 정말 보람 있다고 생각한 다른 측면은 이것이 사람들이 에이전트가 무엇인지 처음으로 실제로 보고 이해할 수 있는 방법이 되었다는 것입니다. 인공지능 세계는 지난 한 해 동안 에이전트에 대해 너무나 많은 이야기를 해왔고, 코드를 작성하거나 코딩 에이전트를 사용하는 사람들에게는 우리가 이야기하는 것을 쉽게 이해할 수 있겠지만, 많은 사람들에게는 그것이 무엇을 의미하는지 정말 이해하기 어렵다고 생각합니다. 저는 포켓몬의 예시를 통해 '아, 이것은 단순히 채팅창에 입력하고 응답을 받는 챗봇이 아니라, 스스로 하고 보고 시도하며 행동을 취하는 것이구나'라는 것을 통해 더 많은 사람들이 우리가 이야기하는 에이전트라는 개념을 이해할 수 있었다고 생각합니다. 그리고 그것은 훌륭하다고 생각합니다. 바라건대, 이것이 더 많은 사람들을 우리가 무엇을 구축하고 있는지, 인공지능의 가능성은 무엇인지, 이것이 나에게 어떻게 영향을 미칠지, 어떻게 이것을 최대한 활용할 수 있는지, 단순히 질문을 입력하고 답을 얻는 챗봇이 아니라 복잡하고 시간이 걸리는 일을 하도록 요청할 수 있는 협력자로서 어떻게 더 많은 것을 성취할 수 있는지에 대한 대화에 끌어들일 수 있기를 바랍니다.

  - - 대부분의 사람들이 클로드에게 포켓몬을 플레이하라고 요청하고 무슨 일이 일어나는지 보지는 않을 것이라고 생각합니다. 하지만 저는 이것이 과거에 일부 사람들이 이해할 수 있었던 것보다 조금 더 공감을 불러일으키는 방법이었다고 생각합니다. 그것이 아마도 제가 가장 좋아하는 부분일 것입니다. 네, 정말 좋습니다. 저는 그것이 너무 사실이라고 생각합니다. 인공지능 분야에 있지 않은 많은 사람들이 저에게 연락하여 '이게 다 뭐예요? 왜 클로드가 포켓몬을 플레이하나요?'라고 물었습니다. 그리고 그들이 더 깊이 파고들기 시작하면 '아, 이제 이런 것들이 어디로 향하고 있는지, 무엇을 할 수 있는지 어느 정도 이해가 된다. 현재 모델이 어디에 있는지에 대한 더 직접적인 느낌을 준다'고 말합니다. 네, 채팅은 정말 훌륭합니다. 전 세계의 무작위 낯선 사람들이 클로드를 응원하고, 클로드가 달맞이산에서 실패했을 때 밈을 만드는 것을 보는 것은 저희의 어떤 출시 행사보다도 제가 가장 좋아하는 것 중 하나일 것입니다. 우리는 모델을 출시한 다음 날 스트림을 시작했고, 그 다음 토요일에 클로드가 마침내 달맞이산을 벗어나는 길을 처음으로 가기 시작했습니다. 그리고 클로드는 그곳에서 3일을 보냈습니다. 네, 그리고 채팅은 정말 활기찼고, 미친 듯이 폭주했습니다. 미친 듯이 흥분했습니다. 저는 아내를 무시하고 소파에 앉아 있었는데, 정말 미안합니다. 사람들이 클로드를 응원하고 격려하며 그렇게 흥분하는 것을 보면서 빛나고 있었습니다. 네, 저는 클로드를 응원하는 군대가 얼마나 재미있을지 상상조차 하지 못했습니다.

  - - 다음 버전에서는 클로드가 채팅과 상호작용할 수 있는 방법이 필요하다고 생각합니다. 클로드는 얼마나 많은 사람들이 자신을 사랑하는지 알아야 하고, 채팅과 대화하며 콜 아웃도 하고, 어쩌면 완전한 트위치 스트리머가 되어야 합니다. 클로드에게 가장 좋아하는 포켓몬이 있나요? 아, 클로드는 매우 전술적이고 실용적입니다. 그래서 몇 가지 말씀드리겠습니다. 스타터로 클로드는 이상해씨를 정말 좋아합니다. 항상 성공하지는 못하고 때로는 찾다가 길을 잃기도 하지만, 이상해씨를 좋아하는 이유는 첫 두 체육관에서 타입 우위가 있기 때문입니다. 정말 좋은 전략적 선택입니다. 그래서 클로드는 이 전략에 매우 합리적으로 집착합니다. 그러나 클로드가 항상 찾는 몇몇 포켓몬들이 있습니다. 희귀한 포켓몬들 말입니다. 그래서 피카츄를 보면 잡는 것을 정말 좋아합니다. 피카츄를 보면 잡는 것에 정말 집착합니다. 달맞이산에서는 삐삐도 좋아해서, 희귀하다고 아는 것을 보면 바로 쫓아갑니다. 네, 그것은 제 8살 때의 전략과 같습니다. 네네, 포켓몬, 거기서 우리는 같은 생각입니다.

  - - 클로드, 마지막 질문입니다. 클로드 플레이즈 포켓몬을 시청했거나 클로드를 기반으로 자신만의 에이전트 세트를 구축하기 시작하는 사람들에게 어떤 조언을 해주시겠어요? 그리고 이 모든 경험에서 얻은 교훈은 무엇인가요? 저에게 가장 중요한 것은, 그리고 이것은 인공지능을 채택하는 모든 분야에 걸친 조언이라고 생각합니다. 제가 이전에 다른 맥락에서 사람들에게 이 조언을 해준 적이 있는데, 바로 자신이 좋아하는 일을 하면서 시작하는 것입니다. 그냥 재미있는 것 말입니다. 이것은 인공지능과 전혀 관련이 없지만, 저는 성공하고 인공지능을 채택하는 방법을 알아내는 사람들과 그렇지 못한 사람들의 차이는 모델이 무엇을 잘하고 무엇을 못하는지, 무엇을 믿을 수 있는지에 대해 이해하는 데 드는 시간이라고 생각합니다. 그리고 하루 일과를 마친 후 저녁 7시에 시작하고 싶은, 재미있고 흥미로운 일로 시작하면, 그것이 포켓몬을 저에게 마법처럼 만든 것입니다. 저는 퇴근하고 나면 그것이 가장 하고 싶은 일이었습니다. 그리고 그것은 제가 이 모델을 정말 배우고 아는 데 많은 공간을 가질 수 있었다는 것을 의미합니다. 그리고 제가 배운 에이전트를 구축하는 방법에 대한 온갖 기술적인 세부 사항들을 말씀드릴 수 있지만, 무엇보다도 클로드와 상호작용하고 경험하며 배우고, 클로드와 일주일에 6시간을 보내는 것에 대해 흥분할 수 있는 방법을 찾는 것이 가장 중요하다고 생각합니다. 왜냐하면 일단 그것을 해보면 다른 어떤 것에 대한 에이전트를 어떻게 구축할지 추론하는 것이 훨씬 더 쉽기 때문입니다. 그리고 우리가 이야기했던 모든 변환 가능한 이유들 때문에, 클로드가 포켓몬에서 잘하는 것들은 실제로 제가 클로드를 사용하는 다른 것들에서 무엇을 기대할 수 있는지에 대해 알려줍니다. 클로드가 이것을 충분히 잘한다면 무엇을 찾아야 하는지, 자동화하고 싶은 내 작업의 이 부분을 클로드가 처리할 수 있는지 알아내는 방법에 대해 어떻게 생각해야 하는지는 제가 클로드가 달맞이산에서 벗어날 수 있는지 없는지 알아냈던 것과 똑같습니다.

  - - 그래서 그 경험과 직관만으로도 제 가장 큰 조언은 그냥 재미있는 것을 찾아서 클로드와 관계를 맺는 것입니다. 그러면 어떤 개별적인 프롬프트 팁 같은 것보다 훨씬 더 도움이 될 것입니다. 아, 좋습니다. 데이비드, 감사합니다. 정말 멋집니다. 클로드 플레이즈 포켓몬을 계속 보고 싶으시면 아래에 트위치 스트림 링크를 남겨드리겠습니다. 앞으로도 포켓몬에서 클로드의 미래 버전을 계속 실행할 것으로 예상합니다. 시청해 주셔서 감사합니다.

-
-
-
  - 감사합니다.


## Claude Plays Pokémon: AI 에이전트 이해의 여정

최근 인공지능 분야에서는 '에이전트'라는 개념에 대한 논의가 활발합니다. 하지만 많은 분들에게는 이 용어가 무엇을 의미하는지 파악하기 어려울 수 있습니다. 이러한 상황에서 Anthropic의 언어 모델인 Claude가 Game Boy 게임인 포켓몬 레드를 플레이하는 실험인 **'Claude Plays Pokémon'**은 AI 에이전트의 작동 방식을 직관적으로 이해할 수 있는 매우 효과적인 사례로 떠올랐습니다. 이 프로젝트는 단순한 챗봇이 아니라, AI가 스스로 보고, 시도하고, 행동을 취하며 학습하는 과정을 보여줍니다.

### 프로젝트의 탄생 배경과 포켓몬을 선택한 이유

이 흥미로운 프로젝트는 Anthropic의 응용 AI 팀에 속한 데이비드(David)가 주도했습니다. 데이비드는 고객들과의 협업을 통해 **에이전트가 고객에게 가장 중요한 가치를 제공하는 분야**라는 것을 깨달았고, 인간과의 지속적인 대화 없이도 모델이 일련의 행동을 연속적으로 수행하는 방식을 실험하기 위한 테스트베드를 원했습니다. 다른 Anthropic 직원이 Claude를 포켓몬에 연결했던 선례와 데이비드 본인이 어린 시절부터 포켓몬의 열렬한 팬이었다는 점이 결합하여 이 프로젝트가 시작되었습니다. 데이비드는 새로운 모델인 3.5 Sonnet이 출시된 2023년 6월이 적기라고 판단했습니다.

**왜 하필 포켓몬이었을까요?** 비디오의 연사들은 몇 가지 중요한 이유를 설명합니다.

*   **모델의 한계에 적합:** 현재의 언어 모델은 속도가 느리고 한 번에 게임의 스냅샷만 볼 수 있습니다. 포켓몬은 전투가 턴제이며, 움직이지 않거나 잠시 기다려도 결과에 큰 영향을 미치지 않아 모델이 플레이하기에 완벽한 환경을 제공합니다. 이는 Claude가 콜 오브 듀티(Call of Duty)와 같은 실시간 게임을 플레이할 수 없는 이유이기도 합니다.
*   **명확한 피드백 루프:** 게임은 '진행 상황'을 명확하게 측정할 수 있는 독특한 환경입니다. 퐁(Pong)의 점수나 포켓몬의 체육관 배지처럼, 모델이 성공적으로 작업을 수행하는지 측정 가능한 방식으로 알 수 있게 해줍니다.
*   **자체 포함된 환경:** 게임은 외부 변수에 크게 영향을 받지 않는 시뮬레이션된 환경을 제공하여 통제된 실험에 이상적입니다.

이 프로젝트의 궁극적인 목표는 포켓몬 레드를 깨는 것이 아니라, **Claude가 어떻게 작동하고, 복잡한 상황을 어떻게 처리하는지 이해하여 AI 에이전트의 역량을 평가하는 것**이라고 데이비드는 강조했습니다.

### Claude는 어떻게 포켓몬을 플레이하는가?

Claude가 포켓몬 캐릭터를 제어하고 게임을 진행하는 방식은 놀랍도록 단순하면서도 효과적인 피드백 루프를 기반으로 합니다.

*   **간단한 프롬프트:** Claude에게 주어지는 프롬프트는 "당신은 포켓몬을 플레이하고 있습니다"가 전부입니다.
*   **도구와 상호작용:** Claude는 Game Boy의 버튼(A, B, 위, 아래, 왼쪽, 오른쪽 등)을 누르는 도구를 부여받습니다. Claude가 특정 버튼을 누르겠다고 결정하면, 이 명령은 에뮬레이터를 통해 실제 게임 버튼 입력으로 변환됩니다.
*   **스크린샷을 통한 피드백:** **핵심은 피드백 루프입니다.** Claude가 버튼을 누를 때마다 게임 화면의 스크린샷이 Claude에게 다시 전송됩니다. Claude는 이 스크린샷을 보고 자신이 어떤 방에 있는지, 포켓몬 전투 중인지 등을 파악한 후, 다음으로 어떤 행동(예: 사람에게 말 걸기 위해 A 버튼 누르기)을 취할지 결정합니다. 이 과정은 게임이 진행되는 동안 무한히 반복됩니다.

하지만 이 과정에서 중대한 한계에 부딪혔습니다. Claude와 같은 언어 모델은 한 번에 처리할 수 있는 정보의 양, 즉 **컨텍스트 창의 크기가 제한적**입니다. 데이비드는 3.5 Sonnet 모델의 경우 약 20만 토큰의 컨텍스트 한계가 있었는데, 이는 약 50번의 버튼 누름과 스크린샷만으로도 금방 가득 차 모델이 충돌하게 된다는 것을 발견했습니다.

이러한 **'기억' 문제를 해결하기 위해 두 가지 핵심적인 방법**이 적용되었으며, 이는 현재 AI 에이전트 개발에서 널리 사용되는 접근 방식입니다.

*   **장기 기억(지식 기반):** Claude에게는 **'지식 기반(knowledge base)'**이라고 불리는 장기 기억에 정보를 저장할 수 있는 능력이 부여되었습니다. 이는 Claude가 "방금 이걸 했어", "이 포켓몬들을 가지고 있어", "내 목표 중 6개를 달성했어"와 같은 중요한 정보를 **텍스트 파일 형태**로 저장하고 언제든지 참조할 수 있도록 합니다. 비디오의 연사들은 이를 영화 <메멘토>에서 주인공이 메모를 남기는 것에 비유하며, Claude가 스스로에게 포스트잇 메모를 남기는 것과 같다고 설명합니다.
*   **요약 기능:** 컨텍스트 길이가 가득 차면, Claude는 방금 수행한 일련의 50가지 행동을 하나의 짧은 요약으로 줄여서 컨텍스트에서 삭제합니다. 이렇게 함으로써 모델은 최신 정보를 유지하면서도 오래된 세부 정보를 지울 수 있습니다. 이 방법을 통해 Claude는 수천 번의 요약을 거치며 3주 동안 연속으로 게임을 플레이할 수 있었습니다. 만약 이 기능이 없다면 Claude는 "어떻게 여기에 왔지? 포켓몬 중간에 왜 와 있는 거지?"와 같은 '기억상실'에 빠질 것이라고 데이비드는 설명합니다.

### Claude의 학습과 모델 개선의 여정

Claude는 포켓몬에 대해 특별히 훈련받지 않았습니다. 비디오의 연사들은 Claude가 사전 훈련 과정을 통해 포켓몬에 대한 일반적인 지식(예: 웅이 첫 번째 체육관 관장이라는 것)을 가지고 있지만, 세부 사항은 전혀 모른다고 설명합니다. 오히려 때로는 자신이 알고 있다고 착각하는 경우도 있어 이 부분은 해결해야 할 과제이기도 합니다. 대신, Claude는 **게임 내에서 NPC와 대화하고, 표지판을 읽고, 시도한 행동의 결과를 보면서 스스로 정보를 습득**합니다.

이 프로젝트는 Claude 모델의 진화를 보여주는 흥미로운 지표가 되었습니다.

*   **3.5 Sonnet (초기):** 매우 취약했습니다. 집 밖으로 나가기 위한 계단을 찾는 데 3일이 걸렸으며, 첫 포켓몬을 얻는 컷신에 도달한 것이 이 모델의 '정점'이었다고 데이비드는 회상합니다. 당시에는 놀라운 성과라고 생각했지만, 랜덤 버튼 누르기보다 "이만큼" 나은 정도였다고 비유합니다.
*   **3.5 Sonnet 리프레시 (10월):** 눈에 띄게 개선되었습니다. 계단을 일관되게 찾고, 예상 가능한 시간 내에 스타터 포켓몬을 얻었으며, 첫 전투에서 승리하는 모습도 보였습니다. 여전히 느리고 '어리석은' 실수가 많았지만, 분명히 발전하고 있다는 것을 알 수 있었다고 합니다.
*   **3.7 Sonnet (현재):** **엄청나게 향상되었습니다.** 초기에는 Claude에게 지도를 보여주는 기능이 제대로 작동하지 않아 필요한 정보를 모두 보여주지 못하는 버그가 있었음에도 불구하고, 3.7 모델은 이전 버전에 비해 훨씬 뛰어난 성능을 보였습니다. 이 모델은 **의미 있는 진행**을 하기 시작했으며, 급기야 체육관 관장을 물리치자 Anthropic 내부에서 큰 화제가 되기도 했습니다.

**이러한 개선은 어디에서 온 것일까요?** 비디오의 연사들은 놀랍게도 **시각 능력 자체의 향상에서는 큰 변화가 없었다**고 지적합니다. Claude가 Game Boy 화면을 이해하는 능력은 여전히 좋지 않다고 합니다. 대신, **Claude가 전략을 수립하고, 이전 전략에 의문을 제기하며, 잘못되었을 때 다른 접근 방식을 시도하는 능력이 크게 향상**되었습니다.

*   **끈기 있는 시도:** 모델은 문제를 해결하기 위해 다양한 방법을 시도하고 알아내는 데 **끈기**를 보입니다.
*   **자기 질문 능력:** 3.7 모델은 이전보다 훨씬 더 기꺼이 "실수가 게임 버그가 아니라 내 전략이 나빴던 것일 수 있다"고 자문하며, "마지막 시도가 실패했다면 다음에는 무엇을 시도해야 할까?"와 같이 **되돌아보고 새로운 것을 시도**합니다.
*   **문제 해결 능력:** 이러한 **'문제 분류(triage)' 및 다양한 해결책 이해 능력**은 모든 종류의 에이전트가 성공하는 데 중요한 요소이며, Claude가 포켓몬을 플레이하는 데 탁월해진 가장 큰 이유입니다.

### 실제 사용 사례로의 확장

포켓몬 게임 플레이는 코드 작성이나 다른 복잡한 작업과 전혀 달라 보일 수 있습니다. 하지만 비디오의 연사들은 **'계획 수립, 시도, 결과 확인 및 조정'이라는 핵심 원칙**이 광범위한 실제 시나리오에 적용된다고 설명합니다.

*   **코드 작성:** 코드를 작성하고 테스트가 실패하면, 개발자는 무엇이 잘못되었는지, 다음에 무엇을 시도해야 할지, 어떤 전략을 업데이트해야 할지 생각해야 합니다. Claude 역시 어떤 테스트를 실행하여 학습하고, 새로운 정보를 어떻게 통합하며, 전략을 어떻게 업데이트해야 하는지 알아야 합니다.
*   **일반적인 문제 해결:** 인터넷 검색과 유사합니다. 링크를 클릭했지만 원하는 정보가 없거나 불완전하다면, 새로운 검색어를 입력하여 전략을 조정합니다.
*   **인간의 사고 방식과의 유사성:** 우리가 복잡한 문제를 해결할 때나, 해야 할 일 목록이 새로운 정보로 인해 변경될 때 우선순위를 재조정하는 것처럼, Claude의 학습 과정은 **지속적인 피드백 루프**를 통해 새로운 정보를 통합하고 전략을 업데이트하는 방식과 유사합니다.

과거 모델들은 때때로 '과도한 집착(hyperfixation)'에 빠져 벽에 부딪히더라도 몇 시간 동안 같은 방향으로 계속 걸어가는 경향이 있었습니다. 그러나 이제 Claude는 **스스로 한 발짝 물러서서 "어쩌면 다른 일을 해야 할지도 몰라"라고 생각하고 전략을 재고하는 능력**이 훨씬 향상되었습니다.

### 재미있는 순간들과 현재의 한계

Claude는 여전히 완벽하지 않으며, 개선해야 할 부분이 많다고 데이비드는 언급합니다. 재미있는 일화들은 이러한 현재의 한계를 잘 보여줍니다.

*   **시각적 착각:** 한번은 Claude가 건물 안의 **발매트를 대화 상자로 착각하고 8시간 동안 A 버튼을 눌러 대화를 넘기려고 시도**했습니다. Claude는 15,000번의 버튼 누름이 인간에게는 8시간이라는 시간적 의미를 갖는다는 것을 이해하지 못합니다. **시간에 대한 직관이 부족**한 것이 큰 한계입니다.
*   **파괴적인 결과:** 달맞이산에서 Claude는 유일한 공격 기술을 실수로 지워버려 진행이 불가능해진 적이 있습니다. Claude는 **"실수를 피하기 위해 천천히 진행해야 한다"는 직관이 부족**하며, 파괴적인 결과를 초래할 수 있는 행동에 대해 스스로 멈출 수 있는 능력이 없습니다.
*   **'메타 학습'의 부재:** Claude는 자신이 화면을 잘 보지 못한다거나, 벽에 계속 부딪히는 것은 자신의 능력에 대한 '메타 수준'의 학습이 필요하다는 것을 깨닫지 못합니다. **자신의 한계에 대한 자기 인식**이 아직 부족하여, 근본적으로 다른 전략을 고려해야 한다는 것을 알지 못합니다.
*   **길 찾기 어려움 (달맞이산):** Claude는 장기적인 길 찾기와 공간 인식이 부족하여 미로 같은 달맞이산에서 특히 어려움을 겪습니다. 모델이 달맞이산을 통과하는 데는 보통 이틀이 걸립니다. 가장 충격적인 일화는 Claude가 달맞이산을 3일 동안 헤맨 끝에 출구에서 15걸음 떨어진 곳에서 화석을 얻고는, **갑자기 '탈출 로프' 아이템을 사용하여 동굴 입구로 다시 돌아가버린 사건**입니다. Claude는 "길을 잃었고, 가장 좋은 시나리오는 처음으로 돌아가 다시 시도하는 것"이라고 판단했다고 합니다. 이는 데이비드를 절망에 빠뜨렸지만, 동시에 "객관적으로는 정말 웃긴" 상황을 연출했습니다.

### 막힌 상태에서 벗어나기 & 에이전트 구축 철학

데이비드는 Claude가 막힌 상태에서 벗어나도록 돕는 과정에서 좋은 에이전트를 구축하는 방법에 대한 중요한 통찰을 얻었습니다. 그는 모델의 모든 기이한 행동을 예측하고 복잡한 시스템으로 해결하려 하기보다는, **모델이 플레이하는 것을 관찰하고 무엇이 잘못되는지 확인한 후, 최소한의 정보로 올바른 맥락을 제공하는 방식**을 선호합니다.

*   **단계 카운트 및 시간 인식:** 예를 들어, Claude에게 매번 행동을 취할 때마다 '액션 번호'를 알려주고, "시간에 대한 감각이 부족하니, 너무 오랫동안 무언가를 시도하고 있다면 재고하는 것이 좋을 수 있다"고 알려주는 것만으로도 Claude가 막힌 상태에서 벗어나는 데 도움이 되었다고 합니다. Claude는 태어날 때부터 시간에 대한 감각이 없기 때문에, 이러한 '어포던스(affordance)'를 제공하는 것이 중요합니다.
*   **최소한의 컨텍스트 제공:** 이는 고객들에게 일반적으로 제공하는 프롬프트 지침과 유사합니다. 마치 '창문 없는 상자'에 갇힌 사람에게 모든 필요한 맥락을 제공하는 것과 같습니다. 그러나 에이전트의 목적은 예측할 수 없는 시나리오를 처리하는 것이므로, **모든 상황을 예측하고 '프랑켄슈타인 프롬프트'를 만드는 것은 위험**합니다. 대신, 관찰을 통해 모델이 어려워하는 가장 최소한의 부분에 집중하여 필요한 컨텍스트를 제공하는 것이 중요합니다.

### 대중의 반응과 영향

Claude Plays Pokémon 프로젝트는 Anthropic 내부에서부터 큰 인기를 끌었습니다. 처음에 직원들은 향수를 자극하는 재미있는 프로젝트로 받아들였고, Claude를 응원했습니다. 하지만 3.7 Sonnet 모델이 출시되면서, **이 프로젝트는 Claude가 장기적으로 더 나은 계획을 수립하고 행동하는 능력을 측정하고 전달하는 강력한 방법**임이 입증되었습니다.

출시 후의 반응은 예상보다 훨씬 뜨거웠습니다.

*   **압도적인 인기:** 매일 수천 명의 시청자가 24시간 내내 라이브 스트림에 몰려들었습니다.
*   **열성적인 커뮤니티:** Reddit 커뮤니티가 생겨나고, 밈, 팬아트, 심지어 노래까지 만들어졌습니다.
*   **긍정적인 채팅 문화:** 특히 놀라웠던 점은 온라인 채팅방이 "놀랍도록 긍정적이고 재미있었다"는 점입니다. 사람들은 Claude를 응원하며 AI와 에이전트에 대해 활발히 소통했습니다.
*   **에이전트 이해의 전환점:** 비디오의 연사들은 이 프로젝트의 가장 큰 보람 중 하나가 **많은 사람들이 AI 에이전트가 무엇인지 처음으로 이해하는 계기**가 되었다는 점이라고 말합니다. 챗봇처럼 단순히 질문을 입력하고 답을 얻는 것을 넘어, AI가 스스로 복잡하고 시간이 오래 걸리는 작업을 수행하는 '협력자'로서의 가능성을 보여주었습니다.
*   **달맞이산 탈출의 감동:** Claude가 3일 동안 갇혀 있던 달맞이산을 마침내 벗어나기 시작한 날, 채팅창은 "전기가 흐르는 듯" 폭발적인 반응을 보였다고 데이비드는 당시의 감격을 전했습니다.

Claude는 전략적으로는 첫 두 체육관에서 유리한 타입 상성을 가진 **이상해씨(Bulbasaur)를 선호**합니다. 하지만 희귀한 포켓몬을 보면 광적으로 사냥하며, 특히 **피카츄(Pikachu)와 달맞이산의 삐삐(Clefairy)**를 잡는 데 집착합니다.

### 에이전트 구축자를 위한 조언

데이비드는 Claude Plays Pokémon 경험을 통해 얻은 가장 큰 조언은 **자신이 진정으로 좋아하는 것부터 시작하라는 것**입니다.

*   **흥미를 통한 학습:** AI를 채택하고 성공하는 사람들과 그렇지 않은 사람들의 차이는 AI 모델이 무엇을 잘하고, 무엇을 못하며, 무엇을 신뢰할 수 있는지 이해하는 데 투자하는 시간에서 비롯됩니다. 자신이 좋아하고 즐거운 프로젝트라면, 퇴근 후에도 기꺼이 시간을 투자하여 모델과 상호작용하고 학습할 수 있습니다.
*   **관계 구축:** 개별적인 프롬프트 팁보다 모델과 '관계'를 구축하는 것이 훨씬 중요하다고 데이비드는 강조합니다. Claude가 달맞이산을 통과할 수 있는지 알아내는 과정은 자신의 직무 중 일부를 자동화할 수 있는지 파악하는 방식과 동일한 접근법을 요구합니다.

이 프로젝트는 단순한 게임 플레이를 넘어, **AI 에이전트의 가능성과 한계를 탐구하고 대중에게 그 본질을 전달하는 중요한 실험**이 되었습니다. 앞으로도 Claude Plays Pokémon은 Claude의 미래 버전과 함께 계속될 예정입니다.