안녕하세요, 여러분. 오늘은 제가 최근 읽었던 매우 흥미로운 글, 즉 OpenAI에서 퇴사한 한 직원의 심도 깊은 회고록을 바탕으로, 이 세계적인 AI 기업의 내부 문화와 작동 방식에 대해 아주 자세히 이야기해보려 합니다. 이 글은 그저 평범한 퇴사 후기가 아니라, 역사상 가장 독특한 조직 중 하나인 OpenAI가 어떻게 일하고 어떤 가치를 추구하는지를 엿볼 수 있는 귀중한 창문이었습니다. 원본 게시물은 그 내용이 정말 좋다고 필자 스스로 서두에 밝혔을 정도로 배울 점이 많으니, 함께 살펴보시죠.
이 글을 쓴 필자는 2024년 5월에 OpenAI에 입사하여 약 1년 정도 근무한 뒤, 글을 작성하기 3주 전에 회사를 떠났다고 합니다. 그는 개인적인 갈등이나 불화 때문에 퇴사한 것이 아니며, 오히려 마음 한켠에는 큰 아쉬움이 남았다고 고백합니다. 스스로 회사를 운영하던 사람이 3,000명 규모의 대기업에서 직원으로 일하는 것이 쉽지 않은 변화였음에도 불구하고, 이제는 새로운 시작에 대한 갈망이 더 커져 퇴사를 결심했다고 설명하고 있습니다.
### OpenAI의 놀라운 임팩트와 가치
이 회고록의 필자는 **OpenAI가 추구하는 일의 임팩트에 대해 지금도 자신을 다시 끌어당길 정도로 놀랍다**고 강조합니다. AGI(범용 인공지능)를 만드는 것만큼 의미 있는 일을 상상하기 어렵다고 말하며, LLM(대규모 언어 모델)은 지난 10년간 가장 혁신적인 기술이라고 평가합니다. 그는 이 기술의 발전을 직접 목격하고, 특히 코덱스(Codex) 출시에도 참여할 수 있었던 것을 매우 운이 좋았다고 회고하고 있습니다. 물론, 이 글은 회사의 공식 입장이 아닌 전적으로 필자의 **개인적인 관찰**임을 명확히 밝히며, OpenAI가 워낙 큰 조직이기에 자신이 본 것은 그 중 아주 작은 일부일 뿐이라고 겸손하게 덧붙이고 있습니다.
특히 주목할 만한 점은 **AI의 혜택을 널리 퍼뜨리려는 OpenAI의 진정성**입니다. 필자는 이 부분을 OpenAI에서 가장 높이 평가한다고 말합니다. 최첨단 모델을 연간 계약이 필요한 엔터프라이즈 전용 기능으로만 제한하지 않는다는 것입니다. 전 세계 누구나 ChatGPT에 로그인 없이 접속하여 답변을 받을 수 있으며, API도 쉽게 등록하여 사용할 수 있습니다. 최고 수준(SOTA)의 모델이나 독점 기술도 대부분 빠르게 API를 통해 공개된다고 합니다. 다른 기업이 이 기술을 독점적으로 운영했다면 지금과는 전혀 다른 세상이었을 것이라고 필자는 언급하며, 이 부분에서 OpenAI는 정말 많은 칭찬을 받아야 마땅하고, 이 철학이 지금도 회사의 핵심에 자리 잡고 있다고 강조하고 있습니다.
### 급변하는 조직 문화: 예측 불가능성과 유연함의 미학
OpenAI에서 가장 먼저 알아야 할 점은 **믿을 수 없을 만큼 빠르게 성장하고 있다**는 것입니다. 필자가 입사했을 때 직원은 약 1,000명이었는데, 1년 만에 3,000명이 넘었으며, 이로 인해 필자의 재직 기간만으로도 상위 30%에 들 정도였다고 합니다. 거의 모든 리더들이 2~3년 전과는 전혀 다른 일을 하고 있었을 만큼 변화의 속도가 엄청났습니다.
이렇게 빠르게 성장하다 보면 당연히 많은 것들이 본래의 형태를 잃고 **'깨지기' 마련**이라고 필자는 설명합니다. 커뮤니케이션 방식, 보고 체계, 제품 출시 프로세스, 인사 조직, 채용 구조 등 거의 모든 것이 영향을 받습니다. 심지어 팀들 간의 문화도 매우 다양해서, 어떤 팀은 쉴 새 없이 달리고, 어떤 팀은 대규모 실행을 관리하며, 또 어떤 팀은 꾸준한 속도로 나아간다고 합니다. 연구팀, 응용팀, GTM팀(Go-To-Market)은 서로 전혀 다른 시간 축에서 움직이기 때문에, **OpenAI에는 하나의 통합된 '경험'이란 게 없다**는 것이 필자의 분석입니다.
아주 독특한 점 하나는 **모든 것이 슬랙(Slack)에서 이루어진다**는 것입니다. 정말로 '모든 것'이 슬랙을 통해 진행되며, 이메일은 거의 쓰이지 않아 필자는 재직 기간 동안 이메일을 열 통도 채 받지 못했다고 합니다. 슬랙이 정리를 잘 못 하면 산만할 수 있지만, 채널과 알림을 잘 설정하면 꽤 유용하게 쓸 수 있었다고 합니다.
OpenAI, 특히 연구 부문에서는 **매우 '바텀업(bottoms-up)' 문화**가 강하다고 필자는 전합니다. 필자가 입사 초기에 다음 분기 로드맵이 어떻게 되는지 물었을 때 돌아온 대답은 "그런 건 없다"였다고 합니다 (물론 지금은 있다고 덧붙이고 있습니다). 좋은 아이디어는 어디서든 나올 수 있고, 무엇이 유의미한 성과로 이어질지는 사전에 알기 어렵기 때문에, 마스터 플랜보다는 **새로운 연구 결과에 따라 점진적으로 발전해 나가는 방식**이 중심이 된다고 설명합니다.
이러한 문화 덕분에 OpenAI는 **매우 실력주의적**입니다. 역사적으로 리더로 성장한 사람들은 대부분 좋은 아이디어를 내고, 그것을 실행한 능력을 바탕으로 발탁되었다고 합니다. 프레젠테이션을 잘하거나 정치적인 감각이 뛰어나지 않아도 괜찮으며, 다른 회사였다면 중요했을 능력들이 OpenAI에서는 덜 중요하다고 필자는 말합니다. 결국 **좋은 아이디어가 이기는 조직**이라는 것입니다.
또한, OpenAI에는 **'실행 중심(bias to action)' 문화가 강하게 자리 잡고 있습니다.** 비슷하거나 겹치는 아이디어를 여러 팀이 동시에 시도하는 것도 드문 일이 아니며, 필자 역시 ChatGPT Connectors와 비슷한 프로젝트를 내부적으로 따로 진행한 적이 있다고 합니다. 코덱스(Codex) 프로토타입만 해도 3~4개는 동시에 존재했었다는 일화도 전합니다. 이런 프로젝트들은 대부분 소수의 인원이 허락도 받지 않고 자발적으로 시작하며, 성과의 조짐이 보이면 그 주변에 자발적으로 팀이 형성된다는 점이 인상적입니다. 코덱스를 이끌었던 안드레이(Andrey)는 "연구원 한 명 한 명이 작은 '임원(executive)'처럼 행동해야 한다"고 말하곤 했다는데, 이는 **자기 손으로 직접 무언가를 만들고 실험해보는 문화**가 깊이 뿌리내려 있음을 보여줍니다. 대부분의 연구는 누군가가 어떤 문제에 대해 흥미를 느끼고 몰입하게 되었을 때 이루어지며, 어떤 주제가 '재미없다'거나 '이미 풀렸다'고 느껴지면 아무도 손대지 않게 된다고 필자는 설명합니다.
OpenAI는 **방향을 바꾸는 데 전혀 망설임이 없습니다.** 필자는 이전에 Segment라는 회사에서도 이러한 문화를 중요하게 생각했다고 언급하며, 새로운 정보를 얻었다면 그에 맞게 바로 방향을 바꾸는 것이 기존의 계획을 고수하는 것보다 훨씬 낫다고 믿기 때문이라고 합니다. 이 정도 규모의 조직이 이런 유연함을 유지하는 것은 정말 놀라운 일이며, 구글은 분명 그렇게 하지 못하고 있다고 비교하며 OpenAI의 유연성을 높이 평가합니다. OpenAI는 결정을 빠르게 내리고, 한번 방향이 정해지면 전력을 다해 밀어붙이는 특징을 가지고 있습니다.
### 외부의 시선과 내부의 비밀스러움
OpenAI는 외부에서 정말 많은 관심을 받습니다. 사내에서도 공유되지 않은 정보가 언론에 먼저 보도되는 경우가 종종 있었고, "OpenAI에서 일하고 있다"고 말하면 이미 의견이 확고한 반응이 돌아오기도 했다고 필자는 말합니다. 심지어 트위터에는 기능 출시 여부를 자동으로 추적하는 봇 계정들도 있을 정도라고 하니, 그 관심이 얼마나 뜨거운지 짐작할 수 있습니다.
이런 이유로 OpenAI는 **굉장히 비밀스러운 조직**입니다. 필자는 자신이 무슨 일을 하는지 주변에 자세히 말할 수 없었다고 합니다. 슬랙에는 다양한 접근 권한을 가진 워크스페이스들이 나뉘어 있고, 매출, 비용 같은 재무 수치는 아주 제한된 인원만 알 수 있도록 관리됩니다.
그리고 OpenAI는 생각보다 훨씬 **'진지한' 조직**이라고 필자는 평가합니다. 그 이유는 크게 세 가지인데, 첫째, AGI라는 목표는 매우 높은 기준을 요구하며, 둘째, 수억 명의 사용자가 의료 조언부터 정신 건강 상담까지 다양한 목적으로 이 제품을 쓰고 있고, 셋째, 글로벌 기술 경쟁의 중심에 서 있는 기업이기 때문이라고 합니다. 필자에 따르면, OpenAI는 메타(Meta), 구글(Google), 앤스로픽(Anthropic)의 움직임을 늘 예의주시했으며, 그들도 OpenAI를 지켜보고 있었을 것이라고 말합니다. 전 세계 주요 정부들이 이 분야를 주목하고 있는 만큼, OpenAI는 단순한 기술 스타트업이 아니라는 설명입니다.
언론에서는 OpenAI를 부정적으로 그리는 일이 많지만, 필자가 만난 모든 사람들은 진심으로 '옳은 일'을 하려는 사람들이었다고 회고합니다. OpenAI가 소비자 중심의 조직이라 가장 눈에 띄고, 그만큼 비판도 집중되는 측면이 있다고 분석하고 있습니다.
필자는 **OpenAI를 하나의 단일한 조직으로 보면 안 된다**고 생각합니다. 그는 OpenAI를 로스앨러모스 국립연구소(Los Alamos)와 같은 연구소로 시작한 조직으로 봅니다. 과학자들과 해커들이 첨단 기술을 실험하던 집단이, 우연히 역사상 가장 바이럴한 소비자 앱을 만들어냈고, 이후엔 정부 및 기업 시장까지 진출하려는 야망을 가지게 되었다는 것입니다. 각기 다른 시점에 합류한 사람들은 서로 다른 렌즈로 회사를 바라보며, 재직 기간이 길수록 '연구소' 혹은 '공익을 위한 비영리 조직'이라는 시선이 더 강하게 남아 있다고 합니다.
**AI 안전(Safety)은 사람들이 생각하는 것보다 훨씬 중요한 주제**라고 필자는 강조합니다. OpenAI 내부에는 안전 시스템 개발에 전념하는 인원이 많으며, 필자가 보기에는 이론적 위험보다는 혐오 발언, 악용 사례, 정치적 편향 조작, 생화학 무기 제작, 자해 유도, 프롬프트 공격 등 **실질적인 리스크에 더 집중**하고 있다고 합니다. 물론 지능 폭발, 권력 추구 같은 이론적 리스크에 대해 연구하는 팀도 있지만, 그것이 핵심 포커스는 아니었다는 설명입니다. 내부에서 수행되는 많은 연구가 외부에 공개되지 않는데, 필자는 이 점이 회사가 앞으로 개선해야 할 부분이라고 생각한다고 덧붙였습니다.
또 하나 재미있는 점은, OpenAI는 취업 박람회에서 흔히 보이는 굿즈(스티커, 티셔츠 등)를 거의 나눠주지 않는다는 것입니다. 신입 직원조차도 기본 굿즈를 받지 않고, 정기적으로 열리는 '드롭(drop)'에서 직접 주문해야 하는데, 첫 번째 드롭 때는 수요가 너무 많아서 쇼피파이(Shopify) 서버가 다운될 정도였다고 합니다. 이는 회사 규모에 비해 굿즈 배포에 신경 쓸 여력이 부족했거나, 비용 효율성을 추구하는 면모를 보여주는 일화로 해석될 수 있습니다.
OpenAI는 필자가 경험한 조직 중에서 **가장 야심 찬 곳**이었습니다. 이미 세계에서 가장 인기 있는 소비자용 앱 중 하나를 만들어놓고도, 그것만으로는 부족하다고 느끼는 조직이라고 설명합니다. API, 심층 연구, 하드웨어, 코딩 에이전트, 이미지 생성 같은 수십 개 분야에서 동시에 경쟁하고 있으며, 아직 공개되지 않은 프로젝트도 정말 많다고 합니다. 아이디어를 실제로 구현하기에 이보다 더 좋은 환경은 없다고 필자는 느꼈다고 회고합니다.
또 한 가지 흥미로운 점은, OpenAI가 **트위터에 매우 민감하게 반응한다**는 것입니다. OpenAI 관련 트윗이 바이럴되면, 내부에서 누군가는 반드시 그 내용을 보고 논의한다고 합니다. 한 친구는 농담처럼 "OpenAI는 트위터 분위기로 움직이는 회사"라고 했는데, 소비자 중심의 회사라는 점을 생각하면 전혀 틀린 말은 아니라고 필자는 말합니다. 물론 실제 사용량이나 성장률, 사용자 리텐션 같은 핵심 지표들도 매우 중요하게 다루지만, 동시에 **'분위기'라는 것도 이곳에서는 꽤 중요한 요소**로 작용한다고 합니다.
OpenAI의 팀 구조는 다른 기술 기업들보다 **훨씬 유연하게 움직입니다.** 예를 들어 코덱스(Codex)를 출시할 당시, ChatGPT 팀의 베테랑 엔지니어들이 몇 명 필요했는데, 관련 EM(엔지니어링 매니저)들과 얘기를 나누자 다음 날 바로 뛰어난 엔지니어 두 명이 합류했다고 합니다. 분기 계획을 기다리거나 조직 개편을 거치는 대신, 필요한 일이 생기면 곧바로 실행에 옮길 수 있는 문화가 자리 잡혀 있었습니다.
리더십도 매우 눈에 띄게, 그리고 **깊이 관여**합니다. 당연하다고 느낄 수도 있지만, 실제로 OpenAI에서는 임원들이 슬랙에서 아주 적극적으로 의견을 주고받는다고 합니다. gdb, sama, kw, mark, dane 같은 주요 인물들이 수시로 대화에 참여하며 팀의 의사결정에 직접 영향을 미친다고 합니다. 이곳에는 **'보이지 않는 리더'란 개념이 없다**는 것이 필자의 설명입니다.
### 기술의 심장부: 코드와 인프라 이야기
OpenAI의 기술적인 측면도 매우 흥미롭습니다. 원본 글에 따르면, OpenAI는 거의 모든 코드를 **하나의 큰 저장소(monorepo)**에 담아 관리한다고 합니다. 주로 파이썬(Python)으로 작성되어 있지만, 일부 네트워크 프록시 같은 서비스는 고(Go)나 러스트(Rust)로 만들어져 있습니다. 같은 파이썬 코드라도 스타일이 제각각이라서, 같은 언어인데도 전혀 다른 느낌을 받을 때가 많았다고 필자는 언급합니다. 예를 들어, 한쪽에는 10년 차 구글 출신 엔지니어가 만든 확장 가능한 라이브러리가 있고, 다른 쪽에는 박사 과정을 막 마친 연구원이 작성한 주피터 노트북(Jupyter notebook)이 같이 존재한다고 합니다. 대부분의 API는 패스트API(FastAPI)로 작성되고, 데이터 검증은 파이단틱(Pydantic)을 사용하지만, **코드 스타일에 대해 회사 차원에서 엄격하게 통일된 기준이 있는 것은 아니다**라는 것이 필자의 설명입니다.
OpenAI의 인프라는 **전부 애저(Azure) 위에서 돌아갑니다.** 하지만 필자가 실제로 믿고 쓸 수 있다고 느낀 애저 서비스는 AKS(Azure Kubernetes Service), 코스모스DB(CosmosDB), 그리고 블롭스토어(BlobStore) 세 가지뿐이었다고 합니다. AWS에 있는 다이나모(Dynamo), 스패너(Spanner), 빅쿼리(BigQuery) 같은 강력한 서비스에 대응되는 도구는 애저에는 거의 없었다고 그는 지적합니다. 자동 스케일링을 기본 전제로 두는 문화도 적고, IAM(권한 관리)도 AWS보다 제한적이어서, 많은 기능을 자체적으로 직접 만들어야 했다고 설명합니다.
엔지니어 채용 흐름을 보면 **메타(Meta) 출신들이 많이 들어온다**고 합니다. 실제로 OpenAI는 여러 면에서 초창기 메타를 떠올리게 한다고 필자는 말합니다. 어마어마한 소비자 트래픽, 아직 체계화되지 않은 인프라, 그리고 빠르게 실행하려는 분위기가 그렇다는 것입니다. 메타나 인스타그램에서 온 인프라 엔지니어들은 기술적으로 정말 뛰어난 사람들이 많았다고 필자는 덧붙입니다. 그래서인지 내부 시스템 중에는 메타에서 영감을 받은 구조도 꽤 보였다고 합니다. 예를 들어 메타의 TAO 시스템을 흉내 낸 내부 구현도 있었고, 엣지(Edge) 단계에서 인증을 통합하려는 시도도 있었다고 필자는 전합니다.
ChatGPT가 대성공을 거두고 나서는, **전체 코드베이스가 '채팅'이라는 개념을 중심으로 구성되기 시작했습니다.** 메시지와 대화라는 구조가 워낙 깊게 박혀 있어서, 그걸 무시하고 작업하다 보면 큰 문제가 생기기도 했다고 합니다. 코덱스(Codex) 같은 다른 제품에서는 응답(responses) API의 인사이트를 바탕으로 조금 다르게 접근하긴 했지만, 그래도 기존에 있던 구조들을 많이 활용했다고 합니다.
OpenAI에서는 **'코드' 자체가 곧 힘**입니다. 중앙 조직이나 아키텍처 위원회가 명령을 내리는 방식이 아니라, 실제로 코드를 작성하는 팀이 권한을 갖는다고 필자는 강조합니다. 그래서 실행 중심 문화가 강하고, 중복된 코드나 시스템도 종종 생긴다고 합니다. 예를 들어 큐 관리나 에이전트 루프 같은 기능을 위한 라이브러리가 비슷한 형태로 세 네 개씩 존재하기도 했다고 합니다.
조직이 너무 빠르게 커지다 보니, 도구나 인프라가 부족해서 생기는 문제도 분명 있었습니다. `sa-server`라는 백엔드 시스템은 거의 모든 기능이 다 뒤섞인 '만능 쓰레기통' 같은 구조였고, CI(테스트 자동화)도 자주 깨졌다고 합니다. 테스트를 병렬로 돌리면서 GPU까지 동원해야 할 경우, 실행 시간만 30분 넘게 걸릴 때도 있었다고 합니다. 물론 이런 문제들은 대부분 해결 가능한 것들이었고, 내부에서도 꾸준히 개선하려는 노력이 진행 중이었다는 점도 언급하고 있습니다.
### 코덱스(Codex) 런칭의 광기 어린 질주
필자가 OpenAI에서 보낸 마지막 석 달은 **코덱스(Codex) 출시를 준비하는 데 집중한 시간**이었고, 그의 커리어 전체를 통틀어도 가장 의미 있고 기억에 남는 프로젝트 중 하나였다고 회고합니다.
배경을 설명하자면, 2024년 11월에 OpenAI는 2025년 안에 코딩 에이전트를 출시하겠다는 목표를 세웠습니다. 이듬해 2월쯤에는 모델을 활용한 다양한 실험적인 툴들이 내부에서 떠돌고 있었고, 이제는 정식 제품을 내놓아야 한다는 압박도 점점 커지고 있었습니다. 그 시점에 시장에서는 바이브 코딩(vibe-coding)이라는 새로운 접근이 유행하고 있었고, OpenAI의 모델이 이제 정말로 실용적인 수준까지 왔다는 것을 분명히 느꼈다고 합니다.
필자는 육아휴직을 앞당겨 복귀해 이 프로젝트에 참여했는데, 복귀한 지 일주일 만에 두 개 팀이 다소 급하게 합쳐졌고, 그 순간부터 **본격적인 질주가 시작**됐다고 설명합니다. 첫 번째 코드 한 줄을 쓴 이후부터 제품을 세상에 내놓기까지 걸린 시간은 **단 7주**였다고 합니다.
이 코덱스 스프린트는 필자가 지난 10년간 겪은 어떤 프로젝트보다도 **빡셌다**고 표현합니다. 밤 11시나 자정까지 일하고, 아침 5시 반이면 신생아가 울며 하루가 시작되는 고된 나날이 이어졌다고 합니다. 7시에 사무실에 나가고, 주말도 대부분 일에 썼으며, 모든 팀원이 전력을 다해 달렸다고 합니다. 매주가, 아니 거의 매일이 중요했기 때문에 정말로 Y 콤비네이터(Y Combinator) 시절로 돌아간 느낌이었다고 회고하고 있습니다.
이 정도 규모의 제품을 이렇게 짧은 시간 안에 완성하는 것은 매우 드문 일입니다. 단순히 기능 몇 개를 추가하는 수준이 아니라, **컨테이너 런타임부터 저장소 최적화, 코드 편집용 모델 파인튜닝, 깃(Git) 연동, 새 UI 도입, 인터넷 연결 기능까지—거의 전방위적으로 새로운 것을 만들었다**고 합니다. 그리고 결국 사용자 입장에서 매우 만족스러운 제품이 나왔다고 필자는 말합니다. 이 경험을 통해 **OpenAI는 여전히 '출시가 중요하다는 정신(launching spirit)'을 진지하게 지키는 회사**임을 다시금 느꼈다고 강조합니다.
무엇보다도, **제대로 된 사람들이 모이면 진짜 마법 같은 일이 가능하다는 걸 이번에 확실히 느꼈다**고 필자는 힘주어 말합니다. 코덱스 팀은 시니어 엔지니어 8명, 연구원 4명, 디자이너 2명, GTM(Go-To-Market) 담당 2명, 그리고 PM 1명으로 구성돼 있었는데, 이 멤버들이 아니었다면 불가능했을 것이라고 합니다. 각자 자율적으로 움직였고, 큰 틀에서 방향만 맞춰주면 됐다고 설명합니다. 코덱스 팀 사람들과 함께 일할 기회가 있다면, 그건 정말 운 좋은 일이라고 덧붙일 만큼 뛰어난 인재들이 모여 있었다고 합니다.
출시 전날 밤, 필자를 포함한 5명의 팀원이 새벽 4시까지 메인 시스템을 배포하느라 밤을 샜다고 합니다 (배포만 해도 몇 시간이 걸리는 작업이었습니다). 그리고 다음 날 아침 8시, 모두 오피스로 출근해 발표와 라이브 스트리밍 준비를 했습니다. 플래그를 켜고, 트래픽이 실시간으로 몰려오는 걸 지켜봤다고 합니다. 단지 왼쪽 사이드바에 기능 하나가 추가됐을 뿐인데도 이렇게 반응이 뜨거웠던 것은 **ChatGPT 플랫폼의 힘이 얼마나 큰지를 보여주는 장면**이었다고 회고록은 전합니다.
이때 선택한 제품 구조는 **'완전한 비동기(asynchronous)' 방식**이었다고 합니다. 커서(Cursor)나 클로드 코드(Claude Code) 같은 도구는 실시간으로 코드를 작성하고 반응을 보여주지만, 코덱스는 사용자가 작업을 요청하면 에이전트가 혼자 일을 처리하고, 결과를 PR 형태로 돌려주는 구조를 선택했다고 합니다. 즉, 이 에이전트를 **'함께 일하는 동료'처럼 느끼도록 만드는 게 목표**였다는 설명입니다. 메시지를 보내면, 에이전트가 알아서 일한 뒤 결과물을 들고 돌아오는 방식이었다고 합니다.
물론 이것은 어느 정도 모험이었습니다. 지금의 모델들은 몇 분 단위 작업은 잘하지만, 수 시간짜리 과업은 아직 무리이며, 사용자마다 모델에 대한 신뢰도도 제각각이었고, 모델의 실제 한계가 어디까지인지도 명확하지 않았다고 필자는 솔직하게 밝힙니다. 그럼에도 불구하고, 필자는 **장기적으로 보면 대부분의 프로그래밍이 코덱스처럼 비동기 에이전트 기반으로 바뀌리라 믿는다**고 예측하며, 다양한 도구들이 앞으로 어떻게 진화해갈지 정말 흥미롭게 지켜볼 만한 주제라고 강조합니다.
코덱스는 특히 **대규모 코드베이스에서 강점**을 보인다고 합니다. 구조를 이해하고 탐색하는 능력, 병렬 작업을 잘 해내는 능력 모두 뛰어났다고 합니다. 필자가 다른 도구들과 비교했을 때 코덱스에서 가장 인상 깊게 본 점은, 여러 작업을 동시에 실행하고 그 결과를 서로 비교해볼 수 있다는 점이었다고 합니다. 최근에는 여러 LLM 에이전트들이 만들어낸 PR(Pull Request) 수를 비교한 자료도 나왔는데, **코덱스는 지금까지 약 63만 개의 PR을 생성**했으며, 출시 이후 53일 동안 팀 엔지니어 1인당 평균 약 7만 8천 개의 PR을 낸 셈이라고 합니다. 비공개로 만든 PR까지 포함하면 더 많을 것이라고 덧붙입니다. 이렇게 큰 임팩트를 만들어낸 경험은 필자의 인생에서 가장 뜻깊은 순간 중 하나로 남을 것이라고 회고록은 마무리됩니다.
### OpenAI에서 배운 값진 교훈들
필자는 OpenAI에서의 경험을 통해 크게 네 가지를 배웠다고 정리합니다.
1. **소비자 브랜드란 무엇인가:** 코덱스를 만들면서 그는 처음으로 '진짜 소비자 브랜드'가 어떤 것인지 체감했다고 합니다. 모든 것이 **'프로 유료 가입자(pro subs)' 기준으로 측정**되며, 팀 단위가 아닌 개인 사용자를 중심으로 온보딩을 설계해야 했다고 합니다. 어떤 기능을 배포하자마자 수많은 트래픽이 몰려오는 걸 보며 **정말 '뇌가 뒤집히는' 경험**을 했다고 표현하고 있습니다.
2. **대규모 모델을 훈련하는 방식 (높은 수준에서):** 모델 개발은 '실험(실행)'에서 '엔지니어링(대규모 학습)'으로 이어지는 스펙트럼 위에 존재한다고 설명합니다. 대부분의 아이디어는 소규모 실험으로 시작되며, 결과가 괜찮아 보이면 대규모 런에 포함됩니다. 실험은 알고리즘을 조정하는 것뿐만 아니라, 데이터 구성 비율을 바꾸고 결과를 면밀히 분석하는 과정이기도 합니다. 대규모 학습은 마치 **분산 시스템 엔지니어링처럼 느껴질 때가 많고**, 온갖 이상 상황을 만나게 되며, 결국은 직접 디버깅해야 한다고 합니다.
3. **GPU 활용 감각 익히기 (GPU-math):** 코덱스 출시를 준비하면서 GPU 부하를 예측하는 작업도 직접 맡았는데, 이때가 필자가 처음으로 GPU 성능 벤치마크에 진지하게 몰입했던 경험이었다고 합니다. 이 과정에서 가장 중요한 교훈은, **GPU가 처리할 수 있는 양(capacity)을 기준으로 계획을 세우는 게 아니라, 사용자가 기대하는 응답 속도—예를 들어 전체 지연 시간, 토큰 수, 첫 토큰이 나오기까지의 시간—에서 출발해 거꾸로 계산해야 한다**는 점이었다고 합니다. 게다가 모델 버전이 바뀔 때마다 부하 패턴도 크게 달라지기 때문에, 정적 분석만으로는 부족하다고 강조합니다.
4. **대규모 파이썬 코드베이스에서 살아남기:** 필자가 이전에 일하던 Segment는 마이크로서비스 구조였고, 주요 언어는 Golang과 Typescript였습니다. 반면 OpenAI는 훨씬 방대한 코드베이스를 운영 중이었고, 기여자 수도 매우 많았다고 합니다. 그 안에서 필자가 깨달은 것은 세 가지입니다. 첫째, **기본적으로 '잘 작동하는' 코드가 되어야 한다**는 것. 둘째, **메인 브랜치(master)를 항상 깨끗하게 유지해야 한다**는 규율. 셋째, **잘못 사용하기 어렵게 만드는 설계가 얼마나 중요한지**를 깨달았다고 합니다. 이런 것들이 쌓여야만 수백 명의 개발자가 동시에 기여해도 제품이 안정적으로 굴러갈 수 있다는 것을 체감했다고 설명합니다.
### 마지막 생각과 작별 인사
솔직히 필자는 OpenAI에 처음 들어갈 때 꽤 망설였다고 합니다. 창업자로서의 자유를 포기하고, 누군가의 지시를 받아야 하며, 거대한 기계의 아주 작은 톱니바퀴가 된다는 게 과연 맞는 선택일까 싶었기 때문입니다. 그래서 입사 후에도 일부러 조용히 지냈고, 혹시 안 맞으면 금방 나올 생각도 했다고 합니다.
하지만 그는 이곳에서 세 가지를 얻고 싶었다고 밝힙니다. 첫째, 모델이 어떻게 학습되는지에 대한 직관과 미래 방향에 대한 감, 둘째, 뛰어난 사람들과 함께 일하며 배우는 기회, 그리고 셋째, 훌륭한 제품을 함께 만드는 경험이 그것이었습니다. 돌이켜 보면, 이번 OpenAI에서의 경험은 **자신의 인생 최고의 결정 중 하나**였으며, 다른 어떤 곳에서도 이렇게 많은 것을 배우긴 어려웠을 것이라고 단언합니다.
필자는 만약 지금 본인의 스타트업이 제자리걸음 중이라는 생각이 든다면, 두 가지를 진지하게 고민해보라고 조언합니다. 하나는 **더 많은 실험과 시도를 어떻게 할 수 있을지**이고, 다른 하나는 **지금이야말로 대형 연구소에 합류해서 미래를 먼저 들여다볼 기회일지도 모른다**는 것입니다.
필자가 보기에는 AGI를 향한 경주는 지금 세 개 회사가 이끌고 있습니다: **OpenAI, Anthropic, 그리고 Google.** 이 세 회사는 각자의 DNA에 따라 서로 다른 길을 걷고 있다고 설명합니다 (소비자 중심 vs 기업 중심 vs 인프라 + 데이터 기반). 그는 이 중 어디에서 일하든, 당신의 시야는 확실히 넓어질 것이라고 강조하며 글을 마칩니다.
이 회고록은 OpenAI의 복잡하지만 역동적인 내부 모습을 생생하게 보여주며, 빠르게 변화하는 AI 산업의 최전선에서 일한다는 것이 어떤 의미인지 깊은 통찰을 제공합니다. 저 역시 이 글을 통해 많은 것을 배울 수 있었습니다.