https://youtu.be/yXN5xSXJ1Is?si=vIsZXwgf4bPlo6iR
- - 안녕하세요 여러분, 오늘 이 자리에 함께하게 되어 매우 기쁩니다. 저희는 아서 멘치와 함께하고 있습니다. 그는 원래 학계에 있었지만 학계에서 구출되어 일하는 사회의 일원이 되었고, 딥마인드에서 연구원으로 일했습니다. 거기서 친칠라 논문을 이끌었던 것이 맞죠? 네, 그것은 AI 분야의 **매우 근본적인 논문 중 하나**였습니다. 그리고 지금은 미스트랄의 공동 창립자입니다. 여기 계신 분들 중 미스트랄이 무엇인지 아는 분이 계신가요? 좋습니다. 다른 분들은 AI 데이에 실수로 길을 잃고 헤매다 오신 거겠죠.
- - 그래서 여기서는 기본에 대해 많은 시간을 할애하지 않고, 중요한 질문인 '왜 미스트랄이라는 이름이 붙었나요?'와 같은 질문으로 바로 들어가게 되어 매우 기대됩니다. 미스트랄은 프랑스 바람입니다. 미스트랄은 이나와 이라는 두 가지 베일을 가지고 있습니다. 이나는 프랑스어로 'e'를 의미하며, 여기 계신 모든 분들이 그 의미를 아실 것이라고 생각합니다. 그리고 여러분은 미스트랄의 시장 기회가 무엇인지 또는 다른 모든 사람들이 무엇을 잘못하고 있다고 생각하는지를 설명하는 기술 보고서를 발표하셨습니다. 그리고 이러한 내용 중 일부는 유럽 AI 연구소가 있어야 하는 것이 매우 중요하다고 생각하고, 다른 모든 사람들이 오픈 소스를 과소평가하고 있다고 생각하는 부분이 있습니다.
- - 오늘날 미스트랄의 가장 중요한 차별점은 무엇이라고 생각하십니까? 우리의 더 큰 차별점은 **기술에 대한 다른 접근 방식을 취한다**는 것입니다. GP4나 CL22와 같은 대부분의 모델은 매우 독점적인 모델이며, 그것들에 대해 아무것도 알 수 없습니다. 모든 것이 블랙박스 API 뒤에서 일어납니다. 우리가 추진하고자 하는 것은 **모델에 대한 개방적인 접근 방식**입니다. 우리는 모델을 만들고 그 가중치를 공개하고자 합니다. 우리는 오픈 소스 모델 제품군을 가지고 싶고, 그것이 오픈 소스 모델 중 최고가 되기를 바랍니다. 우리는 또한 독점적인 모델 제품군과 일부 호스팅 솔루션도 개발하고 있지만, 진정으로 우리는 **오픈 코어 대규모 언어 모델 제공자**가 되기를 원합니다. 그리고 이것은 현재 이 분야에 있는 미국 대기업들과는 상당히 차별화됩니다.
- - 분명히 미국 제공업체의 주목할 만한 예외는 구글인데, 성공적인 클로즈드 소스인 바드와 오픈AI를 가지고 있습니다. 그러나 메타는 라마 2를 출시했습니다. 그렇다면 그게 뭔가 바꾸는 것이 있나요, 아니면 메타의 출시를 어떻게 보십니까? 우리는 그것을 **큰 기회**로 봅니다. 모델의 좋은 점은 모델에 접근할 수 있게 되면 그것을 재훈련하고, 모델 자체에 사용된 컴퓨팅 자원을 재사용하여 실제로 더 나은 것을 만들 수 있다는 것입니다. 그리고 그것이 바로 오픈 소스 커뮤니티의 역할이 중요한 지점입니다. 우리는 곧 일부 모델을 출시할 예정이며, 커뮤니티가 그것을 활용하여 더 나은 모델을 만들기를 바랍니다. 즉, **제어 가능성 측면에서 개선하고 특정 목적에 맞게 미세 조정**하기를 바랍니다. 우리는 커뮤니티에 제공함으로써 커뮤니티로부터 얻을 수 있다고 진정으로 생각합니다. 그리고 메타 또한 같은 생각을 하고 있다는 점이 다행입니다. 그리고 우리는 앞으로 몇 년 안에 매우 흥미로운 시너지 효과가 생길 것이라고 믿습니다. 저는 오픈 소스 진행 상황을 보는 것이 매우 흥미롭습니다. 그런데 저희가 마지막에 질문 시간을 가질 예정입니다.
- - 그러니 질문이 있다면 곧 질문을 받겠습니다. 제가 바로 전에 같이 있던 사람에게 어떤 질문을 해야 할지 물어봤는데, 그들은 '미스트랄 제품을 언제 사용할 수 있나요?'라고 말했습니다. 몇 일 더 기다리셔야 합니다. 왜냐하면 **뭔가 준비 중이기 때문**입니다. 하지만 단 며칠만 더요. 네, 며칠 안에 뭔가를 준비하고 있습니다. 작은 모델이지만 매우 훌륭한 작은 모델입니다. 매우 기대됩니다. 더 이상 말하지 않겠습니다만 흥미로운 것이 나올 예정입니다. 네, 여기서 들으셨습니다.
- - 여러분은 논문과 자료에서 오픈 소스 모델의 중요성을 설명하셨고, 또한 AI 안전의 중요성도 설명하셨습니다. 이 두 가지를 어떻게 조화시키시나요? 매우 좋은 질문입니다. 우리는 **오픈 소스 모델을 커뮤니티에 제공하는 것이 안전에 큰 이점**이 있다고 생각합니다. 왜냐하면 모델의 가중치에 접근할 수 있다면, 예를 들어 조정하여 중재 모델을 만들 수 있기 때문입니다. 이는 오늘날 생성형 AI의 가장 큰 악용 사례인 **잘못된 정보 생산에 대응**합니다. 그리고 만약 독점 API 뒤에서 모델을 심하게 검열한다면, 이는 하고 싶은 어떤 종류의 콘텐츠도 차단하기 때문에 할 수 없는 일입니다. 그래서 이러한 안전은 오픈 소스에서 힘을 얻는다고 생각합니다. 그래서 가장 중요한 것은 모델이 무엇을 하는지 이해할 수 있고, 그런 다음 원하는 정책이나 콘텐츠 목표를 인코딩할 수 있다는 것이지만, 폐쇄적인 방식으로 진행된다면 매우 나쁘다고 생각하는 건가요? 나쁘다고는 말할 수 없지만, **강력한 모델은 나쁜 콘텐츠나 혐오스러운 콘텐츠를 처리할 수 있어야 한다**는 것을 이해하는 것이 중요하다고 생각합니다. 왜냐하면 그것이 나쁘고 혐오스럽다는 것을 이해해야 하고, 그것을 이해한다면 제어할 수 있기 때문입니다.
- - 최종 사용자 애플리케이션에 대해 그것을 차단하기 위함입니다. 그러기 위해서는 근본적인 가중치에 접근할 필요가 있습니다. 그리고 저는 이것이 안전에 대한 강한 오해가 있다고 생각합니다. 우리가 모델에서 진정으로 원하는 것은 **그것들이 제어 가능하다**는 것입니다. 그리고 우리는 다운스트림 사용자, 즉 일부 애플리케이션을 만드는 사용자들이 이 모델을 가져가서 최종 사용자 애플리케이션으로 제어하기를 원합니다. 따라서 예를 들어 중재라면, 처음부터 검열되지 않은 모델에서 시작해야 합니다. 챗봇이라면 일부 가드레일을 부과하고 싶겠지만, 가드레일을 부과하려면 텍스트와 폐쇄형 도구 API로만 작업하는 것보다 **가중치에 접근할 수 있는 것이 훨씬 좋습니다.** 환각 문제를 어떻게 해결해야 한다고 보십니까? 스트라이프는 대규모 언어 모델을 사용하고, 앞서 데모 중 하나를 보셨듯이, 스트라이프는 제품의 많은 부분에서 대규모 언어 모델의 사용을 확대하고 있기 때문입니다.
- - 제품이지만, 심각한 비즈니스 애플리케이션에 대한 주요 제약 중 하나는 때때로 모델이 정보를 지어낸다는 사실인 것 같습니다. 네, 저는 이러한 종류의 환각을 줄일 수 있는 몇 가지 방법이 있다고 생각합니다. 첫째, **모델을 오랫동안 훈련시켜야 합니다.** 모델에 지식을 주입해야 합니다. 그리고 그것이 우리가 해온 일입니다. 이것이 중요하죠? 왜냐하면 이것이 모델을 생산하는 다른 사람들과 차별화되는 지점 중 하나는 훈련량이기 때문입니다. 네, 정확히 그 훈련량입니다. 특정 크기의 모델에 투입하는 훈련량입니다. 이것이 할 수 있는 한 가지입니다. 저는 또한 더스트가 아주 잘하고 있는 한 가지는 **검색 증강을 사용하는 것**이라고 생각합니다. 즉, 일부 지식을 얻어 모델의 프롬프트에 넣은 다음 모델을 미세 조정하거나 수정하여 유일한 목표가 질문에 답하기 위해 주어진 맥락을 따르도록 하는 것입니다. 그리고 이것은 모델이 본 맥락을 실제로 따르도록 미세 조정할 수 있다면 더 쉬워지는 일입니다.
- - 만약 당신이 단지 기성 모델을 사용한다면 조금 더 어렵습니다. 그래서 우리는 환각 또한 오픈 모델이 촉진할 것이라고 생각합니다. 이를 위해서는 두 가지 종류의 모델이 필요합니다. 꽤 흥미로운데, 생성 모델이 필요하지만, 동시에 임베딩 모델도 필요합니다. 즉, 텍스트를 입력받아 부동 소수점 표현인 임베딩을 생성하는 모델입니다. 그리고 이것은 우리가 매우 곧 제공할 것입니다. 프랑스는 현재 AI 르네상스를 맞이하고 있는 것 같습니다. 왜 그렇죠? 네, 그것은 정말 사실이며, 회사로서 우리에게 그리고 그러한 생태계에 있다는 것이 매우 흥미롭습니다. 저는 이것이 여러 요인의 결과라고 생각합니다. 그 중 하나는 **프랑스 교육 시스템 내의 프랑스 직관**인데, 이는 수학과 컴퓨터 과학을 상당히 많이 장려합니다. 그리고 알고 보니, 이 두 가지는 모델이 작동하는 데 매우 중요한 역량입니다. 그래서 이것이 한 가지 이유이고, 또한 프랑스 기술 생태계의 전반적인 르네상스와도 관련이 있다고 생각합니다. 그래서 이 두 가지가 이제 서로 연결되고 있으며, 프랑스에서 생성형 AI와 관련하여 많은 흥미로운 일들이 일어날 것으로 기대합니다.
- - 생태계를 더욱 발전시키기 위해 지금 무엇이 필요하다고 생각하십니까? 말씀하신 대로 프랑스의 기술 인재와 교육의 질은 항상 매우 훌륭했지만, 이제 스타트업 현장에서 그 잠재력이 발휘되고 있는 것 같습니다. 자본 상황도 훨씬 좋습니다. 그래서 지금 벤처캐피탈리스트, 정책 입안자, 창업가들을 격려한다면, 앞으로 어떤 일이 일어나기를 바라십니까? 저는 **대담함이 필요하다**고 생각합니다. 자본은 좋지만 더 나아질 수 있습니다. 매우 흥미로운 아이디어를 가진 새로운 AI 회사를 설립할 기회가 정말 많습니다. 저는 이 방에 있는 모든 벤처캐피탈리스트들에게 다시 한 번 살펴보라고 권합니다. 또한 저는 유럽에서 일어날 규제에 대한 어느 정도의 통제가 필요하다고 생각합니다. 유럽과 미국 사이에 차등적인 규칙이 있을 것입니다. 유럽이 역할을 하기를 원한다면 너무 차등적이어서는 안 됩니다. 이것은 우리가 적극적으로 논의하고 있는 사항입니다. 그리고 또 무엇이 있을까요? 이 두 가지가 이미 상당한 차이를 만들 것이라고 생각합니다.
- - 네, 규제에 대해 궁금합니다. AI에 대해 가져야 할 좋은 규칙의 예시와 가지지 않아야 하지만 결국 생길 수도 있는 나쁜 규칙의 예시를 알려주실 수 있나요? 네, 좋은 규칙은 **모델이 잘 문서화되어야 하고, 감사 가능해야 한다**는 것입니다. 그래서 가중치에 접근하여 깊이 있고 제한 없이 탐색할 수 있어야 합니다. 이것이 좋은 규칙 중 하나입니다. 스트라이프가 내부적으로 훈련하고 사용하거나, 대중에게 공개되는 모델조차도 마찬가지입니다. 그래서 우리의 생각에 문서화는 사용자 기반에 비례해야 합니다. 내부용이라면 너무 많이 문서화할 필요는 없지만, 많은 사람들에게 제공한다면 더 많이 문서화해야 합니다. **나쁜 규칙은 어떤 단단한 임계값에 기반한 규칙**입니다. 예를 들어, 특정 벤치마크에서 모델이 특정 성능 이상이라면 강력하게 규제해야 한다는 것입니다. 이것은 우리의 생각에 미국에서 논의되고 있는 규칙이며, 어쩌면 여기에서도 논의되고 있을 것입니다. 네, 어떤 종류의 방법론적인 규칙이든 숫자가 있고, 이 정도의 컴퓨팅 파워가 당신을 프론티어 모델로 만들고 규제되어야 한다고 말하고, 이 정도의 역량이 당신을 프론티어 모델로 만들고 규제되어야 한다고 말하는 것은, 우리가 기술의 성장을 동반하는 적절한 방법이라고 생각하지 않습니다.
- - 사람들은 인공 일반 지능에 대해 이야기하기를 좋아하고, 그것이 많은 기반 모델 회사의 설립 미션의 중심이었던 것 같습니다. 저는 당신의 전략 메모에서 그 언급을 보지 못한 것 같은데, 어떤 의미가 있나요? 인공 일반 지능의 문제는 그것이 **불분명하게 정의된 목표**라는 것입니다. 그래서 저는 누군가가 그렇게 말하는 것을 듣게 되어 기쁩니다. 많은 사람들이 그것에 대해 이야기하지만 서로 다른 의미로 사용하기 때문에, 우리는 불분명하게 정의된 것에 대해 이야기하는 그 의미론적 함정에 빠지고 싶지 않습니다. 우리가 진정으로 만들고 싶은 것은 **기업의 사용 사례에 맞춰서 모든 사람의 삶을 더 쉽게 만들 수 있는 모델**입니다. 우리는 모델이 너무 똑똑해져서 문제를 일으킬 것이라는 실존적 위험을 믿지 않습니다. 제 말은, 살펴보면 최고의 모델조차도 여전히 엄청난 한계를 가지고 있고, 이러한 한계는 연구를 필요로 하며, 연구는 우리와 같은 회사에서 이루어져야 합니다. 그것은 매우 합리적입니다.
- - 그래서 당신은 미스트랄이 인공 일반 지능을 가질 수 있는 AI를 생산한다고 생각하십니까? 그것은 잘 명시된 질문이 아니라고 생각하십니까? 네, 저는 미스트랄이 사람들을 더 잘 일하고, 더 빨리 일하고, 가장 중요한 일에 집중할 수 있도록 **힘을 실어줄 모델**을 생산하기를 바랍니다. 그러나 실제로 AI 생성형 AI는 우리를 어떤 의미에서는 초인적으로 만드는 도구로 생각되어야 합니다. 하지만 그것은 **독립적이고 활동적인 BC 터미네이터가 될 수는 없습니다.** 여러분은 전략 보고서나 출시 보고서라고 부르는 것에서 그것을 설명하셨습니다. 그것은 RC 투자자들을 위한 유출된 전략 메모였습니다. 아, 유출된 것이었군요? 저는 발표된 것이라고 생각했습니다. 유출된 것이지만, 음, 죄송합니다. 지금 제가 당신의 속옷 서랍을 뒤지는 것 같은 기분이 드네요. 어떻게 되는지 아시죠? 아니요, 하지만 우리는 우리의 전략을 정의하는 더 많은 자료를 곧 내놓을 것입니다. 네, 저도 그것을 읽어볼 수 있기를 기대합니다.
- - 어쨌든, 여러분은 Das에서 4년 안에 최고의 기술을 갖추고 싶다고 언급하셨습니다. 내년 2분기까지 최고의 오픈 소스 모델과 같은 몇 가지 이정표를 제시하셨죠. 아직 그 목표를 향해 순조롭게 가고 있나요? 우리는 그 목표를 향해 **매우 순조롭게 가고 있습니다.** 기본적으로 모델은 비용 대비 성능 곡선 위에 있으며, 비용이 높을수록 최고의 성능을 얻을 수 있습니다. 우리는 이 곡선에서 왼쪽에서 오른쪽으로 갈 것입니다. 그래서 작은 모델부터 시작하고 있으며, 현재 훨씬 더 큰 모델도 훈련하고 있습니다. 그리고 작은 모델은 온디바이스 사용을 목표로 하고 있나요? 온디바이스가 가능합니다. 조금 야심적이지만 일부 기기에서 실행될 수 있습니다. 좋습니다. 단순히 저렴한 추론을 위해 작은 모델인가요? 맥북 프로에서도 꽤 잘 실행될 수 있습니다. 네, 네, 네, 고가의 기기입니다. 그리고 4년 안에 최고의 기술을 갖겠다고 말씀하셨는데, 다시 한 번 그것이 잘 정의된 목표인가요? 왜냐하면 아마도 AI 분야가 커지면서 많은 틈새시장과 세부 전문 분야가 생겨날 것입니다.
- - 그렇다면 최고의 기술을 가장 성능이 좋은 텍스트 모델로 생각하시나요, 아니면 어떻게 정의하시나요? 매우 개방적인 분야입니다. 우리가 현재 발견하고 있는 사용 사례들, 예를 들어 지식 탐색, 마케팅, 고객 지원과 같은 기본적인 사용 사례들에 대해서는 잘 이해하고 있다고 생각합니다. 연구 개발 부서를 지원하는 것과 같은 어려운 사용 사례는 여전히 매우 개방적입니다. 그래서 모든 것을 할 수 있는 하나의 큰 모델이 될지, 아니면 틈새시장으로 분산될지 미래를 알 수는 없습니다. 그러나 어떤 경우든 우리는 시장의 매우 큰 부분에서 매우 훌륭한 모델을 만들기 위해 노력하고 있습니다. 이 회사를 설립한 이후 무엇이 당신을 놀라게 했나요? 저는 **직원들의 속도에 놀랐던 것 같습니다.** 우리가 첫 훈련에서 목표로 했던 모델 크기에 비해 채팅에 꽤 능숙한 모델을 가지고 있다는 것을 예상하지 못했습니다. 그래서 이것은 기분 좋은 놀라움이었습니다. 저는 여전히 전반적인 분야의 속도에 놀라고 있습니다. 매일 새로운 일들이 일어나고, 우리가 만들고 있는 것에 집중하는 것이 도전이지만, 우리는 그것을 잘 해내고 있다고 생각합니다.
- - 잠시 후에 청중 질문을 받겠습니다. 질문 있으신가요? 네, 질문이 있네요. 좋습니다, 지금 질문을 받겠습니다. 저기서 온 질문입니다. 온디바이스에서 실행되는 모델과 클라우드에서 실행되는 모델에 대해 말씀하셨는데, 2010년대에는 많은 컴퓨팅이 클라우드로 이동했습니다. 하지만 대규모 생성형 AI에는 지속 불가능해 보입니다. 그것에 대해 어떻게 생각하십니까? 못 들으신 분들을 위해 말씀드리자면, 2010년대에 모든 것이 클라우드로 이동하는 것을 보았는데, 온디바이스에 대해 말씀하셨습니다. 온디바이스의 필요성이나 그 트렌드에 대해 어떻게 생각하십니까? 저는 **두 가지 모두 성장할 것**이라고 예상합니다. 왜냐하면 개인 정보 보호에 대한 우려가 매우 클 때 완전히 온디바이스로 있는 것이 좋을 수 있기 때문입니다. 현재 기술 상태에서는 사용되는 모델이 너무 크지만, 특정 사용 사례를 위해 훨씬 더 작게 만들 수 있다고 생각합니다.
- - 따라서 모델을 수십억 개 미만의 매개변수로 줄이고 작업을 해결할 수 있다면 온디바이스에 배포할 수 있습니다. 그리고 저는 이것이 예상보다 빨리 일어날 것이라고 예상합니다. **압축 속도는 실제로 우리가 예상했던 것보다 빠릅니다.** 이 청중 중에는 현재 AI 분야에서 일하지 않지만, AI에 관심이 있는 많은 엔지니어들이 있을 것입니다. 소프트웨어 엔지니어로서 AI에 능숙해지고, 이 분야에 뛰어드는 방법을 배우는 것에 대해 궁금하다면, 어디로 가라고 권하시겠습니까? 무엇을 하라고 권하시겠습니까? 저는 **기본부터 시작하는 것이 매우 좋다**고 생각합니다. 현재 AI는 딥러닝을 기반으로 구축되어 있으므로, 무슨 일이 일어나고 있는지 이해하고 싶다면 먼저 딥러닝을 조금 공부해야 합니다. 저는 여러분 자신의 작은 모델을 훈련시키고, 기술이 어떻게 만들어지는지, 그 한계는 무엇인지 이해하려고 노력하라고 권합니다.
- - 완전한 P 엔지니어링 모드로 들어가기 전에, **그 기반이 되는 기술을 이해해야 합니다.** 오늘날에는 모델이 꽤 잘 제어되고 빠르게 애플리케이션을 만들 수 있기 때문에 매우 쉬워 보입니다. 하지만 강력하고 견고한 애플리케이션을 만들고 싶다면 기반이 되는 부분을 더 잘 이해해야 합니다. 제가 요리할 때, 저는 레시피를 매우 꼼꼼하게 따르고 모든 것을 계량하며, 단계를 매우 신중하게 따릅니다. 그리고 제 여자친구는 훨씬 더 요리를 잘하는데, 그녀는 그냥 모든 것을 함께 넣고, 무엇이 올바른 맛인지, 얼마나 오래 걸리는지 등 모든 것을 압니다. 그리고 네, 그냥 그 단계를 건너뛸 수 있습니다. AI에서도 작은 모델을 직접 만드는 것이 유용하다고 말씀하실 때, 매우 능숙한 많은 사람들은 그런 식으로 그냥 아는 것 같습니다. 그들은 하이퍼파라미터를 조정하는 방법을 알고, 이 접근 방식이 작동하지 않을 것이라는 것을 알고, 많은 직관을 가지고 있습니다. 더 나은 모델 셰프가 되기 위한 직관을 어떻게 개발할 수 있을까요? 시간이 걸립니다.
- - 저는 좋은 AI 엔지니어의 가장 큰 가치는 **무엇이 작동하고 무엇이 작동하지 않는지에 대한 직관을 가지고, 어떻게 개선하고, 어떻게 반복하고, 모델을 어떻게 훈련시키고, 성능을 보고 훈련 설정을 어떻게 변경해야 더 나은 결과를 얻을 수 있는지 아는 것**이라고 생각합니다. 그리고 그것이 우리가 고용한 팀, 특히 이 모든 사람들, 모든 직원들이 보통 대규모 기술 산업에서 많은 컴퓨팅 자원에 접근할 수 있었던 경험을 쌓고 그들의 직관을 구축할 수 있었던 이유입니다. 불행히도 직관을 구축하려면 컴퓨팅 자원이 필요하다고 생각합니다. 따라서 몇 개의 GPU를 손에 넣을 수 있다면 좋겠지만, 빠르게 반복하고 모델이 실제로 어떻게 작동하는지, 그리고 어떻게 더 좋게 만들 수 있는지 이해하는 것이 정말 중요합니다. 좋습니다. 그래서 장난감 모델을 만드는 것부터 시작하지만, 성능을 개선해야 하고 이러한 직관을 개발하기 시작하는 실제 프로덕션에서 무언가를 실행하는 것을 대체할 수는 없습니다. 네, 제 말은, 모델을 어떻게 훈련시키는지, 검색 증강으로 모델을 어떻게 조율하는지에 대한 직관을 가질 수 있습니다.
- - 예를 들어, 검색 증강에 대해서도 많은 직관을 구축할 수 있습니다. 이를 위해서는 실험하고 A/B 테스트를 수행해야 합니다. 모델을 더 빠르게 만드는 방법, 추론 부분을 가속화하는 방법에 대한 직관을 구축할 수 있습니다. 이를 위해서는 하드웨어가 어떻게 작동하는지 매우 잘 이해해야 합니다. 왜냐하면 GPU가 어떻게 연결되고, GPU가 메모리를 어떻게 사용하는지와 매우 밀접하게 관련되어 있기 때문입니다. 그래서 이 모든 부분에서 직관적인 지식을 구축해야 합니다. 그리고 시간이 걸립니다. 이틀 만에 일어날 일은 아닙니다. AI가 마법처럼 보인다는 것을 알지만, 견고한 것을 만들고 프로덕션으로 옮기려면 약간의 인내심이 필요합니다. 이해가 됩니다. 죄송합니다. 여기에 질문이 있었습니다. 네, 짧은 질문입니다. 생성형 AI에 오픈 소스를 택한 이유는 무엇입니까? 우리는 그것이 **비용 효율적이고, 여전히 존재하는 독점 기술의 장벽을 허무는 최선의 방법**이라고 생각합니다. 즉, 환각 문제를 해결하는 것입니다.
- - 모델을 더 작고 효율적으로 만들고, 더 쉽게 정렬하는 것입니다. 소프트웨어의 역사를 살펴보면 항상 이런 식으로 끝났다고 생각합니다. 그래서 브라우저들은 독점적인 대형 기술 회사에 소유되어 있었지만 결국 오픈 소스가 되었습니다. 운영 체제도 마찬가지입니다. 그리고 가장 최근의 예시는 클라우드 오케스트레이션인 쿠버네티스라고 생각합니다. 그것은 오늘날 오픈 소스입니다. 우리는 새로운 혁명의 직전에 있습니다. 그리고 언제나 그랬듯이, 대규모 독점 솔루션이 먼저 나왔고, 생성형 AI가 어떻게 작동하는지 세상에 보여주었기 때문에 우리는 그들이 그렇게 한 것에 매우 감사합니다. 그러나 우리는 커뮤니티로부터 얻을 수 있는 것이 너무 많고, 다양한 행위자들 간의 비용 분담을 통해 **오픈 소스가 승리할 것**이라고 생각합니다. 그리고 그것이 우리가 존재하는 이유입니다. 또한, 모든 사람들이 더 나은 성능과 더 낮은 비용, 그리고 덜한 벤더 종속을 원하는 **매우 강력한 고객 요구에 대한 반응**으로 보입니다.
- - 그리고 현재 많은 회사들이 첫 번째에 집중하고 있으며, 미스트랄을 제외한 전념하는 AI 회사들은 비용 절감과 종속성 감소라는 두 번째에 집중하지 않고 있습니다. 네, 그것은 매우 사실이며, 고객 조사를 바탕으로 대부분의 기업이 여전히 개념 증명 단계에 있음을 확인했습니다. 그래서 그들은 그렇게 많은 비용을 들이지 않으며, 생산 단계로 이동할 때, 즉 그러한 기업들이 최종 사용자에게 일부 생성형 솔루션을 배포하기로 결정할 때 너무 비용에 민감하지 않습니다. 솔루션에서는 **비용을 통제하고, 인프라를 통제하며, 모델에 대한 훨씬 더 세밀한 제어가 필요**할 것입니다. 모델을 더 작게 만들고 사용 사례에 맞게 조정해야 할 것입니다. 그래서 저는 오픈 모델이 많은 가치를 가질 것이라고 생각합니다.
- - 질문이 있으시군요. 당신의 차별점은 모델을 미세 조정하고 가중치를 조정할 수 있다는 것이라고 말씀하셨습니다. 그 위에 어떤 종류의 추상화 계층을 구축할 계획이 있으신가요, 아니면 주로 머신러닝 엔지니어가 당신의 주요 고객층입니까? 우리의 MVP는 그 위에 배포 소프트웨어가 있어서 내부적으로 쉽게 API를 구축하고 완벽하게 제어할 수 있습니다. 우리는 **특정 데이터 흐름에 대한 일부 맞춤화를 실제로 제안하기 위해 소프트웨어 서비스 부문을 강화**하고 있습니다. 그리고 이것은 일어날 것입니다. 그러나 우리는 모델부터 시작했습니다. 왜냐하면 그것이 팀이 가장 잘하는 분야였기 때문입니다. 그래서 우리는 매우 강력한 모델부터 시작하여 점진적으로 개발자 중심의 오케스트레이션 스택을 그 위에 구축할 것입니다.
- - 여기 계신 분께 질문입니다. 패널에 감사드립니다. 15분 전에 오픈AI는 챗GPT가 이미지와 음성을 입력으로, 음성을 출력으로도 지원한다고 발표했습니다. 미스트랄도 다중 모달 모델로 나아갈 계획이 있습니까? 그리고 오픈 소스는 이 분야에서 조금 뒤처지는 것 같습니다. 네, **우리는 지금 텍스트에 집중하고 있습니다.** 하지만 제가 딥마인드에 있을 때 개인적으로 다중 모달에 대한 작업을 많이 했습니다. 그래서 GPT4 비전 뒤의 아키텍처는 아마도 제가 개발한 것 중 하나일 것입니다. 그래서 우리는 그것을 구축할 것입니다. 분명히 우리는 매우 효율적인 팀이므로 텍스트에 먼저 집중하고 있습니다. 왜냐하면 그것이 실제로 가장 어려운 부분이고 가장 많은 컴퓨팅 자원을 필요로 하는 부분이기 때문입니다. 매튜가 증언할 수 있듯이 실제로 비전 모델을 훈련하는 것이 텍스트 모델보다 저렴합니다.
- - 그리고 우리는 결국 그쪽으로 나아갈 것입니다. 그리고 우리는 오픈 소스 세계에서 다중 모달 모델에 대한 큰 격차가 있다는 것을 알고 있으며, 언젠가는 그 격차를 메우고 싶습니다. 또한, 유출된 전략 보고서에서 많이 언급했던 산업용 사용 사례의 경우, 텍스트가 코딩 레이어에서 유용하다는 느낌이 듭니다. 다른 많은 인지 활동들이 있을 수 있는데, 제가 항상 좋아했던 데모는 AI 모델과 텍스트를 사용하여 체스를 둘 수 있다는 것입니다. 그냥 서면 표기법으로 수를 말하면 됩니다. 물론 그들은 놀라운 체스 플레이어는 아니지만, 규칙을 알고 플레이할 수 있습니다. 그리고 아이들이 플레이하는 것처럼 플레이합니다. 그래서 저는 이것이 텍스트가 다른 많은 사고 활동을 위한 우리의 인코딩에 불과하다는 좋은 예시라고 생각합니다. 네, 확실히 그렇습니다. 이 모델들로 체스를 둘 수 있지만, 최고의 아키텍처는 아닙니다. 아니요, 알고 있습니다. 하지만 텍스트가 인코딩 계층인 것처럼 인지에 대한 것이죠.
- - 네, 그리고 우리가 오픈 가중치 모델에 대해 생각하는 방식은 기본적으로 디코더를 제공한다는 것입니다. 즉, 텍스트 지향적인 부분이죠. 하지만 이미지나 체스와 관련된 특정 워크로드를 수행하고 싶다면, 아마도 그것들을 기존의 딥러닝 모델에 연결하고 싶을 것입니다. 따라서 **가중치에 접근할 수 있는 한 디코더 부분을 원하는 모든 종류의 데이터 워크로드를 실행하는 관문으로 보아야 합니다.** 그러나 모든 것을 텍스트 병목 현상을 통해 단일 디코더에 넣는 것은 특히 체스 부분에서는 최적이 아닐 가능성이 매우 높습니다. 체스는 특정 시점 이후에 불법적인 수를 두는 것을 아주 잘 보여줍니다. 좋습니다. 질문 있으시군요, 아서 존. 패널에 감사드립니다. 제 이름은 DK이고 마르 비전이라는 회사를 만들고 있습니다. 우리는 기업이 온라인 공간에서 위조품을 재부트하고 단속하는 데 도움이 되는 AI 기반 제품을 만들고 있습니다. 사실 우리는 존처럼 YC의 지원을 받고 있습니다.
- - 그래서 제 질문은 존에게 있습니다. YC에서 우리는 고객이 사랑하는 제품을 만들도록 배웠습니다. 그것이 모든 스타트업 창업자의 최우선 순위입니다. 미국 외 지역으로 시장을 확장할 때 글로벌 고객의 기대를 충족시키는 데 겪었던 어려움과 장애물에 대한 경험을 공유해 주실 수 있는지 궁금합니다. 그것이 정말 도움이 될 것입니다. 가장 큰 것은 그냥 당신이 제품이라는 것입니다. 분야에 따라 다르지만, 스트라이프의 경우 우리가 미국 시장을 위해 만든 제품은 유럽 시장에 맞는 제품이 아니었습니다. 그래서 유럽 시장으로 확장하면서 SEPA 결제 및 명령, VAT 등을 처리해야 하는 모든 고려 사항이 미국 고객이 원하는 것과는 완전히 달랐습니다. 그래서 우리가 유럽에 엔지니어링 팀을 두고 있는 이유이며, 고객과 가까워지는 측면에서 제품 개발 주기가 매우 중요합니다. 왜냐하면 처음 출시하는 제품 버전은 아마도 그렇게 매력적이지 않을 것이기 때문에 고객으로부터 듣는 내용을 바탕으로 계속해서 개선하여 실제로 좋은 제품을 만들어야 합니다.
- - 그러나 저는 여러분이 한 시장에서 출시한 제품을 다른 시장에서도 성공할 것이라고 기대해서는 안 된다고 생각합니다. 그리고 다시 한번, 저는 당신의 논문에서 **유럽 AI라는 개념과 유럽 고객들이 원하는 것이 바로 이것이라는 매우 강력한 유럽적 관점**이 매우 흥미로웠습니다. 그 내용이 논문에서 얼마나 많이 언급되었는지 인상 깊었습니다. 네, 저는 우리가 가지고 있는 유럽적 관점이 실제로 매우 많이 관련되어 있다고 생각합니다. 우리가 만들고 싶은 다른 비즈니스 모델, 즉 오픈 모델에 관한 것입니다. 현재 미국 쪽에서는 일종의 과점 형태가 나타나고 있는데, 한쪽에는 구글이 있고 다른 쪽에는 마이크로소프트가 있습니다. 그들은 백악관과 많은 이야기를 나누고 있으며, 약간의 **규제 포획**을 하고 있습니다. 그리고 우리는 유럽에서 앞으로 몇 년 안에 이에 대해 아무것도 하지 않으면 너무 늦을 것이라고 생각합니다. 그래서 우리는 미스트랄을 시작했고, 사업에 대한 다른 접근 방식이 가능하며 **오픈 코어 비즈니스 모델이 실제로 가치 있다**는 우리의 확신을 가지고 시작했습니다.
- - 그리고 또한, 사람들이 지금 데이터 개인 정보에 대해 너무나 잘 알고 있고 집착하고 있다는 사실을 반영하는 것 같습니다. 그리고 AI가 이런 환경에 들어서면서 관련성이 느껴집니다. 네, 데이터 개인 정보 보호에 대해 우려한다면, 그것을 통제 없이 제3자에게 보내는 것에 대해 걱정해야 합니다. 특히 프로덕션 단계에서는 더욱 그렇습니다. 개념 증명 단계에서는 괜찮습니다. 그렇게 할 수 있습니다. 그러나 프로덕션 단계로 전환하고 싶다면 언젠가는 이 책임을 분명히 제거하고 싶을 것입니다. 인터넷의 데이터를 기반으로 훈련된 대규모 언어 모델이 있는데, GDPR의 잊혀질 권리에 대한 기술적인 해결책은 무엇입니까? 어려운 질문입니다. 어려운 질문입니다. GDPR은 언어 모델을 염두에 두고 설계되지 않았다고 생각합니다. 우리는 최선을 다하고 있지만, 분명히 통계적인 문제들이 있습니다. 하지만 우리는 우리가 수집한 데이터에서 사용자 데이터를 제거하기 위해 최선을 다하고 있습니다. 그러나 그것은 어려운 질문이라고 생각합니다. 그리고 한 가지 해결책은 **모델이 사용자 관련 정보를 출력하지 않는지 확인하는 필터링 스택을 갖추는 것**입니다.
- - 그리고 저는 그것이 가장 견고한 방법이라고 생각합니다. 질문 더 있으신가요? 음, 뒤쪽 중앙으로 가겠습니다. 안녕하세요. 훈련 중인 새로운 모델에 대해 질문입니다. 처음부터 훈련하시나요, 아니면 기존 모델을 사용하고 그 위에 훈련하시나요? **우리는 처음부터 훈련합니다.** 네. 그리고 아키텍처에 대해 질문입니다. GPT 같은 아키텍처와 현재 개발 및 연구되고 있는 더 이국적인 새로운 구성 요소에 대한 당신의 견해는 어떻습니까? 디코더 아키텍처는 매우 강력하고 훈련 방법을 안다면 이기기 매우 어렵습니다. 스크래핑에 대해 다른 관점을 가지고 계신가요? 인터넷을 어떻게 스크래핑하는지에 대해 질문입니다. 데이터셋 구축은 **우리의 독점적인 텍스트 공격에서 매우 강력한 자산의 일부**라고 생각합니다. 그래서 흥미로운 것들이 많지만 말씀해 주실 수는 없으시군요. 네, 제 말은, 인터넷에는 대부분 쓰레기가 있고, 이 쓰레기를 가져와서 매우 강하게 증류하여 실제로 흥미로운 것들을 얻는 것이 매우 중요합니다.
- - 모델에 실제로 흥미로운 것들을 얻는 것입니다. 그리고 이것은 우리가 꽤 잘 해온 일입니다. 네, 저는 특히 생성형 언어 모델의 신뢰성과 관련하여 질문이 있습니다. 검색 증강 생성에 대해 언급하셨는데, 신경 기호 접근 방식이나 지식 그래프 또는 다른 기술을 통합하는 다른 접근 방식에 대한 미래와 관점을 보고 계신지 궁금합니다. 음, 아니요, 저는 그것에 대해 확신하지 못합니다. 저는 이러한 종류의 이국적인 접근 방식은 매우 늦게 등장했으며, **딥러닝이 기본적으로 작동하게 만들고, 그것이 우리가 투자하고 있는 것**이라고 생각합니다. 작동하지 않는다고 말하는 것이 아니라, 우리가 그것에 대해 작업하지 않을 것이라고 말하는 것입니다. 네, 알겠습니다. 감사합니다. 여기 앞에 질문이 있습니다.
- - 며칠 안에 미스트랄에서 첫 번째 릴리스가 있을 예정입니다. 그것이 허깅 페이스에 업로드되는 것과 같은 것일까요, 아니면 인터페이스 같은 것이 있을까요? 어떤 모습일까요, 아니면 말씀해주실 수 없나요? **그것은 놀라움이 될 것입니다.** 좋습니다. 안녕하세요, 패널에 감사드립니다. 저는 좀 더 철학적인 질문이 있습니다. 인간 의식을 어떻게 정의하시겠습니까? 인간이 인공 의식을 만들 수 있다고 생각하십니까? 만약 그렇지 않다면, 가장 큰 장벽은 무엇이라고 생각하십니까? 저에게 잘못된 사람에게 질문하고 계신 것 같습니다. 음, 저는 그것에 대해 흥미로운 통찰력을 제공할 수 없을 것 같습니다. 질문이 대규모 언어 모델이 의식이 있느냐는 것이라면, **저는 그들이 그렇지 않다고 말하는 경향이 있습니다.** 그들은 주로 지식을 저장하고 런타임에 검색하는 소프트 키-값 네트워크와 같습니다. 그 안에 어떤 내부 세계 표현이 있는지에 대한 질문은 열려 있지만, 약간 불확실합니다. 이번 주에 매우 흥미로운 논문들이 발표되었는데, 실제로 대규모 언어 모델이 아무것도 이해하지 못하며, 대부분 문장을 보간하는 것에 불과하다는 것을 보여줍니다. 이것이 우리가 그들을 훈련시키는 방식이므로 그렇게 놀라운 일은 아닙니다. 저에게 묻는다면, 우리는 인공 의식과는 상당히 거리가 멀다고 생각합니다.
- - 흥미로운 점은 모두가 튜링 테스트에 대해 이야기했지만, 우리는 그에 대한 많은 언급 없이 일반적으로 사용되는 튜링 테스트의 정의를 훨씬 뛰어넘었다는 것입니다. 좋은 새로운 튜링 테스트는 무엇이라고 생각하십니까? 네, 저는 이것이 제가 규제에 대해 언급한 내용과 관련이 있다고 생각합니다. 기술이 성장할 때는 **벤치마크의 난이도를 높여야 합니다.** 그리고 분명히 튜링 테스트는 의식을 측정하기에 충분하지 않지만, 70년대에는 테스트를 속일 수 있는 것이 무엇인지 아무도 알 수 없었다는 점은 이해할 만합니다. 그래서 우리는 더 나은 벤치마크가 필요하며, **모델과 다양한 솔루션을 비교하기 위한 더 나은 벤치마크**도 필요합니다. 왜냐하면 지금은 모든 솔루션과 우리 경쟁사들이 무언가를 생산하고 있지만, 실제로 어떤 일이 일어나고 있고 어떤 솔루션을 선택해야 하는지 활발하게 비교하기는 매우 어렵기 때문입니다. 이 분야가 더 명확해지기를 바랍니다. 우리가 성장하고 성숙해짐에 따라 알겠습니다. 음, AI가 상자 안에 갇혀 나가게 해달라고 요청하는 경우에도 여전히 꽤 좋은 버전의 튜링 테스트가 있다고 생각합니다. 지식 차단 이후에 발생한 일을 물어보면 AI 스스로 정체를 드러낼 것입니다. 네, 그것은 아주 좋은 튜링 테스트입니다. 하지만 다시 말씀드리지만, **검색 증강을 사용하면 이 테스트를 이길 수 있습니다.**
- - 그렇다면 지식 차단 문제를 해결하실 건가요? 제 말은, 인터넷에 연결하면 거의 해결될 수 있습니다. 모델이 정보들을 질의하고 그것을 맥락에 넣어 사용할 수 있도록 한다면, 완벽하지는 않지만 꽤 잘 작동합니다. 그래서 아마도 당신의 튜링 테스트를 속일 수 있을 것입니다. 아마도 더 어려운 것을 생각해야 할 것입니다. 하지만 지연 시간의 차이를 알 수 있을 것입니다. 네, 네, 물론입니다. 그렇게 할 수 있습니다. 박스에서 나오는 네트워크 트래픽을 볼 수 있습니다. 좋습니다. 질문이 더 있으신가요? 죄송합니다. 저기서 질문이 들어오네요. 안녕하세요. 대규모 언어 모델(LLM)과 전문화된 모델에 대한 당신의 견해는 어떻습니까? 저는 LLM이 당신의 사용 사례에 특화되도록 만들어졌다고 생각합니다. 그래서 밝혀진 바와 같이, 많은 사용 사례에 특화시킬 수 있으며, 가중치를 변경하지 않고도 기본적인 사용 사례를 해결할 수 있다는 점이 좋습니다. 그러나 특정 목적이 있다면, 데이터를 가지고 있다면 어떤 방식으로든 이 데이터를 모델에 넣어 **더 좋게 만들거나 같은 성능으로 더 작게 만드는 것**이 항상 더 나을 것입니다. 따라서 **많은 사용 사례에 특화가 필요**하며, 특히 프로덕션으로 전환하면서 200가지 작업에 특화된 모델이 이 200가지 기본 작업을 해결할 수 없을 것이라는 말은 아닙니다. 그러나 특정 작업이 있고, 대부분의 기업은 훈련 세트 외의 매우 특정한 작업을 가지고 있다고 생각합니다. 그렇다면 이 지식과 작업의 이해를 모델 자체에 넣는 방법을 찾아야 합니다.
- - 좋습니다. 맨 뒤에 계신 여성분께 한 가지 질문 더 드리겠습니다. 패널에 감사드립니다. 학계에서 산업계로 뛰어들기로 결정하신 이유는 무엇이며, 미래에 학계와 산업계의 협력을 어떻게 예측하거나 어떤 모습으로 그리시나요? 저는 코로나19 기간 동안 **혼자 있지 않고 팀과 함께 일하고 싶어서 뛰어들었습니다.** 그것이 저의 개인적인 이야기입니다. 학계와 산업계 사이에는 많은 매우 좋은 협력 방식이 있다고 생각합니다. 특히 추론 부분에서 그렇습니다. 모델을 가져와서 API로 만드는 방법 말입니다. 스탠포드에서 나오는 매우 흥미롭고 효율적인 소프트웨어들을 많이 보고 있습니다. 그리고 우리는 그것을 더 좋게 만들고 우리 자신의 솔루션에 통합하기 위해 그들과 협력하고 있습니다. 그래서 스택의 많은 부분에서, 특히 너무 비용이 많이 들지 않는 부분, 너무 컴퓨팅 집약적이지 않은 부분에서 학계에서 나오는 많은 흥미로운 아이디어들이 있습니다. 그리고 그것은 우리가 육성하고 싶은 것이며, 또한 제공하고 싶은 것입니다. 그래서 우리가 모델을 허용적인 라이선스로 모두에게 제공할 때, 학계가 그것을 받아들여 모델을 정렬하고, 지시하고, 전문화하는 새로운 방법들을 가져올 것이라고 기대합니다.
- - 오늘은 이만 마무리해야 할 것 같습니다만, 아서에게 감사하다는 말씀을 드리고 싶습니다. 이것은 제가 기술 분야에서 일한 이래 **가장 흥미로운 기술 트렌드**입니다. 적어도 제가 기술 분야에서 일해온 시간 동안 경험했던 것 같습니다. 그리고 이 모든 것이 파리에서 이렇게 많이 일어나고 있다는 것이 놀랍습니다. 아시다시피, 저희는 제품 관점에서 매우 기대하고 있으며, 앞서 데모에서 보셨듯이 진행 중인 많은 것들이 있습니다. 당신이 하고 있는 일을 보는 것이 매우 흥미롭고, 이번 주 후반에 우리에게 줄 서프라이즈를 빨리 보고 싶습니다. 그래서 언제 인터넷을 확인하도록 달력에 표시해야 할까요? 그냥 궁금해서요. 정확한 날짜도 서프라이즈입니다. 좋습니다. 음, AI에게는 좋은 한 주이며 많은 좋은 놀라움이 있기를 바랍니다. 감사합니다, 존.
--
---
## 미스트랄 AI: 오픈 소스 AI가 인류를 위한 도구가 되는 방법
최근 스트라이프(Stripe) AI 데이 파리 행사에서 미스트랄 AI(Mistral AI)의 공동 창립자 아서 멘치(Arthur Mensch)와 스트라이프의 존 콜리슨(John Collison)이 진행한 대화는 인공지능 분야의 현재와 미래에 대한 흥미로운 통찰력을 제공했습니다. 멘치 씨는 딥마인드(DeepMind)에서 연구원(친칠라 페이퍼 공동 저자 중 한 명)으로 활동하다 미스트랄을 공동 설립하게 되었는데, 그는 이전에 학계에 몸담았다고 스트라이프 유튜브 채널에 업로드된 영상의 발췌문에서 언급되었습니다. 그는 미스트랄이라는 이름이 프랑스 바람의 이름에서 유래했으며, "이나(Ina)"라는 두 개의 베일이 있다고 설명했습니다(이 "이나"는 프랑스어로 "E"를 의미합니다).
### 미스트랄 AI의 핵심 차별점: 개방형 접근 방식
멘치 씨는 미스트랄의 가장 큰 차별점이 **기술에 대한 다른 접근 방식**이라고 강조했습니다. 그들은 GPT-4나 클로드(Claude) 2와 같은 대부분의 상업용 모델이 블랙박스 API 뒤에 숨겨진 독점 모델인 것과 달리, **모델의 가중치를 공개하고 개방형 모델 제품군을 구축하고자 합니다.** 이는 영상 속 대화의 발췌문에 명시되어 있습니다. 궁극적으로 그들은 **오픈 코어(open core) LLM 제공업체**가 되어 오픈 소스 모델 중 최고가 되는 것을 목표로 합니다. 물론 독점 모델 제품군과 호스팅 솔루션도 개발 중이지만, **핵심은 개방형 접근 방식**에 있습니다. 이는 현재 시장의 미국 거대 기업들(구글의 바드, 오픈AI 등)과 상당히 차별화되는 지점이며, 메타(Meta)가 라마(Llama) 2를 출시한 것은 미스트랄에게 **강력한 기회**로 여겨지고 있습니다. 모델에 접근할 수 있게 되면 커뮤니티가 이를 재훈련하고, 재사용하며, 더 나은 것을 만들 수 있다는 것이 멘치 씨의 생각입니다. 그는 커뮤니티에 주면서 커뮤니티로부터 얻을 수 있다고 믿으며, 미스트랄 역시 커뮤니티가 제어 가능성을 개선하고 특정 목적에 맞게 미세 조정할 수 있도록 모델을 출시할 예정이라고 밝혔습니다.
이러한 오픈 소스 모델에 대한 의지는 단순히 기술적인 선택을 넘어, **비용 효율성을 높이고 독점 기술의 장벽을 허무는 최선의 방법**이라는 믿음에 기반합니다. 브라우저, 운영 체제, 쿠버네티스(Kubernetes)와 같은 클라우드 오케스트레이션 도구의 역사에서 보듯이, 소프트웨어의 역사는 개방형으로 나아가는 경향을 보여주었습니다. 멘치 씨는 현재의 대형 독점 솔루션들이 생성 AI가 어떻게 작동하는지 세상에 보여주었지만, **다른 행위자들 간의 비용 분담과 커뮤니티로부터 얻을 수 있는 많은 이점 때문에 오픈 소스가 결국 승리할 것이라고 예상**했습니다.
이러한 접근 방식은 **더 나은 성능, 낮은 비용, 그리고 공급업체 종속성 감소**를 원하는 고객의 강력한 요구에도 부응합니다. 많은 기업이 아직 개념 증명(PoC) 단계에 있지만, 생성 AI 솔루션을 최종 사용자에게 배포할 때가 되면 비용 통제, 인프라 통제, 그리고 모델에 대한 훨씬 더 세밀한 제어가 필요하게 될 것이며, 이러한 시점에서 오픈 모델이 큰 가치를 제공할 것이라고 설명했습니다.
### AI 안전과 오픈 소스
멘치 씨는 **오픈 소스 모델을 커뮤니티에 제공하는 것이 AI 안전에 큰 이점**이 있다고 역설했습니다. 모델의 가중치에 접근할 수 있다면, **오용(예: 잘못된 정보 생산)을 막기 위한 중재 모델로 조정**할 수 있다는 것입니다. 그는 독점 API 뒤에서 모델을 심하게 검열하면 이러한 작업을 수행할 수 없다고 지적했습니다. 강력한 모델은 **나쁜 콘텐츠나 혐오스러운 콘텐츠를 처리하고 이해해야** 하며, 일단 이를 이해하면 최종 사용자 애플리케이션에서 차단하도록 제어할 수 있다고 설명했습니다. 즉, **모델의 작동 방식을 이해하고 정책이나 콘텐츠 목표를 인코딩할 수 있는 능력**이 가장 중요하며, 이것이 폐쇄적인 방식으로 이루어지는 것은 바람직하지 않다는 시각입니다. 안전의 핵심은 **제어 가능성**에 있으며, 애플리케이션을 만드는 다운스트림 사용자들은 모델을 제어할 수 있어야 하므로, 가중치에 접근하는 것이 훨씬 유리하다고 언급했습니다.
### 환각(Hallucination) 현상 해결 방안
스트라이프가 LLM을 많이 활용하고 있는 상황에서, 멘치 씨는 심각한 비즈니스 애플리케이션의 주요 걸림돌 중 하나인 환각 현상에 대한 질문을 받았습니다. 그는 이러한 환각을 줄이는 몇 가지 방법을 제시했습니다.
* **모델을 장시간 훈련:** 모델에 지식을 "주입"하는 것이 중요하며, 이는 미스트랄이 다른 모델 제공자들과 차별화되는 지점(주어진 모델 크기에 투입되는 훈련량)이라고 강조했습니다.
* **검색 증강(Retrieval Augmentation) 활용:** 지식을 얻어 모델의 프롬프트에 넣은 다음, 모델이 주어진 맥락을 따르도록 미세 조정하는 방식이 매우 효과적이라고 설명했습니다. 이 방식은 오픈 모델을 사용하면 훨씬 쉬워진다고 덧붙였습니다.
* **임베딩(Embedding) 모델의 중요성:** 환각 문제 해결을 위해서는 생성 모델뿐만 아니라 텍스트를 부동 소수점 표현으로 변환하는 임베딩 모델도 필요하며, 미스트랄은 이러한 모델도 곧 제공할 것이라고 밝혔습니다.
### 프랑스의 AI 르네상스
프랑스가 현재 AI 르네상스를 맞고 있다는 질문에 멘치 씨는 이는 **프랑스의 교육 시스템이 수학과 컴퓨터 과학을 매우 장려하는 결과**라고 답했습니다. 이 두 분야는 모델을 작동시키는 데 매우 중요한 역량이기 때문입니다. 그는 또한 프랑스 기술 생태계의 전반적인 르네상스와 연결되어 있으며, 프랑스에서 생성 AI 분야에서 많은 흥미로운 일들이 일어날 것이라고 기대했습니다.
이러한 생태계를 더욱 발전시키기 위해서는 **대담함**이 필요하다고 강조하며, 벤처 캐피탈(VC)들이 새로운 AI 회사에 투자할 기회가 많다고 보았습니다. 또한, **유럽에서 진행될 규제에 대한 통제**가 중요하며, 유럽이 역할을 하려면 미국과의 규제 차이가 너무 커서는 안 된다고 지적했습니다.
### 좋은 AI 규제와 나쁜 AI 규제
멘치 씨는 AI 규제에 대한 명확한 의견을 제시했습니다.
* **좋은 규제:** **모델이 잘 문서화되고 감사 가능해야 하며, 가중치에 제한 없이 접근할 수 있어야 한다**는 것입니다. 문서화는 사용자 기반에 비례하여 이루어져야 한다고 생각합니다. (예: 내부용 모델은 덜, 대중에게 공개되는 모델은 더 많이).
* **나쁜 규제:** 특정 벤치마크에서 **일정 성능 이상이거나 특정 컴퓨팅 양을 초과하면 과도하게 규제해야 한다는 식의 "하드 스레숄드(hard threshold)" 기반 규칙**입니다. 그는 이러한 수치 기반의 "프론티어 모델(Frontier Model)" 규제 방식은 기술의 성장을 제대로 지원하지 못한다고 보았습니다.
### 인공 일반 지능(AGI)에 대한 관점
멘치 씨는 **인공 일반 지능(AGI)은 "잘 정의되지 않은 목표"**라고 말하며, 의미론적 함정에 빠지고 싶지 않다고 밝혔습니다. 미스트랄의 진정한 목표는 **기업의 사용 사례에 맞춰 조정될 수 있는 모델을 만들어 모든 사람의 삶을 더 쉽게 만드는 것**입니다. 그는 모델이 너무 지능적이 되어 폭주할 것이라는 **실존적 위험을 믿지 않으며**, 심지어 최고의 모델조차 여전히 엄청난 한계를 가지고 있고, 이러한 한계는 미스트랄과 같은 회사가 수행해야 할 연구를 필요로 한다고 강조했습니다. 그는 생성 AI를 인간을 "초인간적"으로 만드는 도구로 생각해야 하며, 독립적인 활동을 하는 "터미네이터"가 될 수는 없다고 단호하게 말했습니다.
### 미스트랄 AI의 목표와 현재 진행 상황
멘치 씨는 미스트랄이 **4년 이내에 최고의 기술을 보유하는 것을 목표**로 하고 있으며, **내년 2분기까지 최고의 오픈 소스 모델을 출시**하겠다는 목표를 **아주 잘 달성하고 있다**고 말했습니다. 그들은 현재 성능 대 비용 곡선에서 작은 모델부터 시작하여 더 큰 모델도 훈련하고 있다고 밝혔습니다. 작은 모델은 맥북 프로에서도 잘 실행될 수 있을 정도로 저렴한 추론 비용을 목표로 하며, 이는 **온디바이스(on-device) 사용**으로 이어질 수 있다고 언급했습니다. 매우 큰 개인 정보 보호 문제가 있는 경우, 완전히 온디바이스로 실행되는 것이 좋으며, 모델을 몇십억 개의 매개변수보다 작게 만들 수 있다면 온디바이스에 배포할 수 있고, 이러한 일이 예상보다 빨리 일어날 것이라고 덧붙였습니다. 모델 압축 속도가 예상보다 빠르기 때문입니다.
멘치 씨는 현재 AI 시장이 매우 개방적인 공간이며, 지식 발견, 마케팅, 고객 지원과 같은 기본적인 사용 사례는 잘 이해하고 있지만, **연구 개발 부서를 지원하는 것과 같은 어려운 사용 사례는 여전히 매우 개방적**이라고 설명했습니다. 미래에 모든 것을 할 수 있는 하나의 거대한 모델이 나올지, 아니면 틈새시장으로 분화될지는 알 수 없지만, 어떤 경우든 미스트랄은 시장의 매우 큰 부분에서 **매우 뛰어난 모델을 만들 것**이라고 밝혔습니다.
### 회사 설립 이후 놀랐던 점
멘치 씨는 회사 설립 이후 두 가지에 놀랐다고 말했습니다. 첫째는 **직원들의 속도**입니다. 첫 훈련에서 목표했던 모델 크기에 비해 채팅 성능이 매우 좋았던 것이 즐거운 놀라움이었다고 언급했습니다. 둘째는 **AI 분야의 전반적인 속도**입니다. 매일 새로운 일들이 일어나며, 구축 중인 것에 집중하는 것이 도전 과제라고 덧붙였습니다.
### AI 엔지니어를 꿈꾸는 사람들을 위한 조언
AI 분야에 진입하려는 소프트웨어 엔지니어들에게 멘치 씨는 **기초부터 시작하라**고 조언했습니다. 현재 AI는 딥러닝을 기반으로 하므로, 무슨 일이 일어나고 있는지 이해하려면 **딥러닝을 먼저 공부해야 한다**고 말했습니다. **자신만의 작은 모델을 훈련해 보고** 기술이 어떻게 만들어지고 어떤 한계가 있는지 이해하는 것이 중요하며, 단순히 "프롬프트 엔지니어링" 모드로 들어가기 전에 이러한 기본을 다져야 한다고 강조했습니다.
모델을 더 잘 만들 수 있는 직관(멘치 씨는 이를 "모델 셰프"의 직관에 비유했습니다)을 개발하는 방법으로는 **시간과 컴퓨팅 자원**이 필요하다고 설명했습니다. **좋은 AI 엔지니어의 가장 큰 가치는 무엇이 작동하고 작동하지 않는지, 어떻게 개선하고 반복할지, 훈련 설정을 어떻게 변경해야 할지에 대한 이러한 직관**이라고 보았습니다. 그는 많은 컴퓨팅 자원에 접근하여 직관을 구축한 경험이 있는 팀원들을 고용했으며, **빠르게 반복하고 모델이 실제로 어떻게 작동하는지, 그리고 어떻게 개선할 수 있는지 이해하려면 컴퓨팅 자원을 손에 넣는 것이 중요**하다고 말했습니다. 즉, 작은 모델을 만드는 것부터 시작하되, **성능을 개선해야 하는 실제 프로덕션 환경에서 무언가를 실행하는 것**에 비할 바 없이 중요한 경험을 얻을 수 있다고 설명했습니다. 하드웨어가 어떻게 작동하는지(GPU 연결 방식, 메모리 사용 방식)를 이해하는 것 또한 추론 속도를 높이는 데 도움이 되는 직관을 기르는 데 필수적이라고 덧붙였습니다.
### 멀티모달 모델에 대한 계획
오픈AI가 이미지와 음성을 입력 및 출력으로 받는 ChatGPT를 발표한 후, 미스트랄의 멀티모달 모델 계획에 대한 질문이 나왔습니다. 멘치 씨는 현재 **텍스트에 집중하고 있다**고 밝혔습니다. 그는 딥마인드에서 개인적으로 멀티모달 분야에서 많이 작업했으며(GPT-4 비전 아키텍처 개발), 언젠가는 이 분야로 나아갈 것이라고 말했습니다. 현재 미스트랄 팀은 매우 소규모이므로 텍스트에 우선 집중하고 있는데, 텍스트가 실제로 가장 어렵고 컴퓨팅 집약적인 부분이라고 설명했습니다. (비전 모델 훈련은 텍스트보다 비용이 저렴하다고 덧붙였습니다.) 그는 **오픈 소스 세계에서 멀티모달 모델에 대한 큰 격차가 있다는 것을 인지하고 있으며, 언젠가 그 격차를 채우고 싶다**고 밝혔습니다.
멘치 씨는 텍스트가 많은 다른 인지 활동의 인코딩 레이어 역할을 한다고 설명했습니다. 예를 들어, AI 모델과 텍스트로 체스를 둘 수 있는 것처럼 말입니다. 그는 오픈 가중치 모델을 일종의 "디코더"로 보는데, 가중치에 접근할 수 있는 한, 디코더를 **어떤 종류의 데이터 작업(이미지, 체스 등)과도 연결할 수 있는 게이트웨이**로 볼 수 있다고 설명했습니다. 모든 것을 텍스트 병목 현상을 통해 하나의 디코더에 넣는 것은 최적이 아닐 가능성이 높다고 덧붙였습니다.
### 데이터 프라이버시 (GDPR 등)
광범위한 인터넷 데이터로 훈련된 대규모 언어 모델과 GDPR의 '잊힐 권리' 사이의 충돌에 대해 질문을 받자, 멘치 씨는 **GDPR이 언어 모델을 염두에 두고 설계된 것이 아니기에 어려운 문제**라고 인정했습니다. 미스트랄은 사용자 데이터를 제거하기 위해 최선을 다하고 있지만, 통계적인 특성상 어려운 점이 많다고 말했습니다. 한 가지 해결책은 모델이 사용자 관련 데이터를 출력하지 않는지 확인하는 **필터링 스택**을 구축하는 것이라고 제시했습니다. 또한, 특히 **프로덕션 단계에서 통제 없이 제3자에게 데이터를 전송하는 것에 대한 우려**가 있다고 밝혔습니다.
### 모델 훈련 및 아키텍처
미스트랄은 모델을 **처음부터 훈련**하며, GPT와 같은 **디코더 아키텍처는 훈련 방법을 안다면 매우 강력하고 이기기 어렵다**고 생각합니다. 인터넷에서 수집한 데이터 세트 구축은 미스트랄의 독점적인 강점 중 하나이며, "쓰레기" 같은 인터넷 데이터에서 모델에 실제로 흥미로운 것을 정제하는 것이 매우 중요하다고 강조했습니다. 그는 또한 **신경-심볼 접근 방식이나 지식 그래프와 같은 "이국적인 접근 방식"에는 회의적**이며, **딥러닝에 모든 것을 걸고 있다**고 단호히 밝혔습니다.
### 곧 출시될 모델에 대한 기대
멘치 씨는 **며칠 안에 "아주 작은 모델이지만 아주 좋은 작은 모델"을 출시할 예정**이며, 이는 흥미로운 놀라움이 될 것이라고 암시했습니다. 구체적인 출시 방식(예: 허깅 페이스(Hugging Face)에 업로드할지, 인터페이스를 제공할지)에 대해서는 "놀라움으로 남겨두겠다"고 말했습니다.
### 인간 의식과 튜링 테스트
아서 멘치 씨는 인간 의식을 정의할 수 없다고 솔직히 말했습니다. 그는 **대규모 언어 모델이 의식이 없다고 생각**하며, 지식을 저장하고 검색하는 "소프트 키-값 네트워크"와 같다고 보았습니다. 모델 내부에 어떤 "내면 세계 표현"이 있는지는 불확실하지만, 가능성은 낮다고 보았습니다. 그는 최근 연구에서 대규모 언어 모델이 아무것도 이해하지 못하고 문장을 보간하는 것에 불과하다는 점이 드러났으며, 이는 훈련 방식에 비추어 볼 때 놀랄 일이 아니라고 말했습니다. 그는 **인공 의식과는 아직 거리가 멀다**고 생각합니다.
멘치 씨는 과거의 튜링 테스트는 더 이상 적합하지 않다고 지적했습니다. 기술이 발전함에 따라 벤치마크의 난이도도 높여야 한다고 설명했습니다. 지식 차단(knowledge cut-off) 문제는 튜링 테스트의 힌트가 될 수 있지만, 모델에 인터넷을 연결하여 검색 증강을 적용하면 극복할 수 있다고 말했습니다. 하지만 이 경우 잠재적으로 지연 시간이나 네트워크 트래픽 차이를 통해 AI임을 알아챌 수 있을 것이라고 언급했습니다. 궁극적으로 그는 **모델과 솔루션을 비교할 더 나은 벤치마크가 필요하다**고 강조했습니다.
### LLM과 특화된 모델
멘치 씨는 **LLM 자체가 사용 사례에 맞게 특화되도록 만들어졌다**고 보았습니다. LLM은 가중치를 변경하지 않고도 기본적인 사용 사례를 해결할 수 있지만, 특정 목적이 있다면 **데이터를 모델에 주입하여 더 좋거나 동일한 성능으로 더 작은 모델을 만드는 것이 항상 낫다**고 설명했습니다. 특히 많은 기업이 훈련 데이터 세트 밖에 있는 매우 구체적인 작업을 수행해야 하므로, 프로덕션 단계로 나아갈수록 특화가 필요하다고 강조했습니다.
### 학계에서 산업계로의 전환과 협력
멘치 씨는 개인적으로 코로나19 기간 동안 혼자 있지 않고 팀과 함께 일하고 싶어서 학계에서 산업계로 전환했다고 밝혔습니다. 그는 **학계와 산업계 간의 매우 좋은 협력 방식**이 많다고 보았습니다. 특히 **추론(inference) 부분**에서는 스탠포드(Stanford)에서 나오는 매우 효율적인 소프트웨어와 같이 흥미로운 것들이 많으며, 미스트랄은 이러한 솔루션을 자체적으로 통합하기 위해 협력하고 있다고 언급했습니다. 그는 컴퓨팅 집약적이지 않은 스택의 많은 부분에서 학계로부터 흥미로운 아이디어들이 나오고 있으며, 미스트랄은 이를 장려하고 싶다고 말했습니다. 미스트랄이 관대한 라이선스로 모델을 공개할 때, 학계가 이를 활용하여 모델을 정렬하고, 지시하고, 특화하는 새로운 방법을 제시할 것으로 기대한다고 덧붙였습니다.
이러한 대화는 미스트랄 AI가 기술 발전에 대한 개방적이고 협력적인 접근 방식을 통해 AI 산업의 미래를 어떻게 형성하고 있는지 명확하게 보여주었습니다. 특히 유럽의 맥락에서 오픈 소스 모델의 중요성과 AI 안전, 실용적인 적용 가능성에 대한 그들의 시각은 AI 분야에 대한 깊은 이해와 비전을 드러냈습니다.
주어진 자료에 따르면, 다음과 같은 대화 및 가벼운 언급들이 포함되어 있습니다.
* **환영 및 소개**: 발표자는 아서 멘쉬(Arthur Mensch)를 "학계에서 구출되어" 일하는 사회의 일원이 되었으며, 과거 딥마인드 연구원으로서 칭칠라(Chinchilla) 논문을 이끌었다고 소개하며 환영합니다 [1]. 그는 미스트랄(Mistral)이 무엇인지 아는 사람이 있는지 청중에게 물었고, 대부분이 알고 있다고 답하자 "나머지 사람들은 AI 데이에 실수로 길을 잃고 헤매다가 들어온 것"이라며 가볍게 농담을 던졌습니다 [1].
* **회사 이름 유래**: 미스트랄이라는 이름에 대해, 이는 **프랑스어 바람을 의미**하며, 프랑스어로 '그리고(and)'를 뜻하는 'et'와 관련된 두 모음(voils)이 있다고 설명했습니다 [2].
* **진행 관련 언급**: 아서 멘쉬는 오픈 소스 진전을 보는 것이 **매우 흥미롭다**고 언급했으며, 질의응답 시간을 가질 것이라고 안내했습니다 [3]. 또한, 청중에게 질문이 있으면 잠시 후에 다룰 것이라고 덧붙였습니다 [4].
* **제품 출시에 대한 티징**: 발표자가 아서 멘쉬에게 "언제 미스트랄 제품을 사용할 수 있냐"고 묻자, 아서 멘쉬는 **며칠만 더 기다리면 된다**고 답하며 "뭔가 준비 중"이라고 말했습니다 [4]. 그는 **아주 작은 모델이지만 매우 훌륭한 작은 모델**이라고 덧붙였고, "더 이상 말하지 않겠다"며 기대감을 높였습니다 [4]. 발표자는 이에 대해 "여기서 처음 들은 소식"이라고 반응했습니다 [5].
* **전략 문서 유출에 대한 농담**: 발표자가 아서 멘쉬의 "전략 문서"에 대해 언급하자, 아서 멘쉬는 그것이 **원래 유출된(leaked) 기밀 전략 메모**였다고 정정했습니다 [6]. 이에 발표자는 "마치 당신의 속옷 서랍을 뒤지는 것 같아 죄송하다"며 재치 있게 사과했고, 아서 멘쉬는 웃으며 "전략을 정의하는 더 많은 자료가 나올 것"이라고 답했습니다 [6]. 발표자는 "그것도 기대된다"고 응답했습니다 [7].
* **놀라웠던 점**: 회사를 설립한 이후 놀랐던 점에 대해 아서 멘쉬는 **직원들의 속도**에 놀랐으며, 첫 훈련 목표 모델 크기에 비해 **채팅 성능이 꽤 좋아서 기뻤다**고 밝혔습니다 [8]. 또한, **AI 분야의 전반적인 속도**에도 계속 놀라고 있으며, 초점을 유지하는 것이 도전이라고 언급했습니다 [8].
* **질의응답 시작**: 발표자는 청중 질문을 받을 시간이라며, 질문이 있는지 확인하고 바로 질문을 받겠다고 알렸습니다 [8]. 첫 질문이 잘 들리지 않았을 경우를 대비해, 발표자는 질문의 내용을 다시 한번 명확히 전달하기도 했습니다 [9].
* **요리 비유를 통한 직관 설명**: 발표자는 AI 엔지니어가 모델을 잘 다루는 직관을 어떻게 개발하는지 설명하기 위해, **자신이 레시피를 철저히 따르는 요리 스타일과 달리 여자친구는 직관으로 요리한다**는 비유를 들었습니다 [10, 11]. 그는 "AI도 마찬가지로, 작은 모델을 직접 만들어보는 것이 유용하지만, 좋은 AI 엔지니어들은 하이퍼파라미터를 조정하는 법이나 어떤 접근 방식이 통하지 않을지 직관적으로 안다"고 설명했습니다 [11].
* **직관 개발의 중요성**: 아서 멘쉬는 **훌륭한 AI 엔지니어들의 가장 큰 가치는 바로 이러한 직관**이라고 강조했습니다 [12]. 그는 "직관을 쌓으려면 컴퓨팅 자원이 필요하며, 빨리 반복하고 모델이 어떻게 작동하는지 이해하는 것이 중요하다"고 덧붙였습니다 [13]. 그는 AI가 마법처럼 보이지만, **견고한 것을 만들고 실제 프로덕션에 적용하려면 약간의 인내심이 필요하다**고 조언했습니다 [14].
* **데이터 스크래핑 관련 농담**: 데이터셋 구축 방식에 대한 질문에 아서 멘쉬는 그것이 "회사 고유의 매우 강력한 자산"이라며 자세한 설명은 어렵다고 답했습니다 [15]. 이에 발표자가 "많은 흥미로운 내용이 있지만 우리에게 말해줄 수 없다는 거냐"고 묻자, 아서 멘쉬는 인터넷에는 대부분 "쓰레기(garbage)"가 많기 때문에 모델에 유용한 것들을 걸러내는 것이 중요하다고 말했습니다 [15].
* **출시 형태에 대한 '서프라이즈'**: 다가오는 미스트랄의 첫 출시가 허깅페이스(Hugging Face)에 업로드되는 방식인지, 인터페이스를 제공하는 방식인지 묻는 질문에 아서 멘쉬는 **"서프라이즈가 될 것"**이라고 답했습니다 [16].
* **의식(Consciousness)에 대한 질문**: 한 청중이 "인간 의식을 어떻게 정의하느냐" "인간이 인공 의식을 만들 수 있느냐"는 철학적인 질문을 하자, 아서 멘쉬는 **"잘못된 사람에게 질문했다"**며 자신은 그 질문에 대해 흥미로운 통찰력을 제공할 수 없을 것 같다고 솔직하게 말했습니다 [17]. 그는 "대규모 언어 모델이 의식을 가지고 있느냐는 질문이라면, 그렇지 않다고 생각한다"고 개인적인 의견을 밝혔습니다 [17].
* **튜링 테스트에 대한 논의**: 발표자는 "튜링 테스트"에 대해 언급하며, "우리는 이미 일반적인 튜링 테스트의 정의를 넘어섰다"고 말했습니다 [18]. 이에 아서 멘쉬는 기술이 발전함에 따라 **벤치마크의 난이도도 높여야 한다**고 동의했습니다 [18]. 발표자는 "AI가 지식 마감일(knowledge cut-off) 이후에 일어난 일을 물어보면 AI가 스스로를 드러낼 것"이라는 유머러스한 튜링 테스트 방법을 제시했고 [19], 아서 멘쉬는 검색 증강(retrieval augmentation)을 통해 이를 극복할 수 있다고 답했습니다 [19].
* **학계에서 산업으로의 전환**: 아서 멘쉬는 자신이 학계에서 산업으로 전환한 계기에 대해, **코로나19 기간 동안 혼자 있지 않고 팀과 함께 일하고 싶었기 때문**이라고 개인적인 이야기를 전했습니다 [20].
* **행사 마무리**: 발표자는 아서 멘쉬에게 감사를 표하며, AI를 "적어도 내가 기술 분야에서 일해 온 동안 가장 흥미로운 기술 트렌드"라고 칭찬했습니다 [21]. 그는 파리에서 많은 일이 일어나고 있는 것에 대한 흥분을 표현하며, 미스트랄의 놀라운 발표를 기대한다고 말했습니다 [21]. 다시 출시 일정을 묻자, 아서 멘쉬는 **정확한 날짜도 "서프라이즈"**라고 답하며 웃음을 자아냈습니다 [21]. 발표자는 "AI에게 좋은 한 주이고, 좋은 서프라이즈가 많다"고 말하며 행사를 마무리했습니다 [22].