Lors d'un événement de haut niveau sur l'IA à Londres, les dirigeants de Meta ont fourni mardi la première confirmation officielle et des détails sur la sortie imminente de Llama 3, la prochaine itération très attendue du modèle de grand langage open-source de l'entreprise.
"D'ici un mois, voire moins, nous espérons commencer à déployer notre nouvelle suite de modèles de fondation de nouvelle génération, Llama 3", a annoncé Nick Clegg, président des affaires internationales de Meta, lors du Meta AI Day à Londres, rapporte TechCrunch.
Clegg a déclaré que Llama 3 se compose de «plusieurs modèles différents avec différentes capacités, différentes polyvalences» qui commenceront à être déployés au cours de cette année.
Une fois lancé, Llama 3 est attendu pour être le modèle open-source le plus avancé disponible, Meta investissant massivement dans son développement. Le modèle a été entraîné avec 140 milliards de paramètres, selon Meta, soit le double de la capacité de Llama 2. Le PDG de Meta, Mark Zuckerberg, avait taquiné certains détails techniques en janvier.
«Nous construisons une infrastructure de calcul massive pour soutenir notre feuille de route future, y compris 350 000 H100 d'ici la fin de cette année - et au total presque 600 000 équivalents de H100 si vous incluez d'autres GPU», a déclaré Zuckerberg à l'époque. Cette quantité de puissance de calcul est significativement supérieure à celle utilisée par OpenAI pour entraîner GPT-4, qui était estimé nécessiter environ 25 000 GPU en 90 à 100 jours.
Zuckerberg a également révélé que Meta AI, son assistant AI, sera alimenté par Llama 3.
Chris Cox, directeur des produits, a déclaré que Llama 3 sera intégré à travers Meta.
«Notre plan sera d'avoir Llama 3 alimentant plusieurs produits et expériences différents à travers notre famille d'applications», a-t-il déclaré.
La stratégie open source
L'impact de la sortie de Llama 3 va bien au-delà de Meta, étant donné l'engagement philosophique de l'entreprise à le développer selon un modèle open source, en contraste clair avec l'approche fermée et propriétaire adoptée par des concurrents comme OpenAI avec ChatGPT.
En rendant leurs modèles de langage open source, Meta vise à favoriser un écosystème de développement d'IA ouvert et à positionner la famille Llama comme la base pour une gamme diversifiée d'outils et d'applications créés par des développeurs et des chercheurs tiers.
«Il est très important de réaliser que les innovations reposent toujours sur des contributions antérieures d'autres personnes, parfois très similaires», a tweeté Yann LeCun, responsable de la recherche en IA chez Meta, le mois dernier. «C'est pourquoi la recherche ouverte est si importante : elle fait avancer le domaine plus rapidement pour tout le monde.»
From a distance, it looks like innovations spontaneously appear out of the vacuum.
But it's very important to realize that innovations always build on prior contributions from others, sometimes very similar ones.
This is why open research is so important: it makes the field… https://t.co/JMvQD2h5OZ— Yann LeCun (@ylecun) March 20, 2024
Ce éthique ouverte a déjà engendré une communauté dynamique qui se rallie autour de Llama. Certains des modèles de langage open source les plus avancés aujourd'hui, tels que Mistral, Faucon et Beluga, sont construits en affinant le modèle de base Llama 2 précédent. Plusieurs de ces modèles communautaires ont égalé ou surpassé GPT-3.5 sur certains benchmarks.
La sortie de Llama-3 en tant qu'autre modèle de base open source ouvre probablement la voie à une nouvelle génération de LLM qui élèveront encore plus la barre en termes de qualité et d'efficacité en IA.
Eh, I think open source will match or beat this year. pic.twitter.com/y99qKJ2iKF
— Ryan Casey (@ryansweb) January 1, 2024
Défier la domination d'OpenAI
La prémisse open source de Llama 3 pose un défi redoutable et multi-couches à la domination actuelle du marché d'OpenAI et, par extension, à d'autres modèles propriétaires comme Claude et Gemini.
La communauté open-source pourra bientôt construire sur Llama 3 et itérer rapidement leurs variations pour potentiellement égaler ou dépasser les capacités de GPT-4—tout comme ils l'ont fait contre GPT-3.5. Avec des coûts de formation plus bas partagés entre les contributeurs, l'écosystème ouvert pourrait surpasser le développement de modèles propriétaires d'OpenAI, qui nécessite d'énormes ressources de calcul et des coûts.
Si les offres open-source atteignent régulièrement la parité avec les offres commerciales, les entreprises pourraient se tourner vers des écosystèmes plus accessibles et rentables comme Llama plutôt que de compter sur et de payer pour OpenAI. Actuellement, GPT-4 est le modèle le plus cher sur le marché en termes de coût par jeton.
En outre, la communauté des logiciels libres se renforce au fur et à mesure que de nouvelles personnes s'y impliquent. Meta bénéficie de la présence d'une vaste communauté qui s'appuie sur le modèle, le peaufine, développe de nouvelles technologies et l'améliore gratuitement. Il est ainsi plus facile pour Meta de développer de meilleures versions de son modèle tout en le monétisant grâce à des systèmes alternatifs tels que l'octroi de licences pour une utilisation commerciale par de grandes industries.
En d'autres termes, l'inertie persistante et les effets de réseau pourraient faire en sorte qu'il soit plus difficile pour les modèles propriétaires de l'OpenAI d'attirer des utilisateurs et des clients à l'avenir.
Certes, OpenAI détient actuellement une forte avance en termes de rentabilité. Anthropic peut se targuer d'avoir le LLM le plus performant dans le domaine de l'IA. Mais Llama 3 représentera une nouvelle attaque stratégique de Meta pour bouleverser le paysage de l'IA générative.
Bien entendu, tout dépendra des performances réelles de Llama 3 et de son adoption au cours de l'année à venir. Mais la communauté de l'IA open-source est très active et adore déjà Llama-2. Les choses vont devenir très intéressantes au cours des prochains mois, en particulier avec le GPT-5 de l'OpenAI qui se profile à l'horizon.
Edited by Ryan Ozawa.