L'essor des acteurs dans le domaine de l'IA, la bataille des modèles fait rage

Le mois dernier, une "guerre des animaux" a éclaté dans le monde de l'IA.

Le Llama lancé par Meta est très apprécié des développeurs grâce à sa nature open source. Après avoir étudié le papier et le code de Llama, la société japonaise NEC a rapidement développé une version japonaise de ChatGPT, résolvant ainsi le goulot d'étranglement du développement de l'IA au Japon.

L'autre partie est un modèle de grande taille nommé Falcon. Lancé en mai, le Falcon-40B a surpassé Llama et a pris la première place du classement des LLM open source. Ce classement est élaboré par la communauté des modèles open source, fournissant des normes d'évaluation des capacités des LLM et un classement. Le classement est essentiellement dominé tour à tour par Llama et Falcon.

Après le lancement de Llama 2, la famille des lamas a repris le dessus, mais début septembre, le lancement de la version 180B de Falcon a de nouveau pris la tête.

Il est intéressant de noter que les développeurs de Falcon proviennent de l'Institut de recherche en innovation technologique d'Abou Dhabi, la capitale des Émirats arabes unis. Des responsables gouvernementaux ont déclaré qu'ils s'impliquent dans ce domaine pour bouleverser les acteurs principaux.

Le lendemain de la publication de la version 180B, le ministre des Technologies de l'Information des Émirats Arabes Unis a été sélectionné dans le classement du magazine "TIME" des "100 personnes les plus influentes dans le domaine de l'IA", aux côtés de "Pape de l'IA" Geoffrey Hinton, et d'Altman d'OpenAI.

Aujourd'hui, le domaine de l'IA est entré dans une phase de floraison. Des pays et entreprises puissants s'efforcent de créer leurs propres grands modèles. Dans le seul cercle des pays du Golfe, il n'y a pas qu'un seul acteur, en août, l'Arabie Saoudite a acheté plus de 3000 H100 pour former des LLM dans les universités nationales.

Un investisseur a déjà exprimé son mécontentement : "À l'époque, je méprisais l'innovation des modèles commerciaux d'Internet, pensant qu'il n'y avait pas de barrières ; je ne pensais pas que l'entrepreneuriat en hard tech avec des grands modèles serait toujours une bataille entre centaines de modèles..."

Comment la technologie matérielle, autrefois considérée comme difficile, est-elle devenue quelque chose que tout le monde peut maîtriser ?

Transformer mène la révolution de l'IA

Les startups américaines, les géants technologiques chinois et les magnats du pétrole du Moyen-Orient peuvent entrer dans le domaine des grands modèles grâce à ce célèbre article intitulé "Attention Is All You Need".

En 2017, huit scientifiques en informatique de Google ont publié l'algorithme Transformer dans cet article. Cet article est le troisième le plus cité dans l'histoire de l'IA, et l'apparition de Transformer a déclenché cette vague actuelle d'engouement pour l'IA.

Actuellement, tous les grands modèles, y compris la série GPT qui a fait sensation dans le monde, sont basés sur la technologie Transformer.

Avant cela, "apprendre aux machines à lire" était reconnu comme un problème académique difficile. Contrairement à la reconnaissance d'images, lors de la lecture humaine, on ne se concentre pas seulement sur les mots et les phrases actuels, mais on comprend également en tenant compte du contexte.

Les premiers réseaux de neurones avaient des entrées indépendantes les unes des autres, incapables de comprendre de longs textes voire des articles entiers, ce qui a conduit à des problèmes tels que la traduction de "开水间" par "open water room".

En 2014, après avoir travaillé chez Google, le scientifique en informatique Ilia a quitté son poste pour OpenAI et a réalisé une percée. Il a utilisé des réseaux de neurones récurrents (RNN) pour traiter le langage naturel, permettant à Google Traduction de surpasser largement ses concurrents.

Le RNN propose un "design cyclique", permettant à chaque neurone de recevoir simultanément les informations d'entrée du moment présent et du moment précédent, conférant au réseau de neurones la capacité de "combiner le contexte".

Les RNN ont suscité un grand intérêt dans la recherche académique, et l'auteur de l'article sur les Transformers, Ashish Vaswani, a également mené des recherches approfondies. Cependant, les développeurs ont rapidement découvert que les RNN présentaient de graves défauts :

L'algorithme utilise un calcul séquentiel, bien qu'il résolve le problème de contexte, son efficacité d'exécution est faible et il est difficile de traiter un grand nombre de paramètres.

La conception complexe des RNN a rapidement agacé Chazelle. Ainsi, à partir de 2015, Chazelle et sept autres passionnés ont commencé à développer un substitut aux RNN, dont le résultat final est le Transformer.

Par rapport aux RNN, le Transformer a deux grandes révolutions :

Premièrement, remplacer le design en boucle par un codage de position pour réaliser un calcul parallèle, ce qui améliore considérablement l'efficacité de l'entraînement, permettant à l'IA de traiter de grandes quantités de données et d'entrer dans l'ère des grands modèles ; deuxièmement, renforcer davantage la capacité de contexte.

Transformer résout d'un coup de nombreux défauts et devient progressivement le choix incontournable pour le NLP, donnant l'impression que "sans Transformer, le NLP serait dans une nuit éternelle". Même Ilia a abandonné son RNN vénéré pour se tourner vers le Transformer.

On peut dire que le Transformer est le grand ancêtre de tous les grands modèles d'aujourd'hui, il a transformé les grands modèles d'une recherche théorique en un problème purement d'ingénierie.

En 2019, OpenAI a développé GPT-2 basé sur le Transformer, choquant le monde académique. Google a rapidement répondu en lançant une IA plus performante : Meena.

Meena n'apporte aucune innovation algorithmique par rapport à GPT-2, elle a simplement 8,5 fois plus de paramètres et 14 fois plus de puissance de calcul. L'auteur du Transformer, Ashish Vaswani, a été très choqué par cette "accumulation brutale" et a écrit un mémorandum intitulé "Meena dévore le monde".

Après l'avènement des Transformers, la vitesse d'innovation des algorithmes de base dans le milieu académique a considérablement ralenti. Les éléments d'ingénierie tels que l'ingénierie des données, l'échelle de calcul et l'architecture des modèles sont devenus des clés de la compétition en IA, et toute entreprise technologique ayant une certaine capacité technique peut développer de grands modèles.

Ainsi, le scientifique en informatique Andrew Ng a déclaré lors d'une conférence à l'Université de Stanford : "L'IA est un ensemble d'outils, y compris l'apprentissage supervisé, l'apprentissage non supervisé, l'apprentissage par renforcement et maintenant l'intelligence artificielle générative. Ce sont toutes des technologies générales, similaires à d'autres technologies générales comme l'électricité et Internet."

Bien qu'OpenAI reste le leader des LLM, les analystes en semi-conducteurs estiment que la compétitivité de GPT-4 provient de solutions d'ingénierie - si cela devient open source, n'importe quel concurrent pourrait rapidement copier.

Cet analyste s'attend à ce que d'autres grandes entreprises technologiques soient en mesure de créer rapidement de grands modèles ayant des performances comparables à celles de GPT-4.

Une muraille fragile

Aujourd'hui, la "bataille des cent modèles" est devenue une réalité objective.

Des rapports pertinents montrent qu'à la fin du mois de juillet de cette année, le nombre de grands modèles domestiques a atteint 130, dépassant les 114 des États-Unis, réussissant ainsi à prendre de l'avance. Les diverses légendes et mythes ne suffisent plus aux entreprises technologiques nationales pour nommer leurs produits.

En dehors de la Chine et des États-Unis, de nombreux pays plus riches ont également réalisé des "un pays, un modèle" : en plus du Japon et des Émirats Arabes Unis, il y a aussi Bhashini dirigé par le gouvernement indien, et HyperClova X développé par la société sud-coréenne Naver.

Cette situation semble nous ramener à l'époque pionnière d'Internet, où tout est une lutte entre les bulles et la "capacité monétaire".

Comme mentionné précédemment, le Transformer transforme les grands modèles en un problème d'ingénierie pur. Tant que quelqu'un a de l'argent et des cartes graphiques, le reste est entre les mains des paramètres. Mais il est facile d'entrer sur le marché, cela ne signifie pas que tout le monde peut devenir un géant de l'ère de l'IA.

Le "conflit animalier" mentionné au début est un exemple typique : bien que le Falcon ait dépassé le lama en classement, il est difficile de dire qu'il a eu un grand impact sur Meta.

Il est bien connu que les entreprises ouvrent leurs résultats de recherche au public, tant pour partager les bienfaits de la technologie avec la société que pour mobiliser l'intelligence collective. À mesure que des professeurs d'universités, des instituts de recherche et des PME utilisent et améliorent continuellement Llama, Meta peut appliquer ces résultats à ses propres produits.

Pour les grands modèles open source, une communauté de développeurs active est la véritable force concurrentielle.

Meta a établi une voie open source dès la création de son laboratoire d'IA en 2015 ; Zuckerberg, quant à lui, a commencé avec les médias sociaux et est plus doué pour "entretenir de bonnes relations avec le public".

Par exemple, en octobre, Meta a organisé un événement spécial intitulé "Incitation des créateurs en version IA" : les développeurs utilisant Llama 2 pour résoudre des problèmes sociaux tels que l'éducation et l'environnement ont la possibilité de recevoir un financement de 500 000 dollars.

Aujourd'hui, la série Llama de Meta est devenue un indicateur de référence pour les LLM open source.

À début octobre, parmi les 10 premiers du classement des LLM open source, 8 sont basés sur Llama 2 et utilisent son protocole open source. Rien que sur une certaine plateforme, plus de 1500 LLM utilisant le protocole open source de Llama 2 ont été créés.

Bien sûr, améliorer les performances comme Falcon n'est pas une mauvaise idée, mais la plupart des LLM ont encore un écart évident avec GPT-4.

Par exemple, il y a peu de temps, GPT-4 a obtenu la première place au classement AgentBench avec un score de 4,41. AgentBench a été co-lancé par l'Université Tsinghua, l'Université d'État de l'Ohio et l'Université de Californie à Berkeley, afin d'évaluer les capacités de raisonnement et de décision des LLM dans des environnements de génération ouverts multidimensionnels. Les tests comprennent des tâches dans huit environnements différents tels que les systèmes d'exploitation, les bases de données, les graphes de connaissances et les combats de cartes.

Les résultats des tests montrent que le deuxième, Claude, n'a obtenu que 2,77 points, avec une différence évidente. Quant à ces LLM open source très médiatisés, leurs résultats aux tests tournent souvent autour de 1 point, ce qui est moins d'un quart de GPT-4.

Il faut savoir que GPT-4 a été publié en mars de cette année, et cela représente encore le résultat d'un retard de plus de six mois par rapport aux concurrents mondiaux. Cette différence est due à l'équipe de scientifiques de haut niveau d'OpenAI et à l'expérience accumulée grâce à des recherches à long terme sur les LLM, ce qui leur permet de rester toujours en tête.

En d'autres termes, la capacité fondamentale des grands modèles n'est pas constituée par les paramètres, mais par la construction d'un écosystème ( open source ) ou la capacité de raisonnement pure ( closed source ).

Avec l'essor de la communauté open source, les performances des LLM pourraient converger, car tout le monde utilise des architectures de modèles et des ensembles de données similaires.

Un autre problème plus intuitif est que, à part Midjourney, il ne semble pas qu'un autre grand modèle puisse gagner de l'argent.

Où se trouve le point d'ancrage de la valeur

En août de cette année, un article intitulé "OpenAI pourrait faire faillite d'ici la fin de 2024" a suscité l'attention. L'idée principale de l'article peut presque se résumer en une phrase : la vitesse à laquelle OpenAI brûle de l'argent est trop rapide.

L'article mentionne qu depuis le développement de ChatGPT, les pertes d'OpenAI se sont rapidement intensifiées, avec une perte d'environ 540 millions de dollars rien qu'en 2022, devant attendre que les investisseurs paient.

Le titre de l'article est exagéré, mais il révèle également la situation de nombreux fournisseurs de grands modèles : un déséquilibre grave entre les coûts et les revenus.

Des coûts trop élevés signifient qu'actuellement, seules Nvidia et, au mieux, Broadcom réalisent d'énormes profits grâce à l'IA.

Selon les estimations d'une société de conseil, Nvidia a vendu plus de 300 000 H100 au deuxième trimestre de cette année. Il s'agit d'une puce AI, très efficace pour entraîner l'IA, et les entreprises technologiques et les institutions de recherche du monde entier se les arrachent. Si l'on empile les 300 000 H100 vendues, leur poids équivaut à celui de 4,5 avions Boeing 747.

Les performances d'NVIDIA ont alors explosé, avec une augmentation des revenus de 854 % par rapport à l'année précédente, choquant Wall Street. Il est à noter que le prix du H100 sur le marché de l'occasion a déjà été gonflé à 40 000 - 50 000 dollars, alors que son coût matériel n'est que d'un peu plus de 3 000 dollars.

Le coût élevé de la puissance de calcul est devenu, dans une certaine mesure, un frein au développement de l'industrie. Sequoia Capital a estimé que les entreprises technologiques mondiales devraient dépenser 200 milliards de dollars par an pour la construction d'infrastructures de grands modèles ; en revanche, les grands modèles ne peuvent générer au maximum que 75 milliards de dollars de revenus par an, avec un écart d'au moins 125 milliards de dollars.

De plus, à part quelques exceptions comme Midjourney, la plupart des entreprises de logiciels n'ont pas encore réfléchi à la manière de réaliser des bénéfices après avoir engagé des coûts énormes. En particulier, les deux grands leaders du secteur, Microsoft et Adobe, avancent un peu chancelants.

Microsoft et OpenAI ont collaboré pour développer l'outil de génération de code AI GitHub Copilot. Bien qu'il facture 10 dollars par mois, Microsoft perd en fait 20 dollars par mois en raison des coûts d'infrastructure, et les utilisateurs intensifs peuvent même coûter 80 dollars de plus à Microsoft chaque mois. Sur cette base, on peut supposer que le Microsoft 365 Copilot, qui est tarifé à 30 dollars, pourrait entraîner des pertes encore plus importantes.

De même, Adobe, qui vient de lancer l'outil Firefly AI, a rapidement mis en place un système de points associé pour prévenir les pertes de l'entreprise dues à une utilisation excessive par les utilisateurs. Une fois que les utilisateurs dépassent le quota de points alloué chaque mois, Adobe réduira la vitesse de service.

Il faut savoir que Microsoft et Adobe sont déjà des géants du logiciel avec des scénarios d'affaires clairs et un grand nombre d'utilisateurs payants. En revanche, pour la plupart des grands modèles accumulant des paramètres, le principal domaine d'application reste la conversation.

Il est indéniable que sans l'émergence d'OpenAI et de ChatGPT, cette révolution de l'IA n'aurait peut-être jamais eu lieu ; mais pour l'instant, la valeur apportée par l'entraînement de grands modèles reste à discuter.

De plus, avec l'intensification de la concurrence homogène et le nombre croissant de modèles open source sur le marché, l'espace de survie des fournisseurs de grands modèles pourrait être encore plus limité.

Le succès de l'iPhone 4 n'est pas dû à son processeur A4 en 45nm, mais à sa capacité à jouer à Plants vs. Zombies et Angry Birds.