OkurAI : Observatoire et Analyse de la Trajectoire de l'Intelligence Artificielle

Les plus grands modèles d'IA actuels sont entraînés avec plus de 10²⁵ opérations en virgule flottante (FLOP) de calcul. Le premier modèle entraîné à cette échelle était GPT-4, lancé en mars 2023. En juin 2025, nous avons identifié plus de 30 modèles d'IA annoncés publiquement par différents développeurs d'IA qui dépassent selon nous le seuil de 10²⁵ FLOP de calcul d'entraînement.

L'entraînement d'un modèle de cette échelle coûte des dizaines de millions de dollars avec le matériel actuel. Malgré le coût élevé, nous nous attendons à une prolifération de tels modèles — nous avons observé en moyenne environ deux modèles dépassant ce seuil annoncés chaque mois au cours de 2024. Les modèles entraînés à cette échelle seront soumis à des exigences supplémentaires en vertu de la loi européenne sur l'IA, qui entrera en vigueur en août 2025.

Depuis 2010, la puissance de calcul d'entraînement utilisée pour créer les modèles d'IA croît à un rythme de 4,4× par an. La majeure partie de cette croissance provient de l'augmentation des dépenses, bien que les améliorations matérielles aient également joué un rôle.

Les principales entreprises technologiques mondiales — Google, Microsoft, Meta et Amazon — possèdent une puissance de calcul IA équivalente à des centaines de milliers de NVIDIA H100. Ce calcul est utilisé à la fois pour leur développement d'IA interne et pour les clients cloud, y compris de nombreux laboratoires d'IA de premier plan tels qu'OpenAI et Anthropic. Google pourrait avoir accès à l'équivalent de plus d'un million de H100, principalement grâce à leurs TPU. Microsoft possède probablement le plus grand stock d'accélérateurs NVIDIA, avec environ 500 000 équivalents H100.

Une part importante de la puissance de calcul IA est détenue collectivement par des groupes autres que ces quatre, notamment d'autres sociétés cloud comme Oracle et CoreWeave, des utilisateurs de calcul comme Tesla et xAI, et des gouvernements nationaux. Nous mettons en évidence Google, Microsoft, Meta et Amazon car ils disposent probablement du plus de calcul, et il y a peu de données publiques pour les autres.

L'entraînement de modèles de pointe nécessite une quantité d'énergie importante et croissante pour les GPU, les serveurs, le refroidissement et autres équipements. Cela est motivé par une augmentation du nombre de GPU ; la consommation d'énergie par GPU augmente également, mais seulement de quelques pour cent par an.

Le calcul d'entraînement a augmenté encore plus rapidement — environ 4× par an. Cependant, l'efficacité matérielle (une amélioration de 12× au cours des dix dernières années), l'adoption de formats de précision inférieure (une amélioration de 8×) et des exécutions d'entraînement plus longues (une augmentation de 4×) représentent une diminution d'environ 2× par an des besoins en énergie par rapport au calcul d'entraînement.