Elon Musk a réussi l’exploit de construire un supercalculateur pour son intelligence artificielle Grok en seulement 122 jours. Le milliardaire souhaite désormais multiplier la puissance par 10 en passant à un million de puces graphiques Nvidia !
En septembre, les équipes d'Elon Musk ont achevé la construction de Colossus, le nouveau supercalculateur de son entreprise d'intelligence artificielle xAI. Celui-ci sert à l'entrainement de son IA Grok et contient 100 000 puces graphiques Nvidia Hopper. Selon Nvidia, il s'agit du plus grand supercalculateur dédié à l'IA. En octobre, lors d'une visioconférence publiée sur YouTube, Elon Musk avait, entre outre, annoncé avoir voulu doubler le nombre de GPU pour passer à 200 000.
Le milliardaire a visiblement décidé que la simple démesure n'était pas suffisante. Selon le Financial Times, plutôt que de doubler la capacité de Colossus, il a décidé de le multiplier par 10 et donc de l'équiper d'un total d'un million de puces graphiques Nvidia Hopper !
Grok est très controversé, Elon Musk ayant voulu en faire un chatbot « anti-woke » tout en accusant ses rivaux d'entraîner leurs IA à mentir. Au final, il est bien moins avancé que ses principaux concurrents comme ChatGPT ou Google Gemini, avec un nombre d'utilisateurs plus faible. Musk semble vouloir rattraper son retard en augmentant la puissance du supercalculateur sur lequel il est entraîné. Toutefois, le coût risque d'être extrêmement élevé.
Au vu du prix des puces, un supercalculateur avec un million de GPU Nvidia Hopper risque de coûter plusieurs dizaines de milliards de dollars. Pour l'homme le plus riche du monde, dont la fortune est actuellement évaluée à plus de 350 milliards de dollars, ce n'est peut-être pas un si gros investissement. Néanmoins, augmenter la puissance de calcul ne suffira pas à améliorer Grok. Cela permettra aux développeurs de l'entraîner plus rapidement pour tester différentes versions, mais cela ne règlera pas le problème des hallucinations et des erreurs qui sont encore très courants avec les grands modèles de langage.