La domination du Nvidia H100 dans les benchmarks d'apprentissage automatique reste intacte

Nvidia domine le marché des puces IA depuis un certain temps, et ce n’est pas du tout sans fondement. Le le système H100 du géant de la technologie est l'actuel leader du marché et, jusqu'à présent, il n'y a eu aucun concurrent dominant.

MLPerf, l'un des les benchmarks les plus populaires utilisé pour mesurer les performances des puces IA (sinon le plus précis), vient de lancer une nouvelle série de tests. Ils sont conçus pour affiner les grands modèles de langage (LLM) et les réseaux de neurones graphiques (GNN), et selon ces tests, le système H100 de Nvidia établit des records.

11,616 100 GPU HXNUMX ont été utilisés, ce qui en fait le plus grand système testé dans les benchmarks MLPerf. Ils ont réalisé des performances exceptionnelles dans les neuf critères de référence, établissant des records dans cinq d'entre eux, comme ce rapport détaille.

Des concurrents comme Google et Intel ont participé avec leurs accélérateurs d'IA mais ont été surclassés par Nvidia. Les systèmes TPU de Google ont montré des améliorations significatives en termes de vitesse, et les GPU d'Intel ont également fait des progrès notables, mais aucun d'eux n'a pu égaler les performances du plus grand système de Nvidia avec 11,616 100 GPU HXNUMX.

De plus, Nvidia a également constaté une amélioration de 27 % des temps de formation GPT-3 par rapport aux références de juin 2023 grâce à plusieurs optimisations logicielles. Celles-ci comprenaient une meilleure utilisation des opérations à virgule flottante 8 bits, une gestion plus efficace de l'énergie des moteurs de calcul et une meilleure communication entre les GPU.

Ils ont également mis en œuvre Flash Attention, un algorithme qui accélère les réseaux de transformateurs en minimisant les écritures en mémoire, contribuant ainsi à une réduction de 10 % des temps de formation.