HBM

La mémoire à large bande passante (HBM) est un empilement vertical de puces DRAM liées entre elles par des interconnexions traversantes en silicium (TSV), une technologie qui permet aux données de circuler entre les couches à des débits bien supérieurs à ceux des puces conventionnelles côte à côte. Une seule pile HBM contient généralement 8 couches de puces mémoire, chacune de 1,5 mm d'épaisseur, empilées pour une hauteur totale d'environ 12 mm. Le débit d'une seule pile HBM aux générations actuelles atteint 460 gigaoctets par seconde ou plus, contre peut-être 50 à 100 Go/s pour les arrangements de mémoire traditionnels utilisés dans les CPU à usage général.

L'avantage principal n'est pas la capacité, mais la vitesse et l'efficacité énergétique. Les processeurs graphiques, les accélérateurs d'IA et les puces de calcul haute performance doivent déplacer d'énormes quantités de données par cycle d'horloge. Un seul GPU peut être associé à plusieurs piles HBM : le H100 de NVIDIA utilise jusqu'à 141 Go/s par pile, avec une bande passante distribuée sur plusieurs piles en parallèle. Cette architecture résout le goulot d'étranglement de la mémoire qui limiterait autrement la quantité de travail de calcul qu'un processeur peut réellement effectuer avant de manquer de données.

Pourquoi l'empilement vertical est important

Chaque couche se connecte à ses voisines par des milliers de minuscules trous conducteurs percés à travers le silicium lui-même. Ce chemin vertical est des ordres de grandeur plus court que les tracés horizontaux sur une carte de circuit imprimé, ce qui signifie une latence plus faible, moins de dégradation du signal et une meilleure utilisation de l'énergie par bit déplacé. Le compromis est la complexité de fabrication : lier des puces avec une précision micrométrique, gérer la dissipation thermique à travers une pile haute et tester les défauts dans chaque couche avant que l'assemblage ne soit terminé.

L'adoption de la HBM a commencé sur des marchés spécialisés : les cartes graphiques haut de gamme en 2015, et s'est depuis étendue aux GPU de centres de données, aux accélérateurs de serveurs et à certains CPU de nouvelle génération. La norme est maintenue par JEDEC, avec les variantes HBM2, HBM2e et HBM3 publiées à intervalles réguliers. Chaque génération double approximativement la bande passante et la capacité par pile tout en gérant les contraintes thermiques qui accompagnent l'empilement de plus de transistors dans le même encombrement.

Le coût et le rendement restent des obstacles à une adoption plus large. La HBM est plus chère à fabriquer que la mémoire conventionnelle et ne peut pas tolérer les taux de défauts que les usines de DRAM ont appris à contourner. Pour les équipements grand public ou les applications sensibles aux coûts, les bus de mémoire conventionnels dominent toujours. Mais partout où la puissance de calcul brute par watt compte plus que la nomenclature, la HBM est devenue une infrastructure essentielle.