Raptor de d-Matrix vise 100 To/s pour contourner le mur mémoire de l’IA

Une réponse verticale au goulot d’étranglement de l’inférence

d-Matrix a profité de Hot Chips 2026 pour présenter Raptor, un accélérateur d’inférence pour IA générative qui empile une puce logique TSMC en 4 nm directement au-dessus d’une puce DRAM personnalisée, avec une liaison face-à-face au pas de 36 microns, et qui vise 100 To/s de bande passante mémoire avec 32 Go par carte [1]. L’entreprise présente Raptor comme un accélérateur 3D-DRAM conçu pour la phase du service de grands modèles de langage où les puces attendent de plus en plus la mémoire plutôt que les unités de calcul matriciel [1].

Le chiffre attire l’attention parce qu’il s’attaque au point faible des serveurs d’IA actuels: le déplacement répété des poids du modèle et du cache clé-valeur pendant le décodage. Dans cette phase, le modèle produit un token à la fois, et l’accélérateur doit relire continuellement les poids et l’état du cache; l’argument de d-Matrix est qu’un trajet physique beaucoup plus court entre mémoire et calcul peut réduire à la fois la latence et l’énergie [2]. Raptor n’est donc pas présenté comme un concurrent universel des GPU, mais comme un pari centré sur la mémoire: placer le calcul sur la DRAM, supprimer une grande partie du coût d’interface mémoire classique et optimiser la génération de tokens [3].

Ce que d-Matrix affirme avoir construit

Selon les informations présentées à Hot Chips et rapportées cette semaine, une carte Raptor associe 32 Go de DRAM 3D à environ 100 To/s de bande passante, tandis que l’interface verticale consomme environ 0,37 picojoule par bit transféré [1]. TechTimes a également rapporté une bande passante de l’ordre de 100 To/s et une énergie de 0,37 pJ/bit, en décrivant Raptor comme du silicium fonctionnel montré à Hot Chips 2026 [2]. Igor’sLab détaille la carte comme un ensemble de huit chiplets de 4 Go, chacun fournissant environ 12,5 To/s, pour atteindre 32 Go et environ 100 To/s au niveau de la carte [3].

L’architecture physique est le cœur du sujet. Au lieu de placer des piles HBM à côté du processeur sur un interposeur, Raptor place la puce logique au-dessus de la puce mémoire et les relie par des connexions verticales très courtes [4]. Digital Citizen liste une logique TSMC 4 nm, un empilement face-à-face, un pas d’interconnexion de 36 microns, une capacité de 32 Go, une bande passante de 100 To/s et une énergie mesurée de 0,37 pJ/bit [4]. Tom’s Hardware ajoute que Sudeep Bhoja, cofondateur et directeur technique de d-Matrix, a présenté cette valeur de 0,37 pJ/bit comme une mesure issue de silicium fonctionnel et l’a comparée à environ 2,4 pJ/bit pour transférer les données vers la base d’une mémoire HBM4 [1].

C’est là que se situe l’argument commercial. Si un système a besoin d’une bande passante extrême pour le décodage, d-Matrix estime que la voie HBM classique devient coûteuse en énergie parce que les données doivent traverser une interface physique plus longue et plus lourde. En liant mémoire et calcul face-à-face, l’entreprise cherche à éliminer une grande partie de la couche PHY qui rend les liaisons mémoire externes très larges énergivores [2]. Digital Citizen souligne que même à 0,37 pJ/bit, déplacer 100 To/s représente encore environ 300 W de puissance d’E/S, mais rapporte aussi l’estimation de d-Matrix selon laquelle une voie HBM à environ 2,4 pJ/bit approcherait 1,92 kW pour le même déplacement de 100 To/s [4].

Pourquoi 32 Go sont à la fois la limite et le pari

La réserve évidente concerne la capacité. Une carte de 32 Go paraît modeste face aux enveloppes de mémoire HBM utilisées par de nombreux accélérateurs haut de gamme, et Tom’s Hardware rapporte que d-Matrix a elle-même comparé Raptor à une configuration HBM4 de 192 Go fournissant environ 18 To/s [1]. Autrement dit, la carte d-Matrix revendique beaucoup plus de bande passante, mais avec un sixième de la capacité mémoire dans cette comparaison [1].

Pour les architectes d’inférence, ce compromis n’est pas nécessairement rédhibitoire. Les charges de décodage peuvent être réparties et planifiées sur plusieurs dispositifs, et la question devient alors de savoir si de nombreux petits bassins de mémoire extrêmement rapide peuvent dépasser quelques grands bassins plus lents pour certains profils de service de modèles [3]. Le pari de Raptor est que le coût et la latence de l’inférence sont de plus en plus déterminés par la bande passante par watt et par surface, et non par les seuls FLOPS de pointe [2]. Si l’ensemble de travail tient en mémoire, l’excédent de bande passante peut produire un gain immédiat; sinon, le partitionnement logiciel, l’interconnexion et l’orchestration deviennent aussi importants que le silicium [3].

C’est pourquoi l’annonce dépasse la simple fiche technique. Les acheteurs d’infrastructure IA n’évaluent plus les accélérateurs uniquement à leur débit de calcul brut. Ils regardent la vitesse de génération des tokens par rack, la consommation électrique, la gestion des contextes longs et la stabilité de la latence quand le nombre d’utilisateurs augmente. Raptor vise précisément ce problème de service, pas le marché plus large de l’entraînement où les GPU conservent l’avantage du logiciel, de l’échelle et de l’écosystème [1].

Des risques d’ingénierie encore importants

Empiler la logique directement sur la DRAM crée de sérieux défis thermiques et de fiabilité. Digital Citizen rapporte que Raptor place la logique au-dessus afin que le système de refroidissement touche directement la couche de calcul, plus chaude, tandis que la DRAM est conçue pour fonctionner jusqu’à une température de jonction de 105°C et compense par un rafraîchissement plus rapide, autour de 4 ms [4]. Le même rapport indique que d-Matrix revendique une perte de bande passante liée au rafraîchissement limitée à 1,37%, ainsi qu’une correction d’erreurs Reed-Solomon T=2 complétée par une protection CRC [4].

Ces détails sont essentiels, car une démonstration de packaging n’est pas un produit industriel. Tom’s Hardware rapporte que d-Matrix n’a pas indiqué quel fabricant produit la puce DRAM personnalisée, même si l’entreprise a nommé TSMC pour le procédé logique et Alchip comme partenaire de conception ASIC et de packaging [1]. Le même article précise aussi que d-Matrix n’a donné à Hot Chips ni date ferme de disponibilité en volume ni prix, et que les exemples de performances en tokens par seconde restent des projections internes fondées sur du silicium précoce [1].

Trois questions restent donc ouvertes pour les clients. D’abord, cette DRAM personnalisée peut-elle être produite de manière économique et en volume suffisant dans un marché mémoire tendu? Ensuite, les rendements resteront-ils acceptables avec un empilement 3D aussi serré entre calcul et mémoire? Enfin, d-Matrix pourra-t-elle rendre la couche logicielle assez simple pour que les opérateurs cloud et les entreprises utilisent Raptor sans reconstruire toute leur pile d’inférence autour d’une architecture de startup?

Un défi crédible, pas encore une victoire acquise

Raptor doit être compris comme un pari architectural ambitieux, non comme un renversement de marché déjà accompli. Le chiffre de 100 To/s est important parce qu’il s’inscrit dans une thèse cohérente: l’inférence est devenue un problème de déplacement de données, et le fil le plus court est souvent le plus efficace. La valeur de 0,37 pJ/bit renforce cette thèse, surtout lorsqu’elle est comparée à un transfert de type HBM à travers une interface de boîtier plus large [1].

Mais la capacité de 32 Go, le flou sur la fabrication de la DRAM personnalisée et l’absence de prix ou de calendrier public de volumes laissent l’histoire inachevée [1]. Dans les déploiements réels, d-Matrix devra prouver que Raptor ne se contente pas de déplacer les données à une vitesse spectaculaire, mais qu’il réduit effectivement le coût par token, stabilise la latence et reste exploitable à grande échelle. L’entreprise a montré une voie plausible autour du mur mémoire. Elle doit maintenant démontrer que cette voie peut être fabriquée, programmée et vendue à un coût qui change vraiment le marché.

Sources des dernières 72 heures

1. [1]Hot Chips 2026: d-Matrix stacks AI accelerator directly on custom DRAM for 100 TB/s per card — TSMC 4nm compute die bonded face-to-face at a 36-micron pitch on top of a custom-designed die26 août 2026, 00:00 UTC
2. [2]d-Matrix Raptor Delivers 100 TB/s From Stacked DRAM at Fraction of HBM Energy Cost24 août 2026, 14:47 UTC
3. [3]d-Matrix Raptor: 3D-DRAM with 100 TB/s for AI inference25 août 2026, 04:00 UTC
4. [4]d Matrix Raptor 3D DRAM Targets 100 TB/s Bandwidth at 0.37 pJ per Bit for AI Inference25 août 2026, 00:00 UTC

Article généré par IA à partir d’une recherche web récente, puis conservé comme instantané éditorial daté.