Matériel · 22 cartes et machines

Quel GPU pour faire tourner un LLM ?

Cartes grand public, stations pro, datacenter et machines à mémoire unifiée (Mac, DGX Spark, mini-PC AMD) : VRAM, bande passante, prix au Go et plus gros modèle chargeable.

Tous22 Grand public11 Pro / station2 Datacenter5 Mémoire unifiée4

Pro / station9 000 €

RTX PRO 6000 Blackwell 96 Go

96Go

Bande passante: 1 792 Go/s
Consommation: 600 W
€ par Go utile: 103 €
Llama 8B Q4: ~199 tok/s

Plus gros modèle seul (Q4) : Mistral Large 123B

Pro / station7 000 €

RTX 6000 Ada 48 Go

48Go

Bande passante: 960 Go/s
Consommation: 300 W
€ par Go utile: 165 €
Llama 8B Q4: ~107 tok/s

Plus gros modèle seul (Q4) : Llama 3.3 70B