Matériel · 22 cartes et machines

Quel GPU pour faire tourner un LLM ?

Cartes grand public, stations pro, datacenter et machines à mémoire unifiée (Mac, DGX Spark, mini-PC AMD) : VRAM, bande passante, prix au Go et plus gros modèle chargeable.

Tous22 Grand public11 Pro / station2 Datacenter5 Mémoire unifiée4

Mémoire unifiée11 500 €

Mac Studio M3 Ultra 512 Go

512Go unifiés

Bande passante: 819 Go/s
Consommation: 270 W
€ par Go utile: 30 €
Llama 8B Q4: ~91 tok/s

Plus gros modèle seul (Q4) : Llama 3.1 405B

Mémoire unifiée2 300 €

Mini-PC Ryzen AI Max+ 395 128 Go

128Go unifiés

Bande passante: 256 Go/s
Consommation: 140 W
€ par Go utile: 21 €
Llama 8B Q4: ~28 tok/s

Plus gros modèle seul (Q4) : Mistral Large 123B

Mémoire unifiée4 000 €

NVIDIA DGX Spark 128 Go

128Go unifiés

Bande passante: 273 Go/s
Consommation: 240 W
€ par Go utile: 37 €
Llama 8B Q4: ~30 tok/s

Plus gros modèle seul (Q4) : Mistral Large 123B

Mémoire unifiée4 400 €

Mac Studio M4 Max 128 Go

128Go unifiés

Bande passante: 546 Go/s
Consommation: 150 W
€ par Go utile: 46 €
Llama 8B Q4: ~61 tok/s

Plus gros modèle seul (Q4) : Mistral Large 123B