Matériel · 22 cartes et machines

Quel GPU pour faire tourner un LLM ?

Cartes grand public, stations pro, datacenter et machines à mémoire unifiée (Mac, DGX Spark, mini-PC AMD) : VRAM, bande passante, prix au Go et plus gros modèle chargeable.

Tous22 Grand public11 Pro / station2 Datacenter5 Mémoire unifiée4

Grand public2 600 €

RTX 5090 32 Go

32Go

Bande passante: 1 792 Go/s
Consommation: 575 W
€ par Go utile: 109 €
Llama 8B Q4: ~199 tok/s

Plus gros modèle seul (Q4) : Mixtral 8x7B

Grand public750 €

RTX 3090 24 Go (occasion)

24Go

Bande passante: 936 Go/s
Consommation: 350 W
€ par Go utile: 69 €
Llama 8B Q4: ~104 tok/s

Plus gros modèle seul (Q4) : DeepSeek R1 Distill 32B

Grand public2 000 €

RTX 4090 24 Go

24Go

Bande passante: 1 008 Go/s
Consommation: 450 W
€ par Go utile: 121 €
Llama 8B Q4: ~112 tok/s

Plus gros modèle seul (Q4) : DeepSeek R1 Distill 32B

Grand public950 €

Radeon RX 7900 XTX 24 Go

24Go

Bande passante: 960 Go/s
Consommation: 355 W
€ par Go utile: 77 €
Llama 8B Q4: ~107 tok/s

Plus gros modèle seul (Q4) : DeepSeek R1 Distill 32B

Grand public450 €

RTX 4060 Ti 16 Go

16Go

Bande passante: 288 Go/s
Consommation: 165 W
€ par Go utile: 84 €
Llama 8B Q4: ~32 tok/s