EN
← Tout le matériel
Grand public · GDDR7

RTX 5090 32 Go : quels LLM peut-il faire tourner ?

Seul, il charge jusqu’à Mixtral 8x7B en Q4. À plusieurs cartes, la mémoire s’additionne et ouvre des modèles plus gros.

Caractéristiques

Mémoire32 Go
Bande passante1 792 Go/s
Calcul FP16~210 TF
Consommation575 W
Prix indicatif2 600 €
Location cloud0,80 €/h
Monter un serveur avec →ComparerVoir les prix ↗

Face aux cartes de même prix

RTX 5090 32 Go vs Mini-PC Ryzen AI Max+ 395 128 Go2 300 €
RTX 5090 32 Go vs RTX 4090 24 Go2 000 €
RTX 5090 32 Go vs RTX 5080 16 Go1 200 €

Recettes avec ce matériel

Un modèle 32B sur une seule carte3 500 €

Modèles et vitesse attendue

ModèleQ4Q8FP16
Qwen3 4B✓ ~387 tok/s✓ ~225 tok/s✓ ~121 tok/s
Llama 3.1 8B✓ ~199 tok/s✓ ~114 tok/s✓ ~61 tok/s
Qwen3 8B✓ ~194 tok/s✓ ~111 tok/s✓ ~60 tok/s
Gemma 3 12B✓ ~134 tok/s✓ ~77 tok/s✓ ~41 tok/s
Mistral Nemo 12B✓ ~132 tok/s✓ ~75 tok/s✓ ~40 tok/s
Phi-4 14B✓ ~110 tok/s✓ ~63 tok/s2 × · ~50 tok/s
Qwen3 14B✓ ~109 tok/s✓ ~62 tok/s2 × · ~50 tok/s
gpt-oss-20b✓ ~427 tok/s✓ ~249 tok/s2 × · ~201 tok/s
Mistral Small 24B✓ ~68 tok/s✓ ~39 tok/s2 × · ~31 tok/s
Gemma 3 27B✓ ~60 tok/s2 × · ~51 tok/s2 × · ~27 tok/s
Qwen3.8 27B✓ ~58 tok/s2 × · ~50 tok/s2 × · ~26 tok/s
Qwen3 30B-A3B✓ ~463 tok/s2 × · ~405 tok/s3 × · ~329 tok/s
Qwen3 32B✓ ~50 tok/s2 × · ~42 tok/s3 × · ~34 tok/s
Qwen2.5 Coder 32B✓ ~50 tok/s2 × · ~42 tok/s3 × · ~34 tok/s
DeepSeek R1 Distill 32B✓ ~50 tok/s2 × · ~42 tok/s3 × · ~34 tok/s
Mixtral 8x7B✓ ~125 tok/s2 × · ~107 tok/s4 × · ~114 tok/s
Llama 3.3 70B2 × · ~35 tok/s3 × · ~30 tok/s✗
GLM-4.5-Air 106B3 × · ~302 tok/s4 × · ~230 tok/s✗
gpt-oss-120b3 × · ~691 tok/s✗✗
Mistral Large 123B3 × · ~30 tok/s✗✗
Qwen3 235B-A22B✗✗✗
GLM-4.5 355B✗✗✗
Llama 3.1 405B✗✗✗
DeepSeek R1 671B✗✗✗
DeepSeek V3.1 671B✗✗✗
Kimi K2 1T✗✗✗

8k tokens, un utilisateur. « 2 × » = nombre de cartes nécessaires, vitesse en parallélisme tensoriel (vLLM). ✗ = ne tient pas, même à 4 cartes.