EN
← Tout le matériel
Pro / station · GDDR6 ECC

RTX 6000 Ada 48 Go : quels LLM peut-il faire tourner ?

Seul, il charge jusqu’à Llama 3.3 70B en Q4. À plusieurs cartes, la mémoire s’additionne et ouvre des modèles plus gros.

Caractéristiques

Mémoire48 Go
Bande passante960 Go/s
Calcul FP16~182 TF
Consommation300 W
Prix indicatif7 000 €
Location cloud0,90 €/h
Monter un serveur avec →ComparerVoir les prix ↗

Face aux cartes de même prix

RTX 6000 Ada 48 Go vs L40S 48 Go7 500 €
RTX 6000 Ada 48 Go vs RTX PRO 6000 Blackwell 96 Go9 000 €
RTX 6000 Ada 48 Go vs Mac Studio M4 Max 128 Go4 400 €

Modèles et vitesse attendue

ModèleQ4Q8FP16
Qwen3 4B✓ ~207 tok/s✓ ~120 tok/s✓ ~65 tok/s
Llama 3.1 8B✓ ~107 tok/s✓ ~61 tok/s✓ ~33 tok/s
Qwen3 8B✓ ~104 tok/s✓ ~60 tok/s✓ ~32 tok/s
Gemma 3 12B✓ ~72 tok/s✓ ~41 tok/s✓ ~22 tok/s
Mistral Nemo 12B✓ ~71 tok/s✓ ~40 tok/s✓ ~22 tok/s
Phi-4 14B✓ ~59 tok/s✓ ~34 tok/s✓ ~18 tok/s
Qwen3 14B✓ ~58 tok/s✓ ~33 tok/s✓ ~18 tok/s
gpt-oss-20b✓ ~229 tok/s✓ ~133 tok/s✓ ~72 tok/s
Mistral Small 24B✓ ~36 tok/s✓ ~21 tok/s2 × · ~16 tok/s
Gemma 3 27B✓ ~32 tok/s✓ ~18 tok/s2 × · ~15 tok/s
Qwen3.8 27B✓ ~31 tok/s✓ ~18 tok/s2 × · ~14 tok/s
Qwen3 30B-A3B✓ ~248 tok/s✓ ~145 tok/s2 × · ~117 tok/s
Qwen3 32B✓ ~27 tok/s✓ ~15 tok/s2 × · ~12 tok/s
Qwen2.5 Coder 32B✓ ~27 tok/s✓ ~15 tok/s2 × · ~12 tok/s
DeepSeek R1 Distill 32B✓ ~27 tok/s✓ ~15 tok/s2 × · ~12 tok/s
Mixtral 8x7B✓ ~67 tok/s2 × · ~57 tok/s3 × · ~46 tok/s
Llama 3.3 70B✓ ~12 tok/s2 × · ~11 tok/s4 × · ~11 tok/s
GLM-4.5-Air 106B2 × · ~108 tok/s3 × · ~92 tok/s✗
gpt-oss-120b2 × · ~247 tok/s3 × · ~214 tok/s✗
Mistral Large 123B2 × · ~11 tok/s4 × · ~12 tok/s✗
Qwen3 235B-A22B4 × · ~119 tok/s✗✗
GLM-4.5 355B✗✗✗
Llama 3.1 405B✗✗✗
DeepSeek R1 671B✗✗✗
DeepSeek V3.1 671B✗✗✗
Kimi K2 1T✗✗✗

8k tokens, un utilisateur. « 2 × » = nombre de cartes nécessaires, vitesse en parallélisme tensoriel (vLLM). ✗ = ne tient pas, même à 4 cartes.