Grand public · GDDR6X
RTX 3090 24 Go (occasion) : quels LLM peut-il faire tourner ?
Seul, il charge jusqu’à DeepSeek R1 Distill 32B en Q4. À plusieurs cartes, la mémoire s’additionne et ouvre des modèles plus gros.
Caractéristiques
Mémoire24 Go
Bande passante936 Go/s
Calcul FP16~71 TF
Consommation350 W
Prix indicatif750 €
Location cloud0,25 €/h
Face aux cartes de même prix
Recettes avec ce matériel
Modèles et vitesse attendue
| Modèle | Q4 | Q8 | FP16 |
|---|---|---|---|
| Qwen3 4B | ✓ ~202 tok/s | ✓ ~117 tok/s | ✓ ~63 tok/s |
| Llama 3.1 8B | ✓ ~104 tok/s | ✓ ~60 tok/s | ✓ ~32 tok/s |
| Qwen3 8B | ✓ ~102 tok/s | ✓ ~58 tok/s | ✓ ~31 tok/s |
| Gemma 3 12B | ✓ ~70 tok/s | ✓ ~40 tok/s | 2 × · ~32 tok/s |
| Mistral Nemo 12B | ✓ ~69 tok/s | ✓ ~39 tok/s | 2 × · ~31 tok/s |
| Phi-4 14B | ✓ ~57 tok/s | ✓ ~33 tok/s | 2 × · ~26 tok/s |
| Qwen3 14B | ✓ ~57 tok/s | ✓ ~33 tok/s | 2 × · ~26 tok/s |
| gpt-oss-20b | ✓ ~223 tok/s | 2 × · ~195 tok/s | 2 × · ~105 tok/s |
| Mistral Small 24B | ✓ ~35 tok/s | 2 × · ~30 tok/s | 3 × · ~24 tok/s |
| Gemma 3 27B | ✓ ~31 tok/s | 2 × · ~27 tok/s | 3 × · ~21 tok/s |
| Qwen3.8 27B | ✓ ~30 tok/s | 2 × · ~26 tok/s | 3 × · ~21 tok/s |
| Qwen3 30B-A3B | ✓ ~242 tok/s | 2 × · ~212 tok/s | 3 × · ~172 tok/s |
| Qwen3 32B | ✓ ~26 tok/s | 2 × · ~22 tok/s | 4 × · ~23 tok/s |
| Qwen2.5 Coder 32B | ✓ ~26 tok/s | 2 × · ~22 tok/s | 4 × · ~23 tok/s |
| DeepSeek R1 Distill 32B | ✓ ~26 tok/s | 2 × · ~22 tok/s | 4 × · ~23 tok/s |
| Mixtral 8x7B | 2 × · ~98 tok/s | 3 × · ~84 tok/s | ✗ |
| Llama 3.3 70B | 3 × · ~27 tok/s | 4 × · ~21 tok/s | ✗ |
| GLM-4.5-Air 106B | 3 × · ~158 tok/s | ✗ | ✗ |
| gpt-oss-120b | 4 × · ~481 tok/s | ✗ | ✗ |
| Mistral Large 123B | 4 × · ~21 tok/s | ✗ | ✗ |
| Qwen3 235B-A22B | ✗ | ✗ | ✗ |
| GLM-4.5 355B | ✗ | ✗ | ✗ |
| Llama 3.1 405B | ✗ | ✗ | ✗ |
| DeepSeek R1 671B | ✗ | ✗ | ✗ |
| DeepSeek V3.1 671B | ✗ | ✗ | ✗ |
| Kimi K2 1T | ✗ | ✗ | ✗ |
8k tokens, un utilisateur. « 2 × » = nombre de cartes nécessaires, vitesse en parallélisme tensoriel (vLLM). ✗ = ne tient pas, même à 4 cartes.