gpt-oss-20b : combien de VRAM ?
En Q4_K_M avec 8k tokens de contexte, gpt-oss-20b demande environ 14 Go de mémoire. La solution la moins chère : RTX 4060 Ti 16 Go (1 350 € machine complète).
Fiche
ollama run gpt-oss:20bPoids sur Hugging Face : openai/gpt-oss-20b
VRAM selon la précision et le contexte
| Précision | 4k | 8k | 32k | 128k |
|---|---|---|---|---|
| FP16 | 45 Go | 45 Go | 46 Go | 51 Go |
| FP8 | 23 Go | 23 Go | 24 Go | 29 Go |
| Q8_0 | 24 Go | 24 Go | 25 Go | 30 Go |
| Q6_K | 19 Go | 19 Go | 20 Go | 25 Go |
| Q4_K_M | 14 Go | 14 Go | 15 Go | 20 Go |
| Q3_K_M | 11 Go | 12 Go | 13 Go | 18 Go |
Un seul utilisateur. Chaque utilisateur simultané ajoute son propre cache de contexte.
Questions fréquentes
Combien de VRAM faut-il pour gpt-oss-20b ?
Avec 8k tokens de contexte et un utilisateur, gpt-oss-20b demande environ 14 Go en Q4, 24 Go en Q8 et 45 Go en FP16.
Quel est le matériel le moins cher pour gpt-oss-20b ?
En Q4, la solution la moins chère de notre catalogue pour gpt-oss-20b est RTX 4060 Ti 16 Go, environ 1 350 € pour la machine complète.
À quelle vitesse tourne gpt-oss-20b ?
Comptez environ 69 tokens par seconde pour un utilisateur sur RTX 4060 Ti 16 Go en Q4 (estimation d’après la bande passante mémoire).
Sur quel matériel ?
| Matériel | Cartes | Vitesse | Machine |
|---|---|---|---|
| RTX 4060 Ti 16 Go | 1 suffit | ~69 tok/s | 1 350 € |
| Radeon RX 7800 XT 16 Go | 1 suffit | ~149 tok/s | 1 400 € |
| RTX 3060 12 Go | 2 cartes | ~129 tok/s | 1 460 € |
| RTX 3090 24 Go (occasion) | 1 suffit | ~223 tok/s | 1 650 € |
| RTX 4070 Ti SUPER 16 Go | 1 suffit | ~160 tok/s | 1 750 € |
| Radeon RX 7900 XTX 24 Go | 1 suffit | ~229 tok/s | 1 850 € |
| RTX 4080 SUPER 16 Go | 1 suffit | ~175 tok/s | 1 950 € |
| RTX 4070 12 Go | 2 cartes | ~180 tok/s | 2 000 € |
| RTX 5080 16 Go | 1 suffit | ~229 tok/s | 2 100 € |
| Mini-PC Ryzen AI Max+ 395 128 Go | 1 suffit | ~61 tok/s | 2 300 € |
| RTX 4090 24 Go | 1 suffit | ~240 tok/s | 2 900 € |
| RTX 5090 32 Go | 1 suffit | ~427 tok/s | 3 500 € |
| NVIDIA DGX Spark 128 Go | 1 suffit | ~65 tok/s | 4 000 € |
| Mac Studio M4 Max 128 Go | 1 suffit | ~130 tok/s | 4 400 € |
| RTX 6000 Ada 48 Go | 1 suffit | ~229 tok/s | 7 900 € |
| RTX PRO 6000 Blackwell 96 Go | 1 suffit | ~427 tok/s | 9 900 € |
| Mac Studio M3 Ultra 512 Go | 1 suffit | ~195 tok/s | 11 500 € |
| L40S 48 Go | 1 suffit | ~206 tok/s | 13 500 € |
| A100 80 Go | 1 suffit | ~485 tok/s | 17 000 € |
| H100 80 Go | 1 suffit | ~798 tok/s | 34 000 € |
| H200 141 Go | 1 suffit | ~1 143 tok/s | 39 000 € |
| B200 192 Go | 1 suffit | ~1 905 tok/s | 48 000 € |
Machine complète estimée : cartes + PC hôte (900 € pour 1 à 2 cartes grand public, 2 800 € au-delà, 6 000 € de serveur pour les cartes datacenter). Les Mac et mini-PC sont vendus complets.
Modèles proches
Dès : RTX 3060 12 Go · 1 180 €
Dès : RTX 3060 12 Go · 1 180 €
Dès : 2 × RTX 3060 12 Go · 1 460 €
Dès : 2 × RTX 3060 12 Go · 1 460 €