gpt-oss-120b : combien de VRAM ?
En Q4_K_M avec 8k tokens de contexte, gpt-oss-120b demande environ 75 Go de mémoire. La solution la moins chère : Mini-PC Ryzen AI Max+ 395 128 Go (2 300 € machine complète).
Fiche
ollama run gpt-oss:120bPoids sur Hugging Face : openai/gpt-oss-120b
VRAM selon la précision et le contexte
| Précision | 4k | 8k | 32k | 128k |
|---|---|---|---|---|
| FP16 | 246 Go | 247 Go | 248 Go | 255 Go |
| FP8 | 124 Go | 124 Go | 125 Go | 132 Go |
| Q8_0 | 131 Go | 131 Go | 133 Go | 140 Go |
| Q6_K | 101 Go | 102 Go | 103 Go | 110 Go |
| Q4_K_M | 74 Go | 75 Go | 76 Go | 83 Go |
| Q3_K_M | 61 Go | 61 Go | 63 Go | 70 Go |
Un seul utilisateur. Chaque utilisateur simultané ajoute son propre cache de contexte.
Questions fréquentes
Combien de VRAM faut-il pour gpt-oss-120b ?
Avec 8k tokens de contexte et un utilisateur, gpt-oss-120b demande environ 75 Go en Q4, 131 Go en Q8 et 247 Go en FP16.
Quel est le matériel le moins cher pour gpt-oss-120b ?
En Q4, la solution la moins chère de notre catalogue pour gpt-oss-120b est Mini-PC Ryzen AI Max+ 395 128 Go, environ 2 300 € pour la machine complète.
À quelle vitesse tourne gpt-oss-120b ?
Comptez environ 44 tokens par seconde pour un utilisateur sur Mini-PC Ryzen AI Max+ 395 128 Go en Q4 (estimation d’après la bande passante mémoire).
Sur quel matériel ?
| Matériel | Cartes | Vitesse | Machine |
|---|---|---|---|
| Mini-PC Ryzen AI Max+ 395 128 Go | 1 suffit | ~44 tok/s | 2 300 € |
| NVIDIA DGX Spark 128 Go | 1 suffit | ~47 tok/s | 4 000 € |
| Mac Studio M4 Max 128 Go | 1 suffit | ~94 tok/s | 4 400 € |
| RTX 3090 24 Go (occasion) | 4 cartes | ~481 tok/s | 5 800 € |
| Radeon RX 7900 XTX 24 Go | 4 cartes | ~493 tok/s | 6 600 € |
| RTX PRO 6000 Blackwell 96 Go | 1 suffit | ~307 tok/s | 9 900 € |
| RTX 5090 32 Go | 3 cartes | ~691 tok/s | 10 600 € |
| RTX 4090 24 Go | 4 cartes | ~518 tok/s | 10 800 € |
| Mac Studio M3 Ultra 512 Go | 1 suffit | ~140 tok/s | 11 500 € |
| RTX 6000 Ada 48 Go | 2 cartes | ~247 tok/s | 14 900 € |
| A100 80 Go | 1 suffit | ~349 tok/s | 17 000 € |
| L40S 48 Go | 2 cartes | ~222 tok/s | 21 000 € |
| H100 80 Go | 1 suffit | ~574 tok/s | 34 000 € |
| H200 141 Go | 1 suffit | ~822 tok/s | 39 000 € |
| B200 192 Go | 1 suffit | ~1 371 tok/s | 48 000 € |
| RTX 3060 12 Go | ne tient pas | — | — |
| RTX 4060 Ti 16 Go | ne tient pas | — | — |
| Radeon RX 7800 XT 16 Go | ne tient pas | — | — |
| RTX 4070 12 Go | ne tient pas | — | — |
| RTX 4070 Ti SUPER 16 Go | ne tient pas | — | — |
| RTX 4080 SUPER 16 Go | ne tient pas | — | — |
| RTX 5080 16 Go | ne tient pas | — | — |
Machine complète estimée : cartes + PC hôte (900 € pour 1 à 2 cartes grand public, 2 800 € au-delà, 6 000 € de serveur pour les cartes datacenter). Les Mac et mini-PC sont vendus complets.
Modèles proches
Dès : RTX 4060 Ti 16 Go · 1 350 €
Dès : Mini-PC Ryzen AI Max+ 395 128 Go · 2 300 €
Dès : Mini-PC Ryzen AI Max+ 395 128 Go · 2 300 €