DeepSeek V3.1 671B : combien de VRAM ?
En Q4_K_M avec 8k tokens de contexte, DeepSeek V3.1 671B demande environ 424 Go de mémoire. La solution la moins chère : 6 × A100 80 Go (72 000 € machine complète).
Fiche
vllm serve deepseek-ai/DeepSeek-V3.1Poids sur Hugging Face : deepseek-ai/DeepSeek-V3.1
VRAM selon la précision et le contexte
| Précision | 4k | 8k | 32k | 128k |
|---|---|---|---|---|
| FP16 | 1 410 Go | 1 410 Go | 1 412 Go | 1 418 Go |
| FP8 | 705 Go | 706 Go | 707 Go | 714 Go |
| Q8_0 | 748 Go | 748 Go | 749 Go | 756 Go |
| Q6_K | 578 Go | 579 Go | 580 Go | 587 Go |
| Q4_K_M | 423 Go | 424 Go | 425 Go | 432 Go |
| Q3_K_M | 346 Go | 346 Go | 348 Go | 355 Go |
Un seul utilisateur. Chaque utilisateur simultané ajoute son propre cache de contexte.
Questions fréquentes
Combien de VRAM faut-il pour DeepSeek V3.1 671B ?
Avec 8k tokens de contexte et un utilisateur, DeepSeek V3.1 671B demande environ 424 Go en Q4, 748 Go en Q8 et 1 410 Go en FP16.
Quel est le matériel le moins cher pour DeepSeek V3.1 671B ?
En Q4, la solution la moins chère de notre catalogue pour DeepSeek V3.1 671B est 6 × A100 80 Go, environ 72 000 € pour la machine complète.
À quelle vitesse tourne DeepSeek V3.1 671B ?
Comptez environ 226 tokens par seconde pour un utilisateur sur 6 × A100 80 Go en Q4 (estimation d’après la bande passante mémoire).
Sur quel matériel ?
| Matériel | Cartes | Vitesse | Machine |
|---|---|---|---|
| A100 80 Go | 6 cartes | ~226 tok/s | 72 000 € |
| B200 192 Go | 3 cartes | ~443 tok/s | 132 000 € |
| H200 141 Go | 4 cartes | ~354 tok/s | 138 000 € |
| H100 80 Go | 6 cartes | ~371 tok/s | 174 000 € |
| RTX 3060 12 Go | ne tient pas | — | — |
| RTX 4060 Ti 16 Go | ne tient pas | — | — |
| Radeon RX 7800 XT 16 Go | ne tient pas | — | — |
| RTX 4070 12 Go | ne tient pas | — | — |
| RTX 3090 24 Go (occasion) | ne tient pas | — | — |
| RTX 4070 Ti SUPER 16 Go | ne tient pas | — | — |
| Radeon RX 7900 XTX 24 Go | ne tient pas | — | — |
| RTX 4080 SUPER 16 Go | ne tient pas | — | — |
| RTX 5080 16 Go | ne tient pas | — | — |
| RTX 4090 24 Go | ne tient pas | — | — |
| Mini-PC Ryzen AI Max+ 395 128 Go | ne tient pas | — | — |
| RTX 5090 32 Go | ne tient pas | — | — |
| NVIDIA DGX Spark 128 Go | ne tient pas | — | — |
| Mac Studio M4 Max 128 Go | ne tient pas | — | — |
| RTX 6000 Ada 48 Go | ne tient pas | — | — |
| L40S 48 Go | ne tient pas | — | — |
| RTX PRO 6000 Blackwell 96 Go | ne tient pas | — | — |
| Mac Studio M3 Ultra 512 Go | ne tient pas | — | — |
Machine complète estimée : cartes + PC hôte (900 € pour 1 à 2 cartes grand public, 2 800 € au-delà, 6 000 € de serveur pour les cartes datacenter). Les Mac et mini-PC sont vendus complets.
Modèles proches
Dès : 2 × RTX 3060 12 Go · 1 460 €
Dès : 6 × A100 80 Go · 72 000 €
Dès : 5 × H200 141 Go · 171 000 €