Kimi K2 1T : combien de VRAM ?
En Q4_K_M avec 8k tokens de contexte, Kimi K2 1T demande environ 631 Go de mémoire. La solution la moins chère : 5 × H200 141 Go (171 000 € machine complète).
Fiche
vllm serve moonshotai/Kimi-K2-InstructPoids sur Hugging Face : moonshotai/Kimi-K2-Instruct
VRAM selon la précision et le contexte
| Précision | 4k | 8k | 32k | 128k |
|---|---|---|---|---|
| FP16 | 2 101 Go | 2 101 Go | 2 103 Go | 2 109 Go |
| FP8 | 1 051 Go | 1 051 Go | 1 053 Go | 1 059 Go |
| Q8_0 | 1 114 Go | 1 114 Go | 1 116 Go | 1 122 Go |
| Q6_K | 862 Go | 862 Go | 864 Go | 870 Go |
| Q4_K_M | 631 Go | 631 Go | 633 Go | 639 Go |
| Q3_K_M | 515 Go | 515 Go | 517 Go | 524 Go |
Un seul utilisateur. Chaque utilisateur simultané ajoute son propre cache de contexte.
Questions fréquentes
Combien de VRAM faut-il pour Kimi K2 1T ?
Avec 8k tokens de contexte et un utilisateur, Kimi K2 1T demande environ 631 Go en Q4, 1 114 Go en Q8 et 2 101 Go en FP16.
Quel est le matériel le moins cher pour Kimi K2 1T ?
En Q4, la solution la moins chère de notre catalogue pour Kimi K2 1T est 5 × H200 141 Go, environ 171 000 € pour la machine complète.
À quelle vitesse tourne Kimi K2 1T ?
Comptez environ 512 tokens par seconde pour un utilisateur sur 5 × H200 141 Go en Q4 (estimation d’après la bande passante mémoire).
Sur quel matériel ?
| Matériel | Cartes | Vitesse | Machine |
|---|---|---|---|
| H200 141 Go | 5 cartes | ~512 tok/s | 171 000 € |
| B200 192 Go | 4 cartes | ~682 tok/s | 174 000 € |
| RTX 3060 12 Go | ne tient pas | — | — |
| RTX 4060 Ti 16 Go | ne tient pas | — | — |
| Radeon RX 7800 XT 16 Go | ne tient pas | — | — |
| RTX 4070 12 Go | ne tient pas | — | — |
| RTX 3090 24 Go (occasion) | ne tient pas | — | — |
| RTX 4070 Ti SUPER 16 Go | ne tient pas | — | — |
| Radeon RX 7900 XTX 24 Go | ne tient pas | — | — |
| RTX 4080 SUPER 16 Go | ne tient pas | — | — |
| RTX 5080 16 Go | ne tient pas | — | — |
| RTX 4090 24 Go | ne tient pas | — | — |
| Mini-PC Ryzen AI Max+ 395 128 Go | ne tient pas | — | — |
| RTX 5090 32 Go | ne tient pas | — | — |
| NVIDIA DGX Spark 128 Go | ne tient pas | — | — |
| Mac Studio M4 Max 128 Go | ne tient pas | — | — |
| RTX 6000 Ada 48 Go | ne tient pas | — | — |
| L40S 48 Go | ne tient pas | — | — |
| RTX PRO 6000 Blackwell 96 Go | ne tient pas | — | — |
| A100 80 Go | ne tient pas | — | — |
| Mac Studio M3 Ultra 512 Go | ne tient pas | — | — |
| H100 80 Go | ne tient pas | — | — |
Machine complète estimée : cartes + PC hôte (900 € pour 1 à 2 cartes grand public, 2 800 € au-delà, 6 000 € de serveur pour les cartes datacenter). Les Mac et mini-PC sont vendus complets.