GLM-4.5 355B : combien de VRAM ?
En Q4_K_M avec 8k tokens de contexte, GLM-4.5 355B demande environ 226 Go de mémoire. La solution la moins chère : Mac Studio M3 Ultra 512 Go (11 500 € machine complète).
Fiche
vllm serve zai-org/GLM-4.5Poids sur Hugging Face : zai-org/GLM-4.5
VRAM selon la précision et le contexte
| Précision | 4k | 8k | 32k | 128k |
|---|---|---|---|---|
| FP16 | 747 Go | 748 Go | 756 Go | 784 Go |
| FP8 | 374 Go | 376 Go | 383 Go | 412 Go |
| Q8_0 | 397 Go | 398 Go | 405 Go | 434 Go |
| Q6_K | 307 Go | 308 Go | 316 Go | 344 Go |
| Q4_K_M | 225 Go | 226 Go | 234 Go | 262 Go |
| Q3_K_M | 184 Go | 185 Go | 193 Go | 221 Go |
Un seul utilisateur. Chaque utilisateur simultané ajoute son propre cache de contexte.
Questions fréquentes
Combien de VRAM faut-il pour GLM-4.5 355B ?
Avec 8k tokens de contexte et un utilisateur, GLM-4.5 355B demande environ 226 Go en Q4, 398 Go en Q8 et 748 Go en FP16.
Quel est le matériel le moins cher pour GLM-4.5 355B ?
En Q4, la solution la moins chère de notre catalogue pour GLM-4.5 355B est Mac Studio M3 Ultra 512 Go, environ 11 500 € pour la machine complète.
À quelle vitesse tourne GLM-4.5 355B ?
Comptez environ 23 tokens par seconde pour un utilisateur sur Mac Studio M3 Ultra 512 Go en Q4 (estimation d’après la bande passante mémoire).
Sur quel matériel ?
| Matériel | Cartes | Vitesse | Machine |
|---|---|---|---|
| Mac Studio M3 Ultra 512 Go | 1 suffit | ~23 tok/s | 11 500 € |
| RTX PRO 6000 Blackwell 96 Go | 3 cartes | ~115 tok/s | 29 800 € |
| A100 80 Go | 3 cartes | ~130 tok/s | 39 000 € |
| L40S 48 Go | 5 cartes | ~92 tok/s | 43 500 € |
| H200 141 Go | 2 cartes | ~205 tok/s | 72 000 € |
| H100 80 Go | 3 cartes | ~214 tok/s | 90 000 € |
| B200 192 Go | 2 cartes | ~341 tok/s | 90 000 € |
| RTX 3060 12 Go | ne tient pas | — | — |
| RTX 4060 Ti 16 Go | ne tient pas | — | — |
| Radeon RX 7800 XT 16 Go | ne tient pas | — | — |
| RTX 4070 12 Go | ne tient pas | — | — |
| RTX 3090 24 Go (occasion) | ne tient pas | — | — |
| RTX 4070 Ti SUPER 16 Go | ne tient pas | — | — |
| Radeon RX 7900 XTX 24 Go | ne tient pas | — | — |
| RTX 4080 SUPER 16 Go | ne tient pas | — | — |
| RTX 5080 16 Go | ne tient pas | — | — |
| RTX 4090 24 Go | ne tient pas | — | — |
| Mini-PC Ryzen AI Max+ 395 128 Go | ne tient pas | — | — |
| RTX 5090 32 Go | ne tient pas | — | — |
| NVIDIA DGX Spark 128 Go | ne tient pas | — | — |
| Mac Studio M4 Max 128 Go | ne tient pas | — | — |
| RTX 6000 Ada 48 Go | ne tient pas | — | — |
Machine complète estimée : cartes + PC hôte (900 € pour 1 à 2 cartes grand public, 2 800 € au-delà, 6 000 € de serveur pour les cartes datacenter). Les Mac et mini-PC sont vendus complets.
Modèles proches
Dès : Mini-PC Ryzen AI Max+ 395 128 Go · 2 300 €
Dès : Mac Studio M3 Ultra 512 Go · 11 500 €
Dès : Mac Studio M3 Ultra 512 Go · 11 500 €