GLM · Mixture of Experts · 2025-07

GLM-4.5-Air 106B : combien de VRAM ?

En Q4_K_M avec 8k tokens de contexte, GLM-4.5-Air 106B demande environ 69 Go de mémoire. La solution la moins chère : Mini-PC Ryzen AI Max+ 395 128 Go (2 300 € machine complète).

Fiche

Paramètres106 Md

Actifs / token12 Md

Cache / 1k tok.184 Mo

vllm serve zai-org/GLM-4.5-Air

Poids sur Hugging Face : zai-org/GLM-4.5-Air

Configurer le serveur le moins cher →Comparer des GPU

VRAM selon la précision et le contexte

Précision	4k	8k	32k	128k
FP16	224 Go	224 Go	229 Go	246 Go
FP8	112 Go	113 Go	117 Go	135 Go
Q8_0	119 Go	120 Go	124 Go	141 Go
Q6_K	92 Go	93 Go	97 Go	115 Go
Q4_K_M	68 Go	69 Go	73 Go	90 Go
Q3_K_M	56 Go	56 Go	61 Go	78 Go

Un seul utilisateur. Chaque utilisateur simultané ajoute son propre cache de contexte.

Questions fréquentes

Combien de VRAM faut-il pour GLM-4.5-Air 106B ?

Avec 8k tokens de contexte et un utilisateur, GLM-4.5-Air 106B demande environ 69 Go en Q4, 120 Go en Q8 et 224 Go en FP16.

Quel est le matériel le moins cher pour GLM-4.5-Air 106B ?

En Q4, la solution la moins chère de notre catalogue pour GLM-4.5-Air 106B est Mini-PC Ryzen AI Max+ 395 128 Go, environ 2 300 € pour la machine complète.

À quelle vitesse tourne GLM-4.5-Air 106B ?

Comptez environ 19 tokens par seconde pour un utilisateur sur Mini-PC Ryzen AI Max+ 395 128 Go en Q4 (estimation d’après la bande passante mémoire).

Sur quel matériel ?

Matériel	Cartes	Vitesse	Machine
Mini-PC Ryzen AI Max+ 395 128 Go	1 suffit	~19 tok/s	2 300 €
NVIDIA DGX Spark 128 Go	1 suffit	~20 tok/s	4 000 €
Mac Studio M4 Max 128 Go	1 suffit	~41 tok/s	4 400 €
RTX 3090 24 Go (occasion)	3 cartes	~158 tok/s	5 050 €
Radeon RX 7900 XTX 24 Go	3 cartes	~162 tok/s	5 650 €
RTX 4090 24 Go	3 cartes	~170 tok/s	8 800 €
RTX PRO 6000 Blackwell 96 Go	1 suffit	~134 tok/s	9 900 €
RTX 5090 32 Go	3 cartes	~302 tok/s	10 600 €
Mac Studio M3 Ultra 512 Go	1 suffit	~61 tok/s	11 500 €
RTX 6000 Ada 48 Go	2 cartes	~108 tok/s	14 900 €
A100 80 Go	1 suffit	~153 tok/s	17 000 €
L40S 48 Go	2 cartes	~97 tok/s	21 000 €
H100 80 Go	1 suffit	~251 tok/s	34 000 €
H200 141 Go	1 suffit	~359 tok/s	39 000 €
B200 192 Go	1 suffit	~599 tok/s	48 000 €
RTX 3060 12 Go	ne tient pas	—	—
RTX 4060 Ti 16 Go	ne tient pas	—	—
Radeon RX 7800 XT 16 Go	ne tient pas	—	—
RTX 4070 12 Go	ne tient pas	—	—
RTX 4070 Ti SUPER 16 Go	ne tient pas	—	—
RTX 4080 SUPER 16 Go	ne tient pas	—	—
RTX 5080 16 Go	ne tient pas	—	—

Machine complète estimée : cartes + PC hôte (900 € pour 1 à 2 cartes grand public, 2 800 € au-delà, 6 000 € de serveur pour les cartes datacenter). Les Mac et mini-PC sont vendus complets.