Mistral · Mixture of Experts · 2023-12

Mixtral 8x7B : combien de VRAM ?

En Q4_K_M avec 8k tokens de contexte, Mixtral 8x7B demande environ 31 Go de mémoire. La solution la moins chère : 2 × RTX 4060 Ti 16 Go (1 800 € machine complète).

Fiche

Paramètres47 Md

Actifs / token13 Md

Cache / 1k tok.128 Mo

ollama run mixtral:8x7b

Poids sur Hugging Face : mistralai/Mixtral-8x7B-Instruct-v0.1

Configurer le serveur le moins cher →Comparer des GPU

VRAM selon la précision et le contexte

Précision	4k	8k	32k	128k
FP16	99 Go	99 Go	102 Go	114 Go
FP8	50 Go	50 Go	53 Go	65 Go
Q8_0	53 Go	53 Go	56 Go	68 Go
Q6_K	41 Go	42 Go	45 Go	57 Go
Q4_K_M	30 Go	31 Go	34 Go	46 Go
Q3_K_M	25 Go	25 Go	28 Go	40 Go

Un seul utilisateur. Chaque utilisateur simultané ajoute son propre cache de contexte.

Questions fréquentes

Combien de VRAM faut-il pour Mixtral 8x7B ?

Avec 8k tokens de contexte et un utilisateur, Mixtral 8x7B demande environ 31 Go en Q4, 53 Go en Q8 et 99 Go en FP16.

Quel est le matériel le moins cher pour Mixtral 8x7B ?

En Q4, la solution la moins chère de notre catalogue pour Mixtral 8x7B est 2 × RTX 4060 Ti 16 Go, environ 1 800 € pour la machine complète.

À quelle vitesse tourne Mixtral 8x7B ?

Comptez environ 30 tokens par seconde pour un utilisateur sur 2 × RTX 4060 Ti 16 Go en Q4 (estimation d’après la bande passante mémoire).

Sur quel matériel ?

Matériel	Cartes	Vitesse	Machine
RTX 4060 Ti 16 Go	2 cartes	~30 tok/s	1 800 €
Radeon RX 7800 XT 16 Go	2 cartes	~65 tok/s	1 900 €
Mini-PC Ryzen AI Max+ 395 128 Go	1 suffit	~18 tok/s	2 300 €
RTX 3090 24 Go (occasion)	2 cartes	~98 tok/s	2 400 €
RTX 4070 Ti SUPER 16 Go	2 cartes	~70 tok/s	2 600 €
Radeon RX 7900 XTX 24 Go	2 cartes	~100 tok/s	2 800 €
RTX 4080 SUPER 16 Go	2 cartes	~77 tok/s	3 000 €
RTX 5080 16 Go	2 cartes	~100 tok/s	3 300 €
RTX 5090 32 Go	1 suffit	~125 tok/s	3 500 €
RTX 3060 12 Go	3 cartes	~56 tok/s	3 640 €
NVIDIA DGX Spark 128 Go	1 suffit	~19 tok/s	4 000 €
Mac Studio M4 Max 128 Go	1 suffit	~38 tok/s	4 400 €
RTX 4070 12 Go	3 cartes	~79 tok/s	4 450 €
RTX 4090 24 Go	2 cartes	~105 tok/s	4 900 €
RTX 6000 Ada 48 Go	1 suffit	~67 tok/s	7 900 €
RTX PRO 6000 Blackwell 96 Go	1 suffit	~125 tok/s	9 900 €
Mac Studio M3 Ultra 512 Go	1 suffit	~57 tok/s	11 500 €
L40S 48 Go	1 suffit	~60 tok/s	13 500 €
A100 80 Go	1 suffit	~142 tok/s	17 000 €
H100 80 Go	1 suffit	~234 tok/s	34 000 €
H200 141 Go	1 suffit	~335 tok/s	39 000 €
B200 192 Go	1 suffit	~558 tok/s	48 000 €

Machine complète estimée : cartes + PC hôte (900 € pour 1 à 2 cartes grand public, 2 800 € au-delà, 6 000 € de serveur pour les cartes datacenter). Les Mac et mini-PC sont vendus complets.