Mistral · Modèle dense · 2024-11

Mistral Large 123B : combien de VRAM ?

En Q4_K_M avec 8k tokens de contexte, Mistral Large 123B demande environ 81 Go de mémoire. La solution la moins chère : Mini-PC Ryzen AI Max+ 395 128 Go (2 300 € machine complète).

Fiche

Paramètres123 Md

Actifs / token123 Md

Cache / 1k tok.348 Mo

ollama run mistral-large

Poids sur Hugging Face : mistralai/Mistral-Large-Instruct-2411

Configurer le serveur le moins cher →Comparer des GPU

VRAM selon la précision et le contexte

Précision	4k	8k	32k	128k
FP16	260 Go	261 Go	270 Go	302 Go
FP8	131 Go	132 Go	140 Go	173 Go
Q8_0	139 Go	140 Go	148 Go	181 Go
Q6_K	108 Go	109 Go	117 Go	150 Go
Q4_K_M	79 Go	81 Go	89 Go	121 Go
Q3_K_M	65 Go	66 Go	75 Go	107 Go

Un seul utilisateur. Chaque utilisateur simultané ajoute son propre cache de contexte.

Questions fréquentes

Combien de VRAM faut-il pour Mistral Large 123B ?

Avec 8k tokens de contexte et un utilisateur, Mistral Large 123B demande environ 81 Go en Q4, 140 Go en Q8 et 261 Go en FP16.

Quel est le matériel le moins cher pour Mistral Large 123B ?

En Q4, la solution la moins chère de notre catalogue pour Mistral Large 123B est Mini-PC Ryzen AI Max+ 395 128 Go, environ 2 300 € pour la machine complète.

À quelle vitesse tourne Mistral Large 123B ?

Comptez environ 1,9 tokens par seconde pour un utilisateur sur Mini-PC Ryzen AI Max+ 395 128 Go en Q4 (estimation d’après la bande passante mémoire).

Sur quel matériel ?

Matériel	Cartes	Vitesse	Machine
Mini-PC Ryzen AI Max+ 395 128 Go	1 suffit	~1,9 tok/s	2 300 €
NVIDIA DGX Spark 128 Go	1 suffit	~2,0 tok/s	4 000 €
Mac Studio M4 Max 128 Go	1 suffit	~4,1 tok/s	4 400 €
RTX 3090 24 Go (occasion)	4 cartes	~21 tok/s	5 800 €
Radeon RX 7900 XTX 24 Go	4 cartes	~21 tok/s	6 600 €
RTX PRO 6000 Blackwell 96 Go	1 suffit	~13 tok/s	9 900 €
RTX 5090 32 Go	3 cartes	~30 tok/s	10 600 €
RTX 4090 24 Go	4 cartes	~22 tok/s	10 800 €
Mac Studio M3 Ultra 512 Go	1 suffit	~6,1 tok/s	11 500 €
RTX 6000 Ada 48 Go	2 cartes	~11 tok/s	14 900 €
L40S 48 Go	2 cartes	~9,6 tok/s	21 000 €
A100 80 Go	2 cartes	~23 tok/s	28 000 €
H200 141 Go	1 suffit	~36 tok/s	39 000 €
B200 192 Go	1 suffit	~59 tok/s	48 000 €
H100 80 Go	2 cartes	~37 tok/s	62 000 €
RTX 3060 12 Go	ne tient pas	—	—
RTX 4060 Ti 16 Go	ne tient pas	—	—
Radeon RX 7800 XT 16 Go	ne tient pas	—	—
RTX 4070 12 Go	ne tient pas	—	—
RTX 4070 Ti SUPER 16 Go	ne tient pas	—	—
RTX 4080 SUPER 16 Go	ne tient pas	—	—
RTX 5080 16 Go	ne tient pas	—	—

Machine complète estimée : cartes + PC hôte (900 € pour 1 à 2 cartes grand public, 2 800 € au-delà, 6 000 € de serveur pour les cartes datacenter). Les Mac et mini-PC sont vendus complets.