Mistral · Modèle dense · 2024-07

Mistral Nemo 12B : combien de VRAM ?

En Q4_K_M avec 8k tokens de contexte, Mistral Nemo 12B demande environ 9 Go de mémoire. La solution la moins chère : RTX 3060 12 Go (1 180 € machine complète).

Fiche

Paramètres12 Md

Actifs / token12 Md

Cache / 1k tok.164 Mo

ollama run mistral-nemo

Poids sur Hugging Face : mistralai/Mistral-Nemo-Instruct-2407

Configurer le serveur le moins cher →Comparer des GPU

VRAM selon la précision et le contexte

Précision	4k	8k	32k	128k
FP16	27 Go	27 Go	31 Go	47 Go
FP8	14 Go	14 Go	18 Go	34 Go
Q8_0	15 Go	15 Go	19 Go	34 Go
Q6_K	12 Go	12 Go	16 Go	31 Go
Q4_K_M	9 Go	9 Go	13 Go	29 Go
Q3_K_M	7 Go	8 Go	12 Go	27 Go

Un seul utilisateur. Chaque utilisateur simultané ajoute son propre cache de contexte.

Questions fréquentes

Combien de VRAM faut-il pour Mistral Nemo 12B ?

Avec 8k tokens de contexte et un utilisateur, Mistral Nemo 12B demande environ 9 Go en Q4, 15 Go en Q8 et 27 Go en FP16.

Quel est le matériel le moins cher pour Mistral Nemo 12B ?

En Q4, la solution la moins chère de notre catalogue pour Mistral Nemo 12B est RTX 3060 12 Go, environ 1 180 € pour la machine complète.

À quelle vitesse tourne Mistral Nemo 12B ?

Comptez environ 27 tokens par seconde pour un utilisateur sur RTX 3060 12 Go en Q4 (estimation d’après la bande passante mémoire).

Sur quel matériel ?

Matériel	Cartes	Vitesse	Machine
RTX 3060 12 Go	1 suffit	~27 tok/s	1 180 €
RTX 4060 Ti 16 Go	1 suffit	~21 tok/s	1 350 €
Radeon RX 7800 XT 16 Go	1 suffit	~46 tok/s	1 400 €
RTX 4070 12 Go	1 suffit	~37 tok/s	1 450 €
RTX 3090 24 Go (occasion)	1 suffit	~69 tok/s	1 650 €
RTX 4070 Ti SUPER 16 Go	1 suffit	~49 tok/s	1 750 €
Radeon RX 7900 XTX 24 Go	1 suffit	~71 tok/s	1 850 €
RTX 4080 SUPER 16 Go	1 suffit	~54 tok/s	1 950 €
RTX 5080 16 Go	1 suffit	~71 tok/s	2 100 €
Mini-PC Ryzen AI Max+ 395 128 Go	1 suffit	~19 tok/s	2 300 €
RTX 4090 24 Go	1 suffit	~74 tok/s	2 900 €
RTX 5090 32 Go	1 suffit	~132 tok/s	3 500 €
NVIDIA DGX Spark 128 Go	1 suffit	~20 tok/s	4 000 €
Mac Studio M4 Max 128 Go	1 suffit	~40 tok/s	4 400 €
RTX 6000 Ada 48 Go	1 suffit	~71 tok/s	7 900 €
RTX PRO 6000 Blackwell 96 Go	1 suffit	~132 tok/s	9 900 €
Mac Studio M3 Ultra 512 Go	1 suffit	~60 tok/s	11 500 €
L40S 48 Go	1 suffit	~64 tok/s	13 500 €
A100 80 Go	1 suffit	~150 tok/s	17 000 €
H100 80 Go	1 suffit	~247 tok/s	34 000 €
H200 141 Go	1 suffit	~353 tok/s	39 000 €
B200 192 Go	1 suffit	~589 tok/s	48 000 €

Machine complète estimée : cartes + PC hôte (900 € pour 1 à 2 cartes grand public, 2 800 € au-delà, 6 000 € de serveur pour les cartes datacenter). Les Mac et mini-PC sont vendus complets.