Llama · Modèle dense · 2024-07

Llama 3.1 8B : combien de VRAM ?

En Q4_K_M avec 8k tokens de contexte, Llama 3.1 8B demande environ 6 Go de mémoire. La solution la moins chère : RTX 3060 12 Go (1 180 € machine complète).

Fiche

Paramètres8,0 Md

Actifs / token8,0 Md

Cache / 1k tok.128 Mo

ollama run llama3.1:8b

Poids sur Hugging Face : meta-llama/Llama-3.1-8B-Instruct

Configurer le serveur le moins cher →Comparer des GPU

VRAM selon la précision et le contexte

Précision	4k	8k	32k	128k
FP16	18 Go	18 Go	21 Go	33 Go
FP8	9 Go	10 Go	13 Go	25 Go
Q8_0	10 Go	10 Go	13 Go	25 Go
Q6_K	8 Go	8 Go	11 Go	23 Go
Q4_K_M	6 Go	6 Go	9 Go	21 Go
Q3_K_M	5 Go	6 Go	9 Go	21 Go

Un seul utilisateur. Chaque utilisateur simultané ajoute son propre cache de contexte.

Questions fréquentes

Combien de VRAM faut-il pour Llama 3.1 8B ?

Avec 8k tokens de contexte et un utilisateur, Llama 3.1 8B demande environ 6 Go en Q4, 10 Go en Q8 et 18 Go en FP16.

Quel est le matériel le moins cher pour Llama 3.1 8B ?

En Q4, la solution la moins chère de notre catalogue pour Llama 3.1 8B est RTX 3060 12 Go, environ 1 180 € pour la machine complète.

À quelle vitesse tourne Llama 3.1 8B ?

Comptez environ 40 tokens par seconde pour un utilisateur sur RTX 3060 12 Go en Q4 (estimation d’après la bande passante mémoire).

Sur quel matériel ?

Matériel	Cartes	Vitesse	Machine
RTX 3060 12 Go	1 suffit	~40 tok/s	1 180 €
RTX 4060 Ti 16 Go	1 suffit	~32 tok/s	1 350 €
Radeon RX 7800 XT 16 Go	1 suffit	~69 tok/s	1 400 €
RTX 4070 12 Go	1 suffit	~56 tok/s	1 450 €
RTX 3090 24 Go (occasion)	1 suffit	~104 tok/s	1 650 €
RTX 4070 Ti SUPER 16 Go	1 suffit	~75 tok/s	1 750 €
Radeon RX 7900 XTX 24 Go	1 suffit	~107 tok/s	1 850 €
RTX 4080 SUPER 16 Go	1 suffit	~82 tok/s	1 950 €
RTX 5080 16 Go	1 suffit	~107 tok/s	2 100 €
Mini-PC Ryzen AI Max+ 395 128 Go	1 suffit	~28 tok/s	2 300 €
RTX 4090 24 Go	1 suffit	~112 tok/s	2 900 €
RTX 5090 32 Go	1 suffit	~199 tok/s	3 500 €
NVIDIA DGX Spark 128 Go	1 suffit	~30 tok/s	4 000 €
Mac Studio M4 Max 128 Go	1 suffit	~61 tok/s	4 400 €
RTX 6000 Ada 48 Go	1 suffit	~107 tok/s	7 900 €
RTX PRO 6000 Blackwell 96 Go	1 suffit	~199 tok/s	9 900 €
Mac Studio M3 Ultra 512 Go	1 suffit	~91 tok/s	11 500 €
L40S 48 Go	1 suffit	~96 tok/s	13 500 €
A100 80 Go	1 suffit	~227 tok/s	17 000 €
H100 80 Go	1 suffit	~372 tok/s	34 000 €
H200 141 Go	1 suffit	~533 tok/s	39 000 €
B200 192 Go	1 suffit	~889 tok/s	48 000 €

Machine complète estimée : cartes + PC hôte (900 € pour 1 à 2 cartes grand public, 2 800 € au-delà, 6 000 € de serveur pour les cartes datacenter). Les Mac et mini-PC sont vendus complets.