Llama · Modèle dense · 2024-12

Llama 3.3 70B : combien de VRAM ?

En Q4_K_M avec 8k tokens de contexte, Llama 3.3 70B demande environ 47 Go de mémoire. La solution la moins chère : Mini-PC Ryzen AI Max+ 395 128 Go (2 300 € machine complète).

Fiche

Paramètres71 Md

Actifs / token71 Md

Cache / 1k tok.317 Mo

ollama run llama3.3:70b

Poids sur Hugging Face : meta-llama/Llama-3.3-70B-Instruct

Configurer le serveur le moins cher →Comparer des GPU

VRAM selon la précision et le contexte

Précision	4k	8k	32k	128k
FP16	150 Go	151 Go	159 Go	188 Go
FP8	76 Go	77 Go	84 Go	114 Go
Q8_0	80 Go	81 Go	89 Go	119 Go
Q6_K	62 Go	64 Go	71 Go	101 Go
Q4_K_M	46 Go	47 Go	55 Go	85 Go
Q3_K_M	38 Go	39 Go	47 Go	76 Go

Un seul utilisateur. Chaque utilisateur simultané ajoute son propre cache de contexte.

Questions fréquentes

Combien de VRAM faut-il pour Llama 3.3 70B ?

Avec 8k tokens de contexte et un utilisateur, Llama 3.3 70B demande environ 47 Go en Q4, 81 Go en Q8 et 151 Go en FP16.

Quel est le matériel le moins cher pour Llama 3.3 70B ?

En Q4, la solution la moins chère de notre catalogue pour Llama 3.3 70B est Mini-PC Ryzen AI Max+ 395 128 Go, environ 2 300 € pour la machine complète.

À quelle vitesse tourne Llama 3.3 70B ?

Comptez environ 3,3 tokens par seconde pour un utilisateur sur Mini-PC Ryzen AI Max+ 395 128 Go en Q4 (estimation d’après la bande passante mémoire).

Sur quel matériel ?

Matériel	Cartes	Vitesse	Machine
Mini-PC Ryzen AI Max+ 395 128 Go	1 suffit	~3,3 tok/s	2 300 €
NVIDIA DGX Spark 128 Go	1 suffit	~3,5 tok/s	4 000 €
Mac Studio M4 Max 128 Go	1 suffit	~7,1 tok/s	4 400 €
RTX 4060 Ti 16 Go	4 cartes	~11 tok/s	4 600 €
Radeon RX 7800 XT 16 Go	4 cartes	~24 tok/s	4 800 €
RTX 3090 24 Go (occasion)	3 cartes	~27 tok/s	5 050 €
Radeon RX 7900 XTX 24 Go	3 cartes	~28 tok/s	5 650 €
RTX 5090 32 Go	2 cartes	~35 tok/s	6 100 €
RTX 4070 Ti SUPER 16 Go	4 cartes	~26 tok/s	6 200 €
RTX 4080 SUPER 16 Go	4 cartes	~29 tok/s	7 000 €
RTX 5080 16 Go	4 cartes	~37 tok/s	7 600 €
RTX 6000 Ada 48 Go	1 suffit	~12 tok/s	7 900 €
RTX 4090 24 Go	3 cartes	~29 tok/s	8 800 €
RTX PRO 6000 Blackwell 96 Go	1 suffit	~23 tok/s	9 900 €
Mac Studio M3 Ultra 512 Go	1 suffit	~11 tok/s	11 500 €
L40S 48 Go	1 suffit	~11 tok/s	13 500 €
A100 80 Go	1 suffit	~26 tok/s	17 000 €
H100 80 Go	1 suffit	~43 tok/s	34 000 €
H200 141 Go	1 suffit	~62 tok/s	39 000 €
B200 192 Go	1 suffit	~104 tok/s	48 000 €
RTX 3060 12 Go	ne tient pas	—	—
RTX 4070 12 Go	ne tient pas	—	—

Machine complète estimée : cartes + PC hôte (900 € pour 1 à 2 cartes grand public, 2 800 € au-delà, 6 000 € de serveur pour les cartes datacenter). Les Mac et mini-PC sont vendus complets.