Llama 3.1 405B : combien de VRAM ?
En Q4_K_M avec 8k tokens de contexte, Llama 3.1 405B demande environ 259 Go de mémoire. La solution la moins chère : Mac Studio M3 Ultra 512 Go (11 500 € machine complète).
Fiche
ollama run llama3.1:405bPoids sur Hugging Face : meta-llama/Llama-3.1-405B-Instruct
VRAM selon la précision et le contexte
| Précision | 4k | 8k | 32k | 128k |
|---|---|---|---|---|
| FP16 | 853 Go | 855 Go | 867 Go | 914 Go |
| FP8 | 428 Go | 430 Go | 441 Go | 488 Go |
| Q8_0 | 453 Go | 455 Go | 467 Go | 514 Go |
| Q6_K | 351 Go | 353 Go | 365 Go | 412 Go |
| Q4_K_M | 258 Go | 259 Go | 271 Go | 318 Go |
| Q3_K_M | 211 Go | 213 Go | 224 Go | 271 Go |
Un seul utilisateur. Chaque utilisateur simultané ajoute son propre cache de contexte.
Questions fréquentes
Combien de VRAM faut-il pour Llama 3.1 405B ?
Avec 8k tokens de contexte et un utilisateur, Llama 3.1 405B demande environ 259 Go en Q4, 455 Go en Q8 et 855 Go en FP16.
Quel est le matériel le moins cher pour Llama 3.1 405B ?
En Q4, la solution la moins chère de notre catalogue pour Llama 3.1 405B est Mac Studio M3 Ultra 512 Go, environ 11 500 € pour la machine complète.
À quelle vitesse tourne Llama 3.1 405B ?
Comptez environ 1,9 tokens par seconde pour un utilisateur sur Mac Studio M3 Ultra 512 Go en Q4 (estimation d’après la bande passante mémoire).
Sur quel matériel ?
| Matériel | Cartes | Vitesse | Machine |
|---|---|---|---|
| Mac Studio M3 Ultra 512 Go | 1 suffit | ~1,9 tok/s | 11 500 € |
| RTX PRO 6000 Blackwell 96 Go | 3 cartes | ~9,1 tok/s | 29 800 € |
| A100 80 Go | 4 cartes | ~14 tok/s | 50 000 € |
| L40S 48 Go | 6 cartes | ~8,8 tok/s | 51 000 € |
| H200 141 Go | 2 cartes | ~16 tok/s | 72 000 € |
| B200 192 Go | 2 cartes | ~27 tok/s | 90 000 € |
| H100 80 Go | 4 cartes | ~23 tok/s | 118 000 € |
| RTX 3060 12 Go | ne tient pas | — | — |
| RTX 4060 Ti 16 Go | ne tient pas | — | — |
| Radeon RX 7800 XT 16 Go | ne tient pas | — | — |
| RTX 4070 12 Go | ne tient pas | — | — |
| RTX 3090 24 Go (occasion) | ne tient pas | — | — |
| RTX 4070 Ti SUPER 16 Go | ne tient pas | — | — |
| Radeon RX 7900 XTX 24 Go | ne tient pas | — | — |
| RTX 4080 SUPER 16 Go | ne tient pas | — | — |
| RTX 5080 16 Go | ne tient pas | — | — |
| RTX 4090 24 Go | ne tient pas | — | — |
| Mini-PC Ryzen AI Max+ 395 128 Go | ne tient pas | — | — |
| RTX 5090 32 Go | ne tient pas | — | — |
| NVIDIA DGX Spark 128 Go | ne tient pas | — | — |
| Mac Studio M4 Max 128 Go | ne tient pas | — | — |
| RTX 6000 Ada 48 Go | ne tient pas | — | — |
Machine complète estimée : cartes + PC hôte (900 € pour 1 à 2 cartes grand public, 2 800 € au-delà, 6 000 € de serveur pour les cartes datacenter). Les Mac et mini-PC sont vendus complets.
Modèles proches
Dès : RTX 3060 12 Go · 1 180 €
Dès : Mini-PC Ryzen AI Max+ 395 128 Go · 2 300 €
Dès : Mac Studio M3 Ultra 512 Go · 11 500 €