EN
← Tout le matériel
Datacenter · HBM2e

A100 80 Go : quels LLM peut-il faire tourner ?

Seul, il charge jusqu’à gpt-oss-120b en Q4. À plusieurs cartes, la mémoire s’additionne et ouvre des modèles plus gros.

Caractéristiques

Mémoire80 Go
Bande passante2 039 Go/s
Calcul FP16~312 TF
Consommation300 W
Prix indicatif11 000 €
Location cloud1,60 €/h
Monter un serveur avec →Comparer

Face aux cartes de même prix

A100 80 Go vs Mac Studio M3 Ultra 512 Go11 500 €
A100 80 Go vs RTX PRO 6000 Blackwell 96 Go9 000 €
A100 80 Go vs L40S 48 Go7 500 €

Modèles et vitesse attendue

ModèleQ4Q8FP16
Qwen3 4B✓ ~440 tok/s✓ ~255 tok/s✓ ~138 tok/s
Llama 3.1 8B✓ ~227 tok/s✓ ~130 tok/s✓ ~69 tok/s
Qwen3 8B✓ ~221 tok/s✓ ~127 tok/s✓ ~68 tok/s
Gemma 3 12B✓ ~153 tok/s✓ ~87 tok/s✓ ~46 tok/s
Mistral Nemo 12B✓ ~150 tok/s✓ ~86 tok/s✓ ~46 tok/s
Phi-4 14B✓ ~125 tok/s✓ ~71 tok/s✓ ~38 tok/s
Qwen3 14B✓ ~124 tok/s✓ ~71 tok/s✓ ~38 tok/s
gpt-oss-20b✓ ~485 tok/s✓ ~283 tok/s✓ ~153 tok/s
Mistral Small 24B✓ ~77 tok/s✓ ~44 tok/s✓ ~23 tok/s
Gemma 3 27B✓ ~69 tok/s✓ ~39 tok/s✓ ~21 tok/s
Qwen3.8 27B✓ ~66 tok/s✓ ~38 tok/s✓ ~20 tok/s
Qwen3 30B-A3B✓ ~527 tok/s✓ ~307 tok/s✓ ~166 tok/s
Qwen3 32B✓ ~57 tok/s✓ ~32 tok/s✓ ~17 tok/s
Qwen2.5 Coder 32B✓ ~57 tok/s✓ ~32 tok/s✓ ~17 tok/s
DeepSeek R1 Distill 32B✓ ~57 tok/s✓ ~32 tok/s✓ ~17 tok/s
Mixtral 8x7B✓ ~142 tok/s✓ ~81 tok/s2 × · ~65 tok/s
Llama 3.3 70B✓ ~26 tok/s2 × · ~22 tok/s2 × · ~12 tok/s
GLM-4.5-Air 106B✓ ~153 tok/s2 × · ~131 tok/s3 × · ~104 tok/s
gpt-oss-120b✓ ~349 tok/s2 × · ~303 tok/s4 × · ~325 tok/s
Mistral Large 123B2 × · ~23 tok/s2 × · ~13 tok/s4 × · ~14 tok/s
Qwen3 235B-A22B2 × · ~126 tok/s4 × · ~143 tok/s7 × · ~133 tok/s
GLM-4.5 355B3 × · ~130 tok/s6 × · ~148 tok/s✗
Llama 3.1 405B4 × · ~14 tok/s6 × · ~12 tok/s✗
DeepSeek R1 671B6 × · ~226 tok/s✗✗
DeepSeek V3.1 671B6 × · ~226 tok/s✗✗
Kimi K2 1T✗✗✗

8k tokens, un utilisateur. « 2 × » = nombre de cartes nécessaires, vitesse en parallélisme tensoriel (vLLM). ✗ = ne tient pas, même à 8 cartes.