EN
← Tout le matériel
Datacenter · HBM3

H100 80 Go : quels LLM peut-il faire tourner ?

Seul, il charge jusqu’à gpt-oss-120b en Q4. À plusieurs cartes, la mémoire s’additionne et ouvre des modèles plus gros.

Caractéristiques

Mémoire80 Go
Bande passante3 350 Go/s
Calcul FP16~989 TF
Consommation700 W
Prix indicatif28 000 €
Location cloud2,80 €/h
Monter un serveur avec →Comparer

Face aux cartes de même prix

H100 80 Go vs H200 141 Go33 000 €
H100 80 Go vs B200 192 Go42 000 €
H100 80 Go vs Mac Studio M3 Ultra 512 Go11 500 €

Modèles et vitesse attendue

ModèleQ4Q8FP16
Qwen3 4B✓ ~723 tok/s✓ ~420 tok/s✓ ~226 tok/s
Llama 3.1 8B✓ ~372 tok/s✓ ~213 tok/s✓ ~114 tok/s
Qwen3 8B✓ ~363 tok/s✓ ~208 tok/s✓ ~111 tok/s
Gemma 3 12B✓ ~251 tok/s✓ ~143 tok/s✓ ~76 tok/s
Mistral Nemo 12B✓ ~247 tok/s✓ ~141 tok/s✓ ~75 tok/s
Phi-4 14B✓ ~205 tok/s✓ ~117 tok/s✓ ~62 tok/s
Qwen3 14B✓ ~204 tok/s✓ ~116 tok/s✓ ~62 tok/s
gpt-oss-20b✓ ~798 tok/s✓ ~465 tok/s✓ ~251 tok/s
Mistral Small 24B✓ ~127 tok/s✓ ~72 tok/s✓ ~38 tok/s
Gemma 3 27B✓ ~113 tok/s✓ ~64 tok/s✓ ~34 tok/s
Qwen3.8 27B✓ ~109 tok/s✓ ~62 tok/s✓ ~33 tok/s
Qwen3 30B-A3B✓ ~865 tok/s✓ ~505 tok/s✓ ~273 tok/s
Qwen3 32B✓ ~93 tok/s✓ ~53 tok/s✓ ~28 tok/s
Qwen2.5 Coder 32B✓ ~93 tok/s✓ ~53 tok/s✓ ~28 tok/s
DeepSeek R1 Distill 32B✓ ~93 tok/s✓ ~53 tok/s✓ ~28 tok/s
Mixtral 8x7B✓ ~234 tok/s✓ ~133 tok/s2 × · ~107 tok/s
Llama 3.3 70B✓ ~43 tok/s2 × · ~37 tok/s2 × · ~20 tok/s
GLM-4.5-Air 106B✓ ~251 tok/s2 × · ~215 tok/s3 × · ~172 tok/s
gpt-oss-120b✓ ~574 tok/s2 × · ~497 tok/s4 × · ~534 tok/s
Mistral Large 123B2 × · ~37 tok/s2 × · ~21 tok/s4 × · ~22 tok/s
Qwen3 235B-A22B2 × · ~207 tok/s4 × · ~236 tok/s7 × · ~219 tok/s
GLM-4.5 355B3 × · ~214 tok/s6 × · ~243 tok/s✗
Llama 3.1 405B4 × · ~23 tok/s6 × · ~19 tok/s✗
DeepSeek R1 671B6 × · ~371 tok/s✗✗
DeepSeek V3.1 671B6 × · ~371 tok/s✗✗
Kimi K2 1T✗✗✗

8k tokens, un utilisateur. « 2 × » = nombre de cartes nécessaires, vitesse en parallélisme tensoriel (vLLM). ✗ = ne tient pas, même à 8 cartes.