Datacenter · HBM3e
B200 192 Go : quels LLM peut-il faire tourner ?
Seul, il charge jusqu’à Qwen3 235B-A22B en Q4. À plusieurs cartes, la mémoire s’additionne et ouvre des modèles plus gros.
Caractéristiques
Mémoire192 Go
Bande passante8 000 Go/s
Calcul FP16~2 250 TF
Consommation1000 W
Prix indicatif42 000 €
Location cloud5,50 €/h
Modèles et vitesse attendue
| Modèle | Q4 | Q8 | FP16 |
|---|---|---|---|
| Qwen3 4B | ✓ ~1 725 tok/s | ✓ ~1 002 tok/s | ✓ ~540 tok/s |
| Llama 3.1 8B | ✓ ~889 tok/s | ✓ ~510 tok/s | ✓ ~272 tok/s |
| Qwen3 8B | ✓ ~868 tok/s | ✓ ~498 tok/s | ✓ ~266 tok/s |
| Gemma 3 12B | ✓ ~599 tok/s | ✓ ~342 tok/s | ✓ ~182 tok/s |
| Mistral Nemo 12B | ✓ ~589 tok/s | ✓ ~336 tok/s | ✓ ~179 tok/s |
| Phi-4 14B | ✓ ~491 tok/s | ✓ ~280 tok/s | ✓ ~149 tok/s |
| Qwen3 14B | ✓ ~487 tok/s | ✓ ~278 tok/s | ✓ ~148 tok/s |
| gpt-oss-20b | ✓ ~1 905 tok/s | ✓ ~1 109 tok/s | ✓ ~599 tok/s |
| Mistral Small 24B | ✓ ~302 tok/s | ✓ ~172 tok/s | ✓ ~91 tok/s |
| Gemma 3 27B | ✓ ~269 tok/s | ✓ ~153 tok/s | ✓ ~81 tok/s |
| Qwen3.8 27B | ✓ ~260 tok/s | ✓ ~148 tok/s | ✓ ~78 tok/s |
| Qwen3 30B-A3B | ✓ ~2 066 tok/s | ✓ ~1 206 tok/s | ✓ ~652 tok/s |
| Qwen3 32B | ✓ ~222 tok/s | ✓ ~126 tok/s | ✓ ~67 tok/s |
| Qwen2.5 Coder 32B | ✓ ~222 tok/s | ✓ ~126 tok/s | ✓ ~67 tok/s |
| DeepSeek R1 Distill 32B | ✓ ~222 tok/s | ✓ ~126 tok/s | ✓ ~67 tok/s |
| Mixtral 8x7B | ✓ ~558 tok/s | ✓ ~318 tok/s | ✓ ~170 tok/s |
| Llama 3.3 70B | ✓ ~104 tok/s | ✓ ~59 tok/s | ✓ ~31 tok/s |
| GLM-4.5-Air 106B | ✓ ~599 tok/s | ✓ ~342 tok/s | 2 × · ~273 tok/s |
| gpt-oss-120b | ✓ ~1 371 tok/s | ✓ ~792 tok/s | 2 × · ~638 tok/s |
| Mistral Large 123B | ✓ ~59 tok/s | ✓ ~34 tok/s | 2 × · ~27 tok/s |
| Qwen3 235B-A22B | ✓ ~330 tok/s | 2 × · ~281 tok/s | 3 × · ~224 tok/s |
| GLM-4.5 355B | 2 × · ~341 tok/s | 3 × · ~291 tok/s | 5 × · ~257 tok/s |
| Llama 3.1 405B | 2 × · ~27 tok/s | 3 × · ~23 tok/s | 5 × · ~20 tok/s |
| DeepSeek R1 671B | 3 × · ~443 tok/s | 5 × · ~419 tok/s | 8 × · ~356 tok/s |
| DeepSeek V3.1 671B | 3 × · ~443 tok/s | 5 × · ~419 tok/s | 8 × · ~356 tok/s |
| Kimi K2 1T | 4 × · ~682 tok/s | 6 × · ~581 tok/s | ✗ |
8k tokens, un utilisateur. « 2 × » = nombre de cartes nécessaires, vitesse en parallélisme tensoriel (vLLM). ✗ = ne tient pas, même à 8 cartes.