Quel GPU pour faire tourner un LLM ?

Bande passante

819 Go/s

Consommation

270 W

€ par Go utile

30 €

Llama 8B Q4

~91 tok/s

Plus gros modèle seul (Q4) : Llama 3.1 405B

Bande passante

8 000 Go/s

Consommation

1000 W

€ par Go utile

250 €

Llama 8B Q4

~889 tok/s

Plus gros modèle seul (Q4) : Qwen3 235B-A22B

Bande passante

4 800 Go/s

Consommation

700 W

€ par Go utile

277 €

Llama 8B Q4

~533 tok/s

Plus gros modèle seul (Q4) : Mistral Large 123B

Bande passante

256 Go/s

Consommation

140 W

€ par Go utile

21 €

Llama 8B Q4

~28 tok/s

Plus gros modèle seul (Q4) : Mistral Large 123B

Bande passante

273 Go/s

Consommation

240 W

€ par Go utile

37 €

Llama 8B Q4

~30 tok/s

Plus gros modèle seul (Q4) : Mistral Large 123B

Bande passante

546 Go/s

Consommation

150 W

€ par Go utile

46 €

Llama 8B Q4

~61 tok/s

Plus gros modèle seul (Q4) : Mistral Large 123B

Bande passante

1 792 Go/s

Consommation

600 W

€ par Go utile

103 €

Llama 8B Q4

~199 tok/s

Plus gros modèle seul (Q4) : Mistral Large 123B

Bande passante

2 039 Go/s

Consommation

300 W

€ par Go utile

213 €

Llama 8B Q4

~227 tok/s

Plus gros modèle seul (Q4) : gpt-oss-120b

Bande passante

3 350 Go/s

Consommation

700 W

€ par Go utile

425 €

Llama 8B Q4

~372 tok/s

Plus gros modèle seul (Q4) : gpt-oss-120b

Bande passante

960 Go/s

Consommation

300 W

€ par Go utile

165 €

Llama 8B Q4

~107 tok/s

Plus gros modèle seul (Q4) : Llama 3.3 70B

Bande passante

864 Go/s

Consommation

350 W

€ par Go utile

281 €

Llama 8B Q4

~96 tok/s

Plus gros modèle seul (Q4) : Llama 3.3 70B

Bande passante

1 792 Go/s

Consommation

575 W

€ par Go utile

109 €

Llama 8B Q4

~199 tok/s

Plus gros modèle seul (Q4) : Mixtral 8x7B

Bande passante

936 Go/s

Consommation

350 W

€ par Go utile

69 €

Llama 8B Q4

~104 tok/s

Plus gros modèle seul (Q4) : DeepSeek R1 Distill 32B

Bande passante

1 008 Go/s

Consommation

450 W

€ par Go utile

121 €

Llama 8B Q4

~112 tok/s

Plus gros modèle seul (Q4) : DeepSeek R1 Distill 32B

Bande passante

960 Go/s

Consommation

355 W

€ par Go utile

77 €

Llama 8B Q4

~107 tok/s

Plus gros modèle seul (Q4) : DeepSeek R1 Distill 32B

Bande passante

288 Go/s

Consommation

165 W

€ par Go utile

84 €

Llama 8B Q4

~32 tok/s

Plus gros modèle seul (Q4) : gpt-oss-20b

Bande passante

672 Go/s

Consommation

285 W

€ par Go utile

109 €

Llama 8B Q4

~75 tok/s

Plus gros modèle seul (Q4) : gpt-oss-20b

Bande passante

736 Go/s

Consommation

320 W

€ par Go utile

122 €

Llama 8B Q4

~82 tok/s

Plus gros modèle seul (Q4) : gpt-oss-20b

Bande passante

960 Go/s

Consommation

360 W

€ par Go utile

131 €

Llama 8B Q4

~107 tok/s

Plus gros modèle seul (Q4) : gpt-oss-20b

Bande passante

624 Go/s

Consommation

263 W

€ par Go utile

88 €

Llama 8B Q4

~69 tok/s

Plus gros modèle seul (Q4) : gpt-oss-20b

Bande passante

360 Go/s

Consommation

170 W

€ par Go utile

98 €

Llama 8B Q4

~40 tok/s

Plus gros modèle seul (Q4) : Qwen3 14B

Bande passante

504 Go/s

Consommation

200 W

€ par Go utile

121 €

Llama 8B Q4

~56 tok/s

Plus gros modèle seul (Q4) : Qwen3 14B