EN
Recettes · 11 configurations

Des machines prêtes à copier

Pour chaque budget, un modèle, le matériel, le moteur et la commande à lancer. Mémoire, vitesse et prix sont calculés avec les mêmes formules que le reste du site : ce sont des estimations, pas des mesures.

Tous11Budget3Passionné1Compact4Pro1Équipe1Datacenter1
Équipe36 000 €

Serveur d’équipe : 70B pour 10 personnes

Quatre L40S en FP8 : la qualité quasi intacte et assez de cache pour dix conversations en parallèle.

Modèle Llama 3.3 70BMatériel 4 × L40S 48 GoPrécision FP8Moteur vLLMContexte 8k × 10 utilisateurs
Mémoire99 / 192 Go
Vitesse estimée~20 tok/s
Consommation1 400 W
Occupation de la mémoire52 %
vllm serve meta-llama/Llama-3.3-70B-Instruct --quantization fp8 --tensor-parallel-size 4 --max-model-len 8192
Charger dans le configurateurLe modèleLe matériel