Votre serveur IA, pièce par pièce.
Choisissez chaque composant : la machine se monte en 3D, et la VRAM, la consommation, la vitesse et le prix se recalculent en direct.
Ce que cette machine peut faire
Les modèles qu’elle charge, la vitesse de génération attendue et le moment où l’achat devient plus rentable que la location.
Modèles chargeables
Contexte de 8k tokens, un utilisateur. Cliquez sur un modèle pour sa fiche.
Performance
Acheter ou louer ?
Combien de VRAM faut-il ?
En gros, les paramètres du modèle × les octets par paramètre de la précision choisie (2 en FP16, environ 0,6 en Q4), plus le cache de contexte, qui grandit avec le nombre de tokens et d’utilisateurs simultanés.
Pourquoi la bande passante fait la vitesse
Pour un utilisateur, chaque token généré relit tout le modèle en mémoire. La vitesse dépend donc bien plus de la bande passante mémoire que du calcul — et les MoE ne lisent que leurs paramètres actifs.
Acheter ou louer les GPU ?
Rackprint compare le prix horaire des GPU dans le cloud à l’achat du serveur plus l’électricité, pour montrer au bout de combien de mois la machine est rentabilisée.