Infinity Forge 4 | Serveur multi-GPU haute performance | Serveur 4x RTX PRO 6000 Blackwell Max-Q 96 Go | EPYC 9575F

Pour les équipes d’IA qui ont dépassé les capacités d’un ou deux GPU. Il est conçu pour les organisations qui offrent des modèles ouverts volumineux à de nombreux utilisateurs, les laboratoires effectuant du réglage fin sur quatre GPU, les studios de rendu et les fournisseurs de services gérés hébergeant une IA privée pour leurs clients, dans une salle de serveurs ou un centre de colocalisation avec une alimentation de 200 à 240 V et une baie d’au moins 1 000 mm de profondeur. Il offre quatre fois la mémoire GPU d’un Forge 2 à GPU unique dans un châssis GPU spécialement conçu avec un flux d’air de l’avant vers l’arrière et une alimentation redondante 1+1.

Chaque Forge 4 est une configuration sur mesure, spécifiée en fonction de vos modèles, de vos utilisateurs et de votre site. La configuration de référence comprend quatre GPU NVIDIA RTX PRO 6000 Blackwell Max-Q 96 Go (384 Go de GDDR7 ECC au total) dans des emplacements PCIe 5.0 x16 sur une plateforme serveur GPU AMD EPYC monoprocesseur 4U telle que le MSI G4101. Elle associe un AMD EPYC 9575F à 64 cœurs sous un module de refroidissement liquide en circuit fermé avec 384 Go de mémoire ECC DDR5-6400 enregistrée sur les douze canaux, deux ports SFP28 25GbE, deux disques NVMe de 4 To pour le système d’exploitation et les modèles, douze baies NVMe U.2 pour l’extension, un port BMC dédié et deux alimentations redondantes 1+1 de 3 000 W. La plateforme, le nombre de GPU, la mémoire, le stockage et le réseau sont confirmés avec vous, et la configuration GPU est confirmée par écrit avec le fournisseur de la plateforme avant que nous ne fassions notre offre.

Quatre GPU de 96 Go peuvent accueillir Qwen3-235B-A22B-Instruct-2507 dans sa version officielle FP8 (236 Go de poids) avec un contexte de 128K jetons et plus de 100 Go restants pour les sessions simultanées (estimation Infinity), ou plusieurs grands modèles côte à côte, comme gpt-oss-120b sur un GPU et un modèle 70B en 8 bits sur un autre. MIG divise les GPU en jusqu’à seize instances isolées de 24 Go pour un cluster partagé, et PyTorch FSDP répartit le réglage fin sur les quatre cartes.

Comparé au Forge 2, il double le nombre maximal de GPU à quatre et passe à une plateforme EPYC à 12 canaux avec alimentation redondante et 25GbE de série, mais il nécessite une alimentation de 200 à 240 V et un châssis de 831 mm de profondeur. Comparé au Forge 8, il reste monoprocesseur avec des GPU de 300 W et consomme environ 2,2 kW, contre environ 6,9 kW pour les huit GPU Server Edition de 600 W du Forge 8.

La configuration comprend une vérification du BIOS du processeur, la configuration de BMC/IPMI et Redfish, un test de rodage de 72 heures qui valide la liaison PCIe 5.0 x16 de chaque GPU, la thermique et l’alimentation, ainsi que la pile logicielle d’IA : pilote ouvert et CUDA NVIDIA, NVIDIA Container Toolkit, vLLM configuré sur les quatre GPU et les profils MIG, avec un document de configuration finale. Une évaluation de la préparation du site couvrant la tension, les circuits et le type d’entrée, la profondeur de la baie, le refroidissement et le réseau est requise avant la commande et est créditée sur la commande.

Les options comprennent de commencer avec deux GPU et d’en ajouter deux plus tard ; une variante économique et à GPU virtuel avec quatre GPU RTX PRO 5000 Blackwell 72 Go (288 Go, sur la liste des GPU pris en charge par vGPU de NVIDIA ; licences en sus) ; 768 Go de mémoire système lorsque l’approvisionnement le permet ; un réseau double 100GbE ; du stockage NVMe U.2 de classe entreprise ; et une installation sur place par deux techniciens avec un chariot élévateur.

Il nécessite une alimentation de 200 à 240 V sur deux circuits, une baie profonde et une installation par deux personnes ou avec un chariot élévateur, et il ne possède pas de ports réseau de données intégrés, une carte réseau est donc toujours installée. Les GPU se connectent via PCIe 5.0 sans NVLink, les GPU Max-Q ne prennent pas en charge NVIDIA vGPU, et un modèle de classe 671B en 4 bits (environ 405 Go) ne tient pas dans 384 Go. Les composants sont commandés par projet et certains ne peuvent être annulés, un acompte est donc requis.

Couvert par la garantie matérielle de 3 ans et le soutien technique à vie d’Infinity Computers, sans délai d’intervention sur place contractuel. Livré par fret sur palette à un quai de chargement ou dans une salle de serveurs, ou livré et installé par Infinity selon le devis. Configuré et coté par projet en CAD avant la TVH ; assemblé et testé en Ontario.