Les serveurs GPU sont des machines bare-metal monolocataires équipées d'accélérateurs NVIDIA, dimensionnées pour l'entraînement IA, l'inférence et le rendu. Ce guide couvre les quatre niveaux, le fonctionnement réel de la commande et de la livraison, ce que couvre la taxe de configuration et la gestion d'une machine GPU une fois qu'elle est en production.
Ce qu'est un serveur GPU
Un serveur GPU est une machine physique dédiée avec un ou plusieurs GPU NVIDIA, plus le processeur, la mémoire système et le stockage rapide nécessaires pour les alimenter. La machine entière vous appartient : personne d'autre ne partage les accélérateurs, la bande passante PCIe ou les disques.
Vous installez votre propre pile et l'exécutez comme vous le souhaitez. Les charges de travail CUDA, PyTorch, TensorFlow, JAX et les frameworks de service habituels fonctionnent tous comme ils le feraient sur n'importe quelle machine Linux bare-metal, car c'est exactement ce qu'il s'agit.
La raison de vouloir la monolocataire ici n'est pas seulement la performance. Les charges de travail GPU ont tendance à fonctionner à plein régime pendant des heures, et les accélérateurs partagés se comportent très différemment sous ce type de charge soutenue que lors d'un benchmark.
Les quatre niveaux
| Niveau | GPU | Mémoire GPU | RAM système |
|---|---|---|---|
| Spark | NVIDIA RTX 4000 | 20 GB | Configuration d'entrée |
| Forge | NVIDIA RTX PRO 6000 | 96 GB | 256 GB |
| Foundry | NVIDIA RTX PRO 6000 | 96 GB | 512 GB |
| Reactor | NVIDIA RTX PRO 6000 | 96 GB | 768 GB |
Spark est le point d'entrée : suffisamment de mémoire GPU pour les petits modèles, le fine-tuning, l'inférence et le travail de rendu. Forge, Foundry et Reactor partagent le même accélérateur et augmentent la mémoire système autour, ce qui importe lorsque vous préparez de grands ensembles de données ou que vous conservez plusieurs modèles en mémoire hôte.
Chaque niveau est vendu à la fois non géré et géré. Non géré vous donne root et vous laisse le système d'exploitation. Géré conserve le même matériel avec nos ingénieurs sur la couche logicielle. Consultez Serveurs cloud gérés par rapport aux non gérés.
Pour les tarifs en direct dans votre devise, ouvrez Store dans KPanel, puis la carte GPU Compute.
Choisir un niveau
Commencez par le modèle, pas le prix.
- Combien de mémoire GPU votre modèle nécessite-t-il dans la forme où vous l'exécutez ? C'est la contrainte difficile. Si les poids plus les activations ne rentrent pas, aucune quantité de RAM système n'aide.
- Êtes-vous en formation ou en service ? L'entraînement consomme beaucoup de mémoire et s'exécute longtemps. L'inférence est souvent limitée par la vitesse à laquelle vous pouvez obtenir les données vers le GPU, ce qui est là que la RAM système et le disque comptent davantage.
- Quelle est la taille de votre ensemble de travail ? Si vous diffusez un ensemble de données qui ne rentre pas en mémoire hôte, les configurations Foundry et Reactor existent pour exactement cette raison.
Si vous n'êtes pas sûr, dites-nous ce que vous exécutez, la taille du modèle, le framework et combien de mémoire GPU vous pensez avoir besoin. Nous vous indiquerons le bon niveau plutôt que de vous laisser suracheté. GPU and AI Compute Servers a plus sur le côté de la charge de travail.
Comment la commande fonctionne réellement
Le matériel GPU est rare et coûteux, donc le processus est délibérément pas un clic.
- Connectez-vous à KPanel.
- Cliquez sur Store dans la barre latérale de gauche.
- Sous Servers, cliquez sur la carte GPU Compute.
- Basculez entre Unmanaged et Managed et choisissez un niveau.
- Complétez le paiement.
Après le paiement, vous recevez un email d'accusé de réception de commande, et notre équipe confirme la capacité actuelle et la construction avant que le matériel ne vous soit alloué.
Un serveur GPU n'est pas provisionné au moment où vous payez. La capacité est confirmée d'abord par notre équipe, et nous ne publions pas de délai fixe car la disponibilité change. Si une date limite est importante, demandez-nous le niveau que vous voulez avant de commander plutôt qu'après.
Vous entendrez parler de nous de toute façon. Si vous avez payé et n'avez pas eu de suivi auquel vous vous attendiez, répondez à l'email d'accusé de réception ou ouvrez un ticket à partir de Support et nous vous dirons exactement où se situe la commande.
Taxe de configuration et facturation
Les serveurs GPU portent une taxe de configuration unique en plus du prix mensuel, en commun avec les serveurs dédiés et de stockage, car une machine physique est construite et remise. Les serveurs cloud ne portent aucune taxe de configuration.
La taxe de configuration est facturée une fois, ne se répète jamais et est affichée séparément du prix mensuel au moment du paiement.
Les prix sont affichés hors GST. Si la devise de votre compte est NZD, 15 pour cent de GST est ajouté au paiement et apparaît au total du bouton de paiement. Consultez Tarification des serveurs cloud et GST.
Parce qu'un niveau GPU est un engagement mensuel sur du matériel coûteux plutôt qu'une location horaire, traitez la décision en conséquence. Si vous n'avez besoin d'un GPU que pour une courte rafale, dites-le quand vous nous parlez.
Réserver un niveau
Quand un niveau n'a pas de capacité, la carte du plan offre une réservation plutôt qu'une action de configuration. Rejoindre la file d'attente enregistre votre intérêt pour ce niveau.
Une réservation est une place dans une file d'attente, pas une construction programmée, et nous nous n'engageons pas sur un temps d'attente. Il n'y a pas non plus de bouton d'annulation libre-service : si vous ne voulez plus une réservation, contactez le support et nous la supprimerons.
Gestion d'un serveur GPU
Une fois qu'une machine GPU est en production, elle est gérée exactement comme n'importe quel autre serveur bare-metal, à partir de Serveurs dédiés dans la barre latérale KPanel. Il n'y a pas d'élément GPU séparé dans la barre latérale.
L'ensemble d'outils, documenté en détail dans Gestion d'un serveur dédié, couvre :
- Power : redémarrage normal, réinitialisation matérielle, cycle d'alimentation forcé et Wake-on-LAN.
- Système de secours : un environnement Linux temporaire ou une console virtuelle basée sur navigateur.
- DNS inverse : enregistrements PTR pour chaque IP acheminée.
- IP et sous-réseaux : ce qui est acheminé vers la machine, plus IPv4 supplémentaire.
- Traffic : volume entrant et sortant par jour, mois ou année.
- Firewall : un filtre en amont appliqué avant que le trafic n'atteigne la machine.
- Advanced : une réinstallation complète du système d'exploitation, derrière une confirmation tapée.
L'accès à la console pour une machine qui ne démarre pas est dans Accès à la console du serveur dédié.
Notes pratiques avant de commencer
Les pilotes vous appartiennent sur une machine non gérée. Installez le pilote NVIDIA et la pile CUDA qui correspondent aux versions du framework que vous avez l'intention d'exécuter, et épinglez-les. Les versions du pilote et du kit d'outils mal appariées sont la cause la plus courante d'un GPU présent mais inutilisable.
Surveillez votre disque. Les points de contrôle de modèle et les ensembles de données remplissent un disque plus vite que n'importe quoi d'autre sur un serveur. Si la capacité est votre vrai problème plutôt que le calcul, un serveur de stockage aux côtés de la machine GPU est généralement moins cher qu'un niveau GPU plus grand.
Pare-feu correctement. Une boîte GPU exécutant un point de terminaison d'inférence est une cible attrayante. Utilisez le pare-feu en amont pour autoriser seulement ce qui doit le atteindre, et gardez Autoriser les services de la plateforme activé pour ne pas vous verrouiller.
La réinstallation efface tout. L'action de réinstallation sous Advanced efface tous les disques sans annulation et ne prend aucune sauvegarde pour vous. Copiez d'abord vos points de contrôle.
Obtenir de l'aide
GPU est le produit où parler à nous d'abord économise le plus d'argent. Demandez à Kora dans KPanel, ouvrez un ticket à partir de Support ou envoyez un email à support@kapsulehost.com avec ce que vous exécutez et combien de mémoire GPU vous avez besoin.
Pour le reste de la gamme de calcul, consultez Présentation des serveurs cloud et Présentation des serveurs dédiés.