Ein KapsuleHost GPU-Server ist eine Single-Tenant-Physmaschine mit NVIDIA-Grafikprozessoren und der CPU, dem Speicher und der schnellen Festplatte, die erforderlich sind, um diese zu versorgen. Sie ist für KI-Training, Inferencing und andere hochgradig parallele Aufgaben konzipiert.
Sie erhalten die ganze Maschine. Kein anderer Job nutzt Ihre GPU, Ihre Speicherbandbreite oder Ihre Festplatte, was den Unterschied zwischen einem reproduzierbaren Benchmark und einem, der es nicht ist, ausmacht. Dieser Leitfaden behandelt die vier Stufen, wofür sie sich eignen, wie das Bestellen funktioniert, angesichts der echten GPU-Knappheit, und wofür die Einrichtungsgebühr anfällt.
Die vier Stufen
| Stufe | GPU | GPU-Speicher | Systemspeicher | Monatlich | Einmaliges Setup |
|---|---|---|---|---|---|
| Spark | NVIDIA RTX 4000 | 20 GB | Im Build enthalten | US$330.00 | Ja |
| Forge | NVIDIA RTX PRO 6000 | 96 GB | 256 GB | US$1,680.00 | Ja |
| Foundry | NVIDIA RTX PRO 6000 | 96 GB | 512 GB | US$2,520.00 | Ja |
| Reactor | NVIDIA RTX PRO 6000 | 96 GB | 768 GB | US$3,240.00 | Ja |
Die Preise sind ohne GST in Ihrer Abrechnungswährung angegeben. Jede Stufe ist als nicht verwaltete oder verwaltete Variante erhältlich, die gleiche Wahl wie bei unseren Cloud-Servern.
Der Sprung von Spark zu Forge ist der bedeutsame. Spark ist ein Einstiegspunkt für Entwicklung, kleinere Modelle und Inferencing-Arbeiten. Forge, Foundry und Reactor teilen sich denselben 96 GB GPU-Speicher und unterscheiden sich im Systemspeicher, der bestimmt, wie viel Sie im Host-RAM neben dem Modell halten können: Dataset-Staging, Preprocessing-Pipelines und Serving vieler gleichzeitiger Anfragen.
Was Sie ausführen können
Sie haben vollständige Kontrolle über die Maschine, sodass Sie Ihren eigenen Stack ausführen. Das umfasst PyTorch, TensorFlow, JAX, rohe CUDA-Workloads und die üblichen Training- und Serving-Frameworks oben drauf.
Typische Anwendungen:
- Modelltraining und Fine-Tuning für Machine Learning und Deep Learning.
- Inferencing und Serving in der Produktion, wo eine GPU eine inakzeptable Antwortzeit in eine akzeptable umwandelt.
- Batch-KI-Workloads: Embeddings, Transkription, Bild- und Videogenerierung, Rendering.
- Wissenschaftliche und parallele Berechnungen, die von GPU-Beschleunigung profitieren.
Dimensionieren Sie zuerst den GPU-Speicher. Der häufigste Fehler ist die Wahl einer Stufe nach Preis und dann die Feststellung, dass das Modell nicht in den VRAM passt. Ermitteln Sie den Speicher, den Ihr Modell bei Ihrer gewünschten Genauigkeit und Batch-Größe benötigt, addieren Sie einen Puffer hinzu und wählen Sie die Stufe, die das erfüllt. Systemspeicher und CPU sind viel leichter zu handhaben als ein Modell, das nicht geladen wird.
Verfügbarkeit und Bestellvorgänge
GPU-Hardware ist in der ganzen Branche sehr gefragt und das Angebot ist begrenzt. Das ist eine Tatsache über den Markt, nicht eine KapsuleHost-Richtlinie, und sie prägt, wie diese bestellt werden.
- Dies sind physische Maschinen, daher werden sie auf Bestellung bereitgestellt, nicht in Sekunden.
- Die Verfügbarkeit variiert je nach Stufe und Standort und wird live überprüft, wenn Sie die Planseite ansehen.
- Spark ist derzeit angebotsengpäßig. Wenn es keinen Bestand hat, bietet das Panel Ihnen stattdessen die Reservierungswarteschlange an.
Für größere oder benutzerdefinierte Konfigurationen bestätigen wir den genauen Build und den genauen Preis mit Ihnen vor der Bereitstellung, sodass Sie immer wissen, was Sie bekommen. Wir bieten keine Konfiguration an, die wir nicht liefern können.
Die Reservierungswarteschlange
Wenn eine GPU-Stufe ausverkauft ist, können Sie sie stattdessen reservieren:
- Reservieren Sie die Stufe auf der Planseite. Sie erhalten eine Reservierungsreferenz.
- Es wird nichts berechnet. Eine Reservierung ist kostenlos und kein Abonnement beginnt.
- Wenn Kapazität verfügbar wird, stellen wir die Maschine automatisch für Sie bereit.
- Ihre erste Zahlung erfolgt nur, wenn der Server live ist, und Ihr Abrechnungsdatum beginnt von diesem Tag an.
- Jederzeit während des Wartens kostenlos stornieren.
Regionen, Verfügbarkeit und die Reservierungswarteschlange erklärt die Mechanik vollständig.
Legen Sie keine GPU-Reservierung auf eine harte Frist fest. Kapazität kehrt zurück, wenn sie zurückkommt, und wir möchten Ihnen das lieber deutlich sagen, als ein Datum zu versprechen, das wir nicht einhalten können. Wenn Sie ein festes Lieferdatum haben, sprechen Sie mit uns, bevor Sie bestellen.
Eine bestellen
- Melden Sie sich bei KPanel an.
- Öffnen Sie Store in der linken Seitenleiste und wählen Sie GPU, oder gehen Sie direkt zu
/plans/compute?group=gpu. - Verwenden Sie den Unmanaged- und Managed-Umschalter, um das Formular zu wählen, das Sie möchten.
- Jede Stufe zeigt ihre GPU, ihren VRAM, ihren Systemspeicher, ihren monatlichen Preis und ihre einmalige Einrichtungsgebühr sowie ein Live-Bestandsabzeichen.
Die Einrichtungsgebühr
Ein GPU-Server trägt zusätzlich zum wiederkehrenden monatlichen Preis eine einmalige Einrichtungsgebühr bei der Kasse, da eine physische Maschine für Sie gebaut und bereitgestellt werden muss.
- Wird einmalig bei der Bereitstellung berechnet. Sie erscheint nie bei einer Erneuerung.
- Wird beim Auschecken als eigene Zeile angezeigt, mit der Bezeichnung Setup (einmalig), mit eigener Quittung.
- Unterliegt der GST, wenn Ihre Kontowährung NZD ist.
Siehe Cloud-Server-Preisgestaltung und GST, wie einmalige und wiederkehrende Gebühren auf Ihren Rechnungen erscheinen.
Wie sich GPU-Server von Cloud-Servern unterscheiden
| Cloud-Server | GPU-Server | |
|---|---|---|
| Hardware | Virtuelle Maschinen | Single-Tenant-Physmaschinen mit NVIDIA-GPUs |
| Bereitstellung | Sofort, abhängig von Bestand | Auf Bestellung, manchmal über die Reservierungswarteschlange |
| Einrichtungsgebühr | Keine | Einmalig |
| Live-Größenänderung in KPanel | Ja | Nein |
| Größenbestimmung basierend auf | vCPU, Speicher, Festplatte | GPU-Speicher zuerst, dann Systemspeicher |
GPU-Server können nicht an Ort und Stelle angepasst werden. Der Wechsel zwischen Stufen bedeutet, dass neue Maschine zu bestellen und Ihre Arbeit zu migrieren. Wählen Sie die Stufe, die den Modellen entspricht, die Sie zu laufen erwarten, nicht nur dem, das Sie diese Woche laufen lassen.
Bevor Sie bestellen
Halten Sie diese Antworten bereit, da sie die Stufe bestimmen:
- Training oder Inferencing? Training ist normalerweise speicherintensiv und lange laufend. Inferencing ist normalerweise latenzempfindlich und gleichzeitig.
- Welches Modell, mit welcher Genauigkeit? Dies setzt die GPU-Speicher-Untergrenze.
- Wie viele Daten, und wo leben sie? Das Staging großer Datensätze ist das, wofür Systemspeicher und Festplatte gedacht sind.
- Welches Framework? Damit wir Treiber- und CUDA-Erwartungen vorab bestätigen können.
Teilen Sie uns diese vier Dinge mit und wir zeigen Ihnen die richtige Stufe oder stellen eine Konfiguration zusammen, wenn keine der vier Standard passt. Fragen Sie Kora in KPanel oder mailen Sie support@kapsulehost.com, und unser neuseeländisches Team wird Ihnen helfen.
Fehlerbehebung
Die Stufe, die ich möchte, zeigt Ausverkauft. Reservieren Sie sie. Sie zahlen nichts während des Wartens und wir stellen automatisch bereit, wenn Kapazität zurückkommt.
Mein Modell passt nicht in den VRAM. Wechseln Sie zu einer höheren Stufe, oder reduzieren Sie Genauigkeit oder Batch-Größe. Forge, Foundry und Reactor tragen alle 96 GB GPU-Speicher.
Ich benötige mehr als eine GPU oder eine Konfiguration, die Sie nicht aufgelistet haben. Kontaktieren Sie uns mit Ihren Anforderungen und wir bestätigen, was wir bauen können und was es kostet, bevor etwas berechnet wird.
Kann ich vorher testen, bevor ich mich verpflichte? Sprechen Sie mit uns über den Start auf Spark für Entwicklungsarbeiten und den Wechsel nach oben, sobald Ihre Pipeline bewiesen ist.