Ein KapsuleHost GPU-Server ist eine Single-Tenant-physische Maschine, die mit NVIDIA-Grafikprozessoren und der CPU, dem Speicher und dem schnellen Speicher ausgestattet ist, die benötigt werden, um sie zu nutzen. Sie wurde für KI-Training, Inferenz und andere stark parallelisierte Arbeit entwickelt.
Sie erhalten die gesamte Maschine. Niemand anderes' Job teilt sich Ihre GPU, Ihre Speicherbandbreite oder Ihre Festplatte, was der Unterschied zwischen einem Benchmark ist, den Sie reproduzieren können, und einem, den Sie nicht können. Diese Anleitung behandelt die vier Stufen, wofür sie sich eignen, wie die Bestellung funktioniert angesichts der genuinen GPU-Knappheit, und wofür die Einrichtungsgebühr bestimmt ist.
Die vier Stufen
| Stufe | GPU | GPU-Speicher | Systemspeicher | Monatlich | Einmalige Einrichtung |
|---|---|---|---|---|---|
| Spark | NVIDIA RTX 4000 | 20 GB | In der Zusammenstellung enthalten | US$330.00 | Ja |
| Forge | NVIDIA RTX PRO 6000 | 96 GB | 256 GB | US$1,680.00 | Ja |
| Foundry | NVIDIA RTX PRO 6000 | 96 GB | 512 GB | US$2,520.00 | Ja |
| Reactor | NVIDIA RTX PRO 6000 | 96 GB | 768 GB | US$3,240.00 | Ja |
Die Preise werden ohne GST in Ihrer Abrechnungswährung angezeigt. Jede Stufe ist unverwaltet oder verwaltet, die gleiche Wahl wie unsere Cloud-Server.
Der Sprung von Spark zu Forge ist der bedeutende. Spark ist ein Einstiegspunkt für die Entwicklung, kleinere Modelle und Inferenzarbeiten. Forge, Foundry und Reactor teilen sich den gleichen 96 GB GPU-Speicher und unterscheiden sich im Systemspeicher, der bestimmt, wie viel Sie im Host-RAM neben dem Modell halten können: Dataset-Staging, Vorverarbeitungs-Pipelines und Serving mehrerer gleichzeitiger Anfragen.
Was Sie ausführen können
Sie haben die volle Kontrolle über die Maschine, daher führen Sie Ihren eigenen Stack aus. Das umfasst PyTorch, TensorFlow, JAX, Raw-CUDA-Workloads und die üblichen Training- und Serving-Frameworks darauf.
Typische Anwendungen:
- Modelltraining und Fine-Tuning für maschinelles und tiefes Lernen.
- Inferenz und Serving in der Produktion, wobei eine GPU eine inakzeptable Reaktionszeit in eine akzeptable verwandelt.
- Batch-KI-Workloads: Embeddings, Transkription, Bild- und Videogenerierung, Rendering.
- Wissenschaftliches und paralleles Computing, das von GPU-Beschleunigung profitiert.
Dimensionieren Sie zuerst den GPU-Speicher. Der häufigste Fehler ist die Wahl einer Stufe nach Preis und dann die Feststellung, dass das Modell nicht in VRAM passt. Arbeiten Sie den Speicher aus, den Ihr Modell bei Ihrer beabsichtigten Präzision und Batch-Größe benötigt, fügen Sie einen Puffer hinzu, und wählen Sie die Stufe, die es bewältigt. Systemspeicher und CPU sind viel einfacher zu umgehen als ein Modell, das nicht geladen wird.
Verfügbarkeit und wie die Bestellung funktioniert
GPU-Hardware ist in der ganzen Branche stark nachgefragt und das Angebot ist begrenzt. Das ist eine Tatsache über den Markt, nicht eine KapsuleHost-Politik, und sie prägt, wie diese bestellt werden.
- Dies sind physische Maschinen, daher werden sie auf Bestellung bereitgestellt, nicht in Sekunden.
- Die Verfügbarkeit variiert je nach Stufe und Standort und wird live überprüft, wenn Sie die Seite mit den Plänen aufrufen.
- Spark ist derzeit angebotsknapp. Wenn es keinen Bestand hat, bietet das Panel Ihnen stattdessen die Reservierungswarteschlange an, anstatt eine fehlerhafte Bestellung zu machen.
Für größere oder benutzerdefinierte Konfigurationen bestätigen wir die genaue Zusammenstellung und den genauen Preis mit Ihnen, bevor die Bereitstellung erfolgt, damit Sie immer wissen, was Sie bekommen. Wir erstellen keinen Kostenvoranschlag für eine Konfiguration, die wir nicht liefern können.
Die Reservierungswarteschlange
Wenn eine GPU-Stufe nicht verfügbar ist, können Sie sie stattdessen reservieren, anstatt zu gehen:
- Reservieren Sie die Stufe auf der Seite mit den Plänen. Sie erhalten eine Reservierungsreferenz.
- Nichts wird berechnet. Eine Reservierung ist kostenlos und kein Abonnement beginnt.
- Wenn Kapazität frei wird, stellen wir die Maschine automatisch für Sie bereit.
- Ihre erste Zahlung wird erst genommen, wenn der Server live ist, und Ihr Abrechnungsdatum beginnt an diesem Tag.
- Stornieren Sie jederzeit, während Sie warten, kostenlos.
Regionen, Verfügbarkeit und die Reservierungswarteschlange erklärt die Mechanik vollständig.
Legen Sie eine GPU-Reservierung nicht auf eine harte Frist. Kapazität kommt zurück, wenn sie zurückkommt, und wir sagen Ihnen das lieber deutlich, als Ihnen ein Datum zu versprechen, das wir nicht einhalten können. Wenn Sie einen festen Liefertermin haben, sprechen Sie mit uns, bevor Sie bestellen.
Eine bestellen
- Melden Sie sich bei KPanel an.
- Öffnen Sie Store in der linken Seitenleiste und wählen Sie GPU, oder gehen Sie direkt zu
/plans/compute?group=gpu. - Verwenden Sie den Unmanaged- und Managed-Schalter, um das gewünschte Formular auszuwählen.
- Jede Stufe zeigt ihre GPU, ihren VRAM, ihren Systemspeicher, ihren monatlichen Preis und ihre einmalige Einrichtungsgebühr sowie ein Live-Stock-Badge.
Die Einrichtungsgebühr
Ein GPU-Server trägt an der Kasse eine einmalige Einrichtungsgebühr zusätzlich zum wiederkehrenden monatlichen Preis, da eine physische Maschine für Sie zusammengebaut und bereitgestellt werden muss.
- Einmal berechnet, bei der Bereitstellung. Es erscheint nie bei einer Erneuerung.
- Wird als eigene Zeile beim Checkout angezeigt, mit der Bezeichnung Setup (einmalig), mit eigener Quittung.
- Unterliegt GST, wenn Ihre Kontowährung NZD ist.
Siehe Cloud-Server-Preise und GST, um zu sehen, wie einmalige und wiederkehrende Gebühren auf Ihren Rechnungen erscheinen.
Wie sich GPU-Server von Cloud-Servern unterscheiden
| Cloud-Server | GPU-Server | |
|---|---|---|
| Hardware | Virtual Machines | Single-Tenant-physische Maschinen mit NVIDIA GPUs |
| Bereitstellung | Sofort, vorbehaltlich Bestand | Auf Bestellung, manchmal über die Reservierungswarteschlange |
| Einrichtungsgebühr | Keine | Einmalig |
| Live-Größenänderung in KPanel | Ja | Nein |
| Dimensioniert nach | vCPU, Speicher, Disk | GPU-Speicher zuerst, dann Systemspeicher |
GPU-Server können nicht an Ort und Stelle vergrößert werden. Ein Wechsel zwischen Stufen bedeutet, die neue Maschine zu bestellen und Ihre Arbeit zu migrieren. Wählen Sie die Stufe, die den Modellen entspricht, die Sie erwarten zu betreiben, nicht nur der Stufe, die Sie diese Woche betreiben.
Bevor Sie bestellen
Halten Sie diese Antworten bereit, da sie die Stufe bestimmen:
- Training oder Inferenz? Training ist normalerweise speicherintensiv und lang laufend. Inferenz ist normalerweise latenzempfindlich und gleichzeitig.
- Welches Modell, mit welcher Präzision? Dies setzt den GPU-Speicher-Mindestbedarf.
- Wie viele Daten und wo befinden sie sich? Das Staging eines großen Datensatzes ist das, wofür Systemspeicher und Disk bestimmt sind.
- Welches Framework? Damit wir die Treiber- und CUDA-Erwartungen vorab bestätigen können.
Sagen Sie uns diese vier Dinge und wir werden Sie auf die richtige Stufe hinweisen, oder wir stellen eine Konfiguration zusammen, wenn keine der vier Standard-Stufen passt. Fragen Sie Kora in KPanel, oder senden Sie eine E-Mail an support@kapsulehost.com, und unser neuseeländisches Team wird Ihnen helfen.
Fehlerbehebung
Die Stufe, die ich möchte, zeigt Nicht verfügbar. Reservieren Sie sie. Sie zahlen nichts, während Sie warten, und wir stellen automatisch bereit, wenn die Kapazität zurückkommt.
Mein Modell passt nicht in VRAM. Wechseln Sie zu einer höheren Stufe, oder reduzieren Sie die Präzision oder Batch-Größe. Forge, Foundry und Reactor verfügen alle über 96 GB GPU-Speicher.
Ich benötige mehr als eine GPU oder eine Konfiguration, die Sie nicht auflisten. Kontaktieren Sie uns mit Ihren Anforderungen und wir bestätigen Ihnen, was wir zusammenbauen können und was es kostet, bevor etwas berechnet wird.
Kann ich ausprobieren, bevor ich mich verpflichte? Sprechen Sie mit uns über das Starten auf Spark für Entwicklungsarbeiten und den Wechsel zu einer höheren Stufe, sobald Ihre Pipeline nachgewiesen ist.