GPU-servers overzicht

Wat is een GPU-server

Een GPU-server is een toegewezen fysieke machine met één of meer NVIDIA GPU's, plus de CPU, systeemgeheugen en snelle opslag die nodig zijn om ze draaiende te houden. De hele machine is van jou: niemand anders deelt de accelerators, de PCIe-bandbreedte of de schijven.

Je installeert je eigen stack en voert deze uit zoals je wilt. CUDA-workloads, PyTorch, TensorFlow, JAX en de gebruikelijke serving frameworks draaien allemaal zoals ze zouden draaien op een bare-metal Linux-box, omdat dat is wat het is.

De reden om hier enkele tenancy te willen is niet alleen prestatie. GPU-workloads draaien meestal uren achter elkaar vol belast, en gedeelde accelerators gedragen zich heel anders onder dat soort aanhoudende belasting dan ze doen in een benchmark.

De vier categorieën

Spark is het instapmiddel: genoeg GPU-geheugen voor kleinere modellen, fine-tuning, inferentie en renderingwerk. Forge, Foundry en Reactor delen dezelfde accelerator en verhogen het systeemgeheugen eromheen, wat belangrijk is wanneer je grote datasets staged of meerdere modellen in het hostgeheugen vasthoudt.

Elke categorie wordt zowel onbeheerd als beheerd aangeboden. Onbeheerd geeft je root en laat het besturingssysteem aan jou over. Beheerd houdt dezelfde hardware met onze engineers op de softwarelaag. Zie Beheerde versus onbeheerde cloudservers.

Voor actuele prijzen in je eigen valuta open je Store in KPanel, daarna de kaart GPU Compute.

Een categorie kiezen

Begin bij het model, niet bij de prijs.

• Hoeveel GPU-geheugen heeft jouw model nodig in de vorm waarin je het uitvoert? Dat is de harde beperking. Als gewichten plus activaties niet passen, helpt geen hoeveelheid systeemgeheugen.
• Train je of serve je? Training is geheugen-intensief en draait lang. Inferentie wordt vaak begrensd door hoe snel je gegevens naar de GPU kunt krijgen, waarbij systeemgeheugen en schijf meer uitmaken.
• Hoe groot is je werkset? Als je een dataset streamt die niet in het hostgeheugen past, bestaan de Foundry- en Reactor-configuraties precies daarvoor.

Als je onzeker bent, vertel ons wat je draait, de modelgrootte, het framework en hoeveel GPU-geheugen je denkt nodig te hebben. We wijzen je op de juiste categorie in plaats van je te laten overbetalen. GPU- en AI Compute-servers heeft meer informatie over de workloadkant.

Hoe bestellen echt werkt

GPU-hardware is schaars en duur, dus het proces is opzettelijk niet eenklik.

1. Meld je aan bij KPanel.
2. Klik Store in de linker zijbalk.
3. Klik onder Servers op de kaart GPU Compute.
4. Schakel tussen Unmanaged en Managed en kies een categorie.
5. Maak de checkout af.

Na het afrekenen ontvang je een bestellingsbevestigingsemail en ons team bevestigt de huidige capaciteit en de build voordat hardware aan je wordt toegewezen.

Je hoort van ons op elk moment. Als je hebt betaald en niet het vervolgbericht hebt ontvangen dat je verwachtte, antwoord op de bevestigingsemail of open een ticket via Support en we vertellen je precies waar je bestelling staat.

Inrichtingsgebeur en facturering

GPU-servers dragen een eenmalige inrichtingsgebeur bovenop de maandelijkse prijs, net als toegewezen en opslagservers, omdat een fysieke machine wordt gebouwd en overgedragen. Cloudservers dragen geen inrichtingsgebeur.

De inrichtingsgebeur wordt eenmaal berekend, herhaalt zich nooit en wordt bij het afrekenen apart van de maandelijkse prijs weergegeven.

Omdat een GPU-categorie een maandelijkse verplichting op dure hardware is in plaats van een uurtarief, behandel je de beslissing dienovereenkomstig. Als je een GPU slechts voor een korte burst nodig hebt, zeg dat wanneer je met ons spreekt.

Een categorie reserveren

Wanneer een categorie geen capaciteit heeft, biedt de plankaart een reservering in plaats van een configuratieactie. Je plaats in de wachtrij registreren noteert je interesse in die categorie.

Een GPU-server beheren

Zodra een GPU-machine live is, wordt het exact als elke andere bare-metal server beheerd, van Dedicated servers in de zijbalk van KPanel. Er is geen afzonderlijk GPU-item in de zijbalk.

De toolset, volledig gedocumenteerd in Een Dedicated Server beheren, omvat:

• Power: graceful restart, hardware reset, geforceerde stroombediening en Wake-on-LAN.
• Rescue-systeem: een tijdelijke Linux-omgeving of een browsergebaseerde virtuele console.
• Reverse DNS: PTR-records voor elke gerouteerde IP.
• IP's en subnetten: wat naar de machine wordt gerouteerd, plus aanvullende IPv4.
• Traffic: inbound en outbound volume per dag, maand of jaar.
• Firewall: een upstream filter dat wordt toegepast voordat verkeer de machine bereikt.
• Advanced: een volledig herinstalleren van het besturingssysteem, achter een getypte bevestiging.

Consoletoegangvoorkomen een machine die niet opstart, staat in Toegang tot Dedicated Server Console.

Praktische aantekeningen voordat je begint

Stuurprogramma's zijn van jou op een onbeheerde machine. Installeer het NVIDIA-stuurprogramma en CUDA-stack die overeenkomen met de frameworkversies die je wilt gebruiken, en zet ze vast. Niet-overeenkomende stuurprogramma- en toolkitversies zijn de meest voorkomende oorzaak van een GPU die aanwezig maar onbruikbaar is.

Zorg voor je schijf. Modelcontrolpunten en datasets vullen een schijf sneller dan wat anders op een server. Als capaciteit je echte probleem is in plaats van rekenkracht, is een opslagserver naast de GPU-machine meestal goedkoper dan een grotere GPU-categorie.

Firewall het goed. Een GPU-box met een inferentie-eindpunt is een aantrekkelijk doel. Gebruik de upstream firewall om alleen toe te staan wat het moet bereiken en houd Platformservices toestaan ingeschakeld zodat je jezelf niet buitensluit.

Opnieuw installeren wist alles. De herinstallatieactie onder Advanced wist elke schijf zonder ongedaan maken en maakt geen back-up voor je. Kopieer je controlestaten eerst.

Hulp krijgen

GPU is het product waar het eerst met ons praten het meeste geld bespaard. Vraag Kora binnen KPanel, open een ticket via Support of email support@kapsulehost.com met wat je draait en hoeveel GPU-geheugen je nodig hebt.

Voor de rest van het bereik van compute, zie Cloud Servers Overview en Dedicated Servers Overview.