GPU sunucuları, AI eğitimi, çıkarımı ve işleme için boyutlandırılmış NVIDIA hızlandırıcılarla donatılmış tek kiracılı bare-metal makinelerdir. Bu kılavuz dört katmanı, siparişin ve teslimatın nasıl gerçekten çalıştığını, kurulum ücretinin neyi kapsadığını ve GPU makinesi canlı olduktan sonra nasıl yönetileceğini kapsar.
GPU Sunucusu Nedir
GPU sunucusu, bir veya daha fazla NVIDIA GPU'su artı CPU, sistem belleği ve bunları beslemek için gereken hızlı depolama alanı olan adanmış bir fiziksel makinedir. Tüm makine sizindir: başka kimse hızlandırıcıları, PCIe bant genişliğini veya diskleri paylaşmaz.
Kendi yığınınızı kurar ve istediğiniz gibi çalıştırırsınız. CUDA iş yükleri, PyTorch, TensorFlow, JAX ve olağan hizmet sunma çerçeveleri, bare-metal Linux kutusu olduğu için oldukları gibi çalışır.
Burada tek kiracılık istemenin nedeni yalnızca performans değildir. GPU iş yükleri saatlerce tam olarak çalışma eğilimindedir ve paylaşılan hızlandırıcılar bu tür süregelen yük altında karşılaştırmalı testlerde davranırlarından çok daha farklı davranır.
Dört Katman
| Katman | GPU | GPU belleği | Sistem RAM |
|---|---|---|---|
| Spark | NVIDIA RTX 4000 | 20 GB | Giriş yapılandırması |
| Forge | NVIDIA RTX PRO 6000 | 96 GB | 256 GB |
| Foundry | NVIDIA RTX PRO 6000 | 96 GB | 512 GB |
| Reactor | NVIDIA RTX PRO 6000 | 96 GB | 768 GB |
Spark giriş noktasıdır: daha küçük modeller, ince ayar, çıkarım ve işleme çalışması için yeterli GPU belleği. Forge, Foundry ve Reactor aynı hızlandırıcıyı paylaşır ve çevresindeki sistem belleğini artırır; bu, büyük veri setleri hazırlarken veya birden fazla modeli ana bellekte tutarken önemli olandır.
Her katman hem yönetilmeyen hem de yönetilen olarak satılır. Yönetilmeyen size kök erişimi verir ve işletim sistemini size bırakır. Yönetilen aynı donanımı tutarak yazılım katmanında mühendislerimiz tarafından yönetilir. Bkz. Yönetilen ve Yönetilmeyen Bulut Sunucuları.
Kendi para biriminizde canlı fiyatlandırma için KPanel'de Mağaza'yı açın, sonra GPU İşlem kartını açın.
Katman Seçimi
Fiyattan değil modelden başlayın.
- Modeliniz çalıştırıldığı şekilde ne kadar GPU belleğine ihtiyaç duyuyor? Bu katı kısıtlamadır. Ağırlıklar artı aktivasyonlar sığmıyorsa, hiçbir sistem RAM yardımcı olmaz.
- Eğitim mi yoksa hizmet sunma mı? Eğitim bellek yoğun ve uzun sürülidir. Çıkarım, verileri GPU'ya ne kadar hızlı getirebileceğinizle sınırlı olduğu durumlardır; burada sistem RAM ve disk daha önemli olur.
- Çalışan setiniz ne kadar büyük? Ana bellekte sığmayan bir veri setini akışla aktarıyorsanız, Foundry ve Reactor yapılandırmaları tam o nedenle var.
Emin değilseniz, çalıştırdığınız şeyi, model boyutunu, çerçeveyi ve ihtiyaç duyduğunuz GPU belleğini bize söyleyin. Size doğru katmanı işaret ederiz, aşırı satın almanıza izin vermeyiz. GPU ve AI İşlem Sunucuları iş yükü tarafı hakkında daha fazla bilgiye sahiptir.
Siparişin Gerçekten Nasıl Çalıştığı
GPU donanımı nadir ve pahalıdır, bu nedenle süreç kasıtlı olarak tek tıkla değildir.
- KPanel'e giriş yapın.
- Sol kenar çubuğunda Mağaza'yı tıklayın.
- Sunucular altında GPU İşlem kartını tıklayın.
- Yönetilmeyen ve Yönetilen arasında geçiş yapın ve bir katman seçin.
- Ödemeyi tamamlayın.
Ödeme sonrasında bir sipariş onay e-postası alırsınız ve ekibimiz donanım size tahsis edilmeden önce mevcut kapasiteyi ve yapıyı onaylar.
GPU sunucusu ödeme anında sağlanmaz. Kapasite önce ekibimiz tarafından onaylanır ve sabit bir teslim süresi yayınlamayız çünkü elverişlilik değişir. Son tarih önemliyse, sipariş verdikten sonra değil, önce istediğiniz katman hakkında bizi kontrol edin.
Her iki durumda da sizden haber alırsınız. Ödeme yaptıysanız ve beklediğiniz bir takip alamadıysanız, onay e-postasına yanıt verin veya Destek'ten bir bilet açın ve siparişin tam olarak nerede olduğunu söyleriz.
Kurulum Ücreti ve Faturalandırma
GPU sunucuları, fiziksel bir makinenin yapıldığı ve teslim edildiği için, adanmış ve depolama sunucularında olduğu gibi, aylık fiyatın üstüne tek seferlik bir kurulum ücreti taşır. Bulut sunucuları kurulum ücreti taşımaz.
Kurulum ücreti bir kez alınır, asla tekrarlanmaz ve ödeme sırasında aylık fiyattan ayrı olarak gösterilir.
Fiyatlar GST hariç gösterilir. Hesap para biriminiz NZD ise, yüzde 15 GST ödeme sırasında eklenir ve ödeme düğmesi toplamında görünür. Bkz. Bulut Sunucusu Fiyatlandırması ve GST.
GPU katmanı saatlik kiralama yerine pahalı donanıma aylık bir taahhüt olduğundan, kararı buna göre verin. Yalnızca GPU'ya kısa bir patlama için ihtiyacınız varsa, bunu bizimle konuşurken söyleyin.
Katman Rezerve Etme
Bir katmanın kapasitesi olmadığında, plan kartı bir yapılandırma eylemi yerine bir rezervasyon sunar. Kuyruğa katılmak o katmana olan ilginizi kaydeder.
Rezervasyon bir kuyrukta bir yerdir, zamanlanmış bir yapı değildir ve bekleme süresi konusunda taahhüt vermeyiz. Ayrıca self-servis iptal düğmesi yoktur: bir rezervasyonu artık istemiyor olursanız, desteğe başvurun ve onu kaldıracağız.
GPU Sunucusu Yönetimi
GPU makinesi canlı olduktan sonra, KPanel kenar çubuğundaki Özel Sunucular bölümünde diğer herhangi bir bare-metal sunucu gibi yönetilir. Kenar çubuğunda ayrı bir GPU öğesi yoktur.
Araç seti, Adanmış Sunucu Yönetimi'nde tam olarak belgelenen şunları kapsar:
- Güç: zarif yeniden başlatma, donanım sıfırlama, zorunlu kapatma döngüsü ve Wake-on-LAN.
- Kurtarma sistemi: geçici Linux ortamı veya tarayıcı tabanlı sanal konsol.
- Ters DNS: her yönlendirilen IP için PTR kayıtları.
- IP'ler ve alt ağlar: makineye yönlendirilen veriler artı ek IPv4.
- Trafik: gün, ay veya yıl bazında gelen ve giden hacim.
- Güvenlik duvarı: trafiğin makineye ulaşmadan önce uygulanacak yukarı akış filtresi.
- Gelişmiş: yazılı onay arkasında tam işletim sistemi yeniden kurulumu.
Önyüklenmeyecek bir makine için konsol erişimi Adanmış Sunucu Konsol Erişimi'ndedir.
Başlamadan Önce Pratik Notlar
Sürücüler yönetilmeyen bir makinede sizindir. Çalıştırmayı amaçladığınız çerçeve sürümleriyle eşleşen NVIDIA sürücüsünü ve CUDA yığınını kurun ve sabitleyin. Uyumsuz sürücü ve araç seti sürümleri, mevcut olan ancak kullanılamayan GPU'nun en yaygın nedenidir.
Diskinizi izleyin. Model kontrol noktaları ve veri setleri bir diski sunucudaki başka herhangi bir şeyden daha hızlı doldurur. Kapasite hesaplamak yerine gerçek sorununuz ise, GPU makinesinin yanında bir depolama sunucusu genellikle daha büyük GPU katmanından daha ucuzdur.
Düzgün şekilde güvenlik duvarında alın. Çıkarım uç noktası çalıştıran bir GPU kutusu çekici bir hedeftir. Yukarı akış güvenlik duvarını yalnızca ona ulaşması gereken şeylere izin verecek şekilde kullanın ve Sağlayıcı hizmetlerine izin ver'i açık tutun, böylece kendinizi kilitlemezsiniz.
Yeniden kurulum her şeyi siler. Gelişmiş altındaki yeniden kurulum eylemi hiçbir geri alma olmaksızın her diski temizler ve sizin için yedekleme almaz. Kontrol noktalarınızı önce kopyalayın.
Yardım Almak
GPU, bizimle konuşmanın en çok parayı tasarruf ettiği üründür. KPanel içinde Kora'ya sorun, Destek'ten bir bilet açın veya çalıştırdığınız şey ve ihtiyaç duyduğunuz GPU belleği ile support@kapsulehost.com adresine e-posta gönderin.
İşlem aralığının geri kalanı için Bulut Sunucuları Özeti ve Adanmış Sunucular Özeti bölümüne bakın.