A KapsuleHost GPU sunucusu, AI eğitimi, çıkarımı ve diğer yoğun paralel işler için tasarlanmış, NVIDIA grafik işlemcileri ve bunları beslemek için gereken CPU, bellek ve hızlı depolamaya sahip tek kiracılı fiziksel bir makinedir.
Tüm makineyi siz alırsınız. Başka kimsenin işi GPU'nuzda, bellek bant genişliğinizde veya diskinizde çalışmaz; bu, yeniden oluşturabileceğiniz bir kıyaslamayla oluşturamayacağınız bir kıyaslama arasındaki farktır. Bu rehber dört katmana, bunlara uygun olanları, GPU arzının gerçekten sıkı olması dikkate alındığında siparişin nasıl çalıştığını ve kurulum ücretinin ne için olduğunu kapsar.
Dört Katman
| Katman | GPU | GPU belleği | Sistem belleği | Aylık | Tek seferlik kurulum |
|---|---|---|---|---|---|
| Spark | NVIDIA RTX 4000 | 20 GB | Derlemeye dahil | US$330.00 | Evet |
| Forge | NVIDIA RTX PRO 6000 | 96 GB | 256 GB | US$1,680.00 | Evet |
| Foundry | NVIDIA RTX PRO 6000 | 96 GB | 512 GB | US$2,520.00 | Evet |
| Reactor | NVIDIA RTX PRO 6000 | 96 GB | 768 GB | US$3,240.00 | Evet |
Fiyatlar GST hariç faturalandırma para biriminizde gösterilmektedir. Her katman yönetilmeyen veya yönetilen şekilde gelir; bu, bulut sunucularımızdaki aynı seçimdir.
Spark'tan Forge'a geçiş önemli olandır. Spark, geliştirme, daha küçük modeller ve çıkarım işleri için bir giriş noktasıdır. Forge, Foundry ve Reactor aynı 96 GB GPU belleğine sahiptir ve sistem belleğinde farklılık gösterir; bu, model yanında ana belleğe ne kadar tutabileceğinizi yönetir: veri seti hazırlama, ön işleme işlem hatları ve eşzamanlı birçok isteğe hizmet verme.
Neler Çalıştırabileceğiniz
Makinenin tam kontrolünü siz alırsınız, bu nedenle kendi yığınınızı çalıştırırsınız. Bu, PyTorch, TensorFlow, JAX, ham CUDA iş yükleri ve bunların üstündeki olağan eğitim ve sunuma hizmet eden çerçeveleri içerir.
Tipik kullanımlar:
- Model eğitimi ve ince ayarı makine öğrenmesi ve derin öğrenme için.
- Üretimde çıkarım ve sunuma hizmet, GPU'nun kabul edilemez bir yanıt süresini kabul edilebilir olana dönüştürdüğü durumlarda.
- Toplu AI iş yükleri: yerleştirmeler, transkripsiyon, görüntü ve video oluşturma, işleme.
- GPU hızlandırmasından yararlanan bilimsel ve paralel bilişim.
Önce GPU belleğine göre boyut belirleyin. En yaygın hata, bir katmanı fiyata göre seçmek ve ardından modelin VRAM'a sığmadığını keşfetmektir. Modelin istenen duyarlılığınızda ve toplu iş boyutunuzda ihtiyaç duyduğu belleği hesaplayın, biraz boşluk bırakın ve onu geçen katmanı seçin. Sistem belleği ve CPU, yüklenmeyen bir modelden çok daha kolay kullanılabilir.
Kullanılabilirlik ve Siparişin Nasıl Çalıştığı
GPU donanımı endüstri genelinde yüksek talep görmektedir ve arz sınırlıdır. Bu, KapsuleHost politikası değil, pazar hakkında bir gerçektir ve bu, bunların nasıl sipariş edileceğini şekillendirir.
- Bunlar fiziksel makineler olduğundan, saniye cinsinden değil, siparişe göre sağlanırlar.
- Kullanılabilirlik katmana ve konuma göre değişir ve planlar sayfasına baktığınızda canlı olarak kontrol edilir.
- Spark şu anda arz sınırlıdır. Stok olmadığında, panel size bozuk bir sipariş yerine rezervasyon kuyruğunu sunar.
Daha büyük veya özel yapılandırmalar için, sağlanmadan önce tam derleme ve tam fiyatı sizle onaylarız, böylece her zaman ne aldığınızı bilirsiniz. Teslim edemeyeceğimiz bir yapılandırmaya teklif vermeyiz.
Rezervasyon Kuyruğu
Bir GPU katmanının stoku olmadığında, bunun yerine bunu ayrılmak yerine rezerve edebilirsiniz:
- Planlar sayfasından katmanı rezerve edin. Bir rezervasyon referansı alırsınız.
- Hiçbir şey yüklenmez. Rezervasyon ücretsizdir ve hiçbir abonelik başlamaz.
- Kapasite ortaya çıktığında, makineyi otomatik olarak sizin için sağlarız.
- İlk ödemeniz, sunucu canlı olduktan sonra alınır ve faturalandırma tarihiniz o günden başlar.
- Bekleme sırasında her zaman hiçbir masraf olmadan iptal edebilirsiniz.
Bölgeler, Kullanılabilirlik ve Rezervasyon Kuyruğu mekanizmayı tam olarak açıklar.
Bir GPU rezervasyonunu sabit bir tarihe koymayın. Kapasite ne zaman geri dönüyorsa o zaman geri döner ve biz tutamayacağımız bir tarihi vaat etmekten ziyade bunu size açıkça söylemeyi tercih ederiz. Sabit bir teslim tarihiniz varsa, sipariş vermeden önce bizimle konuşun.
Bir Siparişi Vermek
- KPanel oturumuna giriş yapın.
- Sol kenar çubuğundan Store seçeneğini açın ve GPU seçeneğini seçin, veya doğrudan
/plans/compute?group=gpusayfasına gidin. - İstediğiniz formu seçmek için Unmanaged ve Managed geçişini kullanın.
- Her katman GPU'sunu, VRAM'ını, sistem belleğini, aylık fiyatını ve tek seferlik kurulum ücretini, artı canlı stok rozeti gösterir.
Kurulum Ücreti
Bir GPU sunucusu, fiziksel bir makine için sizin için oluşturulması ve sağlanması gerektiğinden, tekrarlanan aylık fiyata ek olarak kasa sırasında tek seferlik kurulum ücreti taşır.
- Bir kez, sağlama sırasında yüklenir. Yenileme sırasında asla görünmez.
- Kasa sırasında kendi satırı olarak gösterilir, Setup (one-time) etiketli, kendi makbuzu ile.
- Hesap para biriminiz NZD olduğunda GST'ye tabidir.
Tek seferlik ve tekrarlanan ücretlerin faturalarınızda nasıl göründüğü hakkında Bulut Sunucusu Fiyatlandırması ve GST bölümüne bakın.
GPU Sunucuları Bulut Sunucularından Nasıl Farklıdır
| Bulut Sunucuları | GPU Sunucuları | |
|---|---|---|
| Donanım | Sanal makineler | NVIDIA GPU'lu tek kiracılı fiziksel makineler |
| Sağlama | Anında, stoka tabi | Siparişe göre, bazen rezervasyon kuyruğu aracılığıyla |
| Kurulum ücreti | Yok | Tek seferlik |
| KPanel'deki canlı yeniden boyutlandırma | Evet | Hayır |
| Boyutlandırılmış | vCPU, bellek, disk | Önce GPU belleği, sonra sistem belleği |
GPU sunucuları yerinde yeniden boyutlandırılamaz. Katmanlar arasında geçiş, yeni makineyi sipariş etmek ve işinizi ona taşımak anlamına gelir. Bu hafta çalıştırdığınız değil, çalıştırmayı beklediğiniz modellere uyan katmanı seçin.
Sipariş Vermeden Önce
Katmanı belirledikleri için bu yanıtları hazır bulundurun:
- Eğitim mi yoksa çıkarım mı? Eğitim genellikle bellek açlığı çeken ve uzun süreli. Çıkarım genellikle gecikmeye duyarlı ve eşzamanlı.
- Hangi model, hangi duyarlılıkta? Bu, GPU belleği tabanını ayarlar.
- Ne kadar veri, ve nerede yaşıyor? Büyük bir veri setini hazırlamak, sistem belleği ve disk içindir.
- Hangi çerçeve? Sürücü ve CUDA beklentilerini önceden onaylayabiliriz.
Bu dört şeyi bize söyleyin ve sizi doğru katmana işaret ederiz, ya da standart dördün hiçbiri uygun değilse bir yapılandırma hazırlayız. KPanel içinde Kora'ya sorun, veya support@kapsulehost.com adresine e-posta gönderin ve Yeni Zelanda ekibimiz yardımcı olacaktır.
Sorun Giderme
İstediğim katman Stok Dışı gösteriyor. Bunu rezerve edin. Bekleme sırasında hiçbir şey ödemezsiniz ve kapasite geri geldiğinde otomatik olarak sağlarız.
Modelim VRAM'a sığmayacak. Bir katman yukarıya çıkın veya duyarlılığı ya da toplu iş boyutunu azaltın. Forge, Foundry ve Reactor'un tümü 96 GB GPU belleği taşır.
Birden fazla GPU'ya ya da listelemediğiniz bir yapılandırmaya ihtiyacım var. Gereksinimlerinizle bizimle iletişime geçin ve hiçbir şey yüklenmeden önce neler oluşturabileceğimizi ve neye mal olacağını onaylayacağız.
Taahhüt etmeden önce deneyebilir miyim? Spark'ta geliştirme işleri için başlama ve işlem hattınız kanıtlandıktan sonra yukarı taşınma hakkında bizimle konuşun.