Um servidor GPU KapsuleHost é uma máquina física de inquilino único equipada com processadores gráficos NVIDIA e a CPU, memória e armazenamento rápido necessários para os alimentar, construído para treino de IA, inferência e outro trabalho altamente paralelo.
Você obtém a máquina inteira. Nenhuma tarefa de outro utilizador está a partilhar a sua GPU, a sua largura de banda de memória ou o seu disco, que é a diferença entre um benchmark que pode reproduzir e um que não pode. Este guia cobre os quatro níveis, o que são adequados, como funciona a encomenda dado que o fornecimento de GPU é genuinamente limitado, e para que é a taxa de configuração.
Os Quatro Níveis
| Nível | GPU | Memória de GPU | Memória do sistema | Mensalmente | Configuração única |
|---|---|---|---|---|---|
| Spark | NVIDIA RTX 4000 | 20 GB | Incluída na compilação | US$330.00 | Sim |
| Forge | NVIDIA RTX PRO 6000 | 96 GB | 256 GB | US$1,680.00 | Sim |
| Foundry | NVIDIA RTX PRO 6000 | 96 GB | 512 GB | US$2,520.00 | Sim |
| Reactor | NVIDIA RTX PRO 6000 | 96 GB | 768 GB | US$3,240.00 | Sim |
Os preços são apresentados excluindo IVA na sua moeda de faturação. Cada nível vem não gerido ou gerido, a mesma escolha que os nossos servidores na nuvem.
O salto de Spark para Forge é o significativo. Spark é um ponto de entrada para desenvolvimento, modelos menores e trabalho de inferência. Forge, Foundry e Reactor partilham os mesmos 96 GB de memória de GPU e diferem na memória do sistema, que é o que governa quanto pode manter em RAM do anfitrião juntamente com o modelo: encenação de dados, pipelines de pré-processamento e atendimento de muitos pedidos simultâneos.
O Que Pode Executar
Você obtém controlo total da máquina, portanto executa a sua própria pilha. Isto inclui PyTorch, TensorFlow, JAX, cargas de trabalho CUDA brutos e os frameworks habituais de treino e atendimento em cima deles.
Utilizações típicas:
- Treino e ajuste fino de modelos para aprendizado de máquina e aprendizado profundo.
- Inferência e atendimento em produção, onde uma GPU transforma um tempo de resposta inaceitável num aceitável.
- Cargas de trabalho de IA em lote: incorporações, transcrição, geração de imagem e vídeo, renderização.
- Computação científica e paralela que beneficia de aceleração de GPU.
Dimensione primeiro na memória de GPU. O erro mais comum é escolher um nível pelo preço e depois descobrir que o modelo não se encaixa em VRAM. Calcule a memória que seu modelo precisa na sua precisão pretendida e tamanho de lote, adicione margem de manobra, e escolha o nível que o satisfaz. A memória do sistema e a CPU são muito mais fáceis de contornar do que um modelo que não carregará.
Disponibilidade e Como Funciona a Encomenda
O hardware de GPU está em alta procura em toda a indústria e o fornecimento é limitado. Este é um facto sobre o mercado, não uma política de KapsuleHost, e molda como estes são encomendados.
- Estas são máquinas físicas, portanto são provisionadas por encomenda em vez de em segundos.
- A disponibilidade varia por nível e localização, e é verificada em tempo real quando vê a página de planos.
- Spark está atualmente constrangido no fornecimento. Quando não tem stock, o painel oferece-lhe a fila de reserva em vez de uma encomenda defeituosa.
Para configurações maiores ou personalizadas confirmamos a compilação exata e o preço exato com você antes do provisionamento, para que sempre saiba o que está a obter. Não cotamos uma configuração que não possamos entregar.
A Fila de Reserva
Quando um nível de GPU está fora de stock, pode reservá-lo em vez de partir:
- Reserve o nível a partir da página de planos. Obtém uma referência de reserva.
- Nada é cobrado. Uma reserva é gratuita e nenhuma subscrição começa.
- Quando a capacidade aparecer, provisionamos a máquina para você automaticamente.
- O seu primeiro pagamento é cobrado apenas quando o servidor está ativo e a sua data de faturação começa a partir desse dia.
- Cancele a qualquer momento enquanto aguarda, sem custo.
Regiões, Disponibilidade e a Fila de Reserva explica a mecânica por completo.
Não coloque uma reserva de GPU num prazo fixo. A capacidade volta quando volta, e preferimos dizer-lhe isso claramente do que prometer uma data que não podemos cumprir. Se tem uma data de entrega fixa, fale connosco antes de encomendar.
Encomendar Uma
- Inicie sessão em KPanel.
- Abra Loja na barra lateral esquerda e escolha GPU, ou vá diretamente para
/plans/compute?group=gpu. - Utilize o alternador Não Gerido e Gerido para escolher o formulário que deseja.
- Cada nível mostra a sua GPU, a sua VRAM, a sua memória do sistema, o seu preço mensal e a sua taxa de configuração única, mais um emblema de stock em tempo real.
A Taxa de Configuração
Um servidor GPU traz uma taxa de configuração única no checkout para além do preço mensal recorrente, porque uma máquina física tem que ser construída e provisionada para você.
- Cobrado uma vez, no provisionamento. Nunca aparece numa renovação.
- Mostrado como a sua própria linha no checkout, etiquetado Configuração (única), com a sua própria recepção.
- Sujeito a IVA quando a moeda da sua conta é NZD.
Veja Preços de Servidor na Nuvem e IVA para como encargos únicos e recorrentes aparecem nas suas faturas.
Como os Servidores GPU Diferem dos Servidores na Nuvem
| Servidores na Nuvem | Servidores GPU | |
|---|---|---|
| Hardware | Máquinas virtuais | Máquinas físicas de inquilino único com GPUs NVIDIA |
| Provisionamento | Imediato, sujeito a stock | Por encomenda, às vezes via fila de reserva |
| Taxa de configuração | Nenhuma | Uma única |
| Redimensionamento em tempo real em KPanel | Sim | Não |
| Dimensionado em | vCPU, memória, disco | Memória de GPU primeiro, depois memória do sistema |
Os servidores GPU não podem ser redimensionados no local. Mudar entre níveis significa encomendar a máquina nova e migrar o seu trabalho para ela. Escolha o nível que se adequa aos modelos que espera executar, não apenas o que está a executar esta semana.
Antes de Encomendar
Tenha estas respostas prontas, porque determinam o nível:
- Treino ou inferência? O treino é geralmente intensivo em memória e de longa duração. A inferência é geralmente sensível à latência e simultânea.
- Qual modelo, em qual precisão? Isto define o piso de memória de GPU.
- Quantos dados, e onde vivem? Encenar um grande conjunto de dados é para o que a memória e disco do sistema são.
- Qual framework? Para que possamos confirmar antecipadamente as expectativas de controlador e CUDA.
Diga-nos essas quatro coisas e apontá-lo-emos para o nível correto, ou montaremos uma configuração se nenhum dos quatro padrões se adequar. Pergunte a Kora dentro de KPanel, ou envie um email para support@kapsulehost.com, e a nossa equipa da Nova Zelândia ajudará.
Resolução de Problemas
O nível que desejo mostra Fora de stock. Reserve-o. Não paga nada enquanto aguarda e provisionamos automaticamente quando a capacidade volta.
O meu modelo não se encaixa em VRAM. Mude para um nível superior, ou reduza a precisão ou o tamanho de lote. Forge, Foundry e Reactor todos têm 96 GB de memória de GPU.
Preciso de mais de uma GPU, ou de uma configuração que não lista. Contacte-nos com os seus requisitos e confirmaremos o que podemos construir e o que custa antes de ser cobrado algo.
Posso experimentar antes de me comprometer? Fale connosco sobre começar com Spark para trabalho de desenvolvimento e subir assim que o seu pipeline for comprovado.