O Que É Um Servidor GPU
Um servidor GPU é uma máquina física dedicada com uma ou mais GPUs NVIDIA, mais o CPU, memória do sistema e armazenamento rápido necessários para mantê-las alimentadas. Toda a máquina é sua: ninguém mais está partilhando os aceleradores, a largura de banda PCIe ou os discos.
Instala a sua própria stack e executa-a como quiser. Cargas de trabalho CUDA, PyTorch, TensorFlow, JAX e os frameworks de serving habituais funcionam da forma como funcionariam em qualquer caixa Linux bare-metal, porque é exatamente o que é.
A razão para querer single tenancy aqui não é apenas o desempenho. As cargas de trabalho GPU tendem a funcionar a plena capacidade durante horas, e os aceleradores partilhados comportam-se de forma muito diferente sob esse tipo de carga sustentada do que o fazem numa benchmark.
Os Quatro Escalões
| Escalão | GPU | Memória GPU | RAM do Sistema |
|---|---|---|---|
| Spark | NVIDIA RTX 4000 | 20 GB | Configuração de entrada |
| Forge | NVIDIA RTX PRO 6000 | 96 GB | 256 GB |
| Foundry | NVIDIA RTX PRO 6000 | 96 GB | 512 GB |
| Reactor | NVIDIA RTX PRO 6000 | 96 GB | 768 GB |
Spark é o ponto de entrada: memória GPU suficiente para modelos mais pequenos, ajuste fino, inference e trabalho de renderização. Forge, Foundry e Reactor partilham o mesmo acelerador e aumentam a memória do sistema em torno dele, o que é o que importa quando está a preparar grandes conjuntos de dados ou a manter vários modelos na memória do host.
Cada escalão é vendido tanto não gerido como gerido. Não gerido coloca-lhe root e deixa o sistema operativo para você. Gerido mantém o mesmo hardware com os nossos engenheiros na camada de software. Consulte Servidores Cloud Geridos vs Não Geridos.
Para preços em tempo real na sua própria moeda, abra Store no KPanel, depois o cartão GPU Compute.
Escolher um Escalão
Comece pelo modelo, não pelo preço.
- Quanto memória GPU o seu modelo precisa na forma como o está a executar? Essa é a restrição rígida. Se os pesos mais as ativações não couberem, nenhuma quantidade de RAM do sistema ajuda.
- Está a treinar ou a servir? O treino consome muita memória e funciona a longo prazo. A inference é frequentemente limitada pela rapidez com que consegue obter dados para a GPU, e é aí que a RAM do sistema e o disco importam mais.
- Qual é o tamanho do seu conjunto de trabalho? Se está a transmitir um conjunto de dados que não cabe na memória do host, as configurações Foundry e Reactor existem exatamente para isso.
Se tem dúvidas, diga-nos o que está a executar, o tamanho do modelo, o framework e a memória GPU que acha que precisa. Apontaremos para o escalão certo em vez de deixá-lo comprar mais do que precisa. Servidores GPU e AI Compute tem mais informações sobre o lado da carga de trabalho.
Como o Pedido Realmente Funciona
O hardware GPU é escasso e caro, portanto o processo é deliberadamente não em um clique.
- Inicie sessão em KPanel.
- Clique em Store na barra lateral esquerda.
- Em Servers, clique no cartão GPU Compute.
- Alterne entre Unmanaged e Managed e escolha um escalão.
- Complete o pagamento.
Após o pagamento, recebe um email de confirmação do pedido, e a nossa equipa confirma a capacidade atual e a construção antes de o hardware ser alocado para você.
Um servidor GPU não é aprovisionado no momento em que paga. A capacidade é confirmada pela nossa equipa primeiro, e não publicamos um tempo de entrega fixo porque a disponibilidade muda. Se um prazo for importante, pergunte-nos sobre o escalão que deseja antes de fazer a encomenda em vez de depois.
Ouvirá de nós de uma forma ou de outra. Se pagou e não teve um acompanhamento que esperava, responda ao email de confirmação ou abra um ticket em Support e diremos exatamente onde a encomenda se encontra.
Taxa de Configuração e Faturação
Os servidores GPU têm uma taxa de configuração única no topo do preço mensal, em comum com servidores dedicados e de armazenamento, porque uma máquina física é construída e entregue. Os servidores cloud não têm taxa de configuração.
A taxa de configuração é cobrada uma única vez, nunca se repete, e é mostrada em separado do preço mensal no pagamento.
Os preços são mostrados excluindo GST. Se a moeda da sua conta for NZD, 15 por cento de GST é adicionado no pagamento e aparece no total do botão de pagamento. Consulte Preços de Servidores Cloud e GST.
Como um escalão GPU é um compromisso mensal em hardware caro em vez de um aluguel por hora, trate a decisão em conformidade. Se apenas precisa de uma GPU durante um curto período de tempo, diga-nos quando falar conosco.
Reservar um Escalão
Quando um escalão não tem capacidade, o cartão do plano oferece uma reserva em vez de uma ação de configuração. Aderir à fila regista o seu interesse nesse escalão.
Uma reserva é um lugar numa fila, não uma construção programada, e não nos comprometemos com um tempo de espera. Também não existe um botão de cancelamento self-service: se já não deseja uma reserva, contacte o suporte e removeremos.
Gerir um Servidor GPU
Uma vez que uma máquina GPU está em funcionamento, é gerida exatamente como qualquer outro servidor bare-metal, a partir de Servidores dedicados na barra lateral do KPanel. Não existe um item GPU separado na barra lateral.
O conjunto de ferramentas, documentado completamente em Gerir um Servidor Dedicado, cobre:
- Power: reinício gracioso, reset de hardware, ciclo de energia forçado e Wake-on-LAN.
- Sistema de resgate: um ambiente Linux temporário ou uma consola virtual baseada em navegador.
- DNS inverso: registos PTR para cada IP encaminhado.
- IP e sub-redes: o que é encaminhado para a máquina, mais IPv4 adicional.
- Traffic: volume de entrada e saída por dia, mês ou ano.
- Firewall: um filtro a montante aplicado antes do tráfego chegar à máquina.
- Advanced: uma reinstalação completa do sistema operativo, atrás de uma confirmação digitada.
O acesso à consola para uma máquina que não vai inicializar está em Acesso à Consola de Servidor Dedicado.
Notas Práticas Antes de Começar
Os drivers são seus numa máquina não gerida. Instale o driver NVIDIA e a stack CUDA que corresponde às versões do framework que pretende executar, e fixe-as. As versões do driver e do toolkit incompatíveis são a causa mais comum de uma GPU que está presente mas inutilizável.
Cuidado com o disco. Os checkpoints do modelo e os conjuntos de dados preenchem um disco mais rapidamente do que qualquer outra coisa num servidor. Se a capacidade é o seu verdadeiro problema em vez da computação, um servidor de armazenamento ao lado da máquina GPU é geralmente mais barato do que um escalão GPU maior.
Firewall adequadamente. Uma caixa GPU a executar um endpoint de inference é um alvo atraente. Use o firewall a montante para permitir apenas o que precisa de alcançá-lo, e mantenha Permitir serviços da plataforma ativado para não se bloquear a si mesmo.
Reinstalar apaga tudo. A ação de reinstalação em Advanced apaga cada disco sem desfazer e não faz cópia de segurança para você. Copie os seus checkpoints primeiro.
Obter Ajuda
GPU é o produto onde falar connosco primeiro poupa mais dinheiro. Pergunte à Kora dentro do KPanel, abra um ticket em Support ou envie um email para support@kapsulehost.com com o que está a executar e a memória GPU de que precisa.
Para o resto da gama de computação, consulte Visão Geral de Servidores Cloud e Visão Geral de Servidores Dedicados.