Qué es un servidor GPU
Un servidor GPU es una máquina física dedicada con una o más GPU de NVIDIA, más la CPU, la memoria del sistema y el almacenamiento rápido necesarios para mantenerlas funcionando. Toda la máquina es suya: nadie más comparte los aceleradores, el ancho de banda PCIe ni los discos.
Usted instala su propia pila y la ejecuta como desee. Las cargas de trabajo CUDA, PyTorch, TensorFlow, JAX y los marcos de servicio habituales funcionan exactamente como lo harían en cualquier equipo Linux bare-metal, porque eso es lo que es.
La razón por la que se desea la tenencia única aquí no es solo el rendimiento. Las cargas de trabajo de GPU tienden a ejecutarse a toda máquina durante horas, y los aceleradores compartidos se comportan muy diferente bajo ese tipo de carga sostenida que bajo un punto de referencia.
Los cuatro niveles
| Nivel | GPU | Memoria GPU | RAM del sistema |
|---|---|---|---|
| Spark | NVIDIA RTX 4000 | 20 GB | Configuración de entrada |
| Forge | NVIDIA RTX PRO 6000 | 96 GB | 256 GB |
| Foundry | NVIDIA RTX PRO 6000 | 96 GB | 512 GB |
| Reactor | NVIDIA RTX PRO 6000 | 96 GB | 768 GB |
Spark es el punto de entrada: suficiente memoria GPU para modelos más pequeños, ajuste fino, inferencia y trabajo de renderizado. Forge, Foundry y Reactor comparten el mismo acelerador y aumentan la memoria del sistema alrededor de él, que es lo que importa cuando está almacenando conjuntos de datos grandes o manteniendo varios modelos en la memoria del host.
Cada nivel se vende tanto sin gestionar como gestionado. Sin gestionar le proporciona acceso de root y deja el sistema operativo en sus manos. Gestionado mantiene el mismo hardware con nuestros ingenieros en la capa de software. Consulte Servidores en la nube gestionados frente a no gestionados.
Para consultar los precios en directo en su propia moneda, abra Store en KPanel, después la tarjeta GPU Compute.
Elegir un nivel
Comience por el modelo, no por el precio.
- ¿Cuánta memoria GPU necesita su modelo en la forma en que lo está ejecutando? Esta es la restricción difícil. Si los pesos más las activaciones no caben, ninguna cantidad de RAM del sistema ayuda.
- ¿Está entrenando o sirviendo? El entrenamiento consume mucha memoria y es de larga duración. La inferencia a menudo está limitada por la rapidez con que puede obtener datos en la GPU, que es donde la RAM del sistema y el disco importan más.
- ¿Cuál es el tamaño de su conjunto de trabajo? Si está transmitiendo un conjunto de datos que no cabe en la memoria del host, las configuraciones de Foundry y Reactor existen exactamente para eso.
Si no está seguro, cuéntenos qué está ejecutando, el tamaño del modelo, el marco y cuánta memoria GPU cree que necesita. Le señalaremos el nivel correcto en lugar de dejar que compre en exceso. Servidores de GPU e IA Compute tiene más información sobre el lado de la carga de trabajo.
Cómo funciona el pedido en realidad
El hardware de GPU es escaso y costoso, por lo que el proceso deliberadamente no es de un solo clic.
- Inicie sesión en KPanel.
- Haga clic en Store en la barra lateral izquierda.
- En Servers, haga clic en la tarjeta GPU Compute.
- Cambie entre Unmanaged y Managed, y elija un nivel.
- Complete el proceso de pago.
Después del pago, recibirá un correo electrónico de confirmación del pedido, y nuestro equipo confirma la capacidad actual y la compilación antes de que se asigne hardware.
Un servidor GPU no se aprovisiona en el momento en que paga. Nuestro equipo confirma primero la capacidad, y no publicamos un tiempo de entrega fijo porque la disponibilidad cambia. Si un plazo es importante, pregúntenos sobre el nivel que desea antes de hacer el pedido, no después.
Nos comunicaremos con usted de cualquier manera. Si ha pagado y no ha recibido un seguimiento que esperaba, responda al correo electrónico de confirmación o abra un ticket desde Support y le diremos exactamente dónde se encuentra el pedido.
Tarifa de configuración y facturación
Los servidores GPU llevan una tarifa de configuración única además del precio mensual, al igual que los servidores dedicados y de almacenamiento, porque se construye y entrega una máquina física. Los servidores en la nube no llevan tarifa de configuración.
La tarifa de configuración se cobra una vez, nunca se repite, y se muestra por separado del precio mensual en el proceso de pago.
Los precios se muestran sin GST. Si la moneda de su cuenta es NZD, se añade el 15 por ciento de GST en el proceso de pago y aparece en el total del botón de pago. Consulte Precios de servidores en la nube e IVA.
Como un nivel de GPU es un compromiso mensual en hardware costoso en lugar de un alquiler por horas, trate la decisión en consecuencia. Si solo necesita una GPU para una ráfaga corta, dígaselo cuando hable con nosotros.
Reservar un nivel
Cuando un nivel no tiene capacidad, la tarjeta del plan ofrece una reserva en lugar de una acción de configuración. Unirse a la cola registra su interés en ese nivel.
Una reserva es un lugar en una cola, no una compilación programada, y no nos comprometemos con un tiempo de espera. Tampoco hay un botón de cancelación de autoservicio: si ya no desea una reserva, contacte con soporte y la eliminaremos.
Gestionar un servidor GPU
Una vez que una máquina GPU está en funcionamiento, se gestiona exactamente como cualquier otro servidor bare-metal, desde Servidores dedicados en la barra lateral de KPanel. No hay un elemento GPU separado en la barra lateral.
El conjunto de herramientas, documentado completamente en Gestionar un servidor dedicado, incluye:
- Power: reinicio elegante, reinicio de hardware, ciclo de energía forzado y Wake-on-LAN.
- Sistema de rescate: un entorno Linux temporal o una consola virtual basada en navegador.
- DNS inverso: registros PTR para cada IP enrutada.
- IP y subredes: lo que se enruta a la máquina, más IPv4 adicional.
- Traffic: volumen de entrada y salida por día, mes o año.
- Firewall: un filtro ascendente aplicado antes de que el tráfico llegue a la máquina.
- Advanced: una reinstalación completa del sistema operativo, detrás de una confirmación escrita.
El acceso a la consola para una máquina que no arranca se encuentra en Acceso a consola de servidor dedicado.
Notas prácticas antes de comenzar
Los controladores son suyos en una máquina sin gestionar. Instale el controlador NVIDIA y la pila CUDA que coincidan con las versiones del marco que tiene la intención de ejecutar, y fíjelas. Las versiones de controlador y kit de herramientas no coincidentes son la causa más común de una GPU que está presente pero inutilizable.
Vigile su disco. Los puntos de control del modelo y los conjuntos de datos llenan un disco más rápido que cualquier otra cosa en un servidor. Si la capacidad es su verdadero problema en lugar de la computación, un servidor de almacenamiento junto con la máquina GPU suele ser más barato que un nivel de GPU más grande.
Asegúrelo correctamente. Una caja GPU ejecutando un punto final de inferencia es un objetivo atractivo. Utilice el firewall ascendente para permitir solo lo que necesita llegar a ella, y mantenga Permitir servicios de la plataforma activado para no bloquearse a sí mismo.
Reinstalar borra todo. La acción de reinstalación en Advanced borra cada disco sin deshacer y no hace copia de seguridad para usted. Copie sus puntos de control primero.
Obtener ayuda
GPU es el producto donde hablar con nosotros primero ahorra más dinero. Pregunte a Kora dentro de KPanel, abra un ticket desde Support, o envíe un correo electrónico a support@kapsulehost.com con lo que está ejecutando y cuánta memoria GPU necesita.
Para el resto del rango de computación, consulte Descripción general de servidores en la nube y Descripción general de servidores dedicados.