GPU серверы, это однопользовательские bare-metal машины с ускорителями NVIDIA, предназначенные для обучения AI, инференса и рендеринга. В этом руководстве рассматриваются четыре уровня, как фактически работают заказ и доставка, что входит в плату установки и как управлять GPU машиной после её запуска.
Что такое GPU сервер
GPU сервер, это выделенная физическая машина с одним или несколькими GPU NVIDIA, плюс процессор, системная память и быстрое хранилище, необходимые для их работы. Вся машина принадлежит вам: никто другой не использует ускорители, пропускную способность PCIe или диски.
Вы устанавливаете собственный стек и запускаете его так, как вам нравится. Рабочие нагрузки CUDA, PyTorch, TensorFlow, JAX и обычные фреймворки обслуживания работают так же, как на любой bare-metal Linux машине, потому что это именно то, что это есть.
Причина выбрать однопользовательскую конфигурацию здесь, не только производительность. GPU рабочие нагрузки обычно работают на полную мощность в течение часов, и общие ускорители ведут себя совсем иначе при такой постоянной нагрузке, чем в бенчмарке.
Четыре уровня
| Уровень | GPU | Память GPU | Системная RAM |
|---|---|---|---|
| Spark | NVIDIA RTX 4000 | 20 GB | Базовая конфигурация |
| Forge | NVIDIA RTX PRO 6000 | 96 GB | 256 GB |
| Foundry | NVIDIA RTX PRO 6000 | 96 GB | 512 GB |
| Reactor | NVIDIA RTX PRO 6000 | 96 GB | 768 GB |
Spark, это точка входа: достаточно памяти GPU для меньших моделей, тонкой настройки, инференса и работы с рендерингом. Forge, Foundry и Reactor имеют один и тот же ускоритель и увеличивают системную память вокруг него, что важно, когда вы подготавливаете большие наборы данных или держите несколько моделей в памяти хоста.
Каждый уровень продаётся как в неуправляемом, так и в управляемом виде. Неуправляемый предоставляет вам root и оставляет операционную систему на вас. Управляемый сохраняет то же оборудование с нашими инженерами на уровне программного обеспечения. См. Управляемые и неуправляемые облачные серверы.
Для текущих цен в вашей валюте откройте Store в KPanel, затем карточку GPU Compute.
Выбор уровня
Начните с модели, а не с цены.
- Сколько памяти GPU нужно вашей модели в том виде, в котором вы её запускаете? Это жёсткое ограничение. Если веса плюс активации не помещаются, никакой объём системной RAM не поможет.
- Вы проводите обучение или обслуживание? Обучение требует много памяти и долго работает. Инференс часто ограничен тем, как быстро вы можете передать данные на GPU, и здесь системная RAM и диск имеют большее значение.
- Какой размер вашего рабочего набора? Если вы потокуете набор данных, который не помещается в памяти хоста, конфигурации Foundry и Reactor существуют именно для этого.
Если вы не уверены, расскажите нам, что вы запускаете, размер модели, фреймворк и сколько памяти GPU, по вашему мнению, вам нужно. Мы укажем вам на правильный уровень вместо того, чтобы позволить вам переплатить. GPU и серверы вычисления AI содержит больше информации о стороне рабочей нагрузки.
Как фактически работает заказ
GPU оборудование редко и дорого, поэтому процесс намеренно не является одним щелчком.
- Войдите в KPanel.
- Нажмите Store на левой боковой панели.
- В разделе Servers нажмите карточку GPU Compute.
- Переключайтесь между Unmanaged и Managed и выберите уровень.
- Завершите оформление.
После оформления вы получите письмо с подтверждением заказа, и наша команда подтверждает текущую ёмкость и сборку перед выделением оборудования вам.
GPU сервер не подготавливается в момент, когда вы платите. Ёмкость сначала подтверждается нашей командой, и мы не публикуем фиксированное время доставки, потому что доступность меняется. Если крайний срок важен, спросите нас о нужном вам уровне перед заказом, а не после.
Вы услышите от нас в любом случае. Если вы платили и не получили ожидаемое продолжение, ответьте на письмо подтверждения или откройте билет в Support и мы точно расскажем вам, где находится заказ.
Плата за установку и биллинг
GPU серверы несут одноразовую плату за установку в дополнение к ежемесячной цене, что является общим с выделенными серверами и серверами хранения, потому что физическая машина собирается и передаётся вам. Облачные серверы не имеют платы за установку.
Плата за установку взимается один раз, никогда не повторяется и отображается отдельно от ежемесячной цены при оформлении.
Цены указаны без GST. Если валюта вашего счёта, NZD, к оформлению добавляется 15 процентов GST и отображается в итоге кнопки оплаты. См. Цены облачных серверов и GST.
Поскольку уровень GPU, это ежемесячное обязательство дорогого оборудования, а не почасовая аренда, рассматривайте решение соответственно. Если вам нужен GPU только на короткий период, скажите об этом, когда будете разговаривать с нами.
Резервирование уровня
Когда уровень не имеет ёмкости, карточка плана предлагает резервирование вместо действия конфигурирования. Присоединение к очереди фиксирует ваш интерес к этому уровню.
Резервирование, это место в очереди, а не запланированная сборка, и мы не обещаем время ожидания. Кнопки самостоятельной отмены тоже нет: если вы больше не хотите резервирование, обратитесь в поддержку и мы его удалим.
Управление GPU сервером
Когда GPU машина запущена, она управляется точно так же, как любой другой bare-metal сервер, из раздела Выделенные серверы на боковой панели KPanel. В боковой панели нет отдельного элемента GPU.
Набор инструментов, полностью задокументированный в Управление выделенным сервером, охватывает:
- Power: корректная перезагрузка, аппаратный сброс, принудительный цикл питания и Wake-on-LAN.
- Система спасения: временная среда Linux или виртуальная консоль на основе браузера.
- Обратный DNS: PTR записи для каждого маршрутизированного IP.
- IP-адреса и подсети: то, что маршрутизируется на машину, плюс дополнительный IPv4.
- Traffic: входящий и исходящий объём по дням, месяцам или годам.
- Firewall: восходящий фильтр, применяемый до того, как трафик достигнет машины.
- Advanced: полная переустановка операционной системы, защищённая подтверждением с вводом текста.
Доступ к консоли для машины, которая не загружается, находится в Доступ к консоли выделенного сервера.
Практические заметки перед началом
Драйверы, ваша ответственность на неуправляемой машине. Установите драйвер NVIDIA и стек CUDA, которые соответствуют версиям фреймворка, которые вы намеревались запускать, и закрепите их. Несовпадение версий драйвера и набора инструментов, наиболее частая причина наличия GPU, который не используется.
Следите за диском. Контрольные точки моделей и наборы данных заполняют диск быстрее, чем что-либо другое на сервере. Если реальная проблема, ёмкость, а не вычисления, сервер хранения рядом с GPU машиной обычно дешевле, чем больший уровень GPU.
Правильно защитите брандмауэром. GPU машина, на которой запущена конечная точка инференса,, это привлекательная цель. Используйте восходящий брандмауэр, чтобы разрешить только то, что должно до неё дойти, и держите Разрешить услуги провайдера включённым, чтобы не заблокировать себя.
Переустановка стирает всё. Действие переустановки в разделе Advanced вытирает каждый диск без возврата и не делает резервную копию для вас. Сначала скопируйте ваши контрольные точки.
Получение помощи
GPU, это продукт, где разговор с нами в первую очередь экономит больше всего денег. Спросите Kora в KPanel, откройте билет в Support или напишите на support@kapsulehost.com о том, что вы запускаете и сколько памяти GPU вам нужно.
Для остальной части диапазона вычислений см. Обзор облачных серверов и Обзор выделенных серверов.