Сервер KapsuleHost GPU, это однотенантная физическая машина, оснащённая графическими процессорами NVIDIA и процессором, памятью и быстрым хранилищем, необходимыми для их питания. Она разработана для обучения ИИ, логического вывода и другой работы с интенсивным параллелизмом.
Вы получаете всю машину целиком. Никакие другие задания не делят вашу GPU, пропускную способность памяти или диск, что отличает воспроизводимый тест от невоспроизводимого. В этом руководстве рассмотрены четыре уровня, их применение, способ заказа с учётом натянутого предложения GPU и назначение платы за установку.
Четыре уровня
| Уровень | GPU | Память GPU | Системная память | Ежемесячно | Единовременная установка |
|---|---|---|---|---|---|
| Spark | NVIDIA RTX 4000 | 20 GB | Включена в сборку | US$330.00 | Да |
| Forge | NVIDIA RTX PRO 6000 | 96 GB | 256 GB | US$1,680.00 | Да |
| Foundry | NVIDIA RTX PRO 6000 | 96 GB | 512 GB | US$2,520.00 | Да |
| Reactor | NVIDIA RTX PRO 6000 | 96 GB | 768 GB | US$3,240.00 | Да |
Цены показаны без учёта GST в валюте вашего счёта. Каждый уровень доступен неуправляемым или управляемым, как и на наших облачных серверах.
Переход от Spark к Forge, это значительный скачок. Spark, точка входа для разработки, меньших моделей и работы логического вывода. Forge, Foundry и Reactor имеют одинаковые 96 GB памяти GPU и различаются по системной памяти, которая определяет, сколько вы можете держать в оперативной памяти хоста вместе с моделью: подготовка набора данных, конвейеры предварительной обработки и обслуживание множественных одновременных запросов.
Что вы можете запустить
Вы получаете полный контроль над машиной, поэтому вы запускаете свой собственный стек. Это включает PyTorch, TensorFlow, JAX, сырые рабочие нагрузки CUDA и обычные фреймворки обучения и служб поверх них.
Типичное применение:
- Обучение модели и тонкая настройка для машинного обучения и глубокого обучения.
- Логический вывод и служба в производстве, где GPU превращает неприемлемое время отклика в приемлемое.
- Пакетные рабочие нагрузки ИИ: вложения, транскрипция, генерация изображений и видео, рендеринг.
- Научные вычисления и параллельные вычисления, которые получают пользу от ускорения GPU.
Сначала рассчитывайте размер для памяти GPU. Самая частая ошибка, выбрать уровень по цене, а затем обнаружить, что модель не помещается в VRAM. Определите память, которая нужна вашей модели при вашей желаемой точности и размере пакета, добавьте запас, и выберите уровень, который это обеспечит. Системная память и процессор намного легче обойти, чем модель, которая не загружается.
Доступность и способ заказа
Оборудование GPU находится в высоком спросе во всей отрасли и предложение ограничено. Это факт о рынке, а не политика KapsuleHost, и это определяет способ заказа.
- Это физические машины, поэтому они подготавливаются по заказу, а не в течение секунд.
- Доступность зависит от уровня и местоположения, и она проверяется в реальном времени, когда вы открываете страницу планов.
- Spark в настоящий момент ограничен по предложению. Когда его нет на складе, панель предлагает вам очередь резервирования вместо неработающего заказа.
Для более крупных или пользовательских конфигураций мы подтверждаем точную сборку и точную цену с вами перед подготовкой, поэтому вы всегда знаете, что вы получаете. Мы не предлагаем конфигурацию, которую не можем доставить.
Очередь резервирования
Когда уровень GPU отсутствует на складе, вы можете зарезервировать его вместо того, чтобы уходить:
- Зарезервируйте уровень на странице планов. Вы получаете справку о резервировании.
- Никакие платежи не взимаются. Резервирование бесплатно и никакая подписка не начинается.
- Когда появляется доступность, мы автоматически подготавливаем машину для вас.
- Ваш первый платёж берётся только после того, как сервер будет в сети, и дата вашего выставления счёта начинается с того дня.
- Отмените в любое время, пока вы ждёте, без затрат.
Регионы, доступность и очередь резервирования объясняет механику полностью.
Не ставьте резервирование GPU с жёстким крайним сроком. Доступность возвращается, когда возвращается, и мы лучше скажем вам прямо, чем пообещаем дату, которую не можем держать. Если у вас есть фиксированная дата доставки, поговорите с нами перед заказом.
Заказ одного сервера
- Войдите в KPanel.
- Откройте Store на левой боковой панели и выберите GPU, или перейдите непосредственно в
/plans/compute?group=gpu. - Используйте переключатель Unmanaged и Managed для выбора нужной формы.
- Каждый уровень показывает его GPU, его VRAM, его системную память, его ежемесячную цену и единовременную плату за установку, плюс значок живого запаса.
Плата за установку
Сервер GPU включает единовременную плату за установку при оформлении в дополнение к повторяющейся ежемесячной цене, потому что физическая машина должна быть построена и подготовлена для вас.
- Взимается один раз при подготовке. Никогда не появляется при продлении.
- Отображается как отдельная строка при оформлении, помеченная как Setup (one-time), с собственной квитанцией.
- Облагается GST, когда валюта вашего счёта, NZD.
Смотрите Цены облачных серверов и GST для получения информации о том, как разовые и повторяющиеся платежи появляются на ваших счётах.
Чем серверы GPU отличаются от облачных серверов
| Облачные серверы | Серверы GPU | |
|---|---|---|
| Оборудование | Виртуальные машины | Однотенантные физические машины с GPU NVIDIA |
| Подготовка | Немедленная, подлежащая запасам | По заказу, иногда через очередь резервирования |
| Плата за установку | Нет | Единовременная |
| Изменение размера в реальном времени в KPanel | Да | Нет |
| Размерность | vCPU, память, диск | Сначала память GPU, потом системная память |
Серверы GPU не могут изменяться в размере на месте. Переход между уровнями означает заказ новой машины и миграцию вашей работы на неё. Выберите уровень, который подходит для моделей, которые вы ожидаете запустить, а не только для той, которую вы запускаете на этой неделе.
Перед заказом
Имейте готовы эти ответы, потому что они определяют уровень:
- Обучение или логический вывод? Обучение обычно требует много памяти и долгой работы. Логический вывод обычно чувствителен к задержкам и одновременность.
- Какая модель, при какой точности? Это устанавливает минимум памяти GPU.
- Сколько данных, и где они находятся? Подготовка большого набора данных, это то, для чего нужны системная память и диск.
- Какой фреймворк? Чтобы мы могли подтвердить ожидания драйвера и CUDA заранее.
Расскажите нам эти четыре вещи и мы укажем вам на правильный уровень, или соберём конфигурацию, если ни один из четырёх стандартных не подходит. Спросите Kora внутри KPanel, или напишите на support@kapsulehost.com, и наша команда в Новой Зеландии поможет.
Устранение неполадок
Уровень, который я хочу, показывает "Out of stock". Зарезервируйте его. Вы не платите, пока ждёте, и мы автоматически подготавливаем, когда появляется доступность.
Моя модель не помещается в VRAM. Перейдите на более высокий уровень или уменьшите точность или размер пакета. Forge, Foundry и Reactor все имеют 96 GB памяти GPU.
Мне нужно более одной GPU или конфигурация, которую вы не указываете. Свяжитесь с нами с вашими требованиями и мы подтвердим, что мы можем построить и сколько это стоит, прежде чем что-либо будет взиматься.
Могу ли я попробовать перед тем, как брать на себя обязательства? Поговорите с нами о начале с Spark для работы разработки и переходе на более высокий уровень, когда ваш конвейер доказан.