KapsuleHost GPU 和 AI 计算服务器是一种单租户物理机，配备 NVIDIA 图形处理器，以及 CPU、内存和快速存储，用于满足 AI 训练、推理和其他高度并行工作的需求。
您将获得整台机器。没有其他人的任务共享您的 GPU、您的内存带宽或您的磁盘，这是可重现的基准和不可重现的基准之间的区别。本指南涵盖四个层级、它们的适用情况、考虑到 GPU 供应确实紧张的情况下如何订购，以及设置费用是多少。
四个层级
| 层级 | GPU | GPU 内存 | 系统内存 | 每月 | 一次性设置 |
|---|---|---|---|---|---|
| Spark | NVIDIA RTX 4000 | 20 GB | 包含在构建中 | US$330.00 | 是 |
| Forge | NVIDIA RTX PRO 6000 | 96 GB | 256 GB | US$1,680.00 | 是 |
| Foundry | NVIDIA RTX PRO 6000 | 96 GB | 512 GB | US$2,520.00 | 是 |
| Reactor | NVIDIA RTX PRO 6000 | 96 GB | 768 GB | US$3,240.00 | 是 |
价格按您的账单货币显示，不含 GST。每个层级提供非托管或托管选项，与我们的云服务器选择相同。
从 Spark 到 Forge 的跳跃是重要的。Spark 是开发、较小模型和推理工作的入门点。Forge、Foundry 和 Reactor 共享相同的 96 GB GPU 内存，在系统内存方面有所不同，系统内存决定了您可以在主机 RAM 中与模型一起保持多少：数据集暂存、预处理管道和服务许多并发请求。
您可以运行什么
您可以完全控制这台机器，因此您可以运行自己的堆栈。这包括 PyTorch、TensorFlow、JAX、原始 CUDA 工作负载，以及它们之上通常的训练和服务框架。
典型用途：
- 机器学习和深度学习的模型训练和微调。
- 生产中的推理和服务，其中 GPU 将不可接受的响应时间转变为可接受的时间。
- 批量 AI 工作负载：嵌入、转录、图像和视频生成、渲染。
- 受益于 GPU 加速的科学和并行计算。
首先根据 GPU 内存来确定大小。最常见的错误是根据价格选择层级，然后发现模型不适合 VRAM。计算您的模型在预期精度和批大小下所需的内存，添加余量，然后选择能够满足它的层级。系统内存和 CPU 比无法加载的模型更容易绕过。
可用性和订购方式
GPU 硬件在整个行业中需求很高，供应有限。这是市场的事实，而不是 KapsuleHost 政策，它塑造了这些的订购方式。
- 这些是物理机器，因此它们是按订单配置的，而不是在几秒钟内。
- 可用性因层级和位置而异，当您查看计划页面时，会实时检查。
- Spark 目前供应受限。 当它没有库存时，面板会为您提供预留队列，而不是中断订单。
对于更大或自定义配置，我们在配置前与您确认确切的构建和确切的价格，因此您始终知道您得到的是什么。我们不会报价我们无法交付的配置。
预留队列
当 GPU 层级缺货时，您可以预留它，而不是放弃：
- 从计划页面预留该层级。您会获得预留参考。
- 不收取任何费用。 预留是免费的，不会启动订阅。
- 当有容量时，我们会自动为您配置机器。
- 您的首次付款只在服务器上线后才会扣除，您的账单日期从那一天开始。
- 等待期间可随时取消，无需任何费用。
区域、可用性和预留队列全面说明了具体情况。
不要将 GPU 预留放在硬性截止日期上。容量何时返回就何时返回，我们宁可坦白告诉您，也不愿承诺我们无法履行的日期。如果您有固定的交付日期，请在订购前与我们沟通。
订购一个
- 登录 KPanel。
- 打开左侧边栏中的商店并选择 GPU，或直接转到
/plans/compute?group=gpu。 - 使用非托管和托管切换选择您想要的形式。
- 每个层级显示其 GPU、其 VRAM、其系统内存、其每月价格和其一次性设置费用，以及实时库存徽章。
设置费用
GPU 服务器在结账时除了定期的每月价格外还会产生一次性设置费用，因为物理机器必须为您构建和配置。
- 在配置时收取一次。它从不出现在续订中。
- 在结账时显示为其自己的行，标记为安装费（一次性），具有其自己的收据。
- 当您的账户货币为 NZD 时，应缴 GST。
有关一次性和定期费用如何出现在您的发票上，请参阅云服务器定价和 GST。
GPU 服务器与云服务器的区别
| 云服务器 | GPU 服务器 | |
|---|---|---|
| 硬件 | 虚拟机 | 具有 NVIDIA GPU 的单租户物理机器 |
| 配置 | 即时，受库存限制 | 按订单，有时通过预留队列 |
| 设置费 | 无 | 一次性 |
| KPanel 中的实时调整大小 | 是 | 否 |
| 根据以下条件调整大小 | vCPU、内存、磁盘 | 首先是 GPU 内存，然后是系统内存 |
GPU 服务器无法进行本地调整大小。在层级之间移动意味着订购新机器并将您的工作迁移到它。选择适合您预期运行的模型的层级，而不仅仅是本周运行的层级。
订购前
准备好这些答案，因为它们决定了层级：
- 训练还是推理？ 训练通常是内存密集型且长时间运行的。推理通常对延迟敏感且并发。
- 什么模型，精度如何？ 这设置了 GPU 内存下限。
- 有多少数据，它存在哪里？ 分阶段处理大型数据集是系统内存和磁盘的用途。
- 什么框架？ 以便我们可以提前确认驱动程序和 CUDA 期望。
告诉我们这四件事，我们会为您指出正确的层级，或者如果标准四个中没有合适的，我们会组建一个配置。在 KPanel 中询问 Kora，或发送电子邮件至 support@kapsulehost.com，我们的新西兰团队会帮助您。
故障排除
我想要的层级显示缺货。 预留它。等待期间您无需支付任何费用，当容量返回时我们会自动配置。
我的模型不适合 VRAM。 升级到更高层级，或降低精度或批大小。Forge、Foundry 和 Reactor 都配有 96 GB 的 GPU 内存。
我需要一个以上的 GPU，或您未列出的配置。 告诉我们您的需求，我们将在收取任何费用之前确认我们可以构建的内容及其成本。
我可以在承诺前尝试吗？ 与我们沟通，从在 Spark 上进行开发工作开始，一旦您的管道得到验证就升级。