# GPU 和 AI 计算服务器

Source: https://support.kapsulehost.com/zh-cn/cloud-servers-gpu

KapsuleHost GPU 和 AI 计算服务器是一种单租户物理机，配备 NVIDIA 图形处理器，以及 CPU、内存和快速存储，用于满足 AI 训练、推理和其他高度并行工作的需求。

您将获得整台机器。没有其他人的任务共享您的 GPU、您的内存带宽或您的磁盘，这是可重现的基准和不可重现的基准之间的区别。本指南涵盖四个层级、它们的适用情况、考虑到 GPU 供应确实紧张的情况下如何订购，以及设置费用是多少。

## 四个层级

| 层级 | GPU | GPU 内存 | 系统内存 | 每月 | 一次性设置 |
|---|---|---|---|---|---|
| **Spark** | NVIDIA RTX 4000 | 20 GB | 包含在构建中 | US$330.00 / NZ$590.00 / ⃃ 1,210.00 / AU$480.00 / CA$470.00 / CN¥2,245.00 / €290.00 / £250.00 / ¥53,420 / S$425.00 | 是 |
| **Forge** | NVIDIA RTX PRO 6000 | 96 GB | 256 GB | US$1,680.00 / NZ$2,980.00 / ⃃ 6,170.00 / AU$2,440.00 / CA$2,385.00 / CN¥11,430.00 / €1,470.00 / £1,270.00 / ¥271,980 / S$2,170.00 | 是 |
| **Foundry** | NVIDIA RTX PRO 6000 | 96 GB | 512 GB | US$2,520.00 / NZ$4,470.00 / ⃃ 9,255.00 / AU$3,660.00 / CA$3,580.00 / CN¥17,145.00 / €2,205.00 / £1,905.00 / ¥407,960 / S$3,260.00 | 是 |
| **Reactor** | NVIDIA RTX PRO 6000 | 96 GB | 768 GB | US$3,240.00 / NZ$5,740.00 / ⃃ 11,900.00 / AU$4,705.00 / CA$4,600.00 / CN¥22,045.00 / €2,840.00 / £2,445.00 / ¥524,530 / S$4,190.00 | 是 |

价格按您的账单货币显示，不含 GST。每个层级提供非托管或[托管](https://support.kapsulehost.com/zh-cn/cloud-servers-managed-vs-unmanaged)选项，与我们的云服务器选择相同。

从 Spark 到 Forge 的跳跃是重要的。Spark 是开发、较小模型和推理工作的入门点。Forge、Foundry 和 Reactor 共享相同的 96 GB GPU 内存，在系统内存方面有所不同，系统内存决定了您可以在主机 RAM 中与模型一起保持多少：数据集暂存、预处理管道和服务许多并发请求。

## 您可以运行什么

您可以完全控制这台机器，因此您可以运行自己的堆栈。这包括 PyTorch、TensorFlow、JAX、原始 CUDA 工作负载，以及它们之上通常的训练和服务框架。

典型用途：

- **机器学习和深度学习的模型训练和微调**。
- **生产中的推理和服务**，其中 GPU 将不可接受的响应时间转变为可接受的时间。
- **批量 AI 工作负载**：嵌入、转录、图像和视频生成、渲染。
- **受益于 GPU 加速的科学和并行计算**。

> **Tip:** 首先根据 GPU 内存来确定大小。最常见的错误是根据价格选择层级，然后发现模型不适合 VRAM。计算您的模型在预期精度和批大小下所需的内存，添加余量，然后选择能够满足它的层级。系统内存和 CPU 比无法加载的模型更容易绕过。

## 可用性和订购方式

GPU 硬件在整个行业中需求很高，供应有限。这是市场的事实，而不是 KapsuleHost 政策，它塑造了这些的订购方式。

- 这些是物理机器，因此它们是按订单配置的，而不是在几秒钟内。
- 可用性因层级和位置而异，当您查看计划页面时，会实时检查。
- **Spark 目前供应受限。** 当它没有库存时，面板会为您提供预留队列，而不是中断订单。

对于更大或自定义配置，我们在配置前与您确认确切的构建和确切的价格，因此您始终知道您得到的是什么。我们不会报价我们无法交付的配置。

### 预留队列

当 GPU 层级缺货时，您可以预留它，而不是放弃：

1. 从计划页面预留该层级。您会获得预留参考。
2. **不收取任何费用。** 预留是免费的，不会启动订阅。
3. 当有容量时，我们会自动为您配置机器。
4. 您的首次付款只在服务器上线后才会扣除，您的账单日期从那一天开始。
5. 等待期间可随时取消，无需任何费用。

[区域、可用性和预留队列](https://support.kapsulehost.com/zh-cn/cloud-servers-regions-availability)全面说明了具体情况。

> **Warning:** 不要将 GPU 预留放在硬性截止日期上。容量何时返回就何时返回，我们宁可坦白告诉您，也不愿承诺我们无法履行的日期。如果您有固定的交付日期，请在订购前与我们沟通。

## 订购一个

1. 登录 [KPanel](https://kpanel.kapsulehost.com)。
2. 打开左侧边栏中的**商店**并选择 **GPU**，或直接转到 `/plans/compute?group=gpu`。
3. 使用**非托管**和**托管**切换选择您想要的形式。
4. 每个层级显示其 GPU、其 VRAM、其系统内存、其每月价格和其一次性设置费用，以及实时库存徽章。

![KPanel 中计算计划阶梯上的 GPU 组](https://support.kapsulehost.com/help/screenshots/cloud-servers-gpu.65000b19.webp)

## 设置费用

GPU 服务器在结账时除了定期的每月价格外还会产生一次性设置费用，因为物理机器必须为您构建和配置。

- 在配置时收取一次。它从不出现在续订中。
- 在结账时显示为其自己的行，标记为**安装费（一次性）**，具有其自己的收据。
- 当您的账户货币为 NZD 时，应缴 GST。

有关一次性和定期费用如何出现在您的发票上，请参阅[云服务器定价和 GST](https://support.kapsulehost.com/zh-cn/cloud-servers-pricing-gst)。

## GPU 服务器与云服务器的区别

| | 云服务器 | GPU 服务器 |
|---|---|---|
| 硬件 | 虚拟机 | 具有 NVIDIA GPU 的单租户物理机器 |
| 配置 | 即时，受库存限制 | 按订单，有时通过预留队列 |
| 设置费 | 无 | 一次性 |
| KPanel 中的实时调整大小 | 是 | 否 |
| 根据以下条件调整大小 | vCPU、内存、磁盘 | 首先是 GPU 内存，然后是系统内存 |

> **Warning:** GPU 服务器无法进行本地调整大小。在层级之间移动意味着订购新机器并将您的工作迁移到它。选择适合您预期运行的模型的层级，而不仅仅是本周运行的层级。

## 订购前

准备好这些答案，因为它们决定了层级：

- **训练还是推理？** 训练通常是内存密集型且长时间运行的。推理通常对延迟敏感且并发。
- **什么模型，精度如何？** 这设置了 GPU 内存下限。
- **有多少数据，它存在哪里？** 分阶段处理大型数据集是系统内存和磁盘的用途。
- **什么框架？** 以便我们可以提前确认驱动程序和 CUDA 期望。

告诉我们这四件事，我们会为您指出正确的层级，或者如果标准四个中没有合适的，我们会组建一个配置。在 KPanel 中询问 Kora，或发送电子邮件至 [support@kapsulehost.com](mailto:support@kapsulehost.com)，我们的新西兰团队会帮助您。

## 故障排除

**我想要的层级显示缺货。** 预留它。等待期间您无需支付任何费用，当容量返回时我们会自动配置。

**我的模型不适合 VRAM。** 升级到更高层级，或降低精度或批大小。Forge、Foundry 和 Reactor 都配有 96 GB 的 GPU 内存。

**我需要一个以上的 GPU，或您未列出的配置。** 告诉我们您的需求，我们将在收取任何费用之前确认我们可以构建的内容及其成本。

**我可以在承诺前尝试吗？** 与我们沟通，从在 Spark 上进行开发工作开始，一旦您的管道得到验证就升级。