# GPU 및 AI 컴퓨팅 서버

Source: https://support.kapsulehost.com/ko-kr/cloud-servers-gpu

KapsuleHost GPU 서버는 AI 교육, 추론 및 기타 대규모 병렬 작업을 위해 구축된 NVIDIA 그래픽 프로세서와 이를 운영하는 데 필요한 CPU, 메모리 및 고속 스토리지가 장착된 단일 테넌트 물리 머신입니다.

전체 머신을 얻습니다. 다른 사람의 작업이 GPU, 메모리 대역폭 또는 디스크를 공유하지 않으므로, 이는 재현 가능한 벤치마크와 그렇지 않은 벤치마크의 차이입니다. 이 가이드는 네 가지 계층, 각 계층에 적합한 사용 사례, GPU 공급이 실제로 부족한 상황에서 주문이 어떻게 작동하는지, 그리고 설정 수수료가 무엇인지를 다룹니다.

## 네 가지 계층

| 계층 | GPU | GPU 메모리 | 시스템 메모리 | 월간 요금 | 일회 설정 |
|---|---|---|---|---|---|
| **Spark** | NVIDIA RTX 4000 | 20 GB | 빌드에 포함 | US$330.00 / NZ$590.00 / ⃃ 1,210.00 / AU$480.00 / CA$470.00 / CN¥2,245.00 / €290.00 / £250.00 / ¥53,420 / S$425.00 | 예 |
| **Forge** | NVIDIA RTX PRO 6000 | 96 GB | 256 GB | US$1,680.00 / NZ$2,980.00 / ⃃ 6,170.00 / AU$2,440.00 / CA$2,385.00 / CN¥11,430.00 / €1,470.00 / £1,270.00 / ¥271,980 / S$2,170.00 | 예 |
| **Foundry** | NVIDIA RTX PRO 6000 | 96 GB | 512 GB | US$2,520.00 / NZ$4,470.00 / ⃃ 9,255.00 / AU$3,660.00 / CA$3,580.00 / CN¥17,145.00 / €2,205.00 / £1,905.00 / ¥407,960 / S$3,260.00 | 예 |
| **Reactor** | NVIDIA RTX PRO 6000 | 96 GB | 768 GB | US$3,240.00 / NZ$5,740.00 / ⃃ 11,900.00 / AU$4,705.00 / CA$4,600.00 / CN¥22,045.00 / €2,840.00 / £2,445.00 / ¥524,530 / S$4,190.00 | 예 |

가격은 청구 통화로 GST를 제외한 금액입니다. 각 계층은 비관리형 또는 [관리형](https://support.kapsulehost.com/ko-kr/cloud-servers-managed-vs-unmanaged)으로 제공되며, 클라우드 서버와 동일한 선택입니다.

Spark에서 Forge로의 점프가 중요한 부분입니다. Spark는 개발, 더 작은 모델 및 추론 작업을 위한 진입점입니다. Forge, Foundry 및 Reactor는 동일한 96 GB의 GPU 메모리를 공유하고 시스템 메모리가 다르며, 이는 모델과 함께 호스트 RAM에 얼마나 많은 데이터를 보관할 수 있는지를 결정합니다. 데이터 세트 스테이징, 전처리 파이프라인 및 많은 수의 동시 요청 처리가 포함됩니다.

## 실행할 수 있는 것

머신에 대한 완전한 제어 권한을 얻으므로 자신의 스택을 실행합니다. 여기에는 PyTorch, TensorFlow, JAX, 원본 CUDA 워크로드 및 이들 위에 있는 일반적인 교육 및 제공 프레임워크가 포함됩니다.

일반적인 사용 사례:

- 머신러닝 및 딥러닝을 위한 **모델 교육 및 미세 조정**.
- 프로덕션에서 GPU가 허용 불가능한 응답 시간을 허용 가능한 응답 시간으로 바꾸는 **추론 및 제공**.
- **배치 AI 워크로드**: 임베딩, 전사, 이미지 및 비디오 생성, 렌더링.
- GPU 가속의 이점을 얻는 **과학 및 병렬 컴퓨팅**.

> **Tip:** GPU 메모리를 먼저 크기 조정합니다. 가장 흔한 실수는 가격으로 계층을 선택한 후 모델이 VRAM에 맞지 않는다는 것을 발견하는 것입니다. 의도한 정밀도 및 배치 크기에서 모델에 필요한 메모리를 계산하고, 여유를 추가하고, 이를 통과하는 계층을 선택합니다. 시스템 메모리와 CPU는 로드되지 않는 모델보다 훨씬 쉽게 해결할 수 있습니다.

## 가용성 및 주문 방식

GPU 하드웨어는 전체 산업에서 높은 수요가 있으며 공급이 제한되어 있습니다. 이는 KapsuleHost 정책이 아니라 시장에 대한 사실이며, 이는 이러한 것들이 어떻게 주문되는지를 형성합니다.

- 물리 머신이므로 몇 초 만에 프로비저닝되지 않고 주문에 맞게 프로비저닝됩니다.
- 가용성은 계층 및 위치에 따라 다르며, 계획 페이지를 볼 때 실시간으로 확인됩니다.
- **Spark는 현재 공급이 제한되어 있습니다.** 재고가 없을 때, 패널은 잘못된 주문 대신 예약 대기열을 제공합니다.

더 큰 또는 사용자 지정 구성의 경우, 프로비저닝하기 전에 정확한 빌드와 정확한 가격을 확인하므로 항상 무엇을 얻을지 알 수 있습니다. 우리는 제공할 수 없는 구성을 견적하지 않습니다.

### 예약 대기열

GPU 계층이 품절되면, 가는 대신 예약할 수 있습니다:

1. 계획 페이지에서 계층을 예약합니다. 예약 참조 번호를 얻습니다.
2. **아무것도 청구되지 않습니다.** 예약은 무료이며 구독이 시작되지 않습니다.
3. 용량이 나타나면, 우리는 자동으로 머신을 프로비저닝합니다.
4. 첫 번째 결제는 서버가 실시간이 된 후에만 이루어지며, 청구 날짜는 그 날부터 시작됩니다.
5. 대기하는 동안 언제든지 취소할 수 있으며, 비용이 없습니다.

[지역, 가용성 및 예약 대기열](https://support.kapsulehost.com/ko-kr/cloud-servers-regions-availability)은 모든 메커니즘을 완벽하게 설명합니다.

> **Warning:** GPU 예약을 정해진 기한에 두지 마세요. 용량은 돌아올 때 돌아오며, 우리는 보유할 수 없는 날짜를 약속하기보다는 이를 명백히 알리고 싶습니다. 고정 배송 날짜가 있다면, 주문하기 전에 우리와 이야기하세요.

## 하나 주문하기

1. [KPanel](https://kpanel.kapsulehost.com)에 로그인합니다.
2. 왼쪽 사이드바에서 **Store**를 열고 **GPU**를 선택하거나, `/plans/compute?group=gpu`으로 직접 이동합니다.
3. **비관리형** 및 **관리형** 토글을 사용하여 원하는 양식을 선택합니다.
4. 각 계층은 GPU, VRAM, 시스템 메모리, 월간 가격 및 일회 설정 수수료와 함께 실시간 재고 배지를 표시합니다.

![KPanel의 컴퓨팅 계획 사다리의 GPU 그룹](https://support.kapsulehost.com/help/screenshots/cloud-servers-gpu.65000b19.webp)

## 설정 수수료

GPU 서버는 반복되는 월간 가격 외에도 체크아웃 시 일회 설정 수수료를 전달합니다. 물리 머신은 사용자를 위해 빌드되고 프로비저닝되어야 하기 때문입니다.

- 프로비저닝 시 한 번 청구됩니다. 갱신에는 나타나지 않습니다.
- 체크아웃 시 **설정(일회)**로 레이블이 지정된 자체 라인으로 표시되며, 자체 영수증이 있습니다.
- 계정 통화가 NZD일 때 GST의 대상입니다.

청구서에 일회 및 반복 청구가 어떻게 나타나는지에 대해서는 [클라우드 서버 가격 책정 및 GST](https://support.kapsulehost.com/ko-kr/cloud-servers-pricing-gst)를 참조하세요.

## GPU 서버가 클라우드 서버와 다른 점

| | 클라우드 서버 | GPU 서버 |
|---|---|---|
| 하드웨어 | 가상 머신 | NVIDIA GPU가 있는 단일 테넌트 물리 머신 |
| 프로비저닝 | 즉각적이며, 재고 대상 | 주문하기, 때때로 예약 대기열을 통해 |
| 설정 수수료 | 없음 | 일회 |
| KPanel에서 실시간 크기 조정 | 예 | 아니오 |
| 크기 조정 기준 | vCPU, 메모리, 디스크 | GPU 메모리 먼저, 그 다음 시스템 메모리 |

> **Warning:** GPU 서버는 제자리에서 크기를 조정할 수 없습니다. 계층 간 이동은 새 머신을 주문하고 작업을 마이그레이션하는 것을 의미합니다. 이번 주에 실행 중인 모델만이 아니라 실행할 것으로 예상되는 모델에 맞는 계층을 선택합니다.

## 주문하기 전에

계층을 결정하므로 이 답변들을 준비하세요:

- **교육 또는 추론?** 교육은 보통 메모리 집약적이고 오래 실행됩니다. 추론은 보통 지연 시간에 민감하고 동시입니다.
- **어떤 모델인가요, 어떤 정밀도에서?** 이는 GPU 메모리 하한을 설정합니다.
- **얼마나 많은 데이터인가요, 어디에 존재하나요?** 큰 데이터 세트를 스테이징하는 것이 시스템 메모리와 디스크의 목적입니다.
- **어떤 프레임워크?** 드라이버 및 CUDA 기대 사항을 미리 확인할 수 있도록 합니다.

이 네 가지를 알려주면 올바른 계층을 가리키거나 표준 네 가지 중 어느 것도 맞지 않으면 구성을 함께 조립합니다. KPanel 내에서 Kora에 묻거나, [support@kapsulehost.com](mailto:support@kapsulehost.com)로 이메일을 보내세요. 우리 뉴질랜드 팀이 도와드리겠습니다.

## 문제 해결

**원하는 계층에 재고 없음이 표시됩니다.** 예약하세요. 대기하는 동안 비용을 지불하지 않으며 용량이 반환되면 자동으로 프로비저닝합니다.

**모델이 VRAM에 맞지 않습니다.** 계층을 올리거나, 정밀도 또는 배치 크기를 줄입니다. Forge, Foundry 및 Reactor 모두 96 GB의 GPU 메모리를 전달합니다.

**두 개 이상의 GPU가 필요하거나 나열되지 않은 구성이 필요합니다.** 요구 사항을 알려주세요. 우리는 빌드할 수 있는 것과 비용을 확인하기 전에 무엇인지 확인합니다.

**커밋하기 전에 시도할 수 있나요?** Spark에서 개발 작업을 시작하고 파이프라인이 입증되면 올라가는 방법에 대해 우리와 이야기하세요.