# GPU 서버 개요

Source: https://support.kapsulehost.com/ko-kr/gpu-servers-overview

## GPU 서버란

GPU 서버는 하나 이상의 NVIDIA GPU를 갖춘 전용 물리 머신으로, AI 훈련, 추론 및 렌더링에 필요한 CPU, 시스템 메모리 및 고속 스토리지가 함께 제공됩니다. 전체 머신이 귀사의 것입니다. 다른 누구도 가속기, PCIe 대역폭 또는 디스크를 공유하지 않습니다.

자신의 스택을 설치하고 원하는 대로 실행할 수 있습니다. CUDA 워크로드, PyTorch, TensorFlow, JAX 및 일반적인 서빙 프레임워크는 모두 베어메탈 Linux 박스에서 실행되는 것과 동일한 방식으로 작동합니다.

단일 테넌시를 원하는 이유는 성능뿐만 아닙니다. GPU 워크로드는 보통 수 시간 동안 최대로 실행되며, 공유 가속기는 지속적인 부하 상태에서 벤치마크 상황과 매우 다르게 작동합니다.

## 네 가지 계층

| 계층 | GPU | GPU 메모리 | 시스템 RAM |
|---|---|---|---|
| Spark | NVIDIA RTX 4000 | 20 GB | 엔트리 구성 |
| Forge | NVIDIA RTX PRO 6000 | 96 GB | 256 GB |
| Foundry | NVIDIA RTX PRO 6000 | 96 GB | 512 GB |
| Reactor | NVIDIA RTX PRO 6000 | 96 GB | 768 GB |

Spark는 진입 포인트입니다. 더 작은 모델, 미세 조정, 추론 및 렌더링 작업에 충분한 GPU 메모리를 제공합니다. Forge, Foundry 및 Reactor는 동일한 가속기를 공유하며 이를 둘러싼 시스템 메모리를 늘립니다. 이는 대용량 데이터 세트를 스테이징하거나 여러 모델을 호스트 메모리에 보관할 때 중요합니다.

모든 계층은 관리형과 비관리형 모두로 판매됩니다. 비관리형은 루트를 제공하고 운영 체제는 귀사가 담당합니다. 관리형은 동일한 하드웨어를 유지하며 소프트웨어 계층에서 당사 엔지니어가 지원합니다. [관리형 vs 비관리형 클라우드 서버](https://support.kapsulehost.com/ko-kr/cloud-servers-managed-vs-unmanaged)를 참조하세요.

KPanel에서 **Store**를 열고 **GPU Compute** 카드에서 귀사의 통화로 현재 가격을 확인할 수 있습니다.

## 계층 선택

가격이 아닌 모델부터 시작하세요.

- **모델을 실행하는 형태에서 GPU 메모리는 얼마나 필요합니까?** 이것이 하드 제약입니다. 가중치와 활성화가 맞지 않으면 시스템 RAM이 도움이 되지 않습니다.
- **훈련 중입니까, 아니면 서빙 중입니까?** 훈련은 메모리를 많이 사용하고 장시간 실행됩니다. 추론은 GPU에 데이터를 얼마나 빠르게 보낼 수 있는지에 의해 제한되는 경우가 많으며, 여기서 시스템 RAM과 디스크가 더 중요합니다.
- **작업 세트의 크기는 얼마입니까?** 호스트 메모리에 맞지 않는 데이터 세트를 스트리밍하는 경우, Foundry 및 Reactor 구성이 정확히 그 목적으로 존재합니다.

확실하지 않으면 실행 중인 항목, 모델 크기, 프레임워크 및 필요한 GPU 메모리 양을 알려주세요. 과도하게 구매하지 않도록 적절한 계층을 안내해드립니다. [GPU 및 AI 컴퓨트 서버](https://support.kapsulehost.com/ko-kr/cloud-servers-gpu)에서 워크로드 측면에 대해 자세히 알아보세요.

## 주문 방식

GPU 하드웨어는 부족하고 비싸므로 이 프로세스는 의도적으로 원클릭이 아닙니다.

1. [KPanel](https://kpanel.kapsulehost.com)에 로그인합니다.
2. 왼쪽 사이드바에서 **Store**를 클릭합니다.
3. **Servers** 아래에서 **GPU Compute** 카드를 클릭합니다.
4. **Unmanaged**와 **Managed** 사이를 전환하고 계층을 선택합니다.
5. 결제를 완료합니다.

![KPanel의 컴퓨트 플랜 페이지에 있는 GPU 계층, Unmanaged와 Managed 전환](https://support.kapsulehost.com/help/screenshots/gpu-servers-overview.65000b19.webp)

결제 후 주문 확인 이메일을 받으며, 당사 팀이 현재 용량을 확인하고 하드웨어를 할당하기 전에 빌드를 확인합니다.

> **Warning:** GPU 서버는 결제하는 순간 프로비저닝되지 않습니다. 용량은 당사 팀에서 먼저 확인하며, 가용성이 변하므로 고정된 리드 타임을 공시하지 않습니다. 마감일이 중요하면 주문 후가 아니라 주문 전에 원하는 계층에 대해 당사에 문의하세요.

어느 쪽이든 당사에서 연락을 드립니다. 결제했는데 예상된 후속 연락이 없다면 확인 이메일에 회신하거나 **Support**에서 티켓을 열어 주문이 정확히 어디에 있는지 알려드리겠습니다.

## 설정 비용 및 청구

GPU 서버는 전용 서버 및 스토리지 서버와 마찬가지로 월간 가격 외에 일회성 설정 비용이 발생합니다. 물리 머신이 구축되고 인계되기 때문입니다. 클라우드 서버는 설정 비용이 없습니다.

설정 비용은 한 번 청구되며 반복되지 않으며 결제 시 월간 가격과 별도로 표시됩니다.

> **Note:** 가격은 GST를 제외하고 표시됩니다. 계정 통화가 NZD인 경우 15%의 GST가 결제 시 추가되고 결제 버튼 총액에 표시됩니다. [클라우드 서버 가격 및 GST](https://support.kapsulehost.com/ko-kr/cloud-servers-pricing-gst)를 참조하세요.

GPU 계층은 시간당 렌탈이 아니라 비싼 하드웨어에 대한 월간 약정이므로 그에 따라 결정해야 합니다. GPU가 짧은 시간 동안만 필요하다면 당사와 대화할 때 알려주세요.

## 계층 예약

계층에 용량이 없으면 플랜 카드는 구성 작업이 아니라 예약을 제공합니다. 큐에 참여하면 해당 계층에 대한 귀사의 관심이 기록됩니다.

> **Important:** 예약은 예약된 빌드가 아니라 큐에서의 자리이며, 당사는 대기 시간을 약정하지 않습니다. 자체 서비스 취소 버튼도 없습니다. 더 이상 예약이 필요 없으면 지원팀에 문의하면 제거해 드리겠습니다.

## GPU 서버 관리

GPU 머신이 실시간으로 작동하면 KPanel 사이드바의 **Dedicated Servers**에서 다른 베어메탈 서버와 정확히 동일하게 관리됩니다. 사이드바에 별도의 GPU 항목은 없습니다.

[전용 서버 관리](https://support.kapsulehost.com/ko-kr/dedicated-servers-management)에서 전체적으로 문서화된 도구 세트는 다음을 포함합니다.

- **Power**: 정상 재부팅, 하드웨어 재설정, 강제 전원 사이클 및 Wake-on-LAN.
- **Rescue system**: 임시 Linux 환경 또는 브라우저 기반 가상 콘솔.
- **Reverse DNS**: 각 라우팅된 IP에 대한 PTR 레코드.
- **IPs and subnets**: 머신으로 라우팅된 항목 및 추가 IPv4.
- **Traffic**: 일, 월 또는 연도별 인바운드 및 아웃바운드 트래픽.
- **Firewall**: 트래픽이 머신에 도달하기 전에 적용되는 업스트림 필터.
- **Advanced**: 입력된 확인 뒤의 전체 운영 체제 재설치.

부팅되지 않는 머신의 콘솔 액세스는 [전용 서버 콘솔 액세스](https://support.kapsulehost.com/ko-kr/dedicated-servers-console)에 있습니다.

## 시작하기 전 실용적인 참고 사항

**비관리형 머신의 드라이버는 귀사가 담당합니다.** 실행하려는 프레임워크 버전과 일치하는 NVIDIA 드라이버와 CUDA 스택을 설치하고 고정하세요. 일치하지 않는 드라이버와 도구 키트 버전이 GPU가 있지만 사용 불가능한 가장 일반적인 원인입니다.

**디스크를 주시하세요.** 모델 체크포인트와 데이터 세트는 서버의 다른 무엇보다 빠르게 디스크를 채웁니다. 용량이 실제 문제라면 컴퓨팅이 아니라, [스토리지 서버](https://support.kapsulehost.com/ko-kr/storage-servers-overview)와 GPU 머신을 함께 사용하는 것이 일반적으로 더 큰 GPU 계층보다 저렴합니다.

**적절하게 방화벽을 설정하세요.** 추론 엔드포인트를 실행하는 GPU 박스는 매력적인 대상입니다. 업스트림 방화벽을 사용하여 도달해야 하는 것만 허용하고 스스로를 차단하지 않도록 **Allow platform services**를 켜두세요.

**재설치하면 모든 것이 삭제됩니다.** **Advanced** 아래의 재설치 작업은 실행 취소 없이 모든 디스크를 초기화하고 백업을 생성하지 않습니다. 먼저 체크포인트를 복사하세요.

## 도움 받기

GPU는 당사와 먼저 대화하면 가장 많은 비용을 절약할 수 있는 제품입니다. KPanel 내에서 Kora에 질문하거나, **Support**에서 티켓을 열거나, [support@kapsulehost.com](mailto:support@kapsulehost.com)으로 실행 중인 항목과 필요한 GPU 메모리 양을 포함하여 이메일을 보내세요.

컴퓨트 범위의 나머지에 대해서는 [클라우드 서버 개요](https://support.kapsulehost.com/ko-kr/cloud-servers-overview) 및 [전용 서버 개요](https://support.kapsulehost.com/ko-kr/dedicated-servers-overview)를 참조하세요.