배포된 모델 관리¶

배포된 모델의 정보 확인, 리소스 변경, 수정, 삭제 방법을 안내합니다. 모델 배포 상태와 설정을 확인하고, 운영 중 필요에 따라 CPU, 메모리, GPU 등의 컴퓨팅 리소스를 조정하거나, 모델 배포를 삭제할 수 있습니다.

프로젝트 > 추론 엔드포인트 메뉴 > (특정 엔드포인트) 선택

모델 배포 정보 확인¶

배포된 모델의 상세 정보를 확인합니다.

프로젝트 화면에서 추론 엔드포인트 메뉴로 이동합니다.
엔드포인트 목록에서 원하는 엔드포인트를 선택합니다.
엔드포인트 상세 화면에서 배포된 모델 목록을 확인할 수 있습니다.
정보를 확인할 모델 이름을 클릭하면 다음 정보를 확인할 수 있습니다:
- 세부 정보: 배포 이름, 배포 ID, 상태, 생성자, 생성일
- 모델 소스: 볼륨, 모델 경로
- 컴퓨팅 리소스: CPU, 메모리, GPU
- 스케일링: 복제본 수
- 트래픽 설정: 가중치, 비율
- 직접 API 접근: 트래픽 분산 없이 해당 배포로 직접 요청하는 추론 URL

Direct API Access로 직접 테스트하기

배포 상세 화면 하단의 Direct API Access 영역에서 별도 도구 없이 플랫폼 내에서 바로 추론 요청을 테스트할 수 있습니다.

직접 테스트하기

모델 배포 컴퓨팅 리소스 변경¶

배포된 모델의 컴퓨팅 리소스를 변경합니다.

프로젝트 화면에서 추론 엔드포인트 메뉴로 이동합니다.
엔드포인트 목록에서 원하는 엔드포인트를 선택합니다.
엔드포인트 상세 화면의 모델 배포 목록에서 컴퓨팅 리소스를 변경할 모델을 선택합니다.
컴퓨팅 리소스 영역 옆의 편집 버튼을 클릭합니다.
각 리소스를 원하는 값으로 변경합니다.
리소스 현황 확인 및 할당 가이드

리소스 현황 버튼을 클릭하면 현재 프로젝트의 리소스 현황을 확인할 수 있습니다.
- 모델 크기와 추론 복잡도에 따라 적절한 리소스를 할당하세요.
  초기에는 작은 리소스로 시작하여 모니터링 후 조정하는 것을 권장합니다.
- GPU는 딥러닝 모델이나 대규모 언어 모델에 필요합니다.
- 배포할 모델과 현재 잔여 리소스 양을 확인하여 적절한 리소스를 할당하고, 리소스 부족 시 관리자에게 문의하세요.
- CPU: 할당할 CPU 용량 (millicores 단위, 정수 입력, 예: 500, 1000, 2000)
- Memory: 할당할 메모리 용량 (최소 64 MiB 이상, MiB 단위, 정수 입력, 예: 512, 1024, 5120)
- GPU 가속 활성화: GPU가 필요한 모델의 경우 토글을 활성화합니다.
  GPU 설정 방법
  
  GPU 가속을 활성화하고 아래 항목을 설정합니다.
  - GPU 모델 선택: 드롭다운 목록에서 사용 가능한 노드별 GPU 모델 목록을 확인하고 원하는 GPU를 선택합니다.
  - GPU 수: 할당할 GPU 개수를 입력합니다.
  - GPU 코어 (%): GPU 코어 사용률을 퍼센트로 지정합니다.
  - GPU 메모리 (MiB): 할당할 GPU 메모리 용량을 입력합니다.
- 고급 설정(공유 메모리): 고급 설정을 열면 공유 메모리를 설정을 변경할 수 있습니다.
  
  공유 메모리 설정
  
  공유 메모리 설정는 컨테이너 내부의 프로세스 간 데이터를 빠르게 공유하기 위한 메모리 영역을 지정하는 것입니다.
  자세한 설정 방법은 공유 메모리 설정을 참고하세요.
저장을 클릭하여 리소스 변경을 완료합니다.

모델 배포 기본 정보 변경¶

모델 배포의 이름 및 설명을 수정합니다.

프로젝트 화면에서 추론 엔드포인트 메뉴로 이동합니다.
엔드포인트 목록에서 원하는 엔드포인트를 선택합니다.
엔드포인트 상세 화면의 모델 배포 목록에서 기본 정보를 변경할 모델을 선택합니다.
오른쪽 상단의 (더 보기) > 편집을 선택합니다.
모델 배포의 설명 정보를 수정한 후, 저장 버튼을 클릭합니다.

모델 배포 삭제¶

생성된 모델 배포를 삭제합니다.

삭제 주의사항

삭제된 모델 배포는 복구할 수 없습니다.
모델이 배포 중인 경우, 먼저 배포 해제하여 상태 변경 후, 삭제를 권장합니다.

프로젝트 화면에서 추론 엔드포인트 메뉴로 이동합니다.
엔드포인트 목록에서 원하는 엔드포인트를 선택합니다.
엔드포인트 상세 화면의 모델 배포 목록에서 삭제할 모델을 선택합니다.
오른쪽 상단의 (더 보기) > 삭제를 선택합니다.
삭제 확인 팝업에서 삭제될 배포 이름을 확인하고, 삭제를 클릭하여 모델 배포를 삭제합니다.