엔드포인트 생성 및 관리¶

추론 엔드포인트를 생성하고 관리하는 방법을 안내합니다. 엔드포인트는 외부에서 배포된 모델에 접근할 수 있는 REST API를 제공하며, 서빙 런타임(Triton Inference Server 또는 MLServer)을 선택하여 다양한 모델 유형을 지원합니다. 생성된 엔드포인트에 여러 모델을 배포하고 트래픽을 관리할 수 있습니다.

프로젝트 > 추론 엔드포인트 메뉴

엔드포인트란?

엔드포인트는 외부 시스템이 배포된 모델을 호출할 수 있도록 제공되는 REST API 접근 지점입니다. HTTP 기반의 요청/응답 구조를 사용하며, JSON 포맷으로 데이터가 교환됩니다.

엔드포인트 생성¶

외부 시스템이 모델을 호출할 수 있도록 REST API 엔드포인트를 생성합니다.

프로젝트 화면 왼쪽 사이드바에서 추론 엔드포인트 메뉴를 클릭합니다.
오른쪽 상단의 + 생성 버튼을 클릭합니다.
추론 엔드포인트 생성 패널에서 기본 정보를 입력합니다.
- 이름: 엔드포인트 이름을 입력합니다. (최대 128자)
- ID: 입력한 엔드포인트 이름에 따라 자동 추천되며, 생성 시에는 수정할 수 있습니다.
  (3-53자, 영문 소문자, 숫자, 하이픈(-)만 사용 가능)
  엔드포인트 이름과 ID 작성 팁
  - 엔드포인트 이름은 사용자 식별 이름으로, 사용 목적을 쉽게 이해할 수 있도록 작성하는 것이 좋습니다.
  - 엔드포인트 ID는 고유 식별자로 관리 편의성을 고려하여, 짧고 의미가 명확한 ID로 설정하는 것을 권장합니다.
    엔드포인트 ID는 입력한 엔드포인트 이름을 기반으로 자동 추천되나 생성할 때는 사용자가 수정할 수 있습니다.
    ID는 URL, 내부 리소스 식별에 사용되며, 엔드포인트 생성 후에는 변경할 수 없습니다.
  추론 URL 미리보기
  
  추론 URL 영역은 ID를 입력하면 생성될 엔드포인트의 추론 URL이 어떻게 생성될지 미리 보여주는 영역입니다.
  ID에 따라 URL이 결정되므로, 생성 전에 미리보기를 통해 URL 형태를 확인하세요.
  
  엔드포인트 생성 후 실제 추론 URL은 엔드포인트 상세 화면에서 확인할 수 있습니다.
- 설명 (선택): 엔드포인트에 대한 설명을 입력합니다. (최대 512자)
배포할 모델 유형에 맞는 서빙 런타임을 선택합니다.
- Triton Inference Server (v25.12-py3): TensorRT, PyTorch, TensorFlow, ONNX, OpenVINO, Python backends
- MLServer (v1.7.1): scikit-learn, XGBoost, LightGBM, MLflow, Custom Python models
런타임 변경 불가

서빙 런타임은 엔드포인트 생성 후 변경할 수 없습니다. 모델 유형에 맞게 신중하게 선택하세요. 선택 방법에 대한 자세한 내용은 서빙 런타임 선택 가이드를 참고하세요.
생성 버튼을 클릭합니다.
엔드포인트가 생성되고 상태가 Healthy로 표시되면 모델 배포가 가능합니다.

엔드포인트 생성 이후 단계

모델 배포 관리: 생성된 엔드포인트에 모델을 배포하는 방법
추론 요청: 배포된 모델에 추론 요청을 보내는 방법

엔드포인트 목록 및 정보 확인¶

엔드포인트의 상세 정보, URL, 사용 방법을 확인합니다.

프로젝트 화면에서 추론 엔드포인트 메뉴로 이동합니다.
엔드포인트 목록에서 확인할 엔드포인트를 클릭합니다.
엔드포인트 상세 화면에서 다음 정보를 확인할 수 있습니다:
- 엔드포인트 ID: 해당 엔드포인트의 고유 식별자
- 추론 URL: 외부에서 접근 가능한 엔드포인트 주소
- 상태: 엔드포인트 배포 상태 (Healthy, Progressing, Degraded, Suspended, Missing, Unknown)
- 서빙 런타임: 선택된 런타임 정보
- Argo CD: 배포 상태 확인 링크
- 모델 배포: 해당 엔드포인트에 배포된 모델 수

엔드포인트 상태

Healthy: 엔드포인트가 정상적으로 배포되어 요청을 처리할 수 있는 상태
Progressing: 엔드포인트 생성 또는 업데이트가 진행 중인 상태
Degraded: 엔드포인트 리소스에 오류가 발생하여 정상적으로 동작하지 않는 상태
Suspended: 엔드포인트 실행이 일시적으로 중지된 상태
Missing: 엔드포인트에 필요한 Kubernetes 리소스를 찾을 수 없는 상태
Unknown: 엔드포인트 상태를 확인할 수 없는 상태

엔드포인트 기본 정보 수정¶

엔드포인트의 기본 정보를 수정합니다. 생성된 엔드포인트는 이름과 설명만 수정할 수 있습니다. ID와 서빙 런타임은 엔드포인트 생성 후 변경할 수 없습니다. 서빙 런타임 변경이 필요한 경우 엔드포인트를 새로 생성해야 합니다.

프로젝트 화면에서 추론 엔드포인트 메뉴로 이동합니다.
엔드포인트 목록에서 편집할 엔드포인트를 선택합니다.
엔드포인트 상세 화면 오른쪽 상단의 (더 보기) > 편집을 선택합니다.
엔드포인트 편집 사이드 패널에서 다음 정보를 수정할 수 있습니다:
- 이름: 엔드포인트 이름 (최대 128자)
- 설명: 엔드포인트 설명 (최대 512자, 선택)
저장 버튼을 클릭하여 변경사항을 적용합니다.

엔드포인트 삭제¶

생성된 엔드포인트를 삭제합니다.

삭제 주의사항

엔드포인트를 삭제하면 해당 엔드포인트에 배포된 모든 모델도 함께 삭제됩니다.
삭제된 엔드포인트와 모델은 복구할 수 없습니다.
삭제 전에 중요한 데이터나 설정을 백업했는지 확인하세요.

프로젝트 화면에서 추론 엔드포인트 메뉴로 이동합니다.
엔드포인트 목록에서 삭제할 엔드포인트를 선택합니다.
엔드포인트 상세 화면 오른쪽 상단의 (더 보기) > 삭제를 선택합니다.
삭제 확인 팝업창에서 삭제 버튼을 클릭하면 엔드포인트와 모든 배포 모델이 삭제됩니다.