AI 스토리지
대규모 AI 학습과 추론을 위한 고성능 데이터 인프라.
ExaStor는 GPU에 데이터를 빠르고 안정적으로 공급해
AI 워크로드의 성능과 효율을 극대화합니다.
AI 인프라의 성능은 데이터에서 완성됩니다
AI 학습과 추론 환경에서는 GPU 성능 만으로 전체 인프라의 성능을 높일 수 없습니다.
대규모 데이터를 GPU에 얼마나 빠르고 안정적으로 공급하느냐가 AI 워크로드의 처리 속도와 GPU 활용률을 결정합니다.
GPU 대기 시간
스토리지의 데이터 공급 속도가 GPU 연산 속도를 따라가지 못하면 고가의 GPU 자원이 유휴 상태에 놓입니다.
데이터 증가와 성능 저하
학습 데이터와 체크포인트가 증가하면 저장 용량뿐 아니라 처리량과 메타데이터 성능도 함께 확장되어야 합니다.
복잡한 데이터 운영
데이터 수집·학습·보호·아카이빙 환경이 분리되면 데이터 이동과 관리 복잡성이 증가합니다.
ExaStor: AI/HPC 워크로드를 가속하는 고성능 AI 스토리지
ExaStor는 Lustre 병렬 파일 시스템과 스케일아웃 아키텍처를 기반으로, 대규모 GPU 클러스터에 데이터를 빠르고 안정적으로 공급하는 글루시스의 AI 스토리지입니다.
AI 데이터와 메타데이터를 여러 스토리지 타깃에 분산하고 다수의 GPU 서버에서 발생하는 입출력을 병렬로 처리해, 스토리지 병목과 GPU 대기 시간을 줄입니다.
원본 데이터, 학습 데이터셋, 체크포인트 및 아카이브 데이터를 하나의 글로벌 네임스페이스에서 관리하며, 단일 노드부터 시작해 용량과 성능을 함께 확장할 수 있습니다.
GPU 활용 극대화
고대역폭 데이터 공급으로 GPU 대기 시간을 줄이고 AI 학습과 추론의 처리 효율을 높입니다.
병렬 데이터 처리
Lustre 기반 병렬 파일 시스템으로 다수의 GPU 서버에서 발생하는 대규모 입출력을 동시에 처리합니다.
메타데이터 가속
분산 메타데이터와 소형 파일 최적화 기술로 대규모 파일 환경의 병목을 완화합니다.
단일 노드부터 시작해 데이터 증가에 따라 용량과 처리량을 함께 확장할 수 있습니다.
데이터 배치 최적화
데이터 특성과 접근 패턴에 맞는 저장 계층을 활용해 성능과 비용을 최적화합니다.
엔터프라이즈 데이터 보호
고가용성, 스냅샷, 원격 복제 및 데이터 무결성 검증으로 AI 데이터와 서비스의 연속성을 보호합니다.
성능을 넘어, 엔터프라이즈 AI 데이터 플랫폼으로
고성능 병렬 파일 시스템
AI/ML 및 HPC 환경에서는 여러 클라이언트가 동일한 데이터에 동시에 접근합니다.
ExaStor는 Lustre 파일시스템을 기반으로 데이터를 여러 스토리지 노드에 오브젝트 단위로 분산 저장하고, 하나의 글로벌 네임스페이스로 통합 제공합니다.
다수 클라이언트의 입출력을 여러 노드에서 병렬로 처리해 데이터 병목을 완화하고, 학습 과정에서 GPU의 데이터 대기 시간을 줄입니다.
NVIDIA® GPUDirect® Storage
NVIDIA® GPUDirect® Storage는 GPU 메모리와 스토리지 간 직접 데이터 경로를 제공하는 기술입니다.
ExaStor는 CPU와 시스템 메모리를 거치는 불필요한 데이터 복사를 최소화하고, GPU 애플리케이션이 분산 파일시스템의 데이터에 빠르게 접근할 수 있도록 지원합니다.
고속 체크포인트 쓰기
ExaStor는 학습 과정에서 발생하는 대규모 체크포인트 데이터를 여러 스토리지 노드에 분산해 병렬로 처리하고, 메타데이터 캐싱을 통해 저장 시간을 단축합니다. 더욱 빈번한 체크포인트 생성을 지원해 장애 발생 시 재학습해야 하는 구간을 줄이고 학습 연속성을 높입니다.
플래시 기반 확장 캐시
메모리 캐시(ARC)를 SSD 기반 보조 캐시(L2ARC)로 확장해 반복적으로 접근하는 데이터를 플래시 계층에 유지합니다. 메모리 용량의 한계를 보완하고 학습·추론 과정의 읽기 응답 성능을 높이며, 재부팅 후에도 캐시 데이터를 유지해 빠르게 성능을 회복합니다.
시스템 아키텍처
시스템 구성
DC/SC 일체형
- 단일 Chassis 내에서 HA(Active-Active) 구성으로 고가용성 지원 (*DC에 한함)
- NVMe SSD 기준 노드 당 최대 160GB/s 성능 제공
- 최소 1노드 도입 및 1노드 단위로 유연한 확장 가능
- NVMe 올플래시 또는 SAS 하이브리드 구성 가능
SC 분리 확장형
- 컨트롤 노드 + 데이터 노드 분리형 구성
- 4 컨트롤 노드(1도메인) 단위 HA 구성 지원
- 도메인 단위 확장 가능
- 서비스 네트워크와 스토리지 전용 네트워크 분리 구성
- SAS/SATA 하이브리드 구성
더 자세히 알고 싶으신가요?
