고화질 비디오 처리 환경

AI 환경

AI환경의 데이터는 작은 크기의 파일을 랜덤으로 요청하기도 하고 워크로드에 따라 이미지나 동영상처럼 큰 크기의 파일을 시퀀셜로
요청하기도 해서 딥러닝 모델을 구축하는 작업은 스토리지에서 다양한 I/O패턴을 실행하는 과정입니다.
Wellsware는 RDMA 프로토콜을 활용하여 엔비디아 GPU 다이렉트 액세스를 지원합니다. 또한 엔비디아 멜라녹스 스위치에도 호환성이 뛰어납니다.
성능만을 위한 NVMe기반 스토리지는 최대 수백TB 정도의 데이터 처리하는 데는 효과적이지만 큰 걸림돌은 PB이상을 저장하여 처리하기에는 비용 부담이 상상 이상입니다.
진정한 AI환경을 구축하기 위해서는 대규모 데이터 저장뿐만 아니라 고성능으로 데이터 처리가 필수적입니다.

AI 기반 앱을 위한 "일률적인" 스토리지 솔루션은 없습니다.
학습을 위해서는 성능 Throughput이 중요하고, 추론을 위해서는 Latency가 중요하며, 학습 데이터와 추론 데이터가 늘어나면 스토리지 기대치는 어떻게 될까요?
분명한 것은 학습/추론 워크로드가 증가함에 따라 성능과 용량도 반드시 증가해야 한다는 것입니다.
최고의 AI 성능을 위해 GPU를 멈춤없이 계속 사용할 수 있도록 성능을 갖춘 용량 확장 가능한 스토리지 솔루션만 고려해야 한다는 것입니다.
AI 앱의 데이터 세트를 충분히 이해한 후 예산에 준해서 HDD only 혹은 하이브리드 NVMe/HDD 방식을 선택하는 것이 합리적입니다.
복잡한 워크로드에서는 고해상도 시뮬레이션, 초대형 데이터 세트 및 고도로 병렬화된 알고리즘의 초고속 처리가 필요함에 따라
NVIDIA ConnectX 네트워크와의 호환여부도 특별히 고려해야 합니다.

RDMA기술은 OS를 bypass하고 CPU의 자원을 획기적으로 감소시킬 수 있기 때문에 CPU의 유휴 자원을 다른 작업에 사용할 수 있는 장점이 있고 GPU 코어가 빠르게 연산할 수 있도록 스토리에서 데이터를 빠르게 전달할 수 있습니다.

• 
•