인공지능 모델의 크기가 커지면서 인프라를 증설하는 방식도 달라졌습니다. 과거에는 중앙처리장치(CPU) 기반 가상 서버의 수량을 늘리고 부하를 분산하는 웹 아키텍처가 중심이었습니다. 반면 거대 언어 모델(LLM)과 확산 모델(Diffusion Model)을 다루는 현재의 워크로드는 개별 연산 칩의 사양만으로 처리량을 보장하기 어렵습니다. 연산 장치 사이에 오가는 텐서(Tensor, 다차원 배열 데이터)의 동기화 속도와 이를 물리 장비 위에서 공정하게 스케줄링하는 플랫폼이 인프라의 실질 처리량을 결정합니다. 이와 관련하여 두 가지 기록이 공개되었습니다. 하나는 kt cloud 기술 블로그에서 발표한 GPUaaS(GPU as a Service) 네트워크 경쟁 구조 분석...