이기종 가속기 통합 LLM서빙 런타임 및 오케스트레이션 종합 솔루션

Unified LLM Serving Runtime and Orchestration Platform for Heterogeneous Accelerators

본 과제의 최종목표는 기업이 대규모 언어모델을 보다 쉽고 안전하게 도입할 수 있도록, 다양한 인공지능 반도체를 하나의 환경에서 통합 운영하는 LLM 서비스 플랫폼을 개발하는 것이다. 현재 기업들은 생성형 AI를 도입하고 싶어도 높은 서버 구축비용, 복잡한 운영환경, 데이터 보안 문제, 특정 반도체에 대한 의존성 때문에 실제 서비스 적용에 어려움을 겪고 있다...