퀄컴테크놀로지가 거대언어모델(LLM)·거대비전모델(LVM) 등 생성형 인공지능(AI) 활용을 극대화할 수 있는 AI반도체 '헥사곤 프로세서'를 엣지 디바이스에서 제공한다.

이 프로세서는 100억개 파라미터를 지원한다. 파라미터는 소프트웨어(SW)나 시스템상 작동에 영향을 미치며 외부로부터 투입되는 데이터로 SW나 시스템 작동을 지원하는 중요 매개변수다. 생성형 AI 학습과 추론 등 성능에 직접 영향을 미친다.

비네쉬 수쿠마 퀄컴 시니어 디렉터(AI·ML제품관리총괄)는 21일 서울 광화문에서 열린 간담회에서 “주요 LLM 서비스 중 하나인 메타의 '라마'는 70억개 파라미터와 30GB에 달하는 데이터 메모리가 필요한데 경쟁사는 스마트폰에서 구현하기 어렵지만 퀄컴은 할 수 있다”며 이같이 밝혔다.

클라우드 컴퓨팅에 기반한 생성형 AI 서비스뿐 아니라 스마트폰, 자동차, PC, 사물인터넷(IoT) 등 엣지 디바이스에서도 원활한 AI 처리가 가능하도록 인프라를 제공한다는 설명이다. 퀄컴은 연말부터 생성형 AI 서비스 개발·운영에 필요한 텍스트·이미지·코딩·음악·대화 분야를 망라해 파라미터 100억개를 지원할 계획이다.

퀄컴은 생성형 AI 가속기 '헥사곤 프로세서'로 LLM·LVM 활용에 필요한 AI 추론 등 성능을 지원한다. 모바일부터 오토모티브까지 애플리케이션프로세서(AP) 스냅드래곤에 헥사곤 프로세서를 탑재, AI 애플리게이션을 신속·정확한 구동을 실현한다.

퀄컴은 텍스트뿐 아니라 이미지까지 구현하는 생성형 AI 서비스를 위해 이미지 분류, 탐지, 장면에 대한 이해, 재구성 등에 10년간 집중 투자했다. 스마트폰 등 엣지에서 전력 소비 최소화도 중요한 경쟁력이라고 보고 데이터 관리·이동을 최적화, 저전력을 구현했다.

벤치마크 테스트를 통해 경쟁사 대비 성능도 입증했다. 스냅드래곤 칩셋과 톱티어 경쟁사의 스마트폰·PC용 그래픽처리장치(GPU)·중앙처리장치(CPU)와 비교했을 때 전력 효율과 초당 AI 추론 성과에서 두 배 이상 성능이 뛰어난 것으로 나타났다.

수쿠마 시니어 디렉터는 “향후 생성형 AI 활용이 전방위적으로 확대되고 데이터가 폭증할 경우 엣지 디바이스만으로는 원활한 성능 구현이 어려울 것”이라며 “퀄컴은 엣지 데이터를 클라우드 인프라용으로 전환, 엣지와 클라우드 인프라를 모두 활용하는 '하이브리드 AI' 서비스도 제공할 것”이라고 말했다.

박종진 기자 truth@etnews.com