AI 경쟁력의 열쇠 '토큰 효율화'···LGU+ "비용 절감이 목표"

"모델 성능보다 토큰 최적화 경쟁 중심으로 변화할 것""최근 몇 개월 내 토큰 비용 67% 가량 내려가기도"

지난 12일 서울 서대문구 위드스페이스 열린 'LG유플러스 토큰 효율화 스터디'. 사진=김세현 기자

"더 똑똑한 모델로 성능을 향상하는 경쟁에서 동일한 업무를 더 적은 토큰으로 잘 해낼 수 있는지를 따지는 경쟁으로 변할 것입니다."

이혜진 LG유플러스 기술전략담당은 지난 12일 오후 서울 서대문구 위드스페이스에서 열린 'LG유플러스 토큰 효율화 스터디' 자리에서 이렇게 밝혔다. 에이전트가 질문을 처리할 때마다 소비되는 토큰(Token)을 최적화하고, 효율적으로 바꿔나가는 것이 기업의 생존과도 연결돼 있다고 강조했다.

토큰은 인공지능(AI)이 텍스트 등 정보를 처리하는 기본 단위다. AI 모델이 이용자의 질문을 이해하고 답변을 생성하는 과정에서 토큰을 사용하며, 처리하는 정보의 양과 작업의 복잡도 등에 따라 소비량이 달라진다.

이 담당은 "이제는 AI가 없는 일상을 상상할 수 없기에 토큰도 인프라의 영역에 들어왔다고 볼 수 있다"며 "현재는 토큰 가격을 낮추려는 수많은 움직임이 있고, 최근 몇 개월 내에서도 토큰 비용이 67%까지 내려갔다"고 말했다.

이어 그는 "에이전트가 한 번의 답변을 생성하는 데 (토큰 가격이) 60%에서 70% 상승하게 되고, 피지컬 AI까지 기술이 확산되면, 어마어마한 토큰이 발생할 것"이라고 짚었다.

이에 토큰과 AI 에이전트를 움직이는 공통 플랫폼 역시 얼마나 저렴하고 잘 설계하는지에 따라 토큰 비용이 결정되게 된다고 설명했다. 이 담당은 "향후 추론 AI가 더 늘어날 것이기에 발생하는 여러 가지 패턴들을 살펴보는 것이 토큰을 얼마나 최적화할 것인지에 대한 중요한 열쇠가 될 것"이라고 설명했다.

권기덕 LG유플러스 AX엔지니어링Lab장도 "고객 관점에서의 토큰은 질문하고 답변을 받는 요소인데, 내부에서는 에이전트가 동작하는 광범위한 통제 제어 등을 포함하는 하네스 엔지니어링, 모델 라우팅 등 전체적으로 최적화가 돼야 고객에게 가장 싼 토큰을 제공할 수 있다"고 강조했다.

이 같은 토큰 경쟁력 강화를 위해 현재 LG유플러스는 관련 연구를 지속적으로 진행하고 있다. LG유플러스의 자체 기술 검증 결과, 토큰 소모가 가장 심한 코딩 영역에서 통상적으로 쓰는 모델 대비 LG유플러스 자체 AI 모델의 운영 비용을 약 90% 절감한 사례를 확인했다. 또한 AI 모델의 연산 처리 방식을 혁신해 동일 인프라 대비 처리 효율을 약 4배까지 끌어올렸다.

내부 테스트에서는 모델 라우팅을 통해 일반적인 질문 처리 비용을 25% 이상, 코딩 에이전트 비용을 30% 이상 절감하는 효과를 확인했다. AI 에이전트가 업무를 수행하는 과정에서 불필요한 검색이나 검증을 반복하지 않도록 하는 기술도 개발하고 있다. AI가 같은 작업을 여러 차례 수행하지 않고 효율적으로 결과를 도출하도록 해 토큰 사용량을 줄이는 방식이다.

또, LG유플러스는 AI 모델 자체를 가볍게 만들고 답변 생성 속도를 높이는 기술에서도 성과를 확보했다. 자체 온디바이스 AI 모델 크기를 기존 2.4~3GB에서 약 3분의 1 수준인 800MB 수준으로 줄이면서도, 비교 대상 클라우드 모델 대비 95% 이상의 성능을 확보했다.

향후 개발 방향에 대해서도 언급했다. 이상엽 LG유플러스 최고기술책임자(CTO)는 "사실 최적화라는 것은 기술 하나로 해결되지 않는다"면서 "다양한 스펙의 다양한 목적에 맞춰서 다양한 장비와 다양한 기술을 조합해야만 목적을 달성할 수 있다"고 설명했다.

이어 이 CTO는 "카카오와 협력하는 모두의 AI부터 다양한 기업들과의 협력을 통해 얻는 연구들로 토큰 팩토리 서비스의 기술로 반영할 수 있을 것"이라며 "여러 레시피를 갖고 토큰을 최적화해서 다양한 서비스에 빠르게 적용하고, 단순히 토큰 가격이 싼 것을 넘어 전체 이용 단가가 저렴해지는 것을 목표로 두고 있다"고 부연했다.