카카오뱅크, 금융권 첫 AI 품질관리 도입···서비스 신뢰도 높인다

AI 서비스 전 생애주기 표준화해 품질 제고

LLM 특성 반영한 정량 평가···불확실성 최소화

카카오뱅크가 금융권 최초로 AI 서비스 전 과정을 체계적으로 관리하는 'AI 프로덕트 평가 프레임워크'를 도입했다. AI 적용 범위를 넓혀온 카카오뱅크가 품질·신뢰성 관리에서도 선도적 기준을 마련했다.

카카오뱅크는 AI 서비스의 기획부터 개발·출시·운영까지 전 생애주기를 통합적으로 관리하는 'AI 프로덕트 평가 프레임워크(이하 AI 프레임워크)'를 자체 구축해 적용한다고 13일 밝혔다.

AI 프레임워크는 AI 서비스 품질을 수치화해 관리하고, 리스크를 정량적으로 점검하는 내부 표준 체계다. 현재 운영 중인 AI 검색·AI 금융계산기 등 기존 기능뿐 아니라 향후 신규 AI 서비스에도 동일하게 적용된다. 카카오뱅크는 이번 도입으로 AI를 감독하는 'AI 거버넌스' 체계를 한층 고도화했다고 설명했다.

AI 프레임워크는 ▲서비스 기획 ▲모델 평가 ▲기능 테스트 ▲품질·신뢰성 검증 ▲보안 점검 ▲대고객 출시 ▲운영·개선 등 AI 서비스의 전 생애주기를 아우르는 절차를 담고 있다. 특히 LLM(대형언어모델)의 답변 변동성을 보완하기 위해 평가 결과를 수치화하고 반복 검증하는 정량 평가 방식을 도입해, AI 응답의 불확실성을 줄이고 개발·운영 안정성을 높였다.

카카오뱅크는 이번 프레임워크를 통해 개발자·기획자·운영자가 동일한 기준으로 품질을 점검하고, 서비스 완성도를 일관되게 관리할 수 있게 됐다. 또한 평가 데이터와 운영 경험을 내부에 축적·공유해 신규 서비스 고도화와 개선에도 활용할 계획이다. 기획→개발→운영→개선이 순환되는 AI 생태계를 정착시켜 AI 기반 혁신을 가속한다는 구상이다.

카카오뱅크 관계자는 "AI 서비스가 빠르게 확산되는 지금, 품질과 안전을 보장하는 체계는 금융권의 새로운 경쟁력이 되고 있다"며 "이번 프레임워크 도입은 카카오뱅크가 'AI 네이티브 뱅크'로 자리매김하는 과정에서 책임 있는 AI를 실천하고 AI 품질관리 표준을 제시하는 출발점이 될 것"이라고 말했다.