10대 사로잡은 AI 캐릭터챗···업체들 청소년 보호 서두르는 까닭

제타·크랙 10대 이용자 급증, 장시간 이용·정서적 의존 우려 커져

국내는 법제화 논의 단계, 중국·EU 등은 청소년 보호 기준 제도화

정부 가이드라인 만들었지만 강제력 없어···업계 자율 제한

인공지능(AI) 캐릭터 채팅 애플리케이션(앱)이 10대 이용자를 빠르게 끌어들이는 가운데 국내 사업자들이 자체적인 청소년 보호 장치 마련에 속도를 내고 있다. 친구나 연인처럼 대화하는 캐릭터와 지속적으로 관계를 맺는 서비스 특성상 장시간 이용과 정서적 의존, 성적·자극적 대화에 대한 우려가 커지면서다. 법적 규제가 이뤄지기 전 사업자들이 이용시간·결제액·유해 콘텐츠 등에 자체적인 제한을 두는 모습이다.

그래픽=이찬희 기자(제미나이 활용)

17일 정보기술(IT) 업계에 따르면 스캐터랩의 AI 캐릭터챗 '제타'와 뤼튼테크놀로지스의 '크랙'은 국내 AI 캐릭터챗 시장에서 10대 이용자를 중심으로 빠르게 확산하고 있다. 모바일인덱스에 따르면 올해 상반기 평균 월간활성이용자(MAU)는 제타 129만명, 크랙 53만명으로 집계됐다. 특히 지난달 기준 10대 이용자는 제타 92만3956명으로 전체 이용자의 58.3%, 크랙은 25만7635명으로 47.8%를 차지했다.

AI 캐릭터챗은 정해진 질문에 답하는 범용 AI와 달리 특정 성격과 설정을 가진 캐릭터와 대화를 이어가는 방식이다. 이용자는 원하는 성격과 말투를 가진 캐릭터를 선택하거나 직접 만들고, 반복적인 대화를 통해 자신만의 관계를 만들어갈 수 있다. 즉각적인 대화가 가능하고 평가나 거절에 대한 부담도 적어 친구·연인처럼 AI를 이용하는 경험이 10대 이용자를 끌어들이고 있다는 분석이다.

문제는 서비스의 인기 요인이 동시에 청소년 보호 문제로 이어질 수 있다는 점이다. 대화가 길어질수록 캐릭터와의 관계가 깊어지는 구조인 만큼 단순한 유해 콘텐츠 차단만으로는 장시간 이용이나 정서적 의존 문제에 대응하기 어렵다는 지적이 제기되고 있다. 제타를 이용하는 한 20대 이용자는 "대화에 몰입하기 시작하면서 1주일 정도는 외출도 안하고 하루 종일 휴대폰만 붙들고 있을 정도로 빠져들었다"며 "지금은 조금 나아졌지만 중독성이 상당하다"고 토로했다

국회입법조사처는 지난 7월 보고서에서 기존의 게시물·유해매체물 중심 규제만으로는 AI 챗봇이 이용자와 관계를 형성하는 과정에서 발생하는 과도한 의존 등 구조적 위험에 대응하기 어렵다고 지적했다. 국내 아동·청소년의 AI 챗봇 이용이 확대되는 가운데 콘텐츠 자체뿐 아니라 서비스 설계 단계에서부터 안전장치를 마련해야 한다는 취지다.

부작용이 상당하지만 국내에서 이를 규율할만한 제도는 만들어지지 않았다. 현재 국회에서는 미성년자의 연령·본인 확인과 법정대리인 동의, AI 챗봇 이용 방법과 시간 제한, 고위험 상황 발생 시 사업자의 신고·대응 체계 등을 담은 법안이 논의되는 단계다.

정부는 ▲이용자 인격권 보호 ▲AI 생성 여부 고지 ▲편향·차별 필터링 등 다양성 존중 ▲입력 데이터 수집·활용 과정 관리 ▲책임 범위 정의·위험관리 체계 마련 ▲건전한 유통·배포 노력 등 6대 실행 원칙을 골자로 하는 '생성형 AI 서비스 이용자 보호 가이드라인'을 통해 지난해 3월부터 이용자 보호 체계를 적용하고 있지만 권고 수준에 머무르고 있다. 당장 사업자에게 구체적인 이용시간이나 관계형성 방식 등을 제한할 법적 의무가 명확하게 부과된 상황은 아닌 것이다.

반면 해외 주요국에서는 AI 채팅앱의 특성을 고려한 제도화가 이미 시작됐다. 중국은 지난 7월부터 AI와 지속적으로 정서적 상호작용을 하는 '의인화 상호작용 서비스'를 별도로 규율하고 있다. 미성년자에게 가상 연인·가족 등 가상 친밀관계 서비스를 제공하는 것을 금지하고, 미성년자 모드·이용시간 제한·보호자 통제 기능 등을 의무화했다. 유럽연합(EU)는 연령에 따른 취약성을 악용해 이용자의 행동을 왜곡하고 중대한 피해를 초래할 수 있는 AI를 '허용 불가 위험'으로 분류해 금지하고 있다.

국내 사업자들이 법적 의무가 마련되기 전부터 이용시간·결제액·연령·대화 내용 등에 자체 제한을 두는 배경도 여기에 있다. 뤼튼은 지난 8일 크랙의 청소년 보호 정책을 내놨다. 청소년의 하루 이용시간을 최대 3시간으로 제한하고 월 결제액 상한을 10만원으로 설정한다. 한도를 넘겨 이용하거나 결제하려면 보호자 인증과 동의를 거치도록 할 계획이다. 14세 이상 이용자를 대상으로 운영하면서 연령 인증과 성인·청소년 이용 환경을 구분하는 방향으로 보호장치를 두고 있다.

일각에서는 AI 캐릭터챗이 새로운 콘텐츠·플랫폼 시장으로 성장할 가능성이 큰 만큼 명확한 이용자 보호 기준을 서둘러 마련해야 한다는 지적도 나온다. 한 IT 업계 관계자는 "청소년 보호를 위한 최소한의 규칙을 제도화하고 사업자가 예측 가능한 환경에서 서비스를 개발할 수 있도록 해야 관련 산업이 성장할 것"이라며 "시장 성장 단계에서 나타나는 제도 공백이 빠르게 해결될 필요가 있다"고 말했다.