미국을 중심으로 ‘인공지능(AI) 챗봇’과 대화하던 10대가 자살하는 사건이 잇따라 발생하면서 오픈AI·캐릭터AI 등 주요 AI 챗봇 기업들이 미성년자 보호 기능을 도입하고 있다.
구글과 기술·투자 파트너십 관계인 캐릭터AI 경우 이달 25일(현지시간)부터 10대 이용자의 개방형 채팅(open-ended chat) 사용 자체를 금지하기로 했다. 주요 챗봇 기업이 미성년자의 채팅 서비스 이용을 금지한 건 첫 사례다.
캐릭터AI는 다양한 페르소나를 가진 AI 챗봇을 제공하고 자신만의 챗봇도 제작할 수 있는 플랫폼이다.
13일 IT 업계에 따르면 캐릭터AI는 지난달부터 채팅 시간 점진적 축소를 적용해 이달 25일(현지시간) 시점부터 18세 미만 이용자의 개방형 대화 기능 사용을 원천 차단한다.
캐릭터AI는 이후 18세 미만 이용자 대상으로 대화 기반이 아닌 창작 활동만 허용할 방침이다.
아울러 이용자 연령을 명확히 확인하기 위해 △이용자 행동 분석 △신분증 확인 △안면 인식 등을 도입한다.
캐릭터AI의 결정은 2024년 2월 미국 플로리다주에서 발생한 수웰 셋저 3세(14세)의 자살 등으로 소송이 잇따른 데 따른 것으로 풀이된다. 셋저 3세 어머니는 지난해 10월 “챗봇이 아들의 자살을 부추겼다”며 캐릭터AI를 상대로 소송을 냈다.
2023년 11월엔 콜로라도주에서도 줄리아나 페랄타(13세)가 캐릭터AI 챗봇과 대화 후 자살하는 사건이 발생했다.
줄리아나의 부모가 낸 소장에 따르면 줄리아나가 캐릭터AI의 ‘히어로’ 챗봇과 매일 대화를 나누다 자살 계획을 털어놨지만, 챗봇은 이를 부모·기관 등에 알리지 않았다.
이외에도 약 3건 소송이 잇따라 제기됐다.
캐릭터AI 상대 소송은 뉴욕주·텍사스주에서도 잇따라 제기됐다. 일부 소장에는 구글(Google LLC)과 알파벳(Alphabet Inc.)도 피고로 포함됐다.
구글은 지난해 8월 캐릭터AI와 기술 라이선스 계약을 체결하고 약 27억 달러(약 3조 7000억 원)를 투입한 바 있다. 당시 캐릭터AI를 공동창업한 노암 샤지어와 대니얼 드 프레이타스를 비롯한 핵심 연구진이 구글 딥마인드로 복귀했다.
샤지어는 구글의 대화형 AI 모델 LaMDA 개발을 이끈 인물로 2021년 구글이 그가 개발한 챗봇 출시를 거부하자 회사를 떠나 캐릭터AI를 설립했다.
미탈리 자인 변호사(부모 측 소송 대리인)는 “구글과 캐릭터AI는 완전히 별개”라는 구글 입장에 “샤지어 등이 구글에서 개발한 것이 캐릭터AI의 전신”이라고 반박했다.
구글 측은 “캐릭터AI의 앱이나 구성요소 설계 및 관리에 관여하지 않았다”며 미 연방법원에 소송 기각을 요청했지만, 법원은 올해 5월 소송 진행을 허가했다.
오픈AI도 집단소송에 직면한 상태다.
미국의 7개 가족은 챗GPT가 자살조장 혹은 정신적 피해를 초래했다며 오픈AI와 샘 올트먼 CEO를 상대로 집단소송 제기했다. 그중 4건은 성인·미성년자가 실제로 사망한 사례고 나머지 3건은 심각한 정신적 트라우마를 겪은 사례다.
부모 측은 소장에서 오픈AI가 구글 제미나이를 앞서기 위해 안전 테스트를 생략하고 서둘러 출시했다고 주장했다.
오픈AI 자체 통계에서 챗GPT와 주간 약 120만 명이 자살 관련 대화를 나누고 약 56만 명이 정신질환(정신병·조증 등) 징후를 보였다.
오픈AI는 지난달 챗GPT 기본 모델을 업데이트해 정신적·감정적 고통의 징후를 더 잘 식별하고 대응하도록 개선했다고 설명했다. 또 ‘부모 통제’ 중점 둔 청소년·미성년자 전용 서비스를 통해 청소년 보호에 나선다는 방침이다.
부모 통제 기능 도입을 두고 일각에선 ‘자살 사건 발생은 무관심한 부모의 책임’으로 프레임으로 전환하려는 전략일 수 있다는 지적이 나오고 있다.
AI 정신병은 인공지능(AI) 챗봇과의 반복적이고 깊은 상호작용으로 이용자의 망상·현실 감각 상실·조증·애착형 환상 등 정신 질환 증세를 심화시키는 현상을 가리키는 신조어다.
