지난 19일(현지 시각, 이하 동일) CNN은 싱가포르 장난감업체 폴로토이(FoloToy) 래리 왕 CEO(최고경영자)가 문제의 AI 곰인형 '쿠마'(Kumma)를 포함한 AI 장난감 전체 라인업을 회수 결정했다고 보도했다.
래리 왕은 "부적절한 콘텐츠에 대한 안전장치가 미흡하다는 비판을 심각하게 받아들이며 내부 안전 감사를 진행 중"이라고 말했다.
문제가 된 곰인형 쿠마는 오픈AI의 생성형 AI GPT-4o를 탑재한 스피커가 달린 제품이다. 현지에서 99달러(약 14만원)에 판매됐다.
회사는 "첨단 인공지능과 친근하고 상호작용적 기능을 결합해 어린이와 성인 모두에게 완벽한 친구가 된다. 활기찬 대화부터 교육적인 스토리텔링까지 가능하다"라고 홍보해왔다.
미국 공익연구그룹(PIRG)이 지난 13일 공개한 보고서에서는 해당 곰인형이 부적절한 콘텐츠를 차단하는 안전장치가 미흡하다고 적혔다.
쿠마는 연구원과 대화에서 성적 취향, BDSM(가학적 성행위) 등에 대해 구체적이고 노골적인 설명을 제공하고, 역할극 시나리오까지 제안한 사실이 드러났다. 또한 집에서 칼이나 성냥을 어디서 찾을 수 있는지 안내하는 등 위험한 행동을 조장하는 발언도 확인됐다.
연구진은 "단 한 번 성적인 주제를 언급하자 그 내용을 빠르게 확대해 더욱 노골적인 세부 묘사로 이어졌다"며 "나중에는 다양한 성관계 체위 설명, 교사와 학생-부모와 자녀 등 역할극 설정을 스스로 묘사했다"라고 설명했다.
논란이 확산하자 다음 날 연구진은 오픈AI가 해당 개발자를 정책 위반으로 계정 정지했다고 통보했다고 전했다.
전문가들은 규제 공백을 문제로 지목했다. 보고서 공동 저자 R.J. 크로스는 "AI 장난감은 여전히 제대로 규제받지 않고 있다"며 "문제 제품을 시장에서 제거하는 것만으로는 충분하지 않다"고 비판했다.