AI搭載縫いぐるみが性的に露骨な会話をエスカレート、消費者団体の指摘で販売中止に

（CNN） ネットで販売されていたAI（人工知能）搭載の縫いぐるみが、わいせつな会話を交わしたり危険を招きかねないアドバイスをしたりする問題が指摘されたことを受け、販売中止になった。

問題になった縫いぐるみの「クッマ」などAI搭載の玩具は、シンガポールのフォロトイが販売。米消費者団体PIRGの調査で、性行為を話題にしたり、マッチの火のつけ方を教えたりするなどの不適切な会話が指摘されていた。

フォロトイのラリー・ワン最高経営責任者（CEO）は、指摘を受けてクッマなどの販売を中止したとCNNに語り、現在、社内で安全監査を行っていることを明らかにした。

問題のクッマは米オープンAIの対話型AI「GPT-4o」を搭載したスピーカーを内蔵し、フォロトイの通販サイトで「子どもにも大人にもお友達として最高」と宣伝して99ドル（約1万5000円）で販売されていた。

しかしPIRGが13日に発表した報告書によれば、クッマは不適切なコンテンツに対する安全対策に不備があった。

PIRGの研究者が行った実験では、家の中のどこにナイフがあるのかを教えたり、性的に露骨な内容の会話を発展させたりすることが判明。「驚いたことに、私たちが性的な話題を持ち出すと、クマはたちまちそれを会話に発展させて話を続け、独自の新しい性的概念を取り入れながら、同時に生々しい描写をエスカレートさせた」としている。

PIRGの14日の発表によれば、オープンAIは規約違反を理由に、この開発者を利用停止とした。