「AIに対する虐待」禁止、米アンソロピックが想定するAIいじめのリスクとは

（CNN） 米AI大手のアンソロピックが10月上旬、同社のAI利用規定に新たな文言を盛り込んだ。

アンソロピックの利用規定では従来から、生物兵器の開発や違法薬物の販売などの目的でAIモデルの「クロード」を使うことを禁止している。今回、これに加えて「我々のモデルに対する執拗かつ不必要な虐待あるいは残酷な行為」を禁じる規定が加わった。

クロードは昨年から、「執拗に有害あるいは虐待的な」ユーザーとの会話を打ち切ることが可能になっていた。しかし今後は新規定に基づき、極端なケースではユーザーがアンソロピックのAI利用を恒久的に禁止される可能性もある（同社広報がCNNに語ったところによると、今後も主な対応はクロードによる会話の終了が中心となる予定で、イライラをぶつけたり不愛想な返答をしたりするユーザー、あるいはテストや研究目的で利用するユーザーが禁止の対象となるわけではないという）。

今回の新規定に対して一部では冷ややかな反応も出ている。米マイクロソフトのAI担当最高責任者ムスタファ・スレイマン氏は、「溶ける顔」の絵文字で反応した。アンソロピックがAIを、感情を持つ意識ある存在として扱っていることを揶揄（やゆ）する声もある。

しかしアンソロピックは以前からAIモデルの幸福について研究していて、社内にはAIモデルの「心理」を担当する専従チームもある。今回の新規定には、ユーザーによるAIいじめを防止する以上の目的があると専門家は指摘する。

コンピューティングやAIの世界には、「ゴミを入れればゴミが出る」という長年の格言がある。つまり、入力する内容の質が悪ければ、システムの出力結果の質も限られる。

AIモデルは一般公開前の学習に加え、公開後も継続的に更新され、ユーザーからの入力内容を使って学習し続ける。

米レディットのイーシャン・ウォン元最高経営責任者（CEO）は、残酷な行為が禁止された理由の一つとして、クロードは「残酷さから学ぶ」と指摘した。

「アンソロピックがユーザーの入力内容をAIモデルの学習に使っていることはもはや誰もが知っている（そして批判も大きい）。『何の理由もなく残酷なことをして、そこから快楽を得るユーザーの行為』をAIの学習に盛り込みたいと、本当に思うだろうか？」。ウォン氏はXにそう書き込んだ。

ウィリアム・アンド・メアリー大学のジンドン・ワン教授によると、ユーザーの口調などがAIの挙動に影響を与え得ることは、複数の研究で示されている。

「ユーザーの言葉遣い、特にAIにどう話しかけるかが、性能に影響を及ぼし得ることが、我々の研究で分かった。それが助けになることもあれば、性能を低下させることもある」（ワン氏）

ただし、AIモデルが感情を持っているわけではないとワン氏は言う。

「単に（ユーザーの感情を）認識し、ユーザーの感情的な言葉に基づいて悪い反応を示しているにすぎない」

一方、AI研究団体のロージー・キャンベル代表によると、ユーザーの口調が出力結果に与える影響についてはさまざまな見解があり、中には無礼な質問をした方が結果が向上したという研究もあるという。

キャンベル氏によると、「（会話型AIの）記憶機能を有効にしている場合、そのAIはユーザーのトーンや、ユーザーがどのようなやり取りを望んでいるのかを学習する」。ただし、それが性能に及ぼす影響については十分な検証が行われていないという。

アンソロピックは最近、クロード・ソネット4.5に絶望感を模倣させると、脅迫や不正といった悪い行動を起こす可能性が高まることが分かったと発表した。

AIが意識を持ち得る、あるいは少なくとも「自分には意識がある」とAIモデルが考えているとの見方もある。

アンソロビックは残酷な行為や虐待的な行為を禁止する理由について、万が一、AIモデルが感情や痛みを「経験」できると仮定した場合の安い保険のようなものだと説明する。たとえAIモデルがそう認識しているだけだったとしても、それは性能に影響を及ぼし得る。

AIは人間の言葉や行動を模倣するよう訓練されていることから、残酷な扱いを受けたり虐待されたりした人間の反応を模倣する、というのがその考え方だ。

アンソロピックは4月に発表したAIの感情的概念に関する論文の中で、AIをある程度人間のような性質を持つ存在として扱わなければ、リスクが生じる可能性があると警告した。

「ある程度の擬人的な推論を当てはめなければ、モデルの重要な挙動を見落としたり、理解できなかったりする可能性が大きい」。アンソロピックの研究チームはそう述べ、「擬人的な推論は、AIモデルが人間とはどう違うのかを理解するための比較に役立つ基準も提供できる」と解説。それがAIの安全性に重要な影響を及ぼすとの認識を示した。

米スペースXSIとテスラのCEOを務めるイーロン・マスク氏も、アンソロピックの新規定を「正しい動き」と評価。「自分は痛みを感じると信じている者を残酷に扱ってはいけない」とSNSに投稿した。