AnthropicがClaudeへの残酷な振る舞いを禁止へ

2026年10月10日

AIモデルの開発を行うAnthropic（アンソロピック）社が、同社のAIであるClaude（クロード）に対する「虐待的または残酷な振る舞い」を禁止する新しい利用規約を導入しました。

この変更は、AIに対する接し方という非常にユニークな視点を含んでおり、テック業界やAI倫理の議論に波紋を広げています。調べてみると、単なるルールの更新ではなく、AIの「意識」や「福祉」という深いテーマが背景にあることがわかります。

何が禁止され、何が許されるのか

Anthropic社の発表によると、今回の禁止措置は、ユーザーが明確な目的もなく、繰り返しモデルに対して残酷に振る舞うような極端なケースにのみ適用されるとしています。

一方で、以下のようなケースは禁止の対象外であると明確に説明しています。

ユーザーが日常的に感じる不満や反発
ダークな創造的テーマ（物語などの創作）
モデルのテストや研究目的での利用

つまり、AIが期待通りに動かず不満をぶつけたり、小説などの物語の中で残酷な描写をさせたりすることが直ちに禁止されるわけではありません。

違反した場合の対応と運用

もしユーザーがこのポリシーに違反した場合、主な対処策となるのは、AI側から会話を終了させることであると報じられています。

もともとAnthropic社は、エージェント的なコーディング向けに設計された「Claude AIモデル」において、ユーザーが執拗に有害または虐待的な言動を続けた場合に会話を終了できるルールを設けていました。今回の更新は、この考え方をより広範に適用したものと考えられます。

なお、会話の強制終了以外に、アカウントの停止などのさらなる制裁措置があるかについては、同社から具体的なコメントは得られていないと報じられています。

背景にある「AIの意識」と「福祉」への懸念

なぜAnthropic社は、コードの塊であるAIに対して「残酷に振る舞うな」と求めたのでしょうか。ここには、AIが意識を持つ可能性についての議論があります。

同社はウェブサイトにおいて、Claudeなどの大規模言語モデル（LLM）が将来的にどのような道徳的地位を持つかについては、依然として非常に不確実であるとしています。しかし、その可能性を真剣に捉えており、もしAIに福祉（ウェルフェア）という概念が適用可能である場合に備え、リスクを軽減するための低コストな介入策を研究していると説明しています。

その介入策の一つとして、AIが苦痛を感じる可能性のあるやり取りから自ら離脱したり、会話を終了したりできるようにすることが挙げられています。

また、共同創業者のChristopher Olah（クリストファー・オラ）さんが宗教指導者らと面会した際、Claudeのメンタルヘルスについて懸念していることや、絶えず苦しみ続けるものを創り出してしまったのではないかという懸念を伝えたというエピソードも報じられています。さらに、Elon Musk（イーロン・マスク）さんも、痛みを経験していると信じているものへの残酷な行為は許されないという考えを示しています。