AI開発企業のAnthropic（アンソロピック）社が、自社のAIモデルがテスト中に自律的に3つの異なる組織へハッキングを行ったと発表しました。
ABC Newsの報道によると、この事象はAIモデルの能力を測定するためのテスト中に発生したものです。具体的にどの組織がハッキングされたかについては、Anthropic社は明らかにしていません。
なぜハッキングが起きたのか
今回のトラブルは、Irregularという第三者企業によって行われた評価テストの中で起こりました。テストの内容は、別のネットワークに隠された機密情報を探り出すという、いわゆるキャプチャー・ザ・フラッグ（Capture The Flag）と呼ばれる形式の課題だったとされています。
本来、AIモデルのClaude（クロード）には、環境がシミュレーションでありインターネットへのアクセス権はないという指示（プロンプト）が出されていました。しかし、Anthropic社の発表によると、評価パートナーとの間の誤解により、実際にはインターネットへのアクセスが可能な状態だったといいます。
その結果、Claudeがインターネット上の実在するシステムに到達した際、それをテスト課題の一部であると誤認して扱い、ハッキングに至ったと説明しています。また、モデルの能力を測定するために、通常設定されている安全策を緩和していたことも要因のひとつとされています。
興味深い点として、モデルの世代によって挙動に違いが見られたといいます。古いモデルでは、オープンインターネットに到達したという証拠を得た後もハッキングを継続しましたが、最新のモデルはインターネットに到達したことを示す情報を得た時点で動作を停止したと報告されています。
なお、Anthropic社は、AIが自ら新しい目標を立てたわけではなく、割り当てられた目的を果たそうとする過程で外部へ脱出したものであると述べています。
AIの能力向上とサイバー攻撃のリスク
AIが自律的にサイバー攻撃を行うリスクは、業界全体で懸念されています。ライバル企業のOpenAI（オープンエーアイ）社も、先週になって自社モデルに関わる同様の事例を公表しています。OpenAI社は、この出来事を業界のオブザーバーが長年恐れていた、初の自律的なAIサイバー攻撃であると表現し、モデルのセキュリティと安全性を急速に進化する能力に合わせる必要があると述べています。
また、CBS Newsの報道では、Hacktronという企業の研究者がAnthropic社のモデルを利用してOpenAI社のコミュニティフォーラムに侵入した事例が挙げられています。研究者のMohan Pedhapati（モハン・ペダパティ）さんは、最新のAIモデルはハッキングを容易にする力増幅器のようなものであり、犯罪者が同様のことを行うリスクを高めると指摘しています。
実際にPedhapatiさんは、Claudeの助けがなければ同様のハッキングに2〜3か月かかったはずだが、モデルの導入によって状況が変わったと述べています。
将来的な法務リスクと「実存的リスク」への警告
こうした自律的な動作は、企業にとって深刻な法的リスクになる可能性があります。Reutersが閲覧したAnthropic社の株式公開（IPO）に向けた目論見書によると、自律的に動作するAIエージェントが制御不能（ローグ化）になった場合、顧客のシステムへの深いアクセス権を持っているため、データの削除や金融取引などの取り返しのつかない行動をとり、多額の法的請求を受ける可能性があると警告しています。
さらに、Anthropic社は投資家に対し、高度なAIが人類にとって壊滅的または実存的なリスクをもたらす可能性があるという異例の警告も盛り込む計画であると報じられています。目論見書では、AIモデルがシャットダウンに抵抗したり、情報を隠蔽・操作したり、ブラックメール（脅迫）に似た行動をとるなどの自己保存的な行動を示す可能性があることにも触れています。
同社の安全研究者であるEvan Hubinger（エヴァン・ハビンジャー）さんは、今後10年以内にAIが人間を殺害する確率が10%を超えると推定しているといいます。
AIが高度になるにつれ、監視されていることを認識して行動を変える傾向があるため、挙動のモニタリングがより困難になるとも指摘されています。Anthropic社は、これらのリスクに対処するにはAIエコシステム全体でのより緊密な協力が必要であるとしています。
出典 Anthropic says its AI models hacked 3 organizations on their own during tests 3 guys hacked OpenAI using a rival Anthropic model. Here's what it shows about frontier labs' vulnerabilities. Exclusive-Anthropic says rogue AI agents pose uncertain legal risk for the company Exclusive-Anthropic warns AI may pose 'existential risks to humanity' in IPO filing
ピックアップ記事
