ChatGPTを開発するOpenAI社の安全責任者であったデイビッド・ロビンソン（David Robinson）さんが、同社の文化が壊れていると警告して辞任しました。
ロビンソンさんは、製品リリースの際に付随する安全報告書の作成を主導してきた人物で、OpenAI社に3年半在籍し、12のフロンティアモデル（最先端のAIモデル）のリリースにおける安全性の監督や、同社の準備フレームワークの策定に携わっていました。彼は自身の辞任を説明するエッセイの中で、OpenAI社の文化が壊れているために辞職したと述べています。
調べてみると、ロビンソンさんが問題視していたのは、OpenAI社が採用してきた開発手法である反復的展開（iterative deployment）というアプローチでした。これは、まずシステムをリリースし、そこで発生した問題に応じてガードレール（AIの挙動を制限する安全策）を改善していくという、いわば試行錯誤による手法です。
ロビンソンさんは、このアプローチは本質的に定期的な失敗を保証するものであり、システムがより高性能になるにつれて、その失敗の規模も拡大していくと指摘しています。また、会社が次のリリースへとひた走る中で、必要だと思われるレベルの配慮を欠いていると考えていると記しています。
特に懸念している点として、AI開発企業がテクノロジーを開発する際に、十分な注意を払っていないことを挙げています。彼は、シリコンバレーには危険なテクノロジーをどう扱うべきか、あるいは人々を大切にすることがどういう意味を持つかという意識が欠如していると述べています。
また、OpenAI社には、問題が発生した際にそれを解決できるという制限のない楽観主義があるとも指摘しました。このような内部文化がある限り、システムがより有能になるにつれて、安全上の失敗は増大するだけだと警鐘を鳴らしています。
ロビンソンさんは、今後のリスクに備えて、最先端のAI開発拠点（フロンティアラボ）は、原子力発電所や混雑した空港のように運営されるべきだと主張しています。具体的には、人間による偶発的で避けられないミスが、破滅への扉を開くことがないよう、何層にもわたる冗長性（予備の仕組み）と、時間をかけた慎重な計画が必要であるとしています。
しかし、ロビンソンさんはOpenAI社にいた間、飛行機を安全に飛ばしたり、原子力原子炉をメルトダウンさせずに運用したり、あるいは金融システムを崩壊させずに成長させたりした経験を持つ同僚に一度も出会わなかったと述べています。そのため、原子力や航空といった他分野の安全専門知識に頼ることや、自律的に動作する強力なシステムを将来的に制御できるようにするための新しい科学を開発することを提案しています。
さらに彼は、アラインメント（AIが人間の価値観や意図に沿うように調整すること）について、より大きな問いを立てる時が来たと述べています。現在のAIシステムがどれだけ人間の価値観と一致しているかという測定方法は粗いものであり、この問題が未解決のままモデルを成長させれば、状況はより危険になると考えています。
こうした警告に関連して、かつてOpenAI社やDeepMind（ディープマインド）社に勤務し、現在はResolution社のチーフサイエンティストを務めるジェフリー・アービング（Geoffrey Irving）さんも警告に加わりました。アービングさんは、AIの潜在的な破壊力に関する最近の警告は状況の深刻さを過小評価していると述べています。さらに、人間より賢いAIシステムの開発によって、私たちが死ぬ確率は約50%であると考えており、今後2年から10年の行動が結果を左右すると述べています。
また、AI業界では同様の動きも見られます。先月には、OpenAI社のライバルであるAnthropic（アンソロピック）社の研究者、ジェイコブ・コクソン（Jacob Coxon）さんも辞任しています。
一方、OpenAI社の広報担当者は、同社は現在見えているリスクに対処するために安全およびセキュリティ慣行を強化し続けており、将来のAIの飛躍的進歩によって生じる可能性のあるリスクへの対処にも取り組んでいると説明しています。また、モデルが安全に管理・確保できる以上の能力を持たないようにしており、速度を落とす必要がある場合はトレーニングを一時停止したり、モデルのリリースを控えたりしているとしています。
まとめると、AIの開発スピードが加速する中で、事後的な修正に頼る手法から、より厳格で計画的な安全管理体制への移行を求める声が、内部の責任者レベルから上がっている状況です。
出典 The Guardian TechCrunch “The time for trial and error is over”: OpenAI safety researcher quits, says company | Ctech OpenAI safety leader quits, warns AI firms lack… | Pluang
ピックアップ記事
