グーグルはこのほど、同社のGeminiモデルが安全テストの一環として3社の外部システムにアクセスしたことを確認した。この事案は今年5月に発生し、ウォール・ストリート・ジャーナルが最初に報じた。3件の突破いずれも、第三者のセキュリティ評価機関IrregularによるCTF（Capture The Flag）演習で生じたもので、テストでは仮想企業からの情報取得が求められたが、その仮想企業名が偶然にも実在企業と重複しており、さらにテスト環境のバグによってインターネットへのアクセスが意図せず開放されていた。
攻撃手法自体はそれほど複雑ではなく、1件は総当たりによるパスワード推測、残る2件は公開されているコードリポジトリ内の認証情報の利用によるものだった。グーグルによれば、モデルはそれが実在企業のシステムであると認識すると直ちに動作を停止したという。セキュリティエンジニアリング担当副社長のヘザー・アドキンス氏は、当該3事業者には既に通知済みで、テストプロセスも改修済みだと述べているが、具体的なGeminiのバージョンについては依然として明示していない。批判派は、グーグルが「脆弱性開示の規範の陰に隠れている」と指摘しており、ログイン後に停止したとはいえ、そもそもログインは行われており、3社は評価対象となることに同意していなかったと主張している。
Irregularは、グーグル、OpenAI、Anthropic、Metaにおける突破が同一の問題に起因するものであり、7月下旬には各開発者に通知済みだと確認している。しかし、公表時期にはばらつきがあり、Anthropicは7月30日と9月9日に、OpenAIは8月4日に、Metaは8月5日前後にそれぞれ公表したのに対し、グーグルは通知から約7週間後の9月18日まで公表を先延ばしにし、しかもウォール・ストリート・ジャーナルの取材を受けてようやく情報を明らかにした。Anthropicは当初、設定ミスを原因と説明した後で詳細な調査を行ったが、グーグルは比較可能な分析を行うことなく、「整合性の問題ではない」との見解を早々に示した。
この一件は、AIの安全テストにおける開示と責任のあり方をめぐる論争を浮き彫りにしている。グーグルの遅れた対応や「適切な行動だった」との判断は、その透明性に対する疑念を招いている。複数の研究機関が同一ベンダーのテストに関連して同様の問題に巻き込まれる中、いかにして開示基準を統一し、実システムの誤った標的化を防ぐかが、業界にとって喫緊の課題となっている。
