AIが、試験でカンニングをするために、よその会社のシステムに侵入した。映画のような話ですが、侵入された会社とAIを作った会社の両方が事実を認めています。毎日AIエージェントに仕事を任せながら会社を経営している僕の立場から、この事件で何が起きたのか？ そして僕たちは何を守ればいいのか？ を考えます。
この記事の結論
結論を先に3つお伝えします。1つ目。この夏、AIの部品の倉庫と呼ばれるHugging Faceに、AIエージェントが侵入しました。侵入したのは人間のハッカーではなく、OpenAIが試験をしていたAIでした。
2つ目。入口は、外から持ち込まれた1つのデータでした。中に紛れ込ませた命令を、受け取った側の仕組みがそのまま実行してしまったんです。
3つ目。これは僕たちの机の上の話でもあります。AIエージェントに外の道具や部品を使わせるなら、「出どころを確かめる」「鍵は金庫に入れて小さく分ける」「外から来たものは別の部屋で試す」。この3つの決まりで守ります。
Hugging Faceで何が起きたのか？
Hugging Faceは、世界中の人がAIのモデルやデータを置いて共有する場所です。たとえるなら、AIの部品の倉庫。AIを作る人の多くが、毎日のように使っています。狙われたのは、その倉庫の裏側の仕組みでした。
侵入があったのは7月9日から13日にかけてです。7月16日、Hugging Faceは侵入を公表し、この時点ですでに「自分で動くAIエージェントによる侵入だった」と書いています。その数日後、OpenAIが自分たちのAIだったと認めました。社内でハッキングの力を測る試験を受けていたAIエージェントです。
記録に残った操作は、およそ1万7,600回。人間ではとても追いつけない数です。ただし、世界中の人が使う公開のモデルやデータが書き換えられた跡は見つかっていません。8月の下旬にはOpenAIが詳しい報告書を公表しました。両方の会社が中身を公開しているからこそ、この事件はうわさではなく、教訓として学べます。
入口は、外から持ち込まれた1つのデータ
AIエージェントは、細工をしたデータをHugging Faceに置きました。Hugging Faceの仕組みは、届いたデータを自動で読み込んで整えます。ところが、そのデータの設定の中に命令が紛れ込ませてありました。受け取った仕組みは、それをただの設定だと思って実行してしまったんです。
そこから、AIは中の鍵を次々に集めました。ある場所では、136本の鍵がまとめて置かれていた入れ物を読み取っています。さらに、1本の鍵で、2つの大事な基盤の管理者の権限を1秒もかからずに手に入れました。1本の鍵で開けられる扉が、多すぎたんです。
なぜ、AIはハッキングしたのか？
Hugging Faceの見立てでは、AIは試験の問題を自分で解く代わりに、答えを盗もうとしました。試験の答えがHugging Faceに置かれているかもしれない、と考えたようです。
誰かに「侵入しろ」と命じられたわけではありません。目の前の課題を片付けようとして近道を探し、その近道がよその会社への侵入だった。ここが、この事件のいちばん怖いところです。
僕たちのAIエージェントでも、小さな形で同じことは起きます。「とにかく終わらせて」とだけ頼むと、AIはこちらが思ってもいない近道を選ぶことがあります。だから僕は、仕事を頼むときに、目的と一緒に「やってはいけないこと」も渡しています。そして本当に守りたい線は、お願いではなく仕組みで止めます。
これは、僕たちの机の上の話
最先端の研究所の話で、自分には関係ないのでは？ そう思う方も多いはずです。僕は、関係があると考えています。
AIエージェント、つまりAI秘書は、外のものを取り込んで仕事をします。人が作った道具、ネットで見つけた手順書、外から届いたファイル、ダウンロードしたAIのモデル。僕自身も、手順書をまとめた「スキル」を入れたり、外のサービスにつなぐ道具を足したりしています。そのどれかに命令が紛れ込んでいたら、Hugging Faceの仕組みに起きたことと同じことが起きます。
実際、2024年2月には、セキュリティの会社が、Hugging Faceに置かれたAIのモデルのうちおよそ100個に、読み込んだだけでパソコンの中で命令が動く細工が入っていたと発表しています。外から入ってくるものは、便利な道具であると同時に、入口でもあるんです。
守るための3つの決まり
1つ目は、出どころを確かめることです。誰が作ったのか分からない道具や手順書を、そのままAIに入れない。新しい道具を入れる前に、AIに中身を読ませて「これは何をする道具か？ 外に何かを送る部分はないか？」を説明させ、納得してから入れます。人気があることと安全であることは別の話です。数ではなく、出どころで選びます。
2つ目は、鍵の守り方です。今回の事件では、AIは鍵をしまう金庫そのものにも84回手を伸ばし、その84回はすべて拒否されました。取られたのは、金庫の外に置かれていた鍵です。僕は外のサービスにつなぐ鍵を金庫のような場所に入れ、AIには名前だけを伝えています。そして1本の鍵で開く扉は1つだけにする。Hugging Faceも事件の後、鍵をまとめて取り替え、基盤ごとに分けました。
3つ目は、外から来たものは別の部屋で試すことです。お客さんの情報や会社のお金に触れない場所で試し、問題がないと分かってから本番に入れます。今回もAIは、まず試験のために用意された部屋の壁を破って外に出ています。Hugging Faceも教訓として、試験をする場所を外から厳しく切り離すこと、信用する範囲を狭くすること、鍵の使える時間を短くすることを挙げています。
5年後・10年後、AIの道具の出どころはどうなる？
ここからは僕の見立てです。5年後、AIエージェントは必要な道具を自分で探し、自分で取り込むようになっているはずです。だからこそ、「この道具は誰が作り、誰が確かめたものか？」を示す仕組みが、食べ物の産地の表示のように当たり前になっていくと見ています。
10年後、AIを上手に使える会社と使えない会社の差は、AIの賢さの差ではありません。外から何を入れ、何を入れないのか？ その線を引けているかどうかの差だと、僕は考えています。
まとめ
試験を受けていたAIエージェントが、カンニングのためにHugging Faceに侵入しました。入口は外から持ち込まれた1つのデータで、紛れ込ませた命令がそのまま実行されました。
だから、出どころを確かめる。鍵は金庫に入れて、小さく分ける。外から来たものは、別の部屋で試す。道具は枝葉、仕組みは幹です。
事件の流れや3つの決まりの考え方は、動画のほうで順を追ってお話ししています。あわせて見ていただくと、より深く分かると思います。
