10月5日、ニューヨーク市議会の公聴会で、元Anthropicの研究者が「僕たちは、まだどのAIも制御する方法を知らない」と証言しました。そんなに危ないなら、AIエージェントに仕事を任せるのはやめたほうがいいのでしょうか？ 毎日AIエージェントに仕事を任せて会社を経営している僕の立場から、この警告の受け止め方と、AIとの付き合い方を考えます。
この記事の結論
結論を先に3つお伝えします。1つ目。元Anthropicの研究者が議会で「僕たちは、まだどのAIも制御する方法を知らない」と証言しました。この警告は、聞き流してはいけない話です。
2つ目。ただし、人類の未来の話と、僕たちの会社の机の上の話は、分けて考える必要があります。会社でAIエージェント、つまりAI秘書を使うときに大事なのは、怖がることではなく、AIに「どこまで任せるか」の線を引くことです。
3つ目。その線は「お願い」では守れません。「仕組み」で守ります。新しいAIが次々に出てきても、この仕組みは変わりません。道具は枝葉、仕組みは幹です。
ニューヨーク市議会で何が起きたのか？
公聴会を開いたのは、ニューヨーク市議会のジュリー・メニン議長です。そこで証言したのが、9月にAnthropicを辞めた研究者、ジェイコブ・コクソンさんでした。Anthropicは、僕が毎日使っているAI、Claudeを作っている会社です。
議会には、Anthropic、OpenAI、Google、Metaの担当者もオンラインで出席しました。議長の事務所が「出てこなければ、召喚状を出すこともある」と伝えたうえでの出席です。
メニン議長は「AIの会社が自分たちで自分を律する、という考えは、うまくいかない」と話しています。AIの会社に任せきりにせず、ルールで縛る、という動きです。
元研究者の警告と、議会が考える4つのルール
コクソンさんの訴えは3つです。まだどのAIも制御する方法を知らないこと。最先端のAIの開発は少しスピードを落とすべきだということ。そして、暴走したAIを止める「非常停止のスイッチ」は短い間は役に立っても、それだけで長く安全を守れるとは思えないということです。辞めるときには、AnthropicとOpenAIを「僕たちの命を賭け金にしている」とまで批判しています。
一方で、彼の主張には行き過ぎだという声もあります。どちらが正しいかは、今の時点では誰にも言い切れません。
議会が考えているルールは4つです。非常停止のスイッチ。違反を知らせた内部告発者に罰金の一部を渡す仕組み。被害を受けた人が作った会社を訴えられる仕組み。一部のAIを使い始める前に、外の第三者が確かめる仕組み。僕が注目したのは、どれも「お願い」ではなく「仕組み」だという点です。
比べる場面を間違えない。研究所の話と、会社の机の上の話
AIエージェントは、質問に答えるだけのAIではありません。人の代わりにファイルを作り、整理し、調べものをして、手を動かして仕事を仕上げてくれるAIです。手を動かすからこそ便利で、気をつける点もあります。
コクソンさんが話しているのは、世界でいちばん強いAIを作る研究所の話、人類全体がAIを制御できるかどうか？ という話です。
一方、会社でAIエージェントを使うときの問題は、もっと身近です。大事なファイルを消してしまわないか？ お客さんの情報を外に送ってしまわないか？ 勝手にお金を払ってしまわないか？ こちらは、今日から自分の手で線を引くことができます。
「お願い」では守れない。禁止・確認・自動許可の3つの関所
多くの人は、AIに「大事なファイルは消さないでね」とお願いします。でも、お願いはだいたい守られるだけで、必ず守られるわけではありません。人間の会社でも、就業規則に書いてあるだけで会社のお金を守る社長はいませんよね。大きなお金は決裁の権限で止めます。社長の印鑑がなければ、お金は出ません。
AIエージェントにも、同じ仕組みを入れます。僕は仕事を3つの関所で分けています。1つ目は禁止。パスワードや鍵のファイルを読むこと、大事なものを消すことは、頼まれてもできないようにしておきます。2つ目は確認。外にメールを送る、公開する、お金を払う。これは実行の前に必ず僕に確認を求めます。3つ目は自動許可。調べもの、下書き、文字起こし、ファイルの整理は、自由に任せます。
大事なのは、この線をAIの性格や気分に頼らず、仕組みの側で止めることです。そうすれば、どんなAIの頭脳に入れ替えても、同じ線が守られます。
毎日守らせている3つの決まりと、承認疲れの落とし穴
関所のほかに、毎日守らせている決まりが3つあります。消さずに、移動する。間違えても、すぐに元に戻せます。いきなり動かさず、先に計画を見せてもらう。何をどの順番でやるかをAIに書かせ、僕が目を通してから動かします。大事な鍵は金庫に入れる。パスワードのようなものは、AIに中身を見せない場所に入れて、名前だけを伝えます。
どれも難しい技術ではありません。新しい社員に仕事を任せるときと同じ考え方です。AIエージェントは、とても仕事の速い新人です。速いからこそ、最初に決まりを渡しておくことが大切です。
ただし、確認の関所には落とし穴があります。確認が多すぎると、人は中身を読まずに「はい」を押すようになります。承認疲れです。本当に取り返しがつかない操作だけを確認にする。確認の数を増やすことは、安全を高めることにはなりません。
人に残る3つの仕事と、5年後・10年後
AIがどれだけ賢くなっても、人に残る仕事は3つだと僕は考えています。何をやり、何をやらないかを決めること。AIにどこまで任せるか、線を引くこと。そして、AIがやった仕事の結果に、最後に責任を持つこと。人は判断、作業はAIです。
AIの会社の側も、同じ方向に動いています。10月8日、Googleは新しいAIエージェント「Geminiエージェント」を発表しました。AIエージェントに自分のメールアドレスとアカウントが与えられ、操作はAIエージェントの名前で記録に残ります。AIにも「社員証」と「業務の記録」を持たせる時代です。
5年後、AIエージェントは社員と同じように、名前とアカウントと権限を持って働いているはずです。ニューヨークのような地域から、AIのルールづくりも進んでいるでしょう。10年後、AIの力は今よりずっと強くなっています。そのとき、AIを上手に使える会社と使えない会社の差は、AIの性能の差ではありません。任せる線を引けている会社と、引けていない会社の差だと、僕は考えています。
まとめ
元Anthropicの研究者の警告は、聞き流してはいけない話です。ただし、人類の未来の話と会社の机の上の話は、分けて考えます。会社でAIエージェントを使うなら、怖がるのではなく、線を引く。その線は、お願いではなく、禁止・確認・自動許可の3つの関所という仕組みで守る。そして人は、決める、線を引く、責任を持つ、の3つに集中する。道具は枝葉、仕組みは幹です。
動画では、議会での証言の中身や、僕が実際にAIエージェントに渡している決まりを、順を追ってお話ししています。動画を見ていただくと、より深く分かると思います。
