お知らせ説明会を兼ねたセミナーの収録動画を、お届けしています▶ 収録動画を受け取る
AIで仕事を変える2026年11月22日

新しいAIは発表の点数で選ばない。自社の仕事3つで比べる手順

点数が上でも、明日の仕事が軽くなるとは限りません

最近、新しいAIを試すときは、「発表の点数」と「自社の仕事3つ」を必ずセットにしています。
点数だけでは、明日の仕事が軽くなるかどうかが分からないからです。

ちょうどいい例が出ました。中国の大手が新しいAIを出し、画像も読めて、一度に100万トークンまで扱えると発表しました。トークンとは、AIが文章を読むときの小さな単位のことです。100万トークンと聞いたら、分厚い資料の束をまとめて渡せる量だと考えてください。

さらに、一部の性能テスト(ベンチマーク=AIの成績を測る共通の試験)では、アメリカの最上位のAIを上回ったとされました。ところが、第三者がまとめた総合の評価では、順位が大きく下がるという指摘が出ています。中身を公開しているAIは、最上位の非公開のAIに8か月以上追いついていない、という見方もあります。

どちらが正しいのか、僕には決められません。ただ、この話が多くの人にうなずかれたのは、「公表された点数と、実際の使い心地は別物」という、うすうす感じていた疑いを数字で突いたからでしょう。

経営者の机の上でも、同じことが起きています。新しいAIのニュースを見て、乗り換えるべきか迷う。試してはみたものの、前のAIと何が違うのか言葉にできない。結局、何となく元の道具に戻る。迷った時間だけが積み上がります。

選び方を決めていないと、ニュースが出るたびにこの迷いがくり返されます。新しいAIは、これからも次々に出てきます。だからこそ今、点数に振り回されない選び方を、自分の会社のルールとして1つ持っておく意味があるのです。

AIは入れ替わるアプリ、判断基準は動かない土台

講義で、僕はよくスマートフォンのたとえを使います。iPhoneのOS(土台になる基本の仕組み)がなければ、どんなに優秀なアプリも動きません。会社も同じで、判断基準が土台、一つひとつの事業はその上で動くアプリです。

AI選びに当てはめると、見え方が変わります。新しいAIは、入れ替わっていくアプリのひとつにすぎません。変えてはいけないのは、そのアプリに何をさせ、どんな出来なら合格とするかという、自社の物差しのほうです。

発表の点数は、作った側か第三者が用意した試験の成績です。その試験の問題は、あなたの会社の見積もりでも、お客様へのお詫びのメールでもありません。測り方を変えれば順位が入れ替わることは、今回の件でも見えました。

二つの選び方を並べてみます。

発表の点数で選ぶ
・長所:すぐ比べられる。手間がかからない
・短所:問題が自社の仕事ではない。測り方で順位が動く

自社の仕事3つで選ぶ
・長所:結果がそのまま明日の仕事に効く。違いを自分の言葉で説明できる
・短所:最初に仕事を選び、指示文を用意する手間がかかる

流れはこうなります。
新しいAIの発表を見る → 自社の仕事3つを、同じ指示文で今のAIと新しいAIに頼む → 自社の判断基準で採点する → 勝ったほうをその仕事に使う

もうひとつ、乗り換えをこわがらなくていい理由があります。AIに渡すものは、目的や判断の基準、仕事の前提、うまくいった手順の3段です。うまくいった手順を1枚の手順書(スキル)にしておけば、Claude・Codex・Geminiの3社で同じように使えます。土台と手順が手元にあれば、上に載るAIを替えても仕事は止まりません。

今日の午後にできる「3つの仕事テスト」

手順は4つです。

1. 普段の仕事から3つ選ぶ
おすすめは、性質の違う3つです。たとえば、毎週書いている文章(見積もりの説明文、お客様への返信メール)、長い資料を読ませる仕事(契約書や会議の記録の要約)、判断が要る仕事(2つの案のどちらを選ぶか)。今回のように「一度に読める量」が売りのAIなら、長い資料の仕事で差が出ます。画像が読めるAIなら、手書きのメモや紙の書類の写真を混ぜてもかまいません。

2. 同じ指示文を、今のAIと新しいAIの両方に渡す
指示文を一字でも変えると、比べられなくなります。資料は、社名やお客様の名前を伏せたものを使ってください。

3. 自社の判断基準で採点する
点数をつけるのはAIではなく、自分です。

4. 指示文と結果を1つのフォルダに残す
次の新しいAIが出たら、同じテストを流すだけで済みます。

テストのときに渡す指示文の例です。そのままコピーして、[ ]の中だけ書き換えてください。

あなたは当社の仕事を手伝う担当です。
当社は[業種]で、お客様は[どんな人]です。
次の仕事をしてください。
[仕事の内容と、渡す資料]
条件:
・分からないところは、推測で埋めずに「分からない」と書く
・最後に、あなたが自信のない箇所を3つ挙げる

結果を比べるときは、別の指示文を使います。

これから、同じ仕事を2つのAIにさせた結果AとBを渡します。
当社の判断基準は次のとおりです。
・[例:お客様に約束できないことは書かない]
・[例:結論を最初の2行で言う]
・[例:専門用語を使ったら言い換える]
この基準に照らして、AとBそれぞれが基準を守れていない箇所を、本文から引用して並べてください。どちらが良いかの結論は出さないでください。

最後の一文が肝心です。どちらを選ぶかは自分で決めます。AIには、判断の材料をそろえてもらうだけにします。

報告書より現物を見る。僕の新しいAIの決め方

このやり方のいいところは3つあります。

①ニュースに振り回されなくなる
新しいAIが出るたびの大きな迷いが、「テストを流すかどうか」という小さな判断に変わります。

②違いを言葉で説明できる
「なんとなく良さそう」ではなく、「長い契約書の要約で、抜けが少なかった」と言えるようになります。社員に乗り換えを頼むときも、この一言が効きます。

③判断基準が育つ
採点を重ねるほど、自社が何を大事にしているかがはっきりしてきます。AIは、使うものではなく、育てるもの。育つのはAIだけでなく、渡す側の物差しも同じです。

講義では、工場で生まれた経営の考え方も、自分の仕事のやり方として読み替えてほしいと話しています。「工場の話だから自分には関係ない」と思うのは誤解です。ものづくりの現場でよく言われる「実際の現物を見て判断する」という考え方は、AI選びにそのまま当てはまります。発表の点数は報告書、自社の仕事3つで試した結果は現物です。

僕はエンジニア経験ゼロのまま、自分で設計図を書いてAI経営本部を組み上げました。物販・飲食・情報・サービスの4事業を回すうえで土台に置いているのも、AIの順位表ではなく判断基準のほうです。

僕なら、新しいAIの発表を見ても、その日のうちに乗り換えはしません。まず、手元のフォルダにある3つの仕事テストを流します。自社の基準で今のAIを上回った仕事があれば、その仕事だけを新しいAIに移します。上回らなければ、点数がどれほど高くても今のままにします。

あなたの会社なら、テストに入れる3つの仕事は、どれにしますか?

AIに最初に渡す「判断基準シート」を、LINEで無料でお渡ししています。

LINEで受け取る

BLOG

孔明の話 新しい記事

記事をすべて見る →

上部へスクロール