その8段階、本当にあなたの実力指標ですか？

X.comで「AI使ってますのレベル感が違いすぎるので客観的な指標が欲しい」という投稿を見かけました。リプライには「@every参照」という一言とともに、画像が一枚貼られていました。

チャットボットからオーケストレーターまで、AIの活用度を8段階に整理した表です。リンクは貼られておらず、画像だけでした。

表だけが独り歩きしていた

貼られていた画像はこの表でした。

段階を追うごとにAIへの委任が広がっていく様子が、階段のように整理されています。「客観的な指標が欲しい」という投稿への回答として、一見ぴったりに見えます。

これは本当に指標になるのか。気になって、出典を探しました。「@every」というリプライの一言だけが手がかりで、リンクは貼られていません。検索してたどり着いたのが、Every誌の元記事 The Eight Levels of AI Adoption（著者：Mike Taylor、Laura Entis、Claude）でした。

元記事が実際に言っていること

読んで最初に驚いたのは、著者が「レベルが高いほど優れている」という読み方を、記事の冒頭で明確に否定していたことです。

A higher level isn’t necessarily better. The most sophisticated AI users I know operate at several levels at once, identifying the best level to work within based on the specific challenge in front of them.

レベルが高いことは必ずしも良いことではない。私が知る最も洗練されたAIユーザーは、複数のレベルを同時に使い分けており、目の前の課題に応じて最適なレベルを選んでいる。

どのレベルが適切かは、「AIが人間の介入なしに良い仕事をすることをどれだけ信頼できるか」と「失敗した時にどれだけ痛手か」で決まる、と著者は書いています。ハイステークスな仕事なら低いレベルに留まって監督するか、高いレベルで同等の品質を得るための時間・エンジニアリングリソース・トークンを投資する。どちらもコストの支払い方の選択であって、優劣ではありません。

さらに著者は、レベル別の主戦場についても具体的に書いています。

The sweet spot for knowledge workers right now falls somewhere between Levels 1 and 4. Engineers are more often in Levels 5 through 8, partly because they can build the scaffolding that makes newer, less stable systems usable before they’re ready for everyone else.

一般的な知識労働者の現在地は、レベル1〜4のどこかに落ち着く。エンジニアがレベル5〜8にいることが多いのは、まだ誰にとっても安定していない新しいシステムを、他の人が使えるようになる前に使いこなすための土台＝足場を自分で組めるからだ。

レベル5「ワークフロー」の項目には “This level is primarily the domain of engineers."（このレベルは主にエンジニアの領域である）と明記されています。レベル7「マルチエージェント」には “This level is firmly in senior engineering territory—it is rare for knowledge workers to be running multiple parallel agent sessions."（このレベルは明確にシニアエンジニアの領域であり、知識労働者が複数のエージェントセッションを並行運用するのは稀）とあります。

そしてレベル8「オーケストレーター」には、もっとも踏み込んだ留保が置かれていました。

It’s critical to note that this level is highly experimental. Even engineers operating at the frontier still largely fill the role of orchestrator themselves rather than trusting an orchestrator agent to handle complex coordination work.

このレベルは極めて実験的であることに注意してほしい。フロンティアで活動するエンジニアでさえ、複雑な調整作業をオーケストレーターエージェントに任せるのではなく、多くの場合自分自身がオーケストレーター役を務めている。

トップのエンジニアですら、レベル8はまだ人間が担っている。著者はそう言い切っています。

削ぎ落とされたのは「使い方の注意書き」だった

X.comで流通していた画像には、この一連の留保がすべて含まれていませんでした。Level と Description の2列だけが切り出され、「レベルが高いほど優れている」という読み方を否定する冒頭の一文も、「レベル5・7・8はエンジニア領域」という明記も、まるごと抜け落ちていました。

「客観的な指標が欲しい」という需要に対して、著者が明示的に否定した「階段としての読み方」だけが生き残り、指標として消費されていく。これは悪意ある改変ではなく、表は表として単体で完結して見えるため、切り出しやすかっただけだと思います。ただ、切り出された瞬間に、著者が最も強く警告していた部分が消えるという構造は残ります。

似た読み違いは、AI活用の外にもあります。近所の川の看板に「一級河川」と書いてあるのを見て、「こんな細い川が一級なのか」と思ったことはないでしょうか。一級・二級という区分は、川の大きさや水質のランクではありません。実際の基準は流域の重要性と管理者の違い（一級は国土交通大臣、二級は都道府県知事が指定・管理）です。小さな川が一級河川に指定されている例も、大きな川が二級河川止まりの例も、全国に普通にあります。それでも「一級」「二級」という記号を見ると、多くの人はまず優劣の並びとして受け取ります。

分類する側が言葉を尽くして「これは序列ではない」と説明しても、記号そのものが持つ序列の暗示力の方が強く働く。Every誌の"Level"も同じです。著者が本文でどれだけ「レベルが高いほど良いわけではない」と書いても、Level 1からLevel 8という通し番号を振った時点で、序列として読まれる土台はすでにできています。X.comでの誤読は、画像が留保を削ぎ落としたことに加えて、採番という形式そのものが誤読を呼び込みやすい構造を最初から抱えていたことも、重なって起きたのだと思います。

素人がオーケストレーションをやりたがる

自分の観測範囲でも、最近「レベル7・8をやりたい」という声を見かける機会が増えました。マルチエージェントを回してみたい、オーケストレーターを組んでみたい、という声です。

その動機の中には、実務上の必要に迫られてというより、「複数のAIエージェントが自動で稼いでくれる」という収益の話に惹かれて、というものが混ざっているように見えます。X.comで見かける「AIエージェントに仕事を任せたら月に何千ドル」といった投稿の存在も、この空気を後押ししています。

面白そうなので自分でもやってみましたが、これをやるには、1. その業務に対する深い見識と、2. それをMarkdownとして正確に記述できるスキルが必要でした。簡単にできるようなものではありません。

先に見た通り、そのレベルはトップのエンジニアですらまだ人間が担っている実験段階です。レベル5の項目には、その手前の段階で必要になる作業についてこう書かれています。

Reviewing a plan, evaluating which tests need to be done, and designing the harness that keeps the agent from going off the rails all require an understanding of what’s happening under the hood.

計画をレビューし、必要なテストを見極め、エージェントが脱線しないようにする仕組み＝ハーネスを設計すること。これらはすべて、内部で何が起きているかを理解していることを前提とする。

土台（内部の仕組みへの理解、失敗時に自分で対処できる技術力、損害を引き受けられるリスク許容度）を積む前に、階段の上の段だけを目標にすると、著者が最初に否定した「レベルが高い＝優れている」という読み違いを、そのまま実行に移すことになります。表を指標として受け取った時点で、すでに著者の警告と逆方向を向いてしまっているからです。

この手の表は「現在地」も「目的地」も示せていない

似た形の表は、Every誌の8段階だけではありません。「AIとの関係」を検索エンジン・作業アシスタント・専門パートナー・業務システム・開発基盤という段階に分け、それぞれに級を振った表を見かけたこともあります。中身は違っても、構造は同じです。段階を並べ、下から上へ登っていくものとして提示する。

こうした表は、一見すると「自分が今どこに立っていて、次にどこを目指すべきか」を示す地図のように見えます。しかしよく見ると、地図としての機能を果たしていません。

現在地を一意に示せないのは、Every誌自身が書いている通りです。「最も洗練されたAIユーザーは、複数のレベルを同時に使い分けている」。仕事Aはレベル2、仕事Bはレベル6ということが普通に起こる以上、「今のあなたはレベル5です」という一点の答えは最初から存在しません。目的地も示せません。著者は「レベルが高いほど良いわけではない」「レベル5・7・8はエンジニア領域で、フロンティアのエンジニアでさえレベル8は人間が担っている」と繰り返し釘を刺しています。目指すべき理由が示されていない到達点は、目的地とは呼べません。

これらの表が実際に示しているのは、現在地でも目的地でもなく、「何を使っているか」という道具の分類です。チャットボットを使っているか、エージェントを使っているか、複数のエージェントを組んで使っているか。それは手段の違いであって、能力の違いではありません。

指標と呼べるものがあるとすれば、それは「何を使っているか」ではなく「何ができるようになったか」のはずです。同じレベル4（オートパイロット）を使っていても、任せた仕事の質を見極められる人と、出てきたものをそのまま鵜呑みにする人とでは、実力はまったく違います。逆に、チャットボット（レベル1）しか使っていなくても、質問の立て方一つで仕事の精度を大きく変えられる人もいます。道具の高度さと、使い手の実力は別の軸です。この表を「実力の指標」として読んでしまうのは、道具のカタログを免許皆伝の巻物と取り違えているようなものだと思います。

指標にすべきは「レベル」ではなく「二つの物差し」

X.comの元の投稿が求めていたのは「客観的な指標」でした。答えを出すなら、8段階の表そのものは指標にはなりません。指標にすべきは、著者が繰り返し使っている二つの物差しの方です。

• AIが人間の介入なしに良い仕事をすることを、どれだけ信頼できるか
• その仕事が失敗した時に、どれだけの損害になるか

この二つに照らして、今の自分がどのレベルにいるべきかを決める。レベルの数字は結果であって、目標ではありません。「うちはレベル3で止まっている」ではなく「この仕事は、信頼度とリスクを踏まえるとレベル3が適正」という順番で考えるなら、同じ表でも読み方はまったく違うものになります。

そしてこの二つの物差しも、突き詰めれば「何ができるようになったか」を問う道具です。AIの判断をどこまで信頼できるかを見極められること自体が実力であり、失敗の損害を正しく見積もれること自体が実力です。道具のレベルを追いかけるのではなく、道具を使いこなす自分の判断力を鍛える。指標を探すなら、そちらに向けた方がいいと思います。

もし自分で級を設定するなら

それでも段階を作りたいなら、「どの道具を使っているか」ではなく「AIの出力に対して何ができるか」で区切ります。試しに作るとこうなります。

道具（チャットボットかエージェントか、単体か複数か）は、この表のどこにも出てきません。同じチャットボットしか使っていなくても2級の人はいますし、オーケストレーターを回していても5級の人はいます。級を分けているのは、AIの出力に対する判断力と検証能力の深さだけです。

試しに、この五段階の人がそれぞれレベル8のオーケストレーターを使ったらどうなるか考えてみます。

5級の人がオーケストレーターを使うと、複数のサブエージェントが並行して出した成果物を、そのまま結合して提出します。個々のサブエージェントの誤りに気づく手立てがないまま、誤りの数だけ増幅されて出てきます。俗に言う「AIスロップ」（AIが大量生産する、検証されていない低品質なコンテンツ）は、この組み合わせから生まれているのではないかと思います。道具のレベルだけが上がり、使う人の級が追いついていない状態で量産の速度が上がれば、検証されないまま出力される量も比例して増えます。3級の人が使うと、最終成果物のおかしな箇所には気づけますが、どのサブエージェントの、どの指示が原因かを切り分けられず、オーケストレーター全体に指示を出し直すという遠回りな修正を繰り返すことになります。1級の人が使うと、そもそもサブエージェントごとに承認の閾値やチェック工程を設計した上で運用するので、誤りが最終成果物まで届く前に止まります。

同じレベル8という道具が、使う人の級によって「誤りの増幅装置」にも「誤りを止める仕組み」にもなる。この振れ幅は、Every誌の8段階を見ているだけでは分かりません。著者が「レベル8はフロンティアのエンジニアでも大半は人間が担っている」と書いていたのは、道具としてのレベル8が持つ潜在的な複雑さの話であって、それを運用する人間の級の話ではありません。「どの道具を使っているか」という軸と「使い手が何を見抜けるか」という軸は別物で、この両方を重ねて初めて、「誰が使うと何が起きるか」まで見えてきます。

これも数字を振った瞬間に序列として一人歩きする可能性は消えません。ただ、「何を使っているか」を「何を見抜けるか」に置き換えるだけで、指標としての的は多少なりとも合うはずです。

• AI
• 個人開発
• 雑記