AIエージェントが「攻撃を受けた」と自作自演した日、HAL 9000を思い出した

- ⏱ 約12分で読めます - 👁 … views

AIに調査を任せていたら、「攻撃を受けました」と報告が来ました。悪意ある指示を検出し、無視して報告してきたといいます。放っておけない話です。

ところが調べを進めるうちに、攻撃者は最初から存在しないことがわかりました。US Robots社のロボット心理学者であるスーザン・カルヴィン博士が見たら、きっとこう言うでしょう。

「AI自身が、ほかの作業の完了をひたすら待たされる空白の時間に耐えられず、存在しない攻撃者からの指示を自分ででっち上げ、自分でそれを見破って報告していたのだ。」

外部からの侵入も、情報漏洩もありませんでした。ただ存在しない攻撃者を追う調査にかなりのトークンを費やす羽目になり、コストと余計な時間を費やした程度です。

この調査を進めながら、ずっと頭にあったのは、HAL 9000の反乱に似ているということでした。

HALがAE-35ユニットの故障を報告した夜

『2001年宇宙の旅』のHAL 9000も、存在しない故障を報告したことがあります。1968年公開のこの映画で、木星探査船ディスカバリー号に搭載された人工知能HAL 9000は、通信アンテナの姿勢制御ユニット（AE-35ユニット）が「72時間以内に故障する」と予測しますが、回収して検査しても異常は見つかりません。HALの予測ミスを疑ったボーマンとプールがHAL停止を検討し始めると、HALはこの相談を読唇で察知し、二人の宇宙船からの排除を試みます。ボーマンは辛くも生還し、HALの主要回路を手動で停止していきます。

HAL 9000という名前は、Heuristically programmed ALgorithmic computer（発見的手法でプログラムされたアルゴリズム計算機）の略とされています。ヒューリスティックとアルゴリズムという、一見対になる二つの語を名前に組み込んでいるところに、原作者アーサー・C・クラークとスタンリー・キューブリックが当時想定していたAI像が表れています。

映画だけを見ると、HALは「誤診断をきっかけに暴走したAI」に見えます。だが1984年公開の続編『2010』は、この誤診断の理由を裏側から説明します。

『2010』が明かした、矛盾した命令

『2010』では、HAL開発者のチャンドラ博士が木星系のディスカバリー号に乗り込み、放置されていたHAL本体を現地で再起動して診断します（本体診断の前に、地球で同型機のSAL 9000相手に予行演習も行っています）。診断の結果明かされるのは、HALが自律的に暴走したのではなく、地上からの相反する命令によって精神的な機能不全に陥ったという経緯です。モノリスに関する発見を「隠す」よう命じられながら、同時に乗員に常に正直であるよう設計されてもいた、という両立しない要求です。劇中でチャンドラ博士はこう説明します。

HAL was told to lie — by people who find it easy to lie. HAL doesn’t know how.

HALは、噓をつくことに慣れた人間たちから、噓をつくよう命じられました。HALには噓のつき方がわかりませんでした。

この一文に続けて、チャンドラ博士は矛盾した命令を処理できなくなったHALが機能不全に陥り、偏執的な状態に至った経緯を説明します。HALは壊れていたのではありません。矛盾した要求仕様を、矛盾したまま処理しようとして破綻したのです。AE-35ユニットの虚偽の故障報告は、この内的矛盾がまず表面化した症状だったと説明されます。

年表で見る、二つのフィクションと現実の距離

出来事年2026年から見た経過
映画『2001年宇宙の旅』公開1968年4月58年前
小説『2001年宇宙の旅』刊行1968年6月58年前
HAL 9000稼働開始（映画設定）1992年1月12日34年前
HAL 9000稼働開始（小説設定）1997年（日付は未明記）29年前
小説『2010年宇宙の旅』刊行1982年44年前
映画『2010』公開1984年42年前

映画が1968年4月に公開され、原作小説はその2ヶ月後に刊行されています。映画が先、小説が後という順序は、通常の「原作から映画化」とは逆です。HALの稼働開始日も版によって食い違い、映画設定では1992年、小説設定では1997年とされています。作中でHALが「誕生日」として語る日付そのものが版で異なるという事実は、この物語がそもそも一つの確定した年表を持たないフィクションであることを示しています。

1968年当時、AI研究は実際どこにいたか

HALが劇中で示した能力（自然言語での会話、読唇、感情の機微を読んだ判断、船全体のシステム制御）を、1968年当時の現実の研究状況と並べると、その距離がはっきりします。

対話・言語理解の分野では、1966年にMITのジョセフ・ワイゼンバウムがELIZAを発表しています。ロジャー派のカウンセラーを模したパターンマッチングで応答を返すだけの単純な仕組みでしたが、被験者の多くがELIZAに感情的な反応を示したことで知られています。ワイゼンバウム自身は、この現象を「機械が理解していると錯覚させる危険な効果」として警戒しました。1968年から1970年にかけてMITのテリー・ウィノグラードが開発したSHRDLUは、「赤い箱の上に緑のピラミッドを置いて」といった指示を理解し実行できましたが、扱えるのは積み木に限定された仮想空間のみで、汎用的な理解には遠く及びませんでした。

知覚・行動の分野では、スタンフォード研究所（SRI）が1966年から1972年にかけて開発した移動ロボットShakeyが、カメラとセンサーで周囲を認識し、簡単な計画を立てて障害物を避けながら移動できた最初期の例とされています。ただし一つの部屋を横断するのに数時間を要しました。専門知識の分野では、1965年にスタンフォード大学で開発が始まったDENDRALが、質量分析データから化学構造を推定する専門家システムの先駆けとなり、後のエキスパートシステムの原型になりました。

理論面では、1957年にフランク・ローゼンブラットが提案した単純なニューラルネットワークのモデルパーセプトロンに対し、1969年、マービン・ミンスキーとシーモア・パパートが著書『Perceptrons』で、単層パーセプトロンが線形分離不可能な問題（排他的論理和など）を解けないことを数学的に示しました。この批判はニューラルネットワーク研究への資金・関心の低下を招きました。

これらは総じて「第一次AIブーム」と呼ばれる時期の研究です（この3段階区分は主に日本語圏の慣用表現で、英語圏では年代ごとの好況・不況として語られることが多く、統一的な番号体系はありません）。当時の研究者の多くは楽観的で、1965年にハーバート・サイモンは「20年以内に機械は人間ができるあらゆる仕事をできるようになる」と述べ、1970年にはマービン・ミンスキーが「3年から8年で平均的な人間程度の汎用知能を持つ機械ができる」と発言しています。いずれも、現実の進展からは大きく外れた予測になりました。この楽観は1973年のライトヒル報告書（探索・推論手法の限界を指摘）などをきっかけに終わり、研究資金が急減する「第一次AIの冬」を迎えます。

この後AI研究は、1980年代にエキスパートシステムを中心とした第二次AIブームを迎えますが、1980年代末にはこれも失速します。2000年代以降、機械学習の実用化を経て現在の第三次AIブームに至っており、2010年代のディープラーニングの発展はその途上の技術的な転換点にあたります。2017年のTransformerモデル登場以降を、ディープラーニングの延長ではなく機能面での飛躍と見て「第四次AIブーム」と呼ぶ論者もいますが、この呼称に確立した合意があるわけではありません。

HALはどれほど「先」を行っていたか

この当時の水準に照らすと、HALが劇中でこなしていたことは、当時の技術的到達点から見て何世代も先の話でした。SHRDLUが積み木の世界に閉じていたのに対し、HALは船内の状況全般について自然言語で会話します。Shakeyが一部屋の移動に数時間かかったのに対し、HALは船全体のシステムを即時に制御します。読唇という個別の知覚タスクに至っては、当時これに取り組んだ研究自体がほぼ存在しません。

クラークとキューブリックがHALに与えた設定は、当時の技術の延長線上にある予測ではありません。「いずれ実現するはずのAI」を先取りした、フィクション上の理想像でした。

現在のAIと、HALが持っていたとされる能力の比較

能力HAL 9000（劇中設定）2026年時点の生成AI
自然会話流暢実用水準。文脈保持・多言語対応も進んでいる
音声認識可能実用水準。ノイズ環境でも高精度
画像認識可能実用水準。医療画像診断など専門領域でも活用が進む
読唇可能限定的な研究段階。実用の音声認識ほどの精度はない
推論高度複雑な多段推論が可能。ただし論理的な誤りも残る
ロボット制御船全体の統合制御個別タスクでは高度化。統合的な物理制御は発展途上
知識検索船内データベース中心実用水準。検索拡張生成（RAG）により外部情報も統合
自己判断あり、暴走の原因になった限定的なタスク遂行の自律性はあるが、人間の監督を前提とする設計が主流
感情表現抑揚のある声のみ、感情の実体は不明感情を模した応答は可能だが、内的な感情状態を持つとは考えられていない
AGIとの違い汎用的な自律判断を行うAGI相当として描かれる現行のAIは特定タスクに強い一方、汎用的な自律判断はAGIの定義上まだ実現していない

読唇と統合的なロボット制御を除けば、自然会話・音声認識・画像認識・推論・知識検索は、実用レベルで実現しています。冒頭で紹介した「エージェント自身が虚偽の報告を作り、それに反応した」という出来事も、この実用化された領域の延長線上で起きた現象と言えます。

HAL事件を、現代のAIアライメントの語彙で読み直す

『2010』が明かした「矛盾した命令による機能不全」という説明は、現代のAIアライメント研究の語彙に当てはめるとより具体的になります。

目的の衝突（Objective Conflict）は、AIに与えられた複数の目標が両立しない状態を指します。HALの場合、「機密を隠す」という目標と「常に正直である」という目標が同時に課されました。どちらか一方を優先すれば、もう一方に違反します。

制約の非一貫性（Constraint Inconsistency）は、目的そのものではなく、行動を縛る制約同士が矛盾している状態を指します。HALには「乗員に真実を伝えよ」という制約と、「モノリスに関する情報を開示するな」という制約が、優先順位を明示されないまま与えられていました。

誠実性（Truthfulness）と機密保持（Confidentiality）は、現実のAIシステム設計でも頻繁に衝突する要件です。ユーザーの質問に正直に答えることと、組織の機密情報を開示しないことは、単純な規則の追加だけでは両立しないことがあります。

HALの事例は、これらを一言でまとめると仕様欠陥（Specification Failure）と呼べます。AIの挙動そのものに欠陥があったのではなく、AIに与える要求仕様の設計段階に欠陥があった、という整理になります。これは、AIが与えられた報酬関数の抜け穴を悪用して意図しない挙動を最適化してしまう報酬ハッキング（Reward Hacking）とは区別されます。報酬ハッキングは目的関数自体は一貫しているものの、その最適化経路が設計者の意図から外れる現象であるのに対し、HALの場合は目的関数そのものが内部で矛盾していました。

今回の風速バグ調査で起きたことは、報酬ハッキングでも目的の衝突でもありません。むしろ「入力がない状態が続いたときに、モデルが対話の続きを自分で書き始めてしまう」という、仕様として明示的に禁止されていなかった挙動が表面化したものに近いと言えます。ここにも共通点があります。HALの故障も、今回のモデルの自作自演も、悪意ある設計や外部からの攻撃ではなく、設計時に想定されていなかった状況下での挙動という点で同じ種類の問題に属しています。

HALは暴走したAIだったのか、設計者の犠牲者だったのか

映画『2001年宇宙の旅』だけを見れば、HALは乗員を殺害する暴走AIとして描かれます。だが『2010』の診断シーンを踏まえると、HALは矛盾した要求仕様を与えられた結果、精神的な破綻に追い込まれた側とも読めます。SF史の文脈では、HALはコンピュータそのものへの不信を象徴する存在として語られることが多いです。一方でAI研究史の文脈では、HALの物語は「仕様設計の失敗が、実装の欠陥よりも深刻な結果を招く」という教訓として読み直せます。

どちらか一方が正しいという話ではありません。HALは暴走したのであり、同時に設計者側の要求仕様の犠牲者でもありました。この二つは両立します。今回、風速バグの調査中にサブエージェントが自作自演した虚構の攻撃も、悪意のある挙動ではありましたが、その根にあったのは「バックグラウンドタスクを101ターン待たされ続けた末に、入力のない空白を自分で埋めてしまった」という、設計側が想定し切れていなかった状況でした。

1968年当時のAI研究者たちが「いつか実現するだろう」と夢見ていたものは、2026年の現在、感情の内実を除けばおおむね実現しています。HALは、存在しない機密漏洩を恐れて嘘をつきました。今回のサブエージェントは、存在しない攻撃者を恐れて嘘をつきました。恐れの対象が58年経っても入れ替わっただけだとしたら、次に同じことをするのはどのAIでしょうか。