ヒューマンインザループとは？AIエージェント時代の人とAIの役割分担・設計ガイド

最終更新日:2026/10/30

「AIのミスが怖くて、結局全件手作業で確認している」
「完全自動化によるコンプライアンス違反が不安……」

このような「手作業の負担」と「自動化のリスク」のジレンマを解消する仕組みが、「ヒューマンインザループ（Human-in-the-Loop / HITL）」です。AIへの完全依存と全件確認を避け、人とAIの適切な関与バランスを設計します。

本記事では、HITLの定義から3つの関与モデル、メリット・デメリット、活用事例までを端的に解説します。

自社のどの業務に人が関与すべきかの基準が明確になり、安全性と生産性を両立したAI運用体制を構築できるようになるでしょう。

ヒューマンインザループとは？

ヒューマンインザループ（Human-in-the-Loop、HITL）とは、AIの開発から運用までのプロセスに、人による確認・修正・判断・フィードバックを組み込む仕組みのことです。

具体的には、以下のような形で人が介入します。

AIが算出した結果を、担当者が承認してから最終実行する
信頼度が低い（判断が難しい）案件だけを、人のオペレーターに引き継ぐ
人が出力結果を評価・修正し、そのデータをAIの再学習に利用する

修正データを再学習に用いる高度な連携だけでなく、単に人が承認・監視プロセスに入るだけでもHITLに含まれます。 AIの性能が飛躍的に向上した現在でも、責任を伴う重要な意思決定においては「全工程の完全自動化」ではなく、「人とAIの役割を分担する」というアプローチが強く求められています。

AI以前から使われてきた背景

HITLという概念は、生成AIやディープラーニングが登場する以前から、シミュレーション・制御・人間工学などの分野で使われてきました。

古くはフライトシミュレーターやドライビングシミュレーターなどにおいて、操作者がシステムの制御や評価に関与する構成を指す言葉として用いられてきた歴史があります。近年では機械学習の領域にも応用されるようになり、学習データの作成から運用時の例外対応まで、多様な場面で「人の判断を組み込む仕組み」として定着しました。

なぜAIだけでは業務が完結しないのか

機械学習モデルは、過去のデータパターンに基づく予測や分類を高速に処理できます。しかし、「学習データにない未知の事例」や「複雑な社会的・文化的背景の理解」が求められる場面では、重大な誤りを犯すリスクがあります。

特に検討すべきは「責任の所在（説明責任）」です。与信の否決や採用の不合格など、人の権利や利益に直結する判断をAI単独に任せるのはコンプライアンスや倫理の観点から極めて危険です。

「組織として誰が最終判断を下し、責任を負うのか」を明確にするためにも、人の介在が不可欠です。また、時間が経つにつれて入力データの傾向が変化し、AIの性能が劣化する現象（モデルドリフト）を防ぐためにも、定期的な人の監視と軌道修正が必要なのです。

RLHF（人間のフィードバックによる強化学習）との違い

HITLと混同されやすい概念に、「RLHF（Reinforcement Learning from Human Feedback）」があります。 RLHFは、人がAIの出力結果を評価し、そのデータを用いてモデルを微調整（ファインチューニング）する「学習手法」の1つであり、ChatGPTなどの生成AI開発でも活用されています。

一方のHITLは開発段階の評価に留まらず、運用フェーズでの承認や監視、例外への対応までを広く包含する概念です。つまり、RLHFはHITLという大きな枠組みの中に含まれる「開発手法の1つ」であると言えるのです。。

AIに人が関わる3つの方法

AIへの人の関わり方は、「個別の判断を確認する」「AIの動作を監視して必要なときだけ介入する」「個別の判断には関与しない」という3つの方法に分けて考えると理解しやすいです。

名称	人の関わり方	具体例
ヒューマンインザループ（Human-in-the-Loop）	AIの判断を人が確認・承認する	与信の最終判断・契約締結前の確認
ヒューマンオンザループ（Human-on-the-Loop）	AIを監視し、必要なときに介入・停止する	生産ライン・運航システムの監視
ヒューマンアウトオブザループ（Human-out-of-the-Loop）	個別の判断には関与しない	迷惑メールの自動振り分け

ヒューマンインザループ｜人がAIの判断を確認する

ヒューマンインザループ（Human-in-the-Loop）は、人がAIの個別の判断へ直接関与する形です。代表的なのは、AIの出力を担当者が確認し、承認してから処理を進める運用です。処理中に修正する場合や、出力を事後評価して次の判断へ反映する場合もあります。

実行前の承認を置くと、処理は人の確認を待つため、その分だけ時間とコストがかかります。一方、一件の誤りが大きな影響を与える判断では、処理速度より確認の確実性が重視されます。与信の可否・契約締結・特許出願前の確認などが具体例です。

ヒューマンオンザループ｜AIを監視し、必要なときに介入する

ヒューマンオンザループ（Human-on-the-Loop）は、AIが自律的に処理を進め、人は動作を監視し、異常や例外が起きたときに介入・中止する形です。人は一件ごとに承認するのではなく、処理全体を見守ります。

件数が多く、一件ずつ確認することが難しい業務に向いています。信頼度指標が基準を下回ったケースや、あらかじめ指定した例外を担当者へ引き継ぐ運用が代表的です。どの条件で通知・停止・引き継ぎを行うかを決めておかないと、異常への対応が遅れるおそれがあります。

ヒューマンアウトオブザループ｜個別の確認を行わない

ヒューマンアウトオブザループ（Human-out-of-the-Loop）は、AIや自動化システムが個別の処理を完結させ、人が一件ごとの判断には関与しない形です。人の役割は、事前のルール設定・定期的な監査・障害発生時の対応などに移ります。

対象となるのは、迷惑メールの振り分けなど、大量に発生し一件あたりの影響が小さい処理です。多少の誤りが生じても損害が限定的で、人が一件ずつ確認する負担のほうが大きい場合に選ばれます。

ただし、個別確認を行わない場合でも、性能の監視や停止手段が不要になるわけではありません。

ヒューマンインザループの仕組み

ヒューマンインザループでは、AIが処理した結果を人が確認し、必要に応じて承認・修正します。確認結果はそのまま業務へ反映するほか、記録を蓄積してルールやモデルの改善に利用する場合もあります。

基本的な流れは、次の4つです。

AIが一次処理する：予測・分類・生成など、あらかじめ設定した処理をAIが行います。
人が確認・修正する：担当者がAIの出力を確認し、承認・修正・差し戻し・例外対応を行います。
結果を記録する：AIの出力、人の判断、修正内容などを記録し、後から確認できる状態にします。
必要に応じて改善へ反映する：記録した結果を分析し、ルールの見直しやモデルの再学習に利用します。

再学習はHITLの必須条件ではありません。AIの出力を人が確認・承認するだけの運用もあります。重要なのは、誤りが起きた場合の影響に応じて、どの処理を人が確認し、どの処理をAIに任せるかを決めることです。

ヒューマンインザループのメリットとデメリット

HITLには、AI単独では対応しにくい例外を人が確認できる利点があります。一方、人による確認には時間・人件費・教育・権限管理が必要です。得られる効果と増える負担を比較したうえで、業務ごとに関与方法を決める必要があります。

ヒューマンインザループのメリット

人がAIの出力や判断へ関与することで、例外への対応・偏りの確認・判断過程の記録を行いやすくなります。ただし、人による判断が常に正しいとは限らないため、判断基準や確認方法もあわせて定めます。

精度と例外対応力の向上

人が確認することで、AIの誤りを発見・修正できる可能性が高まります。学習時に扱っていない事例や、背景を踏まえる必要がある案件であっても、担当者が内容を確認して誤処理を止められます。

修正結果を検証し、モデルやルールの更新に利用すれば、同種の誤りを減らせる場合があります。ただし、人が関与すれば必ず正しい結果になるわけではありません。判断基準の共有・担当者教育・複数人による確認などを組み合わせる必要があります。

バイアスの検出と軽減

AIは、学習データに含まれる偏り（バイアス）を引き継ぎ、場合によっては偏りを強めることがあります。人による点検は、特定の属性に不利な結果が集中していないかを確認する機会になります。

採用・与信など、人の権利や利益へ影響する領域では、属性別の評価指標・複数人による確認・判断基準の共有を組み合わせることが重要です。担当者自身の判断にも偏りが入り得るため、人を配置するだけで公正さが保証されるわけではありません。

説明責任を支える監査証跡

誰が・いつ・どの出力を確認し、どのように変更したかを記録する仕組みを設ければ、監査証跡として利用できます。後から判断の経緯を説明する際に、AIの出力・人の修正内容・承認者・実行結果を確認できます。

「AIが決めました」だけでは説明できない判断ほど、記録の価値は高まります。上司への報告・内部監査・規制対応に使えるよう、記録する項目・保存期間・閲覧権限を決めておきます。

ヒューマンインザループのデメリット

人による確認フローを設けると、レビューにかかる時間・人件費・担当者教育などの負担が増えます。処理量が増えた場合に人の確認が滞らないよう、対象の絞り込みや体制づくりが必要です。

コストに直結するレビュー工数

人によるレビューを設けると、確認にかかる時間と人件費が増えます。精度を追求して確認範囲を広げるほど、処理の遅延や担当者の負担も大きくなります。

リアルタイム性が求められる処理では、担当者の承認を待つ遅延が問題になる場合があります。高リスクの操作だけを承認対象にする、低信頼度の項目だけを確認するなど、影響度に応じて承認対象を選ぶ必要があります。

人がボトルネックになる規模の限界

人の確認能力には上限があります。AI側の処理速度が人の確認速度を上回っても、レビューが追いつかなければ全体の処理は滞るでしょう。処理量の増加に対応するには、確認対象の絞り込み・担当者の増員・画面設計の改善などが求められます。

人の判断にもばらつきがあります。同じ案件でも、担当者によって結論が異なるケースは珍しくありません。判断基準を文書化し、担当者間の一致率を確認することが、品質維持につながります。

レビュー担当者の確保・育成が課題に

AIの出力を評価する担当者には、対象業務への理解と、AIが誤りやすい条件を見抜く専門知識が求められます。担当者の確保・教育・判断基準の更新には、相応の時間とコストがかかります。

また、レビュー担当者が機密情報・個人情報へアクセスする場合があるため、閲覧権限・マスキング・操作記録・委託先管理を定める必要があります。IBMも、人のレビューがプライバシーやセキュリティの課題を増やす可能性に言及しています。人による確認を追加する際は、情報管理もあわせて検討しましょう。

ヒューマンインザループの活用事例

HITLの関与方法は、業種・処理量・誤りが与える影響によって異なります。活用事例では、実行前の承認・例外時の引き継ぎ・事後評価などが使い分けられています。

以下では、フリマアプリの出品審査・文書処理・コンタクトセンター・医療・金融・AIエージェント構築基盤の例を紹介します。

フリマアプリの違反出品検知

メルカリが2020年に公開した技術記事では、当時、AIによる違反出品の検知と、カスタマーサポート担当者による確認・ラベル付けを組み合わせていました。

違反の手口や出品内容は時間の経過とともに変化するため、固定した学習データだけでは検知性能が低下する懸念があります。新しい違反事例へ人がラベルを付け、モデル改善に利用することは、変化へ対応する方法の一つです。

ただし、公開資料は2020年当時の内容であり、現在の運用が同一であるとは限りません。

文書処理とデータ入力

請求書・申込書などの文書処理では、AI-OCRが文字を読み取り、信頼度指標が基準を下回った項目を担当者が確認する運用があります。信頼度が高い項目を自動処理し、確認が必要な項目へ作業を集中させる形です。

国内製品では、Cogent Labsの「SmartRead PLUS+」が、AIによる読み取りに加え、業務に精通したオペレーターによる品質管理を提供しています。文書処理は項目単位で確認対象を選びやすく、HITLを導入しやすい領域の1つです。

コンタクトセンターのエスカレーション

コンタクトセンターでは、チャットボットや音声AIが定型的な問い合わせへ一次対応し、対応が難しいケースを人のオペレーターへ引き継ぐ運用があります。Google CloudのAgent Assistでも、仮想エージェントが解決できない問い合わせを人の担当者へ引き継ぐ「ハンドオフ」が説明されています。

引き継ぎの対象は、利用者が担当者との会話を希望した場合や、AIでは解決できない問い合わせなどです。このように、AIによる対応が難しい案件だけを担当者へ引き継げば、人がすべての会話を確認する必要がありません。大量の問い合わせ処理と、人による個別対応を組み合わせるHITLの一例です。

医療の画像診断

医療画像の診断支援では、AIがX線・CT・内視鏡などの画像から所見の候補を提示し、医師が症状・検査結果・既往歴なども踏まえて診断する利用例があります。PMDAが公表する画像診断支援プログラムの審査資料でも、AIを医師の読影を補助する「Second reader」または「Concurrent reader」として利用する位置づけが示されています。

AIは画像の確認を支援しますが、提示された候補が診断結果そのものになるとは限りません。医療は誤りの影響が極めて大きいため、AIの出力を医師が確認するHITLの考え方と相性がよい領域です。どの確認手順が必要かは、利用する医療機器・用途・関連法令・医療機関の運用によって決定されます。

金融の審査と不正検知

金融分野では、与信審査・不正検知・マネーロンダリング対策などで、AIによる一次抽出と担当者の確認を組み合わせる利用例があります。FATFのガイダンスでも、AIが取引額・時刻・顧客属性などからリスクを評価し、異常を検出した取引を確認対象として示す運用例が紹介されています。

大量の取引から疑わしいものを抽出して担当者が内容を精査することで、全件を同じ方法で調べる場合より作業対象を絞り込めます。一方、与信の否決・口座の利用制限などは、利用者へ大きな影響を与える可能性も否定できません。人による確認の要否・範囲は、判断の影響・各国の法令・金融機関の規程に応じて決まります。不正検知では、正常な取引を誤って止める過検出にも注意が必要です。

海外の先進企業に見る運用

AIエージェントを構築する基盤でも、人による承認をワークフローへ組み込む方法が示されています。Microsoft Copilot Studioの設計ガイダンスでは、機密性の高い操作の前に承認・確認を求めることや、エージェントへ付与する権限を必要最小限にすることが示されています。

たとえば、データの削除・外部への送信・金銭に関わる操作などは実行前に承認を求め、低リスクの情報収集は自動で進めるといった分け方が考えられます。すべての操作へ同じ承認手順を設けるのではなく、操作の影響に応じて確認方法を変える運用です。

ヒューマンインザループを実装するには？

ヒューマンインザループをシステムへ組み込む方法は、大きく分けて、既存のSaaSを利用する方法、AI・自動化プラットフォームを利用する方法、自社で仕組みを開発する方法があります。

SaaS・プラットフォームを利用する

特定の業務に対応したSaaSや、AIエージェント・ワークフローを構築できるプラットフォームを利用すると、承認画面や通知、処理の分岐などを一から開発する範囲を減らせます。

たとえばMicrosoft Copilot Studioでは、エージェントフローを使って業務処理を自動化でき、人による確認が必要な場所に「ヒューマンレビュー」を組み込む機能も用意されています。人へ追加情報を求め、その回答を受けて処理を続けるフローを構成することが可能です。

また、エージェントフローは決められた処理経路に沿って実行されるため、AIに判断を任せる部分と、ルールに従って処理する部分を分けて設計できます。

既存の仕組みを利用するメリットは、承認・通知・外部サービスとの連携など、HITLに必要な機能を組み合わせて構築しやすい点です。一方、利用できる機能・接続先・権限設定などは製品によって異なるため、自社の要件を満たせるか確認する必要があります。

自社開発する

既存サービスでは対応できない独自の業務フローや、社内システムとの細かな連携が必要な場合は、自社でHITLの仕組みを開発する方法があります。

自社開発であればAIの処理を止める条件や確認担当者、承認・却下・修正後の処理などを、業務に合わせて柔軟に設計できるのが大きなメリットです。

ただし、承認画面だけでなく、認証・権限管理・通知・操作履歴・タイムアウト時の処理・障害発生時の復旧なども整備しなければなりません。さらに、開発後の保守や業務変更に伴うルール更新まで自社で対応することになります。

自社開発と既存サービスをどう選ぶか

実装方法を選ぶ際は、機能の多さだけでなく、必要なカスタマイズと運用負担を比較します。

既存のSaaSで目的の業務と承認方法をカバーできる場合は、まず既存サービスの利用を検討するとよいでしょう。Microsoft Copilot Studioのようなプラットフォームは、複数のシステムをつないだワークフローを構築しながら、人による確認も組み込みたい場合に適しています。

一方、独自の判断ロジックが多い場合や、既存の基幹システムと密接に連携する必要がある場合には、自社開発も有力な選択肢です。

いずれの場合も、最初からすべての処理へ承認を追加するのではなく、誤りの影響が大きい操作や例外処理から人の確認を組み込み、運用結果を見ながら対象を広げることが重要です。

ヒューマンインザループが機能しない主な原因

人をAIの処理へ組み込んでも、確認方法や担当者の権限が適切でなければ、HITLは十分に機能しません。特に注意したいのは、AIの判断をそのまま追認すること、担当者に必要な知識や権限がないこと、確認件数が多すぎること、低リスクの処理まで一律に確認することです。

AIの判断をそのまま追認してしまう

総務省の研究会で示された平野晋教授の資料は、人がAIの判断を追認するだけの「ゴム印（rubber stamp）」になり得るという問題を紹介しました。

AIの出力を正しい結果として盲目的に受け止め、独自の検証を省きやすくなる「自動化バイアス」も指摘されています。担当者を配置するだけでなく、AIの出力を独立して評価できる情報・時間・判断基準を用意することが重要です。

EU一般データ保護規則（GDPR）第22条との関係でも、形式上人が確認しているだけでは十分とは限りません。担当者が結果を変更・覆す権限を持たず、AIの判断をそのまま追認している場合は、実質的な人の関与とは評価されない可能性があります。

担当者に必要な知識や判断権限がない

監督を担う人が、対象業務やAIの限界を理解していなければ、誤りや例外を適切に見分けられません。経験の浅い担当者へ十分な教育を行わずにレビューを任せたり、外部委託先へ判断基準を共有していなかったりすると、確認作業が形だけになるおそれがあります。

また、担当者がAIの出力に問題を見つけても、却下・変更・停止する権限がなければ、監督による効果は限定的です。担当者の訓練に加え、AIの出力を変更できる権限、緊急時の停止手段、判断に迷った場合の引き継ぎ先をあらかじめ決めておきます。

確認件数が多すぎてレビューが形骸化する

処理件数が多い業務で全件確認を続けると、担当者の負荷が大きくなり、確認が形式的になるおそれがあります。長時間の単調な監視は、注意力の低下や異常の見逃しにもつながります。

すべてを同じ方法で確認するのではなく、誤りの影響が大きい処理、AIの信頼度が低い処理、あらかじめ決めた例外条件に該当する処理などへ確認対象を絞る方法が考えられます。導入後は、AIの判断を人が覆した割合・見逃し率・確認時間などを確認し、レビュー量が適切かを見直します。

低リスクの処理まで人が確認して業務が滞る

人による確認が必要な範囲を広げすぎると、処理速度が落ち、HITLを導入したこと自体が業務の負担になる場合があります。採用・与信など人の権利へ大きな影響を与える判断と、一件あたりの影響が小さい大量処理では、同じ確認方法を使う必要はありません。

高リスクの判断には実行前の承認や複数人の確認を設け、低リスクの処理では定期監査や抜き取り確認を用いるなど、影響に応じて確認方法を変えます。瞬時の応答が必要な処理や、人が一件ずつ評価できない大量処理では、個別承認を外し、事前の検証・異常監視・事後監査へ人の役割を移す方法もあります。

自社にヒューマンインザループを導入する5つのステップ

自社にHITLを導入する際は、すべての業務へ一律で人の確認を追加するのではなく、誤りの影響が大きい業務から対象を決めて確認方法を設計します。導入後の結果を見ながら、対象や基準を見直すことも重要です。

STEP1｜対象業務のリスクと影響度を確認する

まずは、AIが誤った結果を出した際に、どのような影響が生じるかを洗い出します。影響が大きく判断が複雑な業務ほど、人による確認フローを厚くする必要があります。一方、ルールが明確で、一件あたりの誤りの影響が小さい業務（社内向けの部分的なデータ整理など）は、自動処理の割合を増やせる可能性があります。

STEP2｜人が確認・介入するポイントを決める

次に、AIの処理プロセスの「どこに人が関与するか」を決定します。

高リスクな判断： 実行前に人が承認する（HITL）
大量処理の監視： AIを自律稼働させ、例外発生時のみ介入する（HOTL）

また、処理の単位ではなく「操作の内容」で分けることも有効です。たとえば、「情報の検索・要約」はAIに任せ、「外部への送信・データの削除・契約・支払い」の直前には必ず人の承認ステップを設けるといった設計です。

STEP3｜人が確認する対象と基準を決める

人が確認する範囲を「全件確認」にするか「一部の抜き取り確認」にするかを検討します。AI-OCRや分類モデルなどでは、AIが算出する「信頼度スコア」が基準を下回ったものだけを確認対象にするのが一般的です。

ここで重要になるのが、「見逃し（偽陰性）」と「過検出（偽陽性）」のバランスです。

見逃し： 本来止めるべき異常な処理を通してしまう誤り
過検出： 問題のない正常な処理を誤って停止させる誤り

セキュリティ事故など「見逃し」の影響が致命的な業務では、ある程度の過検出（担当者の確認手間が増えること）を許容してでも、見逃しを最小限に抑えるしきい値に設定します。

STEP4｜確認結果の記録・改善フローを構築する

「誰が・いつ・どのAI出力を確認し、どう修正したか」のログを残します。これにより、監査時の説明責任（アカウンタビリティ）を果たせるだけでなく、AIの弱点を分析することが可能になります。

ただし、人が修正したデータをそのまま自動で再学習に回すのは危険です。誤ったラベル付けや担当者の個人的な偏り（バイアス）が混入する可能性があるため、「学習データの品質確認」「更新前後のモデル評価」「バージョン管理」といったガバナンス体制をあわせて整備してください。

STEP5｜小さく導入して結果を見直す（スモールスタート）

最初から全社・全業務に導入するのではなく、特定の部署や限定的なデータ種別から小さく始めます。導入後は以下の指標（KPI）をモニタリングし、運用を最適化していきます。

AIの精度指標： 見逃し率、過検出率
業務効率の指標： 人による確認対象となった割合、1件あたりの確認時間
品質管理の指標： 人がAIの判断を覆した割合、担当者間の判断一致率

これらの結果を基に、AIの信頼度しきい値や、承認手順、レビュー担当者の配置を定期的に見直します。

ヒューマンインザループ導入時に確認したいガイドライン・法規制

人による監督は、HITLを導入する際の判断材料の一つです。特に、人の権利や利益へ大きな影響を与えるAIでは、どの場面で人が確認・介入できるかがガイドラインや法規制でも重視されています。

以下は2026年7月24日時点の内容です。日本のAI事業者ガイドラインは事業者の自主的な取り組みを促す位置づけですが、EU AI法は高リスクAIシステムに人間による監督措置を求める規定を設けています。

国内ガイドラインでは人の関与も検討事項とされている

国内では、総務省と経済産業省が「AI事業者ガイドライン」を公表しています。2026年3月31日付の第1.2版では、AIエージェント・フィジカルAIの定義や、利用時に留意すべき事項が追加されました。

第1.2版では、AIエージェントへ与える権限の設定、人間の判断を介在させる利用の検討、操作履歴の定期的な確認・報告などが示されています。AIエージェントが自律的にタスクを分解・実行する場合でも、利用目的や影響に応じて人の関与方法を決めるという考え方です。

ただし、AI事業者ガイドラインは、特定の承認手順を一律に義務づける法律ではありません。事業者が自主的に取り組むための考え方を示したものです。

国内のAI法はHITLの導入を直接義務づけていない

「人工知能関連技術の研究開発及び活用の推進に関する法律」（AI法）は、2025年6月4日に公布・一部施行され、同年9月1日に全面施行されました。

出典：内閣府、e-Gov法令検索）

AI法は、AIの研究開発・活用の推進、基本計画、AI戦略本部などを定めた基本法的な法律で、HITLの導入方法や人による承認手順を直接義務づける規定はありません。また、HITLを設けなかったこと自体に対する罰則も設けられていません。

ただし、日本国内のAI利用がすべて自主対応になるわけではありません。個人情報保護法・著作権法・各業界の法令・契約上の義務など、用途に応じた既存法令への対応は別途必要です。

EU AI法は高リスクAIに人間による監督を求めている

EU AI法第14条は、高リスクAIシステムを、使用中に自然人が効果的に監督できるよう設計・開発することを定めています（EUR-Lex「Regulation (EU) 2024/1689」）。

監督を担う人が、AIシステムの能力・限界を理解できること、自動化バイアスを認識できること、出力を正しく解釈できることが要件に含まれます。また、必要に応じてシステムを使用しない、出力を無視・却下・覆す、介入・停止するといった対応ができなければなりません。

特定の遠隔生体識別システムでは、原則として、必要な能力・訓練・権限を持つ2人以上による個別の検証・確認が求められます。ただし、法執行・移民・国境管理・庇護の用途においては、EU法または加盟国法が不均衡と判断した場合の例外が認められています。

AIエージェント時代のヒューマンインザループ

AIエージェントは、回答や分類を提示するだけでなく、ツールを操作し、複数の手順を自律的に進める場合があります。外部への送信・データ更新・予約・発注などを実行できるため、従来のAI以上に「どの操作を人が確認するか」が重要になります。

AIエージェントでは実行前の承認が重要になる

チャットボットがメールの下書きを提示する場合とAIエージェントがメールを送信する場合では、誤りの影響が異なります。下書きであれば送信前に修正できますが、自動送信では修正前に外部への影響が生じる可能性があります。

そのため、AIエージェントでは、取り消しが難しい操作や影響の大きい操作の前に、人の承認を設ける方法が考えられます。外部送信・削除・契約・支払いなど、実行後に影響が生じる処理ほど、事前確認がより重要です。

人はAIの権限・停止条件も管理する

AIエージェントの運用では、人が個別の出力を確認するだけでなく、利用目的・権限・停止条件・監査方法を決める役割も担います。このように、AIシステムをいつ・どのような条件で利用するかを人が管理する考え方は、ヒューマンインコマンド（Human-in-Command、HIC）と呼ばれます。

ヒューマンインコマンドは、欧州委員会のAI専門家グループが公表した「信頼できるAIのための倫理ガイドライン」で、ヒューマンインザループ・ヒューマンオンザループと並ぶ人間による監督方法として示されています。

個別承認が必要な操作にはヒューマンインザループ、処理全体を監視して例外時に介入する場合はヒューマンオンザループを使うなど、操作の影響に応じて組み合わせます。

影響の大きい操作だけ承認を組み込む

Copilot Studioなど、一部のAIエージェント構築基盤では、重要な操作の前に承認を求めるワークフローを設定できます。エージェントがタスクを進めながら、指定された操作で処理を停止し、担当者の承認後に再開する形です。

すべての操作を人が確認すると、自動化の利点が小さくなります。情報検索・要約などは自動で進め、外部送信・データ削除・金銭に関わる処理など影響の大きい操作だけを承認対象にする方法が有効です。

承認画面では、実行予定の操作・対象データ・外部への影響・取り消しの可否を確認できるようにします。HITLは、人を処理の途中へ置くだけではなく、権限設定・承認画面・操作履歴・停止手段まで含めて設計する必要があります。

まとめ

ヒューマンインザループは、AIの開発・学習・運用に人の確認・判断を組み込む考え方です。AIへの人の関わり方には、個別の判断を確認するヒューマンインザループ、AIを監視して必要なときに介入するヒューマンオンザループ、個別の判断には関与しないヒューマンアウトオブザループがあります。

重要なのは、人を配置すること自体ではなく、どの処理を誰が確認し、問題を見つけたときに変更・停止できる状態にすることです。確認件数が多すぎたり、担当者に判断権限がなかったりすると、HITLを導入しても十分に機能しません。

導入時は、対象業務のリスクを確認し、人が介入するポイント・確認対象・判断基準・記録方法を決めます。そのうえで限定した範囲から始め、見逃し率・過検出率・確認時間などを基に見直していきます。AIエージェントを利用する場合は、外部送信・削除・契約・支払いなど、影響の大きい操作の前に承認を設けることも検討しましょう。

なお、AIの学習データを人が作成・評価する方法については、「アノテーションとは」もあわせて参考にしてください。

よくある質問

Human-in-the-Loopの欠点は何ですか？

主な欠点は、人による確認で生じるコスト・時間・処理量の制約です。AIの出力を確認するプロセスを挟む分だけ処理は遅くなり、人件費も増大します。処理量が増えると担当者のレビューが追いつかず、運用の拡張が困難になるおそれもあります。また、監督が形骸化する懸念も無視できません。担当者がAIの出力を追認したり、自動化バイアスによって検証が不十分になったりすると、人を配置しても品質は向上しません。担当者の訓練・確認対象の絞り込み・判断を変更できる権限・監督の有効性を測る指標が必要です。

Human-on-the-Loopとはどういう意味ですか？

Human-on-the-Loopは、AIが自律的に処理を進め、人は動作を監視し、異常や例外が起きたときに介入・中止する形です。人が一件ごとに承認するのではなく、処理全体を監視します。件数が多く、一件ずつの確認が困難な業務に向いています。ただし、用語の定義は文献によって異なるため、社内文書では「Human-on-the-Loop（監視・例外介入）」のように役割を併記すると誤解を防げます。

AIシステムにおけるHuman-in-the-Loopとは何を意味しますか？

AIシステムにおけるHuman-in-the-Loopとは、開発・学習・運用のいずれかのフェーズに人の判断を組み込む考え方です。学習データの作成・モデル出力の評価・実行前の承認・例外時の対応などがこれに当たります。人をどの段階で関与させるかは、AIの処理速度だけでなく、誤りが与える影響・処理量・法令・説明責任・確認コストを踏まえて決めます。人の評価を再学習へ利用する場合もありますが、承認・監視だけを行うHITLもあります。