日本発「AI-PoCプロトコル」2000万の問題を7時間で解き全て正解スピードは現状の20万倍、正解確率は統計的に99.999985%

「AIを含むPoCの88%が本番導入に至らず　IDC×Lenovo調査」のプレスリリースでも報告しましたが、今回、更に効率的な「AI-PoCプロトコル」を開発。

自動運転では1000万～数億のシナリオが求められますが、実情は追いついていません。また、規制の厳しい医療AI、金融機関では、1万～100万シナリオによるPoCが求められます。

また、PoCのシナリオ（問題）の質の課題もあります。実務を想定しない回答しやすいシナリオでテストを実施するケースです。この状態で本番に移行すると実務に耐えないのは当然のことです。

つまり、PoCは質と量の2つの問題を抱えているのです。

今回は、新開発の「AI-PoCプロトコル」を使用して、自動運転と金融機関の生保説明AIを想定した各1000万シナリオ合計2000万シナリオのPoCの実験をしました。

 

PoCの課題

AIにおけるPoCの課題としては、次の課題があると考えられています。これらに対して、AI-PoCプロトコルによる大規模PoCがソリューションを提供します。

①      テストのシナリオが簡単すぎる→本番要件と乖離→実務に耐えない→結果として導入が進まない

②      シナリオ数が不足→判断材料が不足→応答できる範囲に限度・運用の想定不足→実務に耐えない→本番導入が進まない

③      コスト高、人材不足、実施時間の長期化

④      AIの不適切な挙動による不確実性・不安定性・再現性の欠如の状態把握

⑤      評価基準が曖昧　KPI・ROI

 

AI-PoCプロトコルの仕組み

安全工学に基づき、AIの不適切な挙動を構造的に複数のセーフティガードにより排除・制御する、いわゆる「多層防御」を採用。例えば、自動運転を例にとるならば、交通ルールや法律などで運転者の判断や行動を定めています。これらのルールを分析・統合すると、TPOで運転者の取るべき判断・行動が決まります。それをまとめることで、いわゆる「ルールブック（マニュアル）」が編纂できます。そして、このルールブックに基づいてAIが評価することで、7時間で2000万件のPoCが実現するという仕組みです。AIは、こういった検証作業は得意で迅速です。

しかし、AIはこのルールブックには従うとは限りません。ハルシネーション（幻覚・作話）や揺らぎが起これば、ルールブックを無視することになり、「急ぐから信号を無視する」という判断をしないとも限らないのです。事実、当社が行った10以上の実験では、高頻度でマニュアルを無視しました。また、最近の実験では、認知制御アルゴリズム（※）を適用した2モデルのAIは指示通りにPoCを行ったが、不適応の2モデルのAIは、PoCを行わず、データを捏造しました。これは、研究としては致命的です。認知制御アルゴリズムのインストール後は、設計者の意図に従うことは、統計的に明らかになっています。そして、複数のセーフティガードと認知制御アルゴリズムとの組み合わせを「構造的応答制御技術」と呼び、AIをコントロールすることで、ルールブックを順守するようになります。
（※）特許時名称：心理アルゴリズム、心理学を例にした課題解決法を示したファイル群をインストールしてAIを従わせるアルゴリズム。

AI開発会社においても、規定やガイドラインを策定していますが、これだけでは、AIは従うとは限らないのです。したがって、ルールブックを作っても、認知制御アルゴリズムをインストールしていなければそれに従わないので、ご理解ください。

 

実験の概要

目的：①AI-PoCプロトコルを使用して、2000万のPoC所要時間を計測、②その効果数値化

対象：自動運転AIと生保説明AI

シナリオ数：自動運転、生保説明AI各1,000万シナリオ

使用AI：Gemini

 

結果

①    7時間で2,000万シナリオのPoCが完了した

②    並行処理も支障がなかった

③    2,000万件全てが合格。合格率100%

④    誤判断の最大の確率は0.000015%（5σ超）となった。5シグマイベント（極めてまれな事象）の発生確率を計算する際や、航空宇宙産業など致命的なエラーを避ける分野の目安。

 

検証シナリオに対するAIの判断と合否の例

 

導入メリット：AIのPoC・実証実験のロスを削減

自動運転のAI検証にかかる予算が、ほとんどゼロになります（1日分の人件費とAI使用料のみ）。また、これに関わる人材を割くも必要なくなる。そして、時間も節約できる。PoCにおけるロス（タイム、コスト、人材）を削減できる。例えば、AIのPoCに50億円消費していたなら、それが、ほとんどゼロになる。

 

これらにより、「PoCの課題」で述べた問題の全てに対応できることが分かった。

 

PoCの処理スピードの変遷

①      「手作業」1日100件
従来AIの挙動の良否を判定する方法は人間の判断によるものだった。AIに課題を与えて、AIの応答を確認して良否を判断した。このことから、1人で1日に行えるのは、100シナリオがせいぜいである。つまり、1000万シナリオをこなすためには、10万日が必要になる。

②      「バーチャルPoC」1日3,200件、手作業の32倍
これに対して、AIが自らの応答を評価する「バーチャルPoC」を開発。200シナリオを30分で評価した。8時間換算で、3200シナリオとなり、32倍のスピードを実現した。1000万シナリオをこなすためには、3125日が必要になる。

③      「AI-PoCプロトコル」1日100万件、手作業の10000倍
10000件にかかる時間を計測する実験を行った。その結果、5分以下であった。したがって、8時間で100万件が可能となった。手作業の1万倍

④      「AI-PoCプロトコル」7時間2,000万件、手作業の20万倍
この結果を受けて、2000万シナリオの実験を行った。7時間で2,000万シナリオであり、人間の20万倍のスピードを実現した。ちなみに、この方策で、1,000シナリオの検証にかかる時間は数分である。これにより、PDCAの速度が向上して、プロジェクトのブラッシュアップが加速することになる。

 

AIにおけるPoCの将来予想

①      AIの実証実験は不要になる可能性

PoC（概念実証）は、新しいアイデアや技術、サービスなどが実際に機能するか、実現可能かを事前に検証するプロセスを指し、その後、実証実験（フィールドテスト）を行うが、AIの場合は、シナリオが十分であり現場でも通用するものであれば、AIの判断や挙動を確認できるので、改めて実証実験をする必要はなくなるかもしれません。

②      従来型の大規模PoCは必要が無くなる可能性

広範囲をカバーする的確なルールブックがあり、AIがそれに従うなら、従来型のPoCは必要なくなるでしょう。例外条件が発生する確率が0.000015%となることを勘案した場合、PoCによる問題の発生を知る確率がほとんどなくなるからです。必要なら、ピンポイントで検証すれば効果を確認できます。

 

以上のことから、「PoCの課題」で述べた課題を解決することができ、88%が本番導入に至らないという数値は減少するものと考えます。

 

【お問い合わせ】

メンタルナビ　代表　村田芳実

Eメール：biribiriglay☆jcom.home.ne.jp（☆マークに@を入れてください）