CriticGPTとは？ChatGPTの間違いを発見・修正するAIを詳しく紹介

最終更新日:2024/08/27

OpenAI社は、2024年6月27日にChatGPTの間違いを発見し、修正・編集するAIモデル「CriticGPT」を発表しました。ChatGPTと同じくGPT-4モデルをベースに構築されており、ChatGPTの課題となっているハルシネーション（偽りの出力）の解決策としても期待されています。

本記事では、CriticGPTの概要や仕組みといった基本情報からできること、活用例や将来性までをわかりやすく解説します。CriticGPTの一般公開前に、ChatGPTをより効果的に活用するために必要な情報をここで押さえておきましょう。

CriticGPTとは

「Critic GPT」とは、2024年6月に発表されたOpenAI社による最新AIモデルです。「Critic（批評）」という名前の通り、ChatGPTが生成した出力のエラーや誤りを指摘し、フィードバックを提案してくれます。

CriticGPTを用いることで、ChatGPTが出力したテキストやプログラミングコードにバグやエラーがあった場合に高精度で検出し、修正案を出すことが可能です。よって、ChatGPTで生成したコードをそのまま使用して、ミスによるエラーで実害を被るといった事態を未然に防げるようになります。

CriticGPTが内容の精査を瞬時に行うことで、マニュアル作業によるチェックの負担が軽減されます。

CriticGPTが開発された背景

ChatGPTの最新モデルであるGPT-4シリーズは、「RLHF」と呼ばれる人間のフィードバックを元にした強化学習により、AIの出力を調整する仕組みを採用しています。

ChatGPTも同様にRLHFを使って出力精度の向上に取り組んでいますが、AIの高度化が進むにつれ、人間が適切にAIへフィードバックを送ること自体が難しくなる可能性があります。

そこで、AI自身がAIモデルの出力に対して適切なフィードバックを実施し、修正や編集を行うことで精度を高めていく、というのがCriticGPTの開発目的といえます。

ChatGPTが抱える主な課題とCriticGPTに期待できること

CriticGPTでは、具体的にどのようなことができるのでしょうか。ここでは、主に以下の3つの視点について解説します。

• ChatGPTのハルシネーションを修正・回避
• 高度AIモデルのミスを検出
• 約60%の確率でパフォーマンスが向上

ChatGPTのハルシネーションを修正・回避

ChatGPTをはじめとする生成AIは、日々急速な進化を遂げる中で、高精度なタスク処理を実現しています。一方で、存在しない情報をAIがあたかも正しいかのように出力する「ハルシネーション」が問題となっています。

ハルシネーションは、AIの学習データとは異なる内容や学習データにはない内容を、正しい回答のように出力する現象です。ハルシネーションが含まれているにもかかわらず、AIの解答内容を精査せず、そのまま使用することでトラブルに発展する可能性があります。

実際に民事裁判でAIのハルシネーションによる嘘の判例が資料に含まれてしまった事例や、ChatGPTが虚偽の経歴をでっち上げたと名誉毀損で訴えるケースが海外で報告されています。

CriticGPTは、ChatGPTの出力内容を精査し、不正確な点を見つけて修正・編集することでハルシネーションによる問題を回避できる可能性があります。

関連記事：生成AIのハルシネーションとは？発生の原因やリスク、その対策について

高度AIモデルのミスを検出

CriticGPTは、高度化したAIモデルにおけるミスを検出することが可能です。CriticGPTは完全ではないため、生成AIモデルの調整を担う人間のトレーナーを補完する形で作業を大幅に効率化できます。

CriticGPTを使うことで、AIが人間のスキルや作業を補完する形で作用します。よって、人間が単独で作業する時よりも包括的なレビューが生まれ、ハルシネーションなどによる誤った指摘も回避できる可能性があります。

約60%の確率でパフォーマンスが向上

上記は、OpenAI社が公表しているCriticGPTのパフォーマンスに関するデータです。「人間のみ（緑）」「CriticGPTのみ（橙）」「人間がCriticGPTを使用した場合（ピンク）」で示されているチャートを見ると、コードに対するフィードバックの完全性（左図）では、CriticGPTの方が人間との協働よりも高い数値を打ち出しています。

また、ChatGPTが生成したコードのレビューにおいて、人間のAIトレーナーがCriticGPTのサポートを利用すると、支援なしの場合に比べて約60%もミス発見率が向上したと言われます。

人間による手動チェックよりも、CriticGPTにタスクを任せた方がエラーやバグの発見、修正は効率的に完了できる可能性があります。

CriticGPTの仕組み

CriticGPTはどのように機能するのか、仕組みをわかりやすく解説します。

RLHFで学習させたGPT-4ベースモデル

CriticGPTで採用されているGPT-4をベースとするモデルでは、「RLHF（Reinforcement Learning from Human Feedback）」と呼ばれる手法で構築・調整されています。

RLHFは人間の評価者がAIモデルとの対話に対してフィードバックを提供し、モデルがそのフィードバックを基にして能力を改善・強化していく方法です。ChatGPTのような対話型AIモデルでよく用いられています。

RLHFを使うことで、AIモデルは人間の好みや意向をモデルが直接学習し、高いスコアを受けた行動を優先的に行うようになります。結果的には、出力結果の品質と倫理性の向上に寄与しますが、ChatGPTがより高精度になっていく過程で、ミスやバグがより微妙になります。

よって、人間のAIトレーナーが発見しにくくなる可能性が高くなるのです。このRLHFが持つ限界に対処するために、CriticGPTでは意図的に誤った情報も含む膨大な学習データでトレーニング・調整されています。

FSBS手法による制御

OpenAI社では、FSBSと呼ばれる新しい手法を採用しています。FSBS（Force Sampling Beam Search）とは、CriticGPTがAIモデルの生成したコードをより細かくレビューする技術です。

FSBSにより、AIトレーナーはCriticGPTの詳細度を調整することで、ハルシネーションの削減に貢献することが予測されています。

Critic GPTの活用例

CriticGPTを生成AIと組み合わせることで、さまざまなシーンにおけるAI活用を促すことが可能です。CriticGPTの活用例を紹介します。

プログラミングコードのチェック・エラー修正

AIモデルが生成したプログラミングコードのレビューをサポートし、ミスやバグを指摘します。CriticGPTを用いたレビューコードの大まかな流れは以下の通りです。

1. ChatGPTにコード作成のタスクを指示する
2. ChatGPTがコードを生成する
3. 人間がCriticGPTを用いてコードを修正する
4. より高品質なコードに改善される

CriticGPTが、人間のコードレビューにかかる時間や手間を削減してくれます。

CriticGPTの現状の課題と将来性

CriticGPTは、現時点でいくつかの制限を抱えています。ここでは、CriticGPTの課題や将来性について説明します。

長文や複雑なタスクへの対応はこれから

CriticGPTは、ChatGPTによる短めの回答で訓練されているため、現状では短い応答による批評で優れた性能を発揮できます。一方、長くて複雑なタスクのレビューについてはまだ限界があり、人間のAIトレーナーがモデルのタスク理解を支援する必要があります。

研究チームによれば、CriticGPTが現時点で効果を発揮できるのは、コード内の特定のエラーに限られるとしています。FSBS手法では比較的短いコードは検討できるものの、複雑なタスクを評価するためには別の方法が必要になるでしょう。

「AIがAIをチェックする」ことの新たな倫理的問題への対処

CriticGPTの登場により、「AIがAIをチェックする」という構図ができあがりましたが、同時に新たな倫理的問題を引き起こす可能性もあります。もし、倫理性の不安定なAIモデルが別のAIをチェックするとなった場合、生成結果によってトラブルを引き起こす可能性も考えられます。

対策としては、人間の介入が挙げられます。ただし、人間のAIトレーナーがどこまでチェックすべきなのか、AIの判断をどこまで信頼するのかといった具体的な線引きについては、今後議論が活発化していくと推測されます。

まとめ

CriticGPTは、ChatGPTの回答に含まれる間違いを発見・指摘できるモデルです。GPT-4をベースとしたこのモデルでは、フィードバックの完全性におけるパフォーマンスは、人間とAIモデルの組み合わせより約60%も上回っています。

現時点では、長文や複雑なタスク処理などの課題は残されているものの、CriticGPTが今後の生成AI、ひいてはAI業界に多くの影響を与えていくと考えられます。

ChatGPT連携サービス・企業一覧を下記にて無料でご請求いただけます。自社での生成AIツール活用を検討する際にぜひご利用ください。

ChatGPT連携サービス企業一覧の請求ページ

よくある質問

CriticGPTの一般公開の予定はある？

CriticGPTの一般公開について、現時点では未定です。CriticGPTは現在OpenAI社が開発したことは公表されているものの、詳細などはまだ明らかにされていません。研究の進捗次第で、ユーザーへの提供予定についてアップデートされると思われます。

ChatGPTを健全に活用するための注意点は？

ChatGPTを健全かつ効果的に活用するためには、リスクを把握し、対策を取り入れることが重要です。生成された回答を鵜呑みにせず、信頼できる情報源を確認した上で、利用することを徹底しましょう。

また、学習データが最新情報を網羅しているとは限らないため、時事情報や直近のニュースに関する内容には特に注意が必要です。加えて、入力した情報が学習に使われる可能性を考慮し、個人情報や機密情報を入力することは避けましょう。