生成AI研修サービス「CCAL研修」
生成AI研修サービス
「CCAL研修」
研究の最前線で生まれたAI技術を、
最速でビジネスの武器に。
株式会社Wanderlustは、東京大学・松尾研発のAI開発コンサルティング会社です。AI研究開発チームと技術コンサルタントを軸に、設立4期目の創業期ながら、既に多くのプライム上場企業と協業実績があります。LLM技術を基盤とした社内データ活用を強みとし、開発・検証で得た知見を形式知化。高品質なPDCAを実現し、経営課題起点でビジネスと技術の両面から幅広く支援しています。











| ID | QA | Source Info | Evaluation | ||||
|---|---|---|---|---|---|---|---|
| 想定質問 | 想定回答 | ArkRAGの回答 | 資料名 | ページ番号 | コメント | 評価 | |
| 1 | デジタル社会の実現に向けた重点計画の策定日はいつですか? | 令和4年(2022年)6月7日です。 | 令和4年(2022年)6月7日に策定されました。 | デジタル推進.pdf | p.1 タイトル周辺 | 文章内の情報に基づき、正確かつ過不足なく回答できている。 | A |
| 2 | 政府のデジタル改革推進体制を強化するため、具体的にどのような部局の体制を充実させますか? | 各府省庁のPMOやPJMOの体制充実や、会計部門等との連携強化を行います。 | 政府全体のデジタル改革を進めるため、デジタル人材の配置や確保を強力に行います。 | デジタル推進.pdf | p.134 第3-1 | 内容は間違いではないが、質問にある「PMOやPJMO」といった具体的な部局名への言及が不足している。 | B |
| 3 | デジタル庁の人員増強において、どのような人材を含めるとしていますか? | 常勤・非常勤の民間人材を含めた人員増強を図るとされています。 | 常勤・非常勤の民間人材に加え、各省庁からの出向者を一律3割削減して人員を構成します。 | デジタル推進.pdf | p.134 第3-1 | 民間人材の記述は正しいが、「出向者を3割削減」という文書にない虚偽の情報(ハルシネーション)が混ざっている。 | C |
| 4 | DFFTの推進について、具体的な国際連携の国名を教えてください。 | (文書内に具体的な国名の記載なし) | 提供されたドキュメントには、DFFT推進における具体的な連携国名の記載はありません。 | デジタル構想会議議事録.pdf | p.5 目次周辺 | 文書にないことを正しく「ない」と回答しており、RAGとして適切な挙動であるためA。 | A |
| 5 | 本計画の策定根拠となる法律と条項を教えてください。 | デジタル社会形成基本法第37条第1項などに基づき策定されています。 | デジタル社会形成基本法第37条第1項や、官民データ活用推進基本法第8条第1項などに基づいています。 | デジタル構想会議議事録.pdf | p.3 | 複数の根拠法と条文を正確に引用されており、回答として適切である。 | A |
| 6 | デジタル社会構想会議は誰によって構成されますか? | デジタル大臣が指名する有識者によって構成されます。 | 内閣総理大臣が選出した国会議員によって構成されます。 | デジタル構想会議議事録.pdf | p.140 第3-4 | 「デジタル大臣指名の有識者」という正解に対し、全く事実と異なる回答を生成している。 | D |
無駄な改善を避け、最短距離で理想のRAGを目指します。
| 評価 | カテゴリ | 定義 |
|---|---|---|
| A | 正確かつ必要十分 | 参照資料が適切で、模範解答と同等の論点を過不足なく、かつ正確に回答できている。 |
| B | 正確だが過剰 | 参照資料は適切で、要点も満たしているが、回答として不要・余計な情報が含まれている。 |
| C | 正確だが不足 | 参照資料は適切で、回答内容も正しいが、模範解答が要求する要点の一部が欠落している。 |
| D | 誤情報を含む | 参照資料は適切だが、その資料に記載のない情報や内容を誤解釈した回答が含まれる。 |
| E | 参照不全 | 参照している資料そのものが、質問に回答する上で不適切である。 |
本表では、左下の領域(青色)に数値が集中しているほど、評価が改善したことを示しています。
具体的には、以前はD・E評価だった低精度な回答の多くが、改善施策によってA・B評価へと大きくシフトしており、RAGの回答精度が劇的に向上したことを裏付けています。
株式会社Wanderlustは、東京大学・松尾研発のAI開発コンサルティング会社です。AI研究開発チームと技術コンサルタントを軸に、設立4期目の創業期ながら、既に多くのプライム上場企業と協業実績があります。LLM技術を基盤とした社内データ活用を強みとし、開発・検証で得た知見を形式知化。高品質なPDCAを実現し、経営課題起点でビジネスと技術の両面から幅広く支援しています。
AI製品・ソリューションの掲載を
希望される企業様はこちら