AI基盤
学ぶ順番と、作るもの。

得意な言語で、公開資料または自作の架空データを質問対象にした「社内FAQの模擬アプリ」を作る。質問、出力確認、失敗時の案内を画面で確認できるようにする。実在の顧客情報や社内文書は投入しない。

模擬FAQへ公開資料の検索を追加し、回答ごとに参照した資料名とURLを表示する。検索対象、更新方法、投入しないデータをREADMEに記録する。

模擬FAQに10件程度の評価質問を用意し、検索・プロンプト・モデル設定を変えた前後で結果を比較する。ログに質問本文や秘密情報を残さない方針も文書化する。

模擬FAQへ「質問に答えられないとき、公開資料を追加で検索してから再回答する」という2手順までの動きを追加する。手順の上限を決めて超えたら止め、どのツールをどの順で呼んだかを記録する。外部への書き込みは行わない。

模擬FAQのモデル呼び出しを共通APIへ寄せ、呼び出し元、モデル設定、失敗理由を記録する。秘密情報や質問本文をそのままログに残さない。

模擬FAQの呼び出し記録と評価結果を同じリリース識別子で集計し、変更前後の違いを1枚で確認できるようにする。

模擬FAQにモデル設定を段階的に切り替える設定を作り、品質低下・遅延・エラー率の停止条件と切り戻し手順を演習する。