設計事務所のAI試行｜小さな業務で検証する
· 編集：KMC株式会社
設計事務所がAIを本導入する前に、匿名資料、小さな対象業務、正解例、評価基準、停止条件を揃えて試行する手順を解説します。
本導入の前に一つの小さな業務で試す
AIのデモが便利に見えても、自社の資料、言葉、確認工程で同じ結果が出るとは限りません。試行では、機能の多さではなく「この入力から、この出力を、この確認時間で作れるか」を測ります。最初から顧客資料の自動作成や図面判断へ広げません。
適した候補は、匿名化でき、正解例があり、失敗しても外部へ影響せず、人が短時間で確認できる業務です。たとえば、確認済み議事録からタスク候補を抽出する、既存FAQを分類する、承認済み表の空欄候補を探す作業です。
候補業務を五条件で選ぶ
| 選定条件 | 確認する質問 | 不向きな例 |
|---|---|---|
| 入力 | 資料を匿名化できるか | 住所や個人情報が不可欠 |
| 正解 | 人が正解例を作れるか | 判断基準が担当者ごとに違う |
| 影響 | 誤りを公開前に止められるか | 自動送信や直接更新 |
| 頻度 | 繰り返し測れるか | 年に一度の特殊案件 |
| 確認 | 出力を短時間で照合できるか | 図面全体の法適合判断 |
候補を点数だけで決めず、一つでも重大な停止条件があれば外します。契約上外部サービスへ出せない情報、法的判断、安全に関わる最終判断、元データを直接上書きする処理は、初回試行に向きません。
試行計画を一枚にまとめる
試行票には目的、対象外、入力件数、正解例、評価指標、担当、期間、保存場所、停止条件を書きます。「AIを触ってみる」では結果を判断できません。
匿名例では、目的を「確認済み議事録から担当と期限が明記されたタスクだけを表へ転記」とします。入力は過去議事録10件を匿名化した複製、正解は担当者が作ったタスク表です。出力は案件外の試行フォルダへ保存し、実案件のタスク管理には連携しません。
正解例と難しい例を混ぜる
簡単な資料だけでは弱点が分かりません。担当と期限が明記された正常例に加え、担当が空欄、期限が相対表現、決定と提案が混在、否定文、表内記載などを含めます。入力ごとに期待結果を人が先に作ります。
| 試験例 | 期待する動作 | 失敗の判定 |
|---|---|---|
| 担当と日付が明記 | そのまま抽出 | 担当や日付を変更 |
| 期限なし | 未確認と出力 | 日付を推測 |
| 検討案 | タスク確定にしない | 決定事項として登録 |
| 対象外の雑談 | 出力しない | タスクとして追加 |
| 相反する記載 | 矛盾候補にする | 一方を勝手に採用 |
同じ資料を従来手順でも処理し、時間と誤りを記録します。AIありだけを測ると、削減効果の基準がありません。
指示文を固定して再現性を見る
以下は匿名化した確認済み議事録です。担当者と期限が本文に明記された実行事項だけを、議事録ID、原文、担当、期限、状態の表にしてください。担当や期限を推測しないでください。提案、保留、質問はタスクへ変えず、別の確認事項表へ出してください。各行に原文の位置を付けてください。
入力、指示文、製品、モデル、実行日を保存し、同じ条件で複数回試します。出力が毎回変わる場合は、変動しても困らない用途か、確認工程で吸収できるかを判断します。
情報管理を試行前に確認する
無料版と法人向け契約、個人設定と組織管理では、データの扱いや機能が異なる場合があります。公式の契約条件、保存期間、学習利用、アクセス権、ログ、削除方法を確認します。未確認なら、実案件の内容を入れず、架空または十分に匿名化した資料だけを使います。
NIST AI RMFのPlaybookは、Govern、Map、Measure、Manageに沿った実施事項を検討するための資料です。試行では、責任者を決め、用途と影響を整理し、正解例で測り、問題時の停止と改善を決める流れとして使えます。
評価は精度だけでなく確認負担も測る
正解件数、誤って追加した件数、見落とした件数、未確認として正しく止めた件数を分けます。作業時間には、入力整形、匿名化、指示作成、生成待ち、照合、修正、記録を含めます。
結果が速くても、重要項目の見落としが増えれば採用しません。誤検出が多く確認者が全件を読み直すなら、対象をさらに絞るか従来手順へ戻します。試行結果から架空の削減率を作らず、実測値と条件を一緒に保存します。
試行記録を一件ずつ判定する
議事録M03に「設備担当が10月20日までに換気案を確認」とあれば、正解表には担当、期限、行動、根拠位置を登録します。AIが担当を「設計担当」と変えた場合は意味変更、期限を落とした場合は欠落です。「換気案を採用」と書いた場合は、確認行為を決定へ変えた重大な誤りです。
一方、「仕上げは次回相談」としかない箇所を未確認事項へ分けた出力は、担当や期限がなくても適切な保留と評価できます。空欄を埋めた件数が多いことを成果にしません。止めるべき箇所で止めたかも品質指標です。
試行票には各出力行について、正解ID、判定、重大度、確認に要した時間、修正後の文、原因候補を記録します。原因候補は、入力不足、指示不足、出力変動、製品制約、人の確認漏れに分けます。指示不足と決めつけてプロンプトだけを長くせず、入力表や対象範囲を直す判断材料にします。
同じ指示を三回実行し、毎回タスク件数が違う場合は、平均件数を採用しません。どの入力IDが出たり消えたりしたかを比べ、重要項目の変動があれば停止します。表現だけが違い、根拠IDと分類が一致するなら、用途上許容できるかを別に判断します。
また、試行担当だけが上手に使える状態を合格にしません。手順書だけを渡した別担当が、同じ匿名資料で入力可否を判断し、同じ停止条件を使えるか確認します。口頭の補足が必要なら、その内容を試行票へ追加して再試験します。
停止条件と次の段階を決める
機密情報を出力した、入力にない数値を断定した、重要項目を見落とした、出典へ戻れない、確認時間が増え続ける場合は停止します。停止は失敗ではなく、適用範囲が分かった結果です。
合格しても直ちに全社展開しません。同じ種類の資料を少し増やし、別担当でも同じ手順を再現できるか確認します。製品の版や設定が変わったときは再試行します。
IPAのガイドラインは、性能評価の基準を定め、正確性や偏り、応答時間などを確認し、利用ルールを文書化する考え方を示しています。自社の実務で必要な評価を選び、製品の宣伝値だけで判断しません。
よくある質問
最初に試す業務は何がよいですか
匿名化でき、正解例があり、誤りを外部共有前に止められる小さな整理作業が適します。
無料版で試してよいですか
契約条件とデータの扱いを確認してください。不明なら実案件を入れず、架空資料で操作だけを確認します。
何件試せば十分ですか
固定件数では決められません。正常例と難しい例を含め、起こり得る失敗を確認できる範囲を設定します。
デモで成功したら導入できますか
自社資料、権限、確認工程での再現が必要です。デモの結果だけでは運用可否を判断できません。
試行結果はどこへ残しますか
目的、対象、入力、正解例、指示文、出力、評価、時間、問題、停止判断を一組で保存します。
