設計事務所のAI効果測定｜時間と品質を比べる
· 編集：KMC株式会社
設計事務所のAI導入効果を、同等の入力と完成条件で比較し、作業時間、確認時間、誤り、見落とし、再作業まで含めて測る手順を解説します。
生成時間だけでは効果を測れない
AIが数秒で下書きを出しても、入力整理、匿名化、指示作成、照合、修正、承認に時間がかかれば、業務全体は短くなりません。さらに、従来より誤りや見落としが増えれば、後工程で再作業が発生します。効果測定では開始から使用可能な完成物になるまでを測ります。
「速くなった気がする」という感想ではなく、同じ種類と難しさの資料を、同じ完成条件で比較します。架空の削減率や他社事例を自社効果として使いません。
比較する業務と完成条件を固定する
一つの業務を選び、開始点と終了点を決めます。議事録なら、音声受領から、決定事項、タスク、未確認事項が原音と照合され、承認者が共有可能と判断するまでです。AI出力が出た時点を終了にしません。
| 測定条件 | 固定する内容 | 記録例 |
|---|---|---|
| 入力 | 資料形式、長さ、難しさ | 30分会議、話者3人 |
| 出力 | 項目と書式 | 決定、タスク、保留 |
| 品質 | 許容できない誤り | 担当、期限の創作は不合格 |
| 担当 | 経験水準と役割 | 作成者、確認者 |
| 環境 | 製品、設定、版 | 実行日も保存 |
| 範囲 | 含む作業 | 匿名化から承認まで |
従来作業とAI利用作業に別の簡単な資料を割り当てないようにします。同じ資料を使う場合は、先に見た内容を覚える学習効果が出るため、順番を入れ替えるか、難しさを揃えた複数資料を用意します。
時間を工程別に測る
合計時間だけでは改善箇所が分かりません。少なくとも次へ分けます。
- 入力資料を準備する時間
- 匿名化と情報管理の確認時間
- 指示文を作る時間
- AIの実行と待機時間
- 出力を原資料と照合する時間
- 誤りを修正する時間
- 承認者が確認する時間
- 再実行や差し戻しの時間
たとえば、従来の作成25分、確認10分に対し、AI利用で準備8分、生成2分、確認18分、修正9分なら合計37分です。生成は速くても全体では2分増えています。都合のよい工程だけを報告しません。
品質は誤りの種類で数える
品質評価では、正解例と照合し、誤って追加した項目、見落とした項目、意味を変えた項目、未確認として止めた項目を分けます。
| 指標 | 意味 | 例 |
|---|---|---|
| 正答 | 根拠と一致した項目 | 担当と期限を正しく抽出 |
| 誤追加 | 入力にない内容 | 期限を推測して追加 |
| 見落とし | 必要項目を出さない | 決定事項を一件欠落 |
| 意味変更 | 表現変更で条件を落とす | 提案を決定と記載 |
| 適切な保留 | 判断不能を止める | 担当不明と明記 |
| 再作業 | 後工程でやり直した量 | 共有後の訂正件数 |
重大度も付けます。表現の好みと、金額、寸法、担当、期限、法規の誤りを同じ一件として扱いません。重大な誤りが一件でもあれば停止する用途もあります。
測定用プロンプト例
AIに自己採点させるだけでは評価になりませんが、記録の整理には使えます。
以下は匿名化した試行記録です。従来手順とAI利用手順について、入力準備、作成、照合、修正、承認、差し戻しの実測時間を同じ単位で集計してください。未記録をゼロにせず「未測定」としてください。正答、誤追加、見落とし、意味変更、適切な保留を正解表のIDに基づいて数えてください。削減率を推測せず、計算式と使用セルを示してください。
集計結果は元の時間記録と正解表へ戻って検算します。欠測値をゼロとして平均へ入れないこと、同じ案件の差し戻しを二重計上しないことが重要です。
導入前後では外部条件も記録する
案件の難しさ、担当者の経験、資料量、繁忙度が違えば、AI以外の影響が混ざります。測定票へ資料の長さ、項目数、参加者数、図面枚数、例外件数などの負荷指標を付けます。製品やモデルの版、管理設定が変わった場合も別条件として扱います。
初回は操作に慣れていないため時間が長くなり、繰り返すと短くなる場合があります。一回だけで結論を出さず、学習期間と通常運用候補を分けて記録します。一方、慣れによる短縮をAIの効果だけにしません。
合格基準は時間と品質を同時に置く
「合計時間が従来以下」「重大な誤りゼロ」「見落としが従来より増えない」「別担当が手順を再現できる」などを事前に決めます。品質を落として時間だけ短くする基準は使いません。
NISTのAI Resource Centerは、AIのテスト、評価、検証、妥当性確認を支援する資料を提供しています。IPAのガイドラインも、正確性、偏り、応答時間など用途に合う評価基準を定め、利用ルールを文書化する考え方を示しています。自社の業務影響に合わせて測定項目を選びます。
同じ完成条件で時間を再計算する
従来手順が作成28分、確認12分、修正5分なら完成まで45分です。AI利用手順が匿名化7分、入力整形6分、生成2分、照合17分、修正8分、承認7分なら47分です。この一件では2分増であり、生成時間の26分短縮とは報告しません。
次の資料でAI利用が38分でも、資料が短ければ単純平均に加えません。文字数、議題数、抽出すべき項目数などの負荷を併記し、同等群で比較します。途中で確認者が変わった場合も記録します。未測定工程がある回は、ゼロとして合計せず比較対象外にします。
品質について、従来が重大誤りゼロ、軽微な修正二件で、AI利用が重大な期限創作一件なら、時間が短くても不合格です。時間差と品質差を別欄に置き、総合判断の理由を残します。
費用を比べる場合も、月額料金だけでなく、初期設定、研修、管理、確認、障害対応の実測時間を含めます。複数業務で共用する費用は、配賦方法を先に決めます。無料試行中の条件を有料運用へそのまま当てはめず、契約プランと利用人数が決まった時点で再計算します。
結果から次の行動を決める
時間と品質が共に改善した場合は、同種資料を少し増やして再現性を確認します。時間だけ改善し品質が悪化した場合は対象を狭めるか、確認工程を追加します。品質は同じで時間が増えた場合は、入力整形や確認方法を見直します。両方悪化した場合は中止します。
結果には対象、件数、期間、条件、測定できなかった項目を添えます。「三割削減」だけを社内共有すると、別の業務へ誤って適用されます。
よくある質問
AIの応答時間だけ測ればよいですか
不十分です。準備、匿名化、照合、修正、承認、差し戻しを含む完成までの時間を測ります。
従来とAIで同じ資料を使えますか
使えますが、先に処理した内容を覚える影響があります。順序を入れ替えるか、同等難度の複数資料を使います。
何回測れば導入判断できますか
固定回数ではなく、正常例と難しい例を含み、担当者や資料が変わっても傾向を確認できる範囲で測ります。
誤字と金額誤りは同じ一件ですか
件数に加えて重大度を分けます。顧客判断や安全へ影響する誤りには厳しい停止条件を置きます。
測定結果を他業務へ使えますか
同じ入力、出力、確認工程に近い場合だけ参考にします。条件が違う業務は別に試行します。
