「動いている」と「使えている」は違う
AI を本番に乗せた直後は、システムは動いているように見えます。エラーは出ない、ログも溜まる。それで「順調」と判断するのは早計です。
AI の運用で問われるのは、システム稼働ではなく、業務での有効性です。
- - 出力品質が業務要件を満たし続けているか
- - 利用者が本当に使い続けているか
- - 業務 KPI が改善方向に動いているか
この 3 つが見えていない運用は、半年後に「導入したが効果が出ていない」と評価されます。
モニタリングの 3 層
モニタリングは 3 層で設計します。
- 1. システム層：レスポンスタイム、エラー率、トークン使用量
- 2. 品質層：出力の正確性、回答拒否率、人による修正率
- 3. 業務層：処理件数、所要時間、業務 KPI（受注率・顧客満足度など）
システム層だけ見ていると、AI が安定して間違い続けている状態に気づけません。3 層をダッシュボードに並べ、月次で業務オーナーと一緒にレビューします。
品質劣化検知の仕組み
AI の品質は、緩やかに劣化することがあります。原因は次のいずれかです。
- - ベンダー側のモデル更新で挙動が変わった
- - 社内データ（FAQ・wiki）が古くなり、AI が古い情報で回答
- - 利用パターンが当初想定と乖離してきた