どのような開発を行っているか平易な言葉で説明し、現段階における成果を共有します。また、新機能をリリースするために必要な成果水準について関係者間で合意形成をしておくことは、リリース直前で揉めないためにも重要です。
プロトタイプによるテストで関係各所が満足できる結果が得られたら、いよいよリリースとなります。開発する機能にもよりますが、まずは一部のユーザーを対象にABテストを実施し、従来の方法と比較して改善が見られるようであれば100%のユーザーへ開放していく方法が一般的です。
AIや機械学習を用いたシステムによるアウトプットは、アルゴリズムだけでなく処理するデータによっても変化するため、想定通りの動作を完全には保証できません。
そのため、サービスを運用する中で不具合が発生したり、十分な性能が発揮できないとわかった場合への備えが必要です。例えば、何かあった場合には新機能を導入する前の状態に戻せるような仕組みを作るなど、リスクヘッジも大切な検討事項です。
効果測定と価値のアピール
本番環境での滑り出しがうまくいけば、サービスの一部として運用が始まります。運用が始まったら、注視すべき指標をモニタリングをする仕組みが必要です。
リリース前の段階から、モニタリングする指標や、モニタリング方法などについても考えておきましょう。機械学習のアウトプットはデータの状況によって左右されるため、最初のリリースで完璧に仕上げるよりも継続的に改善していくことが重要です。
機械学習の開発プロジェクトは、本質的に研究開発的な要素を含んでおり、企画や設計段階から実際の成果を正確に見積もることは困難です。
また、他のプロジェクトと同様に想定していた成果が出なければ継続することは難しいでしょう。そのため、プロジェクトの評価期間や評価方法の見直しなども含め、リリース後も上司や関係者と継続的に話し合いの場を持つことをお勧めします。
