日本IBMは、人工知能（AI）の本格展開で求められる機械学習（ML）システムの品質を安全性、有用性、公平性の観点から診断するサービスの提供を提供開始した。同サービスは課題や改善点を示し、ユーザーが安心して利用できる品質の高いAIを構築するための管理項目や方向性を提案する。
同サービスには、日本IBMのコンサルタントやデータサイエンティストが「機械学習品質マネジメントガイドライン」に基づいて開発した独自の診断フレームワークが用いられている。
このガイドラインは新エネルギー・産業技術総合開発機構と産業技術総合研究所が策定したもので、機械学習を用いたAIシステムの品質を管理するために、あるべき品質の定義や管理項目を体系化している。日本IBMは機械学習品質マネジメント検討委員の一員として策定に協力してきた。
まず、AIを本格展開する際に求められる品質と管理項目を明確にし、診断フレームワークを使って、開発段階、あるいは運用段階にあるAIの品質を網羅的に可視化する。
次に、機械学習システムの予測性能、データの量や質、プログラムなどのシステム面に加え、組織、プロセス、ツールなどの多様な観点から診断結果を提示し、課題点や改善点、実施すべき品質管理項目と今後の方向性を提言する。
