NECは12月10日、人工知能（AI）を使ったシステムの品質ガイドラインを策定したと発表した。従来型のソフトウェア品質保証だけでは対応できない、機械学習システムの品質を担保することが目的だという。同ガイドラインは、NECがこれまで手掛けたAI案件で適用してきたルールをまとめ、社内における実際のプロジェクトで実証し策定したもの。同社はこのガイドラインをNECグループのAI人材が情報交換するためのコミュニティー「NEC Data Analyst Community」で共有し、2020年4月以降のAI案件に適用していくという。
AIシステムの構築・開発では、演繹（えんえき）的ではなく帰納的な手法で進める必要があり、開発の際に試行錯誤を伴う。だが、テストやレビューといった品質の十分性を測定する技法がない他、AIエンジンの仕様や分析結果を出すまでの過程について人間による解釈が困難な場合もあり、従来のソフトウェア品質保証に関するガイドラインだけでは対応が困難だったという。
NECはこれらの対応に必要なAI応用システムの開発経験と、従来のソフトウェア品質保証のスキルを両立できるスキルセットを有していると説明する。そして今回、その両方の観点から同社のノウハウをこのガイドラインにまとめ、今後のAIシステム開発を下支えできるようにしたという。同ガイドラインの特徴は以下の通りだ。
- 早期のリスク防止に向けて、AIシステムの段階ごとにチェック項目を設定
AIを用いた開発では通常のソフトウェア開発段階に加え、システムの企画やデータの収集／加工、モデルの作成／評価／テスト、システムの運用が重要となる。同ガイドラインでは、この4つの段階に対して具体的な基準を策定。各段階に移る際にガイドラインに従って確認することで、次の段階で発生する恐れのあるリスクを早い段階で防止できるという。 - AI開発の経験から、機械学習モデルに関する定量値を含むチェック項目を設定
NECが取り組んできたAIシステム開発の経験を基に、機械学習のモデル作成用データの量や外れ値・欠損値などの項目に定量的基準を定めた。基準を明確化することで、第三者による判断が可能となるとしている。
AIシステムの段階ごとにチェック項目を設定（出典：NEC）
※クリックすると拡大画像が見られます
