CTC教育サービスはコラム「グーグルのクラウドを支えるテクノロジー ＞ 第71回 機械学習パイプラインにおける学習データの異常検知システム（パート2）」を公開しました。
＃＃＃
はじめに
前回に引き続き、2019年に公開された論文「Data Validation for Machine Learning」を元にして、機械学習モデルの学習データに含まれる異常を検知するシステムを紹介します。このシステムは、機械学習を利用するGoogle社内のプロジェクトで標準的に利用されているもので、その全体像は、前回の図1のようになります。この後の本文は、前回の図1を見ながら読み進めるとよいでしょう。
データスキーマによる異常検知
学習データを収集するシステムである「Training data generation code」が収集・保存した「Training Data」、および、予測対象のデータを収集するシステムである「Serving data generation code」が収集・保存した「Serving Data」は、まずはじめに、「Data Analyzer」によって各種の統計情報が抽出されます。大規模な機械学習システムでは、これらのデータは膨大な量になるため、すべてのデータを個別にチェックするのは困難な場合もあります。あるいは、機械学習システムに特有のデータ異常を検知する上では、生データをそのままチェックするのではなく、事前に前処理を施した方がよい場合もあります。そのために、データの検証に必要十分な情報を抽出するのが、「Data Analyzer」の役割になります。
この続きは以下をご覧ください
(リンク »)
はじめに
前回に引き続き、2019年に公開された論文「Data Validation for Machine Learning」を元にして、機械学習モデルの学習データに含まれる異常を検知するシステムを紹介します。このシステムは、機械学習を利用するGoogle社内のプロジェクトで標準的に利用されているもので、その全体像は、前回の図1のようになります。この後の本文は、前回の図1を見ながら読み進めるとよいでしょう。
データスキーマによる異常検知
学習データを収集するシステムである「Training data generation code」が収集・保存した「Training Data」、および、予測対象のデータを収集するシステムである「Serving data generation code」が収集・保存した「Serving Data」は、まずはじめに、「Data Analyzer」によって各種の統計情報が抽出されます。大規模な機械学習システムでは、これらのデータは膨大な量になるため、すべてのデータを個別にチェックするのは困難な場合もあります。あるいは、機械学習システムに特有のデータ異常を検知する上では、生データをそのままチェックするのではなく、事前に前処理を施した方がよい場合もあります。そのために、データの検証に必要十分な情報を抽出するのが、「Data Analyzer」の役割になります。
この続きは以下をご覧ください
(リンク »)
本プレスリリースは発表元企業よりご投稿いただいた情報を掲載しております。
お問い合わせにつきましては発表元企業までお願いいたします。
お問い合わせにつきましては発表元企業までお願いいたします。
