実践ビッグデータ

データ分析プロジェクト失敗回避のために--「前処理」実践法

小副川 健(富士通)

2015-04-22 07:00

 今回は、データの「前処理」について話そうと思う。

 前処理、と本稿で呼ぶのは、機械学習や可視化の前の処理すべてで、具体的には抽出や集計などの「データ加工」や「データ検証」のことを指す。

 前処理は、これが結果に直結するというものではないため、データ活用事例の紹介記事などで触れられることもまずなく、分析業務に直接携わる者でなければその存在を意識することもないのではないだろうか。

 ところが「データ分析業務は8割が前処理」と揶揄(やゆ)されることがあるほど、分析業務における前処理の比重は大きい。また、前処理が終わらなければ機械学習などの本格的な分析を始めることができないという構造もあり、分析プロジェクトのボトルネックに、容易になりうるのだ。

 統計処理や機械学習に比べて単純な作業が多いせいか、あまり分析に必要なスキルとして一般に認知されていないと筆者は感じているが、実際には前処理はスキルが必要で、それ次第では(特にデータ加工の部分に関して)前処理にかかる時間を圧倒的に短縮できる。

 扱うデータソースによって使えるソフトウェアや知識も異なるものが要求されるし、巨大なデータをさばくためにはデータベースや大規模並列分散環境を整えておく必要もあるが、準備とスキルとやり方次第で、前処理に掛かる時間はかなりコントロールできるようになるというのが筆者の主張である。

前処理は極めて重要

 本稿では、データ加工や検証のための典型的な処理について、主にこれからデータ分析を始めるチームを対象に説明する。特に、分析のために溜めていたわけではないデータを分析する状況を想定している。

 例えば、売り上げを計算するために蓄積されていた買い物のレシートデータ(POS)を分析によってマーケティングに生かす、というような状況であるが、現在のデータ活用過渡期と呼ぶべき現在においては、頻繁に直面する状況ではないかと思う。このような場合、データが正しく蓄積されていたかどうかの検証と、蓄積に適した形のデータから分析の目的に合わせた形への加工が必要になる。

 一方で、分析の仕組みがシステムに組み込まれている場合や、蓄積用の他に分析用のデータを作って溜めているというような場合は前処理にかかる苦労は圧倒的に少なく、本稿で言うほど前処理が大変ということはないだろう。だが、現在はそうでない状況はまだまだ多く、分析を意識したデータ設計が当然になり、十分蓄積されるまでにはまだ間があると思われる。

 まずは、データ加工の典型的な処理として、テーブル形式のデータに対して、筆者のチームでよくやる処理を紹介する。

 テーブル形式のデータは、典型的にはリレーショナルデータベース(RDB)に保存されているもので、表計算ソフトで用いられる二次元配列をイメージされると良い。列方向(縦)の並びに意味(属性と呼ぶ)を持たせ、行方向(横)の並びが一つのモノを表す。列を「フィールド」、行を「レコード」とも呼ぶ。

ZDNET Japan 記事を毎朝メールでまとめ読み(登録無料)

ホワイトペーパー

新着

ランキング

  1. セキュリティ

    従来型のセキュリティでは太刀打ちできない「生成AIによるサイバー攻撃」撃退法のススメ

  2. セキュリティ

    マンガでわかる脆弱性“診断”と脆弱性“管理”の違い--セキュリティ体制の強化に脆弱性管理ツールの活用

  3. セキュリティ

    情報セキュリティに対する懸念を解消、「ISMS認証」取得の検討から審査当日までのTo Doリスト

  4. セキュリティ

    ISMSとPマークは何が違うのか--第三者認証取得を目指す企業が最初に理解すべきこと

  5. セキュリティ

    クラウドセキュリティ管理導入による投資収益率(ROI)は264%--米フォレスター調査レポート

ZDNET Japan クイックポール

所属する組織のデータ活用状況はどの段階にありますか?

NEWSLETTERS

エンタープライズコンピューティングの最前線を配信

ZDNET Japanは、CIOとITマネージャーを対象に、ビジネス課題の解決とITを活用した新たな価値創造を支援します。
ITビジネス全般については、CNET Japanをご覧ください。

このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]