2017年に入って行われたMicrosoft Researchのプレゼンテーションによれば、データサイエンティストは作業時間の80％をデータの抽出とクリーニングに費やしているという。この作業は「データラングリング」とも呼ばれる。Microsoftはこの状況を改善したいと考えている。
それが「Project Pendleton」だ。
筆者は1年前、情報提供者の1人から、Microsoftが「Pendleton」というコードネームで、機械学習関連の新しいツールに取り組んでいるという話を耳にした。しかし、このツールについて記事にできるだけの情報は、The Walking Cat氏（Twitterアカウント：@h0x0d on Twitter）が情報や資料を明るみに出すまで手に入れることができずにいた。
The Walking Cat氏が提供したPendletonの資料の導入部分で、Microsoftはこのツールについて次のように説明している。
「Pendletonは、データの問題を調べ、発見し、理解し、修正する作業を手助けする、柔軟でスケーラブルなツールを提供する。これを利用することで、さまざまな形式のデータを消費し、そのデータを用途に合った新しい形式に変形することができる」
Pendletonは、Windows、OS X/macOSで動作するクライアントアプリケーションだ。ランタイムではPythonを使用しており、さまざまなPythonライブラリに依存している。
情報提供者の1人の説明によれば、Pendletonはデータの準備やクリーニングを行うよう設計された、データサイエンティスト向けのツールだ。このツールは、不規則なカラムを削除したり、カラム内のフォーマットを変更したり、欠損データを処理したりといった作業に使用できる。また、データセットに何が含まれているかを調べるためのアナリティクスツールも含まれている。
Microsoftは1年近く、あるいはそれ以上の期間、社内でPendletonのテストを行っている。同社がこのツールをどのような形でリリースするかについての情報はまだないが、どうやらまだ未定のように思える。
筆者の推測では、Pendletonには「データラングリングのためのプログラム合成技術を開発し、実際の製品に組み込む」研究を行っているMicrosoft ResearchのPROSE（Program Synthesis Using Examples）研究チームが（少なくとも一定程度は）関与していると考えられる。
提供：The Walking Cat
一方、データ科学と大規模なデータセットに関して、MicrosoftとFacebookは米国時間9月7日、深層学習モデルを提示するために共同開発した新標準「Open Neural Network Exchange（ONNX）」を発表した。そうしたモデルをフレームワーク間で動かすことができるようにするというものだ。
ONNXは、開発者がMicrosoftの「Cognitive Toolkit」やFacebookの「Caffe2」のほか、「PyTorch」などのAIフレームワークを容易に切り替えられるようにする。ONNXの初期バージョンのコードとドキュメントはGitHubでオープンソースとして公開されている。
この記事は海外CBS Interactive発の記事を朝日インタラクティブが日本向けに編集したものです。
