NECとHortonworksは10月15日、NECの次世代イノベーションプラットフォーム「SX-Aurora TSUBASA」上で、人工知能(AI)にも利用可能なビッグデータ向け高速分析プラットフォームを共同開発すると発表した。
SX-Aurora TSUBASAを、Hadoop/Spark領域での代表的なリソース管理/分散アプリケーション管理基盤「YARN」に対応できるようにし、従来のHadoop/、Sparkによるビッグデータ解析プログラムを「SX-Aurora TSUBASA」上で管理可能にする。これにより、「YARN」を利用している一般的なシステム構成では、従来のXeon Gold 6126 1ソケットでの解析を、最大99%少ないサーバリソースで実行できる。
また、NECのミドルウェア「Frovedis」をSparkに組み込むことにより、SX-Aurora TSUBASA上でのSparkを使用した機械学習アプリケーションが、従来(Xeon Gold 6126 1ソケット)のサーバ比で最大100倍高速に動作できるようになる。これにより、Spark上で機械学習用のライブラリ「MLlib」などを活用したAI・ビッグデータ処理を高速に実行したい利用者に、通常のHadoop/Sparkと同様の管理環境で利用できるプラットフォームを提供する。