NECは12月3日、ビッグデータ向けに世界最速レベルのリアルタイム処理を低コストで実現する、メニーコア(数十から数百のプロセッサコアを実装した)サーバ用のソフトウェア技術を開発したと発表した。
本技術は、2つの大きな特徴を備えている。1つは、独自のメニーコアサーバ向け並列化技術。NECがベクトル型スーパーコンピュータの開発で培ったプログラムの並列化技術を応用し、並列化されていないプログラムを並列処理に適したプログラムに容易に変換する技術を開発。これにより、従来は数個のプロセッサコアにしか割り当てできなかったプログラムも、汎用メニーコアサーバ中の数百個以上のプロセッサコアに割り当てることができ、処理の大幅な高速化を実現した。
もう1つは、サーバの性能を最大限まで引き出す負荷分散技術。並列処理で発生するプロセッサコア間の処理負荷の差異を瞬時に均一化する技術を開発。負荷が大きいプロセッサコアから小さいプロセッサコアへ、自動的に処理を移す階層的負荷制御を実現することで、汎用メニーコアサーバの性能を最大限に引き出すことを可能にした。
ビッグデータ分析の適用範囲はテキストや数値情報だけでなく、音声や映像など複雑かつ多様、大量な情報にも広がりつつあり、その迅速な処理が期待されているものの、計算量が多いことから膨大な時間を要し、リアルタイム処理を行うためには高コストな専用システムが必要とされているのが現状だ。NECによる検証によれば、数百人が映っている映像の中から1人を特定する処理に本技術を適用し、100個以上のプロセッサコアを搭載したメニーコアサーバ(NEC Express5800/HR120b-1に、Intel Xeon Phiコアプロセッサーを2基搭載)で実行したところ、従来は数分を要していた処理を1秒以内に短縮でき、処理速度を100倍以上に高められることを確認したという。
NECでは、本技術をプログラム開発者が利用できるライブラリとして提供し、従来より低コストなシステムで大幅な高速処理を実現することを可能にするとしている。