ヤフーは、オープンソースソフトウェア(OSS)の分散並列処理プログラミングフレームワーク「Apache Hadoop」のディストリビューション「Hortonworks Data Platform(HDP)」を利用する。Hadoopのクラスタとしては日本最大級という。米Hortonworksが米国時間3月4日に発表した。
ヤフーは、数千ノード規模のデータ基盤を支えるコアインフラとしてHDPを利用し、現行サービスの次世代版や新サービスを展開していく予定。HDPは、既存のITインフラと統合する形でHadoopベースのアプリケーション開発と実装が可能という。新データ基盤への移行で次世代ウェブ事業を推進していく上で重要な投資対効果(ROI)、データ容量、処理性能も大幅に向上することが見込まれるという。
Hortonworksは、Hadoopディストリビューションの開発、サポートを提供、Hadoopコミュニティに最多数の開発者とアーキテクトを提供し、忠実に世界の大企業の需要を開発に反映しているという。
今回のヤフーの採用では、ヤフーがHortonworksと緊密に連携した共同研究開発を展開し、Hadoopの性能と機能を強化していくことで、Apache Software Foundationにも貢献していくことにもなるとしている。