Spark SQLとHive、Hadoop上でのクエリ処理性能を比較してみた - (page 3)

羽野三千世 (編集部)

2016-01-20 07:00

ノード数の増加に対する性能特性

 クラスタノード数の増加に対する性能検証では、PostgreSQLを1ノードで固定、Spark SQLとHiveはYARN上で3種類のクエリを実行し3ノード/6ノード/9ノードで性能を計測した。

 レイテンシ(秒)の測定結果を以下に示す。Spark SQLは全体的にHive、PostgreSQLより低レイテンシだった。


ノード数増加に伴うレイテンシ(秒)の変化

 「SELECT」実行時のスループットを測定した結果は次の通り。ノード数増加に伴い、Spark SQLのスループットはほぼ線形に増加しており、Hive、PostgreSQLよりも高性能だった。


ノード数増加に伴う「SLECT」実行時のスループットの変化

 「SUM」実行時のスループットを測定した結果は次の通り。ノード数増加に伴い、Spark SQLのスループットはほぼ線形に増加しており、Hive、PostgreSQLよりも高性能だった。


ノード数増加に伴う「SUM」実行時のスループットの変化

 「JOIN」実行時のスループットを測定した結果は次の通り。ノード数増加に伴い、Spark SQLのスループットはほぼ線形に増加しており、Hive、PostgreSQLよりも高性能だった。


ノード数増加に伴う「JOIN」実行時のスループットの変化

ZDNET Japan 記事を毎朝メールでまとめ読み(登録無料)

ZDNET Japan クイックポール

注目している大規模言語モデル(LLM)を教えてください

NEWSLETTERS

エンタープライズ・コンピューティングの最前線を配信

ZDNET Japanは、CIOとITマネージャーを対象に、ビジネス課題の解決とITを活用した新たな価値創造を支援します。
ITビジネス全般については、CNET Japanをご覧ください。

このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]