Spark SQLとHive、Hadoop上でのクエリ処理性能を比較してみた - (page 3)

羽野三千世 (編集部)

2016-01-20 07:00

ノード数の増加に対する性能特性

 クラスタノード数の増加に対する性能検証では、PostgreSQLを1ノードで固定、Spark SQLとHiveはYARN上で3種類のクエリを実行し3ノード/6ノード/9ノードで性能を計測した。

 レイテンシ(秒)の測定結果を以下に示す。Spark SQLは全体的にHive、PostgreSQLより低レイテンシだった。


ノード数増加に伴うレイテンシ(秒)の変化

 「SELECT」実行時のスループットを測定した結果は次の通り。ノード数増加に伴い、Spark SQLのスループットはほぼ線形に増加しており、Hive、PostgreSQLよりも高性能だった。


ノード数増加に伴う「SLECT」実行時のスループットの変化

 「SUM」実行時のスループットを測定した結果は次の通り。ノード数増加に伴い、Spark SQLのスループットはほぼ線形に増加しており、Hive、PostgreSQLよりも高性能だった。


ノード数増加に伴う「SUM」実行時のスループットの変化

 「JOIN」実行時のスループットを測定した結果は次の通り。ノード数増加に伴い、Spark SQLのスループットはほぼ線形に増加しており、Hive、PostgreSQLよりも高性能だった。


ノード数増加に伴う「JOIN」実行時のスループットの変化

ZDNET Japan 記事を毎朝メールでまとめ読み(登録無料)

ホワイトペーパー

新着

ランキング

  1. セキュリティ

    従来型のセキュリティでは太刀打ちできない「生成AIによるサイバー攻撃」撃退法のススメ

  2. セキュリティ

    AIサイバー攻撃の増加でフォーティネットが提言、高いセキュリティ意識を実現するトレーニングの重要性

  3. 運用管理

    メールアラートは廃止すべき時が来た! IT運用担当者がゆとりを取り戻す5つの方法

  4. 開発

    「スピード感のある価値提供」と「高品質な製品」を両立させるテスト会社の使い方

  5. セキュリティ

    クラウド資産を守るための最新の施策、クラウドストライクが提示するチェックリスト

ZDNET Japan クイックポール

所属する組織のデータ活用状況はどの段階にありますか?

NEWSLETTERS

エンタープライズコンピューティングの最前線を配信

ZDNET Japanは、CIOとITマネージャーを対象に、ビジネス課題の解決とITを活用した新たな価値創造を支援します。
ITビジネス全般については、CNET Japanをご覧ください。

このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]