編集部からのお知らせ
新着の記事まとめPDF「NTT」
おすすめ記事まとめ「MLOps」

グーグルのクラウドを支えるテクノロジー > 第116回 Napa:ストリーミングデータのデータウェアハウスシステム(パート3)

CTCテクノロジー株式会社(CTC教育サービス)

2021-11-24 09:00

CTC教育サービスはコラム「グーグルのクラウドを支えるテクノロジー > 第116回 Napa:ストリーミングデータのデータウェアハウスシステム(パート3)」を公開しました。
###

はじめに
 前回に続いて、2021年に公開された論文「Napa: Powering Scalable Data Warehousing with Robust Query Performance at Google」を元にして、Google社内で利用されている、Napaと呼ばれるデータウェアハウスシステムを紹介します。今回は、検索を含むさまざまな処理を高速化するための工夫、および、プロダクション環境における性能データを紹介します。

ユーザー定義ビューのアップデート
 前々回の記事で少し触れたように、Napaは「ユーザー定義ビュー」をサポートしています。既存のテーブルから新しいテーブル(ビュー)を作るためのSQLを登録しておくと、テーブルのデータが更新されるごとに、ビューの内容もそれに応じて自動的に更新されるという仕組みです。Napaの場合は、前回説明したように、差分データのマージ処理が進むにつれて、検索可能な最新データのタイムスタンプ(QT)が更新されていきます。このため、QTを更新するタイミングで、対応するビューも同時にアップデートする必要があります。Napaが扱うテーブルのデータ量、および、新規データの追加速度を考えると、ビューのアップデートはかなり高速に行う必要があります。Napaが管理するテーブル、および、ビューのデータは、それぞれのキーによってソートされた状態で複数のノードに分散配置されており、この特徴を生かした実装がなされています。詳しい内容は論文に譲りますが、本質的には、複数のテーブルのデータをマージして再ソートするという処理になっており、論文内には「最先端(state-of-the-art)のソートライブラリーの開発に相当な労力をかけた」という記述があります。

この続きは以下をご覧ください
(リンク »)
本プレスリリースは発表元企業よりご投稿いただいた情報を掲載しております。
お問い合わせにつきましては発表元企業までお願いいたします。

【企業の皆様へ】企業情報を掲載・登録するには?

御社の企業情報・プレスリリース・イベント情報・製品情報などを登録するには、企業情報センターサービスへのお申し込みをいただく必要がございます。詳しくは以下のページをご覧ください。

ホワイトペーパー

新着

ランキング

  1. セキュリティ

    アンチウイルス ソフトウェア10製品の性能を徹底比較!独立機関による詳細なテスト結果が明らかに

  2. 経営

    10年先を見据えた働き方--Microsoft Teamsを軸に社員の働きやすさと経営メリットを両立

  3. セキュリティ

    6000台強のエンドポイントを保護するために、サッポログループが選定した次世代アンチウイルス

  4. セキュリティ

    ローカルブレイクアウトとセキュリティ-SaaS、Web会議があたりまえになる時代の企業インフラ構築

  5. 運用管理

    マンガでわかるスーパーマーケット改革、店長とIT部門が「AIとDXで トゥギャザー」するための秘策

NEWSLETTERS

エンタープライズ・コンピューティングの最前線を配信

ZDNet Japanは、CIOとITマネージャーを対象に、ビジネス課題の解決とITを活用した新たな価値創造を支援します。
ITビジネス全般については、CNET Japanをご覧ください。

このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]