編集部からのお知らせ
新着記事まとめPDF「データサイエンティスト」
ZDNet Summit 2021開催のご案内

グーグルのクラウドを支えるテクノロジー > 第114回 Napa:ストリーミングデータのデータウェアハウスシステム(パート1)

CTCテクノロジー株式会社(CTC教育サービス)

2021-10-06 09:00

CTC教育サービスはコラム「グーグルのクラウドを支えるテクノロジー > 第114回 Napa:ストリーミングデータのデータウェアハウスシステム(パート1)」を公開しました。
###

はじめに
 今回からは、2021年に公開された論文「Napa: Powering Scalable Data Warehousing with Robust Query Performance at Google」を元にして、Google社内で利用されている、Napaと呼ばれるデータウェアハウスシステムを紹介していきます。Napaは、さまざまなアプリケーションがリアルタイムに生成するデータをストリーミングで受け取り、SQLで分析可能にするためのデータウェアハウスシステムです。前身となるシステムからの置き換えを経て、2021年時点で、数年間の利用実績があるシステムです。

Napaの役割と基本構成
 Napaは、Google社内のさまざまなアプリケーションチームが共有で利用するデータウェアハウスシステムです。アプリケーションがリアルタイムに生成するログデータをストリーミングで保存して、最新のデータをなるべく短時間で分析できるようにすることがその目的です。Napaもまた、その他のGoogleのデータ処理システムと同様に、並列分散処理システムとして設計されていますので、処理に使用するリソースを増やす事で、次の時間を短縮することができます。

(1) 最新のデータが利用可能になるまでの待ち時間
(2) クエリーの応答時間

 しかしながら、使用するリソースを増やせば、そのために必要なリソースのコストも増加します。Napaを利用するそれぞれのプロジェクトチームは、リソースコストとのトレードオフを考えながら、(1)(2)に対する性能要求をカスタマイズできるように設計されています。Napaは、このようなカスタマイズを可能にするために、図1の3つの段階に分けてストリーミングデータを処理します。

この続きは以下をご覧ください
(リンク »)
本プレスリリースは発表元企業よりご投稿いただいた情報を掲載しております。
お問い合わせにつきましては発表元企業までお願いいたします。

【企業の皆様へ】企業情報を掲載・登録するには?

御社の企業情報・プレスリリース・イベント情報・製品情報などを登録するには、企業情報センターサービスへのお申し込みをいただく必要がございます。詳しくは以下のページをご覧ください。

NEWSLETTERS

エンタープライズ・コンピューティングの最前線を配信

ZDNet Japanは、CIOとITマネージャーを対象に、ビジネス課題の解決とITを活用した新たな価値創造を支援します。
ITビジネス全般については、CNET Japanをご覧ください。

このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]