飛行中の航空機エンジンを変えた--1エクサバイトを管理するDropboxの試行錯誤

阿久津良和

2019-09-09 07:15

 Dropbox Japanは9月6日、クラウドストレージサービス「Dropbox」を支えるインフラの技術説明会を開催。Dropboxでは、あまりアクセス頻度が低い“コールドデータ”の格納先としてハードディスクドライブ(HDD)の高密度のシングル磁気記録(Shingled Magnetic Recording:SMR)を活用。高密度SMR化は2019年末に40%にすることを目標にしている。Dropbox Japanのソリューションアーキテクトである保坂大輔氏は「予想以上にトラブルが少なかった」とDropboxにおけるストレージ基盤の改善をアピールした。

 2007年6月(正式サービスは2008年9月)から提供されているDropboxは、現在180の国と地域で利用されている。当初はレンタルサーバーを組み合わせていたが、ユーザー増に伴い、自社サーバー構築プロジェクト「Magic Pocket」を2014~2015年に進めた。

Dropbox Japan ソリューションアーキテクト 保坂大輔氏
Dropbox Japan ソリューションアーキテクト 保坂大輔氏

 その後もAmazon Web Services(AWS)のクラウドストレージを併用していたが、2018年初頭に格納データは500PBを突破する。米議会図書館が所蔵するすべての図書を合計しても50PBと言われていることを踏まえると、その膨大さを感じ取れるだろう。

 保坂氏はMagic Pocketプロジェクトについて「(Dropboxの)サービスを停止できず、運用時もパフォーマンスダウンをユーザーに気付かせないため、社内では『飛行中の航空機エンジンを変えるプロジェクト』と言われていた」と語る。現在は大半のデータを自社データセンターで管理し、ほぼAWSを使用していないが、現在の管理データ量は1EB(エクサバイト)を突破した。

 日々拡大するデータ量だが、IDCが2017年4月に発表した調査「Data Age 2055」では、世界のデータ量は2018年で33ZB、2025年には163ZBまで増加すると予測している。

 DropboxはMagic Pocketで使用するストレージを2018年6月に高密度SMRに置き換えるプロジェクトに着手した。そもそも同社はファイルをブロック単位で分割管理し、変更箇所を差分としてブロックストレージサーバーに格納、もしくはクライアントに送信している。

 各ブロックは同社の独自圧縮技術「Lepton」を使用し、ネットワークの負荷を軽減してきた。他方で同社は時間経過に伴いファイルへのアクセスが減少する傾向を踏まえ、利用頻度が高い(書き換え回数が多い)ブロックを“ウォームデータ”、利用頻度が低いブロックを“コールドデータ”と2種類のストレージ層で運用する手法を2018年から採用する。

ZDNET Japan 記事を毎朝メールでまとめ読み(登録無料)

ホワイトペーパー

新着

ランキング

  1. セキュリティ

    「デジタル・フォレンジック」から始まるセキュリティ災禍論--活用したいIT業界の防災マニュアル

  2. 運用管理

    「無線LANがつながらない」という問い合わせにAIで対応、トラブル解決の切り札とは

  3. 運用管理

    Oracle DatabaseのAzure移行時におけるポイント、移行前に確認しておきたい障害対策

  4. 運用管理

    Google Chrome ブラウザ がセキュリティを強化、ゼロトラスト移行で高まるブラウザの重要性

  5. ビジネスアプリケーション

    技術進化でさらに発展するデータサイエンス/アナリティクス、最新の6大トレンドを解説

ZDNET Japan クイックポール

注目している大規模言語モデル(LLM)を教えてください

NEWSLETTERS

エンタープライズ・コンピューティングの最前線を配信

ZDNET Japanは、CIOとITマネージャーを対象に、ビジネス課題の解決とITを活用した新たな価値創造を支援します。
ITビジネス全般については、CNET Japanをご覧ください。

このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]