飛行中の航空機エンジンを変えた--1エクサバイトを管理するDropboxの試行錯誤

阿久津良和

2019-09-09 07:15

 Dropbox Japanは9月6日、クラウドストレージサービス「Dropbox」を支えるインフラの技術説明会を開催。Dropboxでは、あまりアクセス頻度が低い“コールドデータ”の格納先としてハードディスクドライブ(HDD)の高密度のシングル磁気記録(Shingled Magnetic Recording:SMR)を活用。高密度SMR化は2019年末に40%にすることを目標にしている。Dropbox Japanのソリューションアーキテクトである保坂大輔氏は「予想以上にトラブルが少なかった」とDropboxにおけるストレージ基盤の改善をアピールした。

 2007年6月(正式サービスは2008年9月)から提供されているDropboxは、現在180の国と地域で利用されている。当初はレンタルサーバーを組み合わせていたが、ユーザー増に伴い、自社サーバー構築プロジェクト「Magic Pocket」を2014~2015年に進めた。

Dropbox Japan ソリューションアーキテクト 保坂大輔氏
Dropbox Japan ソリューションアーキテクト 保坂大輔氏

 その後もAmazon Web Services(AWS)のクラウドストレージを併用していたが、2018年初頭に格納データは500PBを突破する。米議会図書館が所蔵するすべての図書を合計しても50PBと言われていることを踏まえると、その膨大さを感じ取れるだろう。

 保坂氏はMagic Pocketプロジェクトについて「(Dropboxの)サービスを停止できず、運用時もパフォーマンスダウンをユーザーに気付かせないため、社内では『飛行中の航空機エンジンを変えるプロジェクト』と言われていた」と語る。現在は大半のデータを自社データセンターで管理し、ほぼAWSを使用していないが、現在の管理データ量は1EB(エクサバイト)を突破した。

 日々拡大するデータ量だが、IDCが2017年4月に発表した調査「Data Age 2055」では、世界のデータ量は2018年で33ZB、2025年には163ZBまで増加すると予測している。

 DropboxはMagic Pocketで使用するストレージを2018年6月に高密度SMRに置き換えるプロジェクトに着手した。そもそも同社はファイルをブロック単位で分割管理し、変更箇所を差分としてブロックストレージサーバーに格納、もしくはクライアントに送信している。

 各ブロックは同社の独自圧縮技術「Lepton」を使用し、ネットワークの負荷を軽減してきた。他方で同社は時間経過に伴いファイルへのアクセスが減少する傾向を踏まえ、利用頻度が高い(書き換え回数が多い)ブロックを“ウォームデータ”、利用頻度が低いブロックを“コールドデータ”と2種類のストレージ層で運用する手法を2018年から採用する。

ZDNET Japan 記事を毎朝メールでまとめ読み(登録無料)

ホワイトペーパー

新着

ランキング

  1. セキュリティ

    ChatGPTに関連する詐欺が大幅に増加、パロアルトの調査結果に見るマルウェアの現状

  2. セキュリティ

    迫るISMS新規格への移行期限--ISO/IEC27001改訂の意味と求められる対応策とは

  3. セキュリティ

    警察把握分だけで年間4000件発生、IPA10大脅威の常連「標的型攻撃」を正しく知る用語集

  4. セキュリティ

    いま製造業がランサムウェアに狙われている!その被害の実態と実施すべき対策について知る

  5. セキュリティ

    ランサムウェア攻撃に狙われる医療機関、今すぐ実践すべきセキュリティ対策とは?

ZDNET Japan クイックポール

所属する組織のデータ活用状況はどの段階にありますか?

NEWSLETTERS

エンタープライズコンピューティングの最前線を配信

ZDNET Japanは、CIOとITマネージャーを対象に、ビジネス課題の解決とITを活用した新たな価値創造を支援します。
ITビジネス全般については、CNET Japanをご覧ください。

このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]