編集部からのお知らせ
解説集:台頭するロボット市場のいま
解説集:データ活用で考えるデータの選び方

Dropboxの独自ストレージ「Magic Pocket」--AWSから移行、エクサバイト格納

藤本和彦 (編集部)

2018-08-31 07:00

 Dropbox Japanは8月30日、自社で独自に構築したエクサバイト規模のストレージシステム「Magic Pocket」を報道機関向けに説明した。5億人超の利用者を抱えるクラウドストレージ「Dropbox」の根幹を支える重要なITインフラだ。

 Dropboxは現在、180カ国以上で5億人を超える人々に利用されている。写真や動画、ドキュメントなどのファイルをクラウド上にまとめて保管できるストレージサービスだ。有料ユーザーは1100万人を超え、その80%以上が業務利用しているという。

 小規模企業から大規模企業までまんべんなく使われている。国内では関西大学が数万人規模で活用。グローバルではAdidasが3万人以上に導入した。複数拠点でファイルのやり取りや共同作業をするケースが多い。

Dropbox Japan ソリューションアーキテクト 保坂大輔氏
Dropbox Japan ソリューションアーキテクト 保坂大輔氏

 Dropboxが預かっているデータは1エクサバイトを超える。ちなみに、1エクサバイトは1000ペタバイト、1ペタバイトは1000テラバイトである。「米国の議会図書館には1億点ほどの蔵書がある。それを全て電子化したデータの3万倍くらいの情報量」(Dropbox Japan ソリューションアーキテクト 保坂大輔氏)だという。

 同社インフラの消費電力量は合計14メガワット、取り扱うファイルの数は4000億件以上に及ぶ。

 「データは急速に増えている。2012年の段階で40ペタバイトだったものが、2016年に500ペタバイト、2018年に1エクサバイトを超えている。加速度的に増加している状態だ。また、これらのデータはネットワーク経由でやってくる。アップロードされたデータは更新されるため、膨大なネットワークトランザクションが発生する。ネットワークも強化しないと快適なサービスは届けられない」(保坂氏)

 Dropboxでは、2011年以前から2014年まではハイブリッド環境でインフラを運用していた。Amazon Web Services(AWS)のストレージにファイルのデータ本体を保管し、サービス自体の処理基盤は自社データセンターに構築した。2014年には、これを自社開発のストレージシステムであるMagic Pocketに移行した。サービスを止めることなくAWSからシステムを移行させる必要があり、「飛んでる飛行機のエンジンを変えるようなもの」(同氏)だったという。

 2016年からは世界規模でネットワークの拡張に取り組んでおり、現在も進行中である。2018年からは、シングル磁気記録(Shingled Magnetic Recording:SMR)と呼ばれるHDD技術を導入することで、データセンターの集約化を進めている。

 Dropboxのストレージインフラで特徴となるのが、「セキュリティ」「パフォーマンス」「アジリティ」の3点だ。その中核となるMagic Pocketは独自に構築したサーバ群であり、現時点で数エクサバイト分のファイルを格納する余裕があるという。全て自前で設計、運用している。

Magic Pocketの説明
Magic Pocketの説明

 AWSで運用していた時代よりも、パフォーマンスが高く可用性も上がっているという。「AWSはあくまで汎用的なもので、自社向けに最適化されたものではない。Magic Pocketは自社のサービス向けにさまざまなチューニングがなされている」(保坂氏)

 SMRは、データトラックを瓦状に重ねることで記録密度を高める技術。高密度化や大容量化に有効である一方で、ランダムアクセスは苦手と言われている。Dropboxに保存されるデータは、変更のタイミングが限られているという。「データがアップロードされたときに最も多く変更され、時間の経過とともになくなっていく。こうしたデータの性質とSMRとの相性が良いと判断した」(同氏)

 実際には、2年程度の期間をかけてさまざまな検討と検証を繰り返した。2018年からSMRへの切り替えを進めており、ストレージのスペースを2分の1程度に節約できると試算している。

 インフラのセキュリティに関しては、多要素認証を採用するほか、ソルト付きハッシュを実装したパスワード、侵入検知、フォレンジック・ロギング検知、ペネトレーションテスト(システムの侵入耐性検査)、脆弱性発見者への報奨、本番ネットワークと業務ネットワークの分離というように、ベストプラクティスを取り入れているという。保管中、転送中のファイルは暗号化される。

 第3者認証については、国際認証であるSOC 2/SOC 3、ISO 27001/27017/27018/22301、HIPAA/HITECH対応を取得しているとした。

 ネットワークインフラも自社で管理している。パフォーマンスとフレキシビリティを重視しており、北米、欧州、アジアの3つに自前のネットワークを敷いている。それぞれを4本の物理ケーブルでつなぎ、それぞれ別の通信キャリアと契約しているという。

 インターネット接続事業者(ISP)や企業のネットワークと相互接続するピアリングにも対応する。「要求があれば無償で受け付けている」(保坂氏)

ZDNet Japan 記事を毎朝メールでまとめ読み(登録無料)

Special PR

特集

CIO

セキュリティ

スペシャル

ホワイトペーパー

新着

ランキング

  1. クラウドコンピューティング

    AI導入に立ちはだかる「データ」「複雑さ」「コスト」「人材」の壁をどう乗り切ればいいのか?

  2. クラウドコンピューティング

    【IDC調査】2026年には75%のアプリがAIを実装!導入で遅れた企業はどう“逆転”すべきか?

  3. 運用管理

    経産省調査で明らかに:未だにレガシーシステムを抱える企業が8割!オープン化でよくある課題とは?

  4. 運用管理

    AWS東京リージョンの大規模障害に学ぶ、パブリッククラウド上のシステムの迅速な復旧方法

  5. windows-server

    【ユースケース】ソフトウェア開発にDell EMCインフラ+コンテナを使うメリット

NEWSLETTERS

エンタープライズ・コンピューティングの最前線を配信

ZDNet Japanは、CIOとITマネージャーを対象に、ビジネス課題の解決とITを活用した新たな価値創造を支援します。
ITビジネス全般については、CNET Japanをご覧ください。

このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]