Dropbox Japanは8月30日、自社で独自に構築したエクサバイト規模のストレージシステム「Magic Pocket」を報道機関向けに説明した。5億人超の利用者を抱えるクラウドストレージ「Dropbox」の根幹を支える重要なITインフラだ。
Dropboxは現在、180カ国以上で5億人を超える人々に利用されている。写真や動画、ドキュメントなどのファイルをクラウド上にまとめて保管できるストレージサービスだ。有料ユーザーは1100万人を超え、その80％以上が業務利用しているという。
小規模企業から大規模企業までまんべんなく使われている。国内では関西大学が数万人規模で活用。グローバルではAdidasが3万人以上に導入した。複数拠点でファイルのやり取りや共同作業をするケースが多い。
Dropbox Japan ソリューションアーキテクト 保坂大輔氏
Dropboxが預かっているデータは1エクサバイトを超える。ちなみに、1エクサバイトは1000ペタバイト、1ペタバイトは1000テラバイトである。「米国の議会図書館には1億点ほどの蔵書がある。それを全て電子化したデータの3万倍くらいの情報量」（Dropbox Japan ソリューションアーキテクト 保坂大輔氏）だという。
同社インフラの消費電力量は合計14メガワット、取り扱うファイルの数は4000億件以上に及ぶ。
「データは急速に増えている。2012年の段階で40ペタバイトだったものが、2016年に500ペタバイト、2018年に1エクサバイトを超えている。加速度的に増加している状態だ。また、これらのデータはネットワーク経由でやってくる。アップロードされたデータは更新されるため、膨大なネットワークトランザクションが発生する。ネットワークも強化しないと快適なサービスは届けられない」（保坂氏）
Dropboxでは、2011年以前から2014年まではハイブリッド環境でインフラを運用していた。Amazon Web Services（AWS）のストレージにファイルのデータ本体を保管し、サービス自体の処理基盤は自社データセンターに構築した。2014年には、これを自社開発のストレージシステムであるMagic Pocketに移行した。サービスを止めることなくAWSからシステムを移行させる必要があり、「飛んでる飛行機のエンジンを変えるようなもの」（同氏）だったという。
2016年からは世界規模でネットワークの拡張に取り組んでおり、現在も進行中である。2018年からは、シングル磁気記録（Shingled Magnetic Recording：SMR）と呼ばれるHDD技術を導入することで、データセンターの集約化を進めている。
Dropboxのストレージインフラで特徴となるのが、「セキュリティ」「パフォーマンス」「アジリティ」の3点だ。その中核となるMagic Pocketは独自に構築したサーバ群であり、現時点で数エクサバイト分のファイルを格納する余裕があるという。全て自前で設計、運用している。
Magic Pocketの説明
AWSで運用していた時代よりも、パフォーマンスが高く可用性も上がっているという。「AWSはあくまで汎用的なもので、自社向けに最適化されたものではない。Magic Pocketは自社のサービス向けにさまざまなチューニングがなされている」（保坂氏）
SMRは、データトラックを瓦状に重ねることで記録密度を高める技術。高密度化や大容量化に有効である一方で、ランダムアクセスは苦手と言われている。Dropboxに保存されるデータは、変更のタイミングが限られているという。「データがアップロードされたときに最も多く変更され、時間の経過とともになくなっていく。こうしたデータの性質とSMRとの相性が良いと判断した」（同氏）
実際には、2年程度の期間をかけてさまざまな検討と検証を繰り返した。2018年からSMRへの切り替えを進めており、ストレージのスペースを2分の1程度に節約できると試算している。
インフラのセキュリティに関しては、多要素認証を採用するほか、ソルト付きハッシュを実装したパスワード、侵入検知、フォレンジック・ロギング検知、ペネトレーションテスト（システムの侵入耐性検査）、脆弱性発見者への報奨、本番ネットワークと業務ネットワークの分離というように、ベストプラクティスを取り入れているという。保管中、転送中のファイルは暗号化される。
第3者認証については、国際認証であるSOC 2/SOC 3、ISO 27001/27017/27018/22301、HIPAA/HITECH対応を取得しているとした。
ネットワークインフラも自社で管理している。パフォーマンスとフレキシビリティを重視しており、北米、欧州、アジアの3つに自前のネットワークを敷いている。それぞれを4本の物理ケーブルでつなぎ、それぞれ別の通信キャリアと契約しているという。
インターネット接続事業者（ISP）や企業のネットワークと相互接続するピアリングにも対応する。「要求があれば無償で受け付けている」（保坂氏）
