Dropbox Japanは9月6日、クラウドストレージサービス「Dropbox」を支えるインフラの技術説明会を開催。Dropboxでは、あまりアクセス頻度が低い“コールドデータ”の格納先としてハードディスクドライブ(HDD)の高密度のシングル磁気記録(Shingled Magnetic Recording:SMR)を活用。高密度SMR化は2019年末に40%にすることを目標にしている。Dropbox Japanのソリューションアーキテクトである保坂大輔氏は「予想以上にトラブルが少なかった」とDropboxにおけるストレージ基盤の改善をアピールした。
2007年6月(正式サービスは2008年9月)から提供されているDropboxは、現在180の国と地域で利用されている。当初はレンタルサーバーを組み合わせていたが、ユーザー増に伴い、自社サーバー構築プロジェクト「Magic Pocket」を2014~2015年に進めた。
Dropbox Japan ソリューションアーキテクト 保坂大輔氏
その後もAmazon Web Services(AWS)のクラウドストレージを併用していたが、2018年初頭に格納データは500PBを突破する。米議会図書館が所蔵するすべての図書を合計しても50PBと言われていることを踏まえると、その膨大さを感じ取れるだろう。
保坂氏はMagic Pocketプロジェクトについて「(Dropboxの)サービスを停止できず、運用時もパフォーマンスダウンをユーザーに気付かせないため、社内では『飛行中の航空機エンジンを変えるプロジェクト』と言われていた」と語る。現在は大半のデータを自社データセンターで管理し、ほぼAWSを使用していないが、現在の管理データ量は1EB(エクサバイト)を突破した。
日々拡大するデータ量だが、IDCが2017年4月に発表した調査「Data Age 2055」では、世界のデータ量は2018年で33ZB、2025年には163ZBまで増加すると予測している。
DropboxはMagic Pocketで使用するストレージを2018年6月に高密度SMRに置き換えるプロジェクトに着手した。そもそも同社はファイルをブロック単位で分割管理し、変更箇所を差分としてブロックストレージサーバーに格納、もしくはクライアントに送信している。
各ブロックは同社の独自圧縮技術「Lepton」を使用し、ネットワークの負荷を軽減してきた。他方で同社は時間経過に伴いファイルへのアクセスが減少する傾向を踏まえ、利用頻度が高い(書き換え回数が多い)ブロックを“ウォームデータ”、利用頻度が低いブロックを“コールドデータ”と2種類のストレージ層で運用する手法を2018年から採用する。