Dropbox Japanは9月6日、同社のサービス提供基盤に説明会を開催し、SMR（Shingled Magnetic Recording：シングル[瓦]磁気記録方式）の採用経緯などについて紹介した。
SMRは、2014年に初めて製品化されたHDDの高密度化技術で、瓦を重ね合わせるようにプラッター上でトラックを重ね合わせて配置する。HDDでは、データの書き込みの際にはプラッターの磁気を反転させるために強い磁気を発生させる必要があることから書き込み用磁気ヘッドの微細化には限界があり、その結果トラック幅も磁気ヘッドのサイズ以下に狭めることはできなかった。
しかし、読み出し用磁気ヘッドは、書き込み用よりも小さくできるため、データを記録する際には書き込みヘッダーの幅で記録を行うが、次のトラックの記録位置を読み出し用ヘッダーの幅に合わせて書き込み済みのトラックと重ね合わせるように配置することで、実質的なトラック幅を狭められる。同じサイズのプラッター上により多くのトラックを配置できることから、記録容量の増大が可能になる。
ただし、トラックを重ね合わせることから、データの書き込みをランダムに行えなくなる。あるトラックのデータを書き換える際には、そのトラックに重ね書きされている次のトラックのデータまで書き換えてしまうことになる。このためHDDだが、SMRは実運用上、磁気テープと同様の「シーケンシャルライトを行う記録メディア」として扱う必要がある。
このように、SMRには記憶容量を増やせるというメリットと引き替えに、従来のHDDとは扱い方を変える必要があるというデメリットも伴うことから、特にエクサバイト級の大規模なデータセンターでの運用事例はなかった。DropboxでのSMRの採用は、文字通りの前例のないチャレンジだったという。
Dropbox Japan ソリューション アーキテクトの保坂大輔氏
同社ソリューション アーキテクトの保坂大輔氏は、SMR導入の経緯について、トライ＆エラーの過程を交えて紹介した。出発点となったのは、同社が実行したパブリッククラウド環境から自社データセンター（Magic Pocket）への移行。「当時は人類史上最大のデータ移行プロジェクトだと言われた」（保坂氏）という。
この移行は、爆発的に増加し続けるデータ量の増大を背景に、「パフォーマンスの改善とサービスの安定のため」（保坂氏）に決断され、サービス停止なしに実行された。この移行によって同社は自前でハードウェアリソースを保有するようになったため、どのようなHDDを使うかが自社の問題となったわけだ。なお、同社の環境ではOSのファイルシステムを介さず、HDDに直接読み書きする仕組みを採用しているという。このため、シーケンシャルライトを行う必要のあるSMR特有の使い方に対応するのも、自分たちでソフトウェアを開発した上で実施する必要があった。
保坂氏によれば、「この開発やテストでは十分に時間を掛けて慎重に確認した」ということで、いわばデバイスドライバーをユーザー企業が開発するような状況であったことが伺える。
また同氏によると、データ保護とパフォーマンス、コストのバランスの良い分散機構の開発でもあったようだ。最終的には、3つのリージョンにデータを分散配置し、そのうち1つが失われても残る2つからデータを復元できる方式が採用された。最初に検討されたのは、単一の消失訂正符号で全てのデータの保護を実現するもので、理論上は従来のシステムと同等の100％に近い耐久性を確保できるはずだったが、実運用では耐久性の保証が難しいことが分かってきたとのこと。そこで、プロジェクト開始から9カ月で不採用を決断したという。
つまり、そこまでに投資した金額と時間、作業工数を無駄にしてやり直したということ。続いて検討されたのはFacebookが採用している「BLOBストレージシステム」と呼ばれる方式で、これもDropboxの使い方では不都合が生じるということから不採用になり、最終的には、BLOBストレージシステムを手直しした形のものが採用されたという。
SMRは、ランダムな書き込みができないデバイスなので、データの書き換え頻度が高いデータの記録にはあまり向かない。どちらかと言えば、一度書いたら以後は参照するだけ、というリードオンリー的な使い方が向くデバイスだ。同社では、アクセス頻度が低いデータを「コールドデータ」、頻度の高いデータを「ウオームデータ」として区別しており、SMRはコールドデータ向けのストレージとして運用されている。
データのアクセス頻度に応じてストレージメディアを切り替えるのは、SSDの普及当初に、「階層化ストレージ」としてよく使われた手法だが、同社の場合は独自のノウハウも組み合わせてアクセス頻度以外の情報も組み合わせて判断しているという。例えば、ファイルタイプに基づき、Excelファイルなら変更の可能性があり、PDFなら書き換えられる頻度は低いだろうといった推定をしているという。
SMRの運用が問題なくできるようになったことで、同社では当初目標とした「2019年末にはコールドデータ向けストレージの25％をSMRに」という値が上方修正し、現在は「2019年末にはSMRが40％に達する」（保坂氏）と見込んでいるという。なお、SMR導入の詳しい経緯については同社自身が記事でも公開しているので、興味のある方は参照いただきたい。
Dropboxの自社インフラ「Magic Pocket」の概要。なお、Magic Pocketは元々は移行プロジェクトの名前だったものが、その後インフラ環境の名前としても使われるようになったという。OSのファイルシステムを介さず、オープンソースのlibzbcを活用して直接アクセスする形になっている（出典：Dropbox、以下同）
