IaaSから自社環境に移行したDropbox、データ記録の独自策を解説 - 3/7

渡邉利和 2019年09月10日 10時10分

  • このエントリーをはてなブックマークに追加
  • 印刷

 Dropbox Japanは9月6日、同社のサービス提供基盤に説明会を開催し、SMR(Shingled Magnetic Recording:シングル[瓦]磁気記録方式)の採用経緯などについて紹介した。

 SMRは、2014年に初めて製品化されたHDDの高密度化技術で、瓦を重ね合わせるようにプラッター上でトラックを重ね合わせて配置する。HDDでは、データの書き込みの際にはプラッターの磁気を反転させるために強い磁気を発生させる必要があることから書き込み用磁気ヘッドの微細化には限界があり、その結果トラック幅も磁気ヘッドのサイズ以下に狭めることはできなかった。

 しかし、読み出し用磁気ヘッドは、書き込み用よりも小さくできるため、データを記録する際には書き込みヘッダーの幅で記録を行うが、次のトラックの記録位置を読み出し用ヘッダーの幅に合わせて書き込み済みのトラックと重ね合わせるように配置することで、実質的なトラック幅を狭められる。同じサイズのプラッター上により多くのトラックを配置できることから、記録容量の増大が可能になる。

 ただし、トラックを重ね合わせることから、データの書き込みをランダムに行えなくなる。あるトラックのデータを書き換える際には、そのトラックに重ね書きされている次のトラックのデータまで書き換えてしまうことになる。このためHDDだが、SMRは実運用上、磁気テープと同様の「シーケンシャルライトを行う記録メディア」として扱う必要がある。

 このように、SMRには記憶容量を増やせるというメリットと引き替えに、従来のHDDとは扱い方を変える必要があるというデメリットも伴うことから、特にエクサバイト級の大規模なデータセンターでの運用事例はなかった。DropboxでのSMRの採用は、文字通りの前例のないチャレンジだったという。

Dropbox Japan ソリューション アーキテクトの保坂大輔氏
Dropbox Japan ソリューション アーキテクトの保坂大輔氏

 同社ソリューション アーキテクトの保坂大輔氏は、SMR導入の経緯について、トライ&エラーの過程を交えて紹介した。出発点となったのは、同社が実行したパブリッククラウド環境から自社データセンター(Magic Pocket)への移行。「当時は人類史上最大のデータ移行プロジェクトだと言われた」(保坂氏)という。

 この移行は、爆発的に増加し続けるデータ量の増大を背景に、「パフォーマンスの改善とサービスの安定のため」(保坂氏)に決断され、サービス停止なしに実行された。この移行によって同社は自前でハードウェアリソースを保有するようになったため、どのようなHDDを使うかが自社の問題となったわけだ。なお、同社の環境ではOSのファイルシステムを介さず、HDDに直接読み書きする仕組みを採用しているという。このため、シーケンシャルライトを行う必要のあるSMR特有の使い方に対応するのも、自分たちでソフトウェアを開発した上で実施する必要があった。

 保坂氏によれば、「この開発やテストでは十分に時間を掛けて慎重に確認した」ということで、いわばデバイスドライバーをユーザー企業が開発するような状況であったことが伺える。

 また同氏によると、データ保護とパフォーマンス、コストのバランスの良い分散機構の開発でもあったようだ。最終的には、3つのリージョンにデータを分散配置し、そのうち1つが失われても残る2つからデータを復元できる方式が採用された。最初に検討されたのは、単一の消失訂正符号で全てのデータの保護を実現するもので、理論上は従来のシステムと同等の100%に近い耐久性を確保できるはずだったが、実運用では耐久性の保証が難しいことが分かってきたとのこと。そこで、プロジェクト開始から9カ月で不採用を決断したという。

 つまり、そこまでに投資した金額と時間、作業工数を無駄にしてやり直したということ。続いて検討されたのはFacebookが採用している「BLOBストレージシステム」と呼ばれる方式で、これもDropboxの使い方では不都合が生じるということから不採用になり、最終的には、BLOBストレージシステムを手直しした形のものが採用されたという。

 SMRは、ランダムな書き込みができないデバイスなので、データの書き換え頻度が高いデータの記録にはあまり向かない。どちらかと言えば、一度書いたら以後は参照するだけ、というリードオンリー的な使い方が向くデバイスだ。同社では、アクセス頻度が低いデータを「コールドデータ」、頻度の高いデータを「ウオームデータ」として区別しており、SMRはコールドデータ向けのストレージとして運用されている。

 データのアクセス頻度に応じてストレージメディアを切り替えるのは、SSDの普及当初に、「階層化ストレージ」としてよく使われた手法だが、同社の場合は独自のノウハウも組み合わせてアクセス頻度以外の情報も組み合わせて判断しているという。例えば、ファイルタイプに基づき、Excelファイルなら変更の可能性があり、PDFなら書き換えられる頻度は低いだろうといった推定をしているという。

 SMRの運用が問題なくできるようになったことで、同社では当初目標とした「2019年末にはコールドデータ向けストレージの25%をSMRに」という値が上方修正し、現在は「2019年末にはSMRが40%に達する」(保坂氏)と見込んでいるという。なお、SMR導入の詳しい経緯については同社自身が記事でも公開しているので、興味のある方は参照いただきたい。

不採用になった「設計案2」。これはFacebookが使っている手法だそうだが、任意のブロックのペアを作る部分に難しさがあり、ユーザーが任意のタイミングでデータ削除などを行なった場合、ペアリングのやり直しなどが生じてしまうと言う

不採用になった「設計案2」。これはFacebookが使っている手法だそうだが、任意のブロックのペアを作る部分に難しさがあり、ユーザーが任意のタイミングでデータ削除などを行なった場合、ペアリングのやり直しなどが生じてしまうと言う

Scroll Right Scroll Left
  • このエントリーをはてなブックマークに追加

SpecialPR

連載

CIO
“真FinTech” 地域金融の行方
教育IT“本格始動”
月刊 Windows 10移行の心・技・体
ITアナリストが知る日本企業の「ITの盲点」
シェアリングエコノミーの衝撃
デジタル“失敗学”
コンサルティング現場のカラクリ
Rethink Internet:インターネット再考
インシデントをもたらすヒューマンエラー
エリック松永のデジタルIQ道場
研究現場から見たAI
Fintechの正体
米ZDNet編集長Larryの独り言
大木豊成「仕事で使うアップルのトリセツ」
山本雅史「ハードから読み解くITトレンド放談」
田中克己「展望2020年のIT企業」
松岡功「一言もの申す」
松岡功「今週の明言」
内山悟志「IT部門はどこに向かうのか」
林雅之「デジタル未来からの手紙」
谷川耕一「エンプラITならこれは知っとけ」
内製化とユーザー体験の関係
「プロジェクトマネジメント」の解き方
セキュリティ
セキュリティインシデント対応の現場
エンドポイントセキュリティの4つの「基礎」
企業セキュリティの歩き方
サイバーセキュリティ未来考
ネットワークセキュリティの要諦
スペシャル
デジタル時代を支える顧客接点改革
エンタープライズAIの隆盛
インシュアテックで変わる保険業界
顧客は勝手に育たない--MAツール導入の心得
「ひとり情シス」の本当のところ
ざっくり解決!SNS担当者お悩み相談室
生産性向上に効くビジネスITツール最前線
ざっくりわかるSNSマーケティング入門
課題解決のためのUI/UX
エンタープライズトレンドの読み方
10の事情
座談会@ZDNet
吉田行男「より賢く活用するためのOSS最新動向」
古賀政純「Dockerがもたらすビジネス変革」
中国ビジネス四方山話
ベトナムでビジネス
日本株展望
企業決算
このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]