富士通研究所は7月30日、分散ストレージ環境で人気データへのアクセス集中を自動的に解消して、ユーザーのアクセス時間の悪化を抑える技術を開発したと発表した。
現在、ハードディスクやSSDなど複数のストレージを組み合わせて、全体で一つのストレージ装置とする分散ストレージが広く活用されている。分散ストレージは、容量や性能を増強するためにサーバを追加して対応する。データの複製を複数のサーバが同時に持つことでデータの信頼性を高めることができる。
広く活用されている分散ストレージだが、人気のあるデータにアクセスが集中すると、台数に応じた性能が発揮できなくなるという課題を抱えている。例えば、社会的に関心の高い事件が起きた場合、特定の情報にアクセスが集中し、そのアクセスが集中するデータを保持するサーバは負荷がかかり、サーバの台数に応じた性能を得ることができないといったことがある。
富士通研究所はこの課題に対して、「レプリカ数動的調整機構（Adaptive Replication Degree）」と呼ぶ技術を開発した。人気データへのアクセスが集中した時に、自動で検出して、当該データの複製を持つサーバ数を増加させるというものだ。今回の技術を活用すれば、いつでも安定したアクセス性能を提供でき、あらかじめアクセスのパターンを予測することが難しいシステムを安定運用できるようになるとメリットを説明する。
レプリカ数動的調整機構では、急激なアクセス集中を検出するために、最近のアクセスに重みを付けた人気度（重み付き人気度）を少ないメモリ量で推定する“人気度推定エンジン”を開発している。
開発した今回の手法では、固定個数分だけデータのアクセス数を記録するために、少ないメモリで実行できるという。記録にないデータにアクセスがあった場合には、最少アクセス数のデータと入れ替える。この時にアクセス数を引き継ぐことで、高い精度で人気度を推定できる。一定のアクセス回数ごとにアクセス数を縮減することで、最近のアクセスに重みを付けてカウントして、突発的な人気の変化も検出できると、メリットを強調している。
人気度推定エンジン
今回のレプリカ数動的調整機構では、増減させる複製の数を、アクセスが集中している期間のアクセス頻度にあわせて変化させる“アクセス集中度分析技術”も開発した。検出された人気データに対して、自動的に増やすべき複製の数を決める。
アクセス集中度分析技術は、人気の検出と予兆のそれぞれを判定する2つの閾値で、アクセス集中が起きている期間を検出する。その期間のアクセス頻度が大きいほど、より多くの複製を一度に増やすことができるので、アクセス集中の大きさに見合った複製の数を増加させることができる。
アクセス集中度分析技術
富士通研究所は、レプリカ数動的調整機構の効果を確かめるために、ネット上で実際に起きた、人気歌手に関連したニュース発生時のアクセス集中を摸したデータを使って、64台のサーバで検証している。
サーバごとのアクセス頻度の変化を時刻ごとに調べると、従来の方式では、関連したデータを持つサーバだけにアクセスが集中して、そのアクセス頻度の増加率は約2.3倍だった。レプリカ数動的調整機構を適用すると、アクセス頻度の増加率は0.7倍にまで平準化され、アクセス集中を約70％削減できることを確認している。
ユーザーから見たアクセス時間に対する効果も検証するために、16台のサーバを活用する実験している。従来の通常時の全データへの平均アクセス時間を1として、アクセスが集中した時の全データへの平均アクセス時間とアクセスが集中している人気データへのアクセス時間を比較している。
全データへの平均アクセス時間で見ると、従来はアクセス集中時には通常時と比較して約4倍のアクセス時間がかかっていたが、レプリカ数動的調整機構を適用すると、約1.2倍に抑えられることを確認している。アクセスが集中しているデータについては、従来はアクセス時間が15倍に悪化していたが、今回の技術を適用すると約1.4倍に抑えることにも成功している。
富士通研究所は、今回開発したレプリカ数動的調整機構を2014年3月までに商用化したいと考えだ。
