2015
11Jun

FOBAS CSC 大容量データサポートのポイント

何回かに分けて FOBAS CSC Ver.3 の特徴のご紹介して行くシリーズの第４回目です。

今回は、Ver.3 大容量サポートについて実際の課題と解決法についてご紹介します。

FOBAS CSC はどれくらいのデータを格納できるのでしょうか？

Webページやパンフレットの表記では、Ver.2 から変わらず 4EB（エクサバイト）とし
ています。これは内部的なデータアドレスを掛け算して得られる設計上の理論値です。
もちろん実際に 4EB などというデータ量は途方もないサイズなので、現実味のある数
字としては感じられないと思います。

では、実際に大容量データを格納していくとどのような点でボトルネックになっていく
のでしょうか。Ver.2 で実際にボトルネックになったポイントについて、その理由と
Ver.3 でどのように改善されているかをご紹介します。

1) 連続書込みスループット

当たり前の話ですが、大容量データを扱うためには、FOBAS CSC にデータを格納しな
ければなりません。シリーズの第１回目で触れましたが、データの格納には連続書き
込みスループットという性能が重要になります。格納できるデータ量は、この連続書
き込みスループットと格納時間の掛け算で決まります。

Ver.2 はこの性能が 5MB/sec 程度でしたので、1日ずっと書込みを続けても
5MB * 86400sec = 432GB しかデータ投入できません。1年続けても 157.68TB となり
とても PB（ペタバイト）級の大容量データを扱う事は現実的ではありませんでした。

Ver.3 では、この性能が 20MB/sec にまで向上されています。加えてルーズリークラ
スタ機能により最大128ノードまでスケールアウトし、スループットをリニアに向上
させる事ができます。机上の空論になりかねませんが、128ノードで1日に書込み可能
な最大データ量は、20MB * 86400sec * 128node = 221TB となり、一気に PB 級のデ
ータを扱う現実味が出てきます。

2) メタデータサイズ

FOBAS CSC では、ファイルの属性情報やクラウドストレージへの格納データの情報を
メタデータとして RDBMS (PostgreSQL) で管理しています。このデータベースのサイ
ズは、扱うデータ量に比例して大きくなっていきます。後述するバックアップ時間と
も関連しますが、このデータベースが運用に耐えうる上限がファイルシステムの上限
にもなります。

ドキュメントには、ファイルシステムに格納するデータ量からおおよそのスナップシ
ョットサイズ（メタデータダンプのサイズ）を求める計算式があります。Ver.2 では
0.2% 程度、Ver.3 では 0.05% 程度となっています。（ドキュメントの記載は安全係
数がかかっていますので実際はもっと小さいですが・・・）

Ver.3 ではメタデータサイズが 4分の1 程になっています。かなり地道な容量削減
の努力の賜物です。Ver.3 の DB の中身を見ても恐らくユーザの方は何が入っている
のかよくわからないと思います。

実際のデータベースサイズは、メタデータダンプのおおよそ5倍程度になります。
PostgreSQL のコミュニティには、32TBのデータベースの事例がありますが、運用難
易度やキャッシュの実装容量を考えると、データベースサイズは10TB 以下に抑える
べきと考えます。

そう考えると、Ver.2 では (データ量) * 0.2% * 5 < 10TB から、データ量は 1PB
程度、Ver.3 では (データ量) * 0.05% * 5 < 10TB から 4PB 程度がメタデータサ
イズから考えた実装上のデータ量上限となります。

3) バックアップ時間

FOBAS CSC におけるバックアップは、前述のメタデータダンプをクラウドストレージ
に格納します。この作業が運用時間に収まる事が現実的な運用を考えた場合のもう
一つの制限となります。

Ver.2 では、メタデータ全体のダンプとバックアップを日次処理で行っていました。
つまり先ほどのサイズのファイルを1日以内でクラウドに格納しなければなりません。
オンプレミスに構築したオブジェクトストレージであれば、1Gbps のネットワークを
利用できますのでもう少し限界値は大きくなりますが、インターネット経由での格納
となると 100Mbps 実効速度では 2.5MB/sec 程度でしか格納できないのが現実です。

ここから逆算すると、メタデータダンプのサイズは 200GB 程度が上限となり、Ver.2
で格納できるデータサイズの上限は (データ量) * 0.2% < 200GB から 100TB 程度と
いうことになります。

Ver.3 からは、差分スナップショットが機能追加されました。これによりメタデータ
全体のバックアップは週次処理に変更されています。これにより先述の 100Mbps ネ
ットワークであっても、メタデータダンプのサイズは、1.4TB 程度まで許容できる事
になります。差分スナップショットがサポートされた事で、リストア時間が長くなる
デメリットはありますが、メタデータ全体のバックアップサイクルをより長くする事
も可能です。

少し込み入った計算式も出てきましたが、Ver.3 では PB オーダのファイルシステムを
現実に構築・運用できるものになっている事がご理解いただけたかと思います。

次回は、ようやくGAにこぎつけた、NFS サポートについてご紹介しようと思います。

それではまた。