GlusterFS on SolidPOWER 分散ファイルシステム GlusterFS は高速ストレージSolidPOWER7000 の下で最適な分散ファイル処理を行います。今日、スーパーコンピュータやクラスタやデータセンターで利用される主要なストレージソリューションは分散ファイルシステム(DFS)です。 GlusterFSはglusterコアチームによって開発されたオープンソース(GPL)分散ファイルシステムでSolidPOWER7000 でサポートしています。 GlusterFSはオープンソースとして開発されているため、FedraやCentOS用のrpmも公開されており、世界規模で導入実績をもつ並列ファイルシステムになっています。 ●GlusterFS は gluster コアチームによって開発されたオープンソース(GPL) 分散ファイルシステムです。 ●GlusterFS はオープンソースの分散ファイルシステムでペタバイトのスケーリングや数千ものクライアントを処理することができます。 ●SolidPOWER7000 ではブロックレベル管理についてはSCE(Storage Control Engine) の下で稼働し､GlusterFS でファイルレベル管理を行います。 ●GlusterFS では InfiniBand RDMA による単一大規模並列ネットワークファイルシステムの構築が可能になります。 ●GlusterFS は複数のストレージノードのローカルファイルシステムを論理的に統合した「ボリューム」を作成して、クライアントからマウント可能にします。ブリック (Brick) ボリューム (Volume) •ブリックはノード上に用意されたGlusterFS⽤のディレクトリ •ファイルシステムと1 対1 になるように設定 •ブリックは1つのノード上に複数個定義可能 •他のボリュームが利用しているブリックはボリュームを定義する際に利用することはできない。 • 1つのブリックは1つのボリュームにのみ所属 • ノード間で非同期のレプリケーションを実行 •ボリュームは複数のブリックを束ねて構成 •大容量データ保存領域として管理 •GlusterFS Native プロトコルやNFSv3などのマウントポイントおよび CIFSの共有フォルダーとして認識高速ストレージSolidPOWER7000モデルで最適構成を実現します。 [クラスタ接続] •最小2セットのストレージノードによるクラスタ接続をおこないます。 •複数サーバーで単一の仮想ボリュームを構築しクライアントにマウントします。 •ストレージノードからファイルシステム領域をブリックで抽出し、ボリュームに適合します。 •管理者はすべてのサーバーの空き容量、ネットワーク構成情報から最適なブリックの組み合わせを決定します。【特長】 1.拡張性 1ボリュームあたり16ExsaByte クラスタリングによりリニアなスケーラビリティを実現、2^128個のファイル数をサポート GlusterFS ヘッド 270TB(HDD) 270TB(HDD) 270TB(HDD) GlusterFS ヘッド 270TB(HDD) 270TB(HDD) 270TB(HDD) 2.機能単位のモジュール化各機能をモジュールに隠ぺいして操作性を向上、ローカルファイルと同様の操作性を実現 3.単一障害ポイント（SPOF）の排除メタデータサーバの排除により単一障害ポイントを排除 4.レプリケーションによる高可用性同期レプリケーションの設定が可能、分散配置により冗長性を向上 5. InfiniBand対応クライアント・ストレージ間でInfiniBand RDMAに対応、低レーテンシーを実現 GlusterFSによるスケールアウト分散ファイルシステム GlusterFS は性能劣化のないスケールアウトを実現します。分散ファイルシステム（DPS）の課題はスケールアウトする場合の性能劣化です。これはクライアントの数が増えネットワーク上で渋滞するためでIncast問題とも呼ばれています。GlusterFSはIncast問題にユーザ要求のプロセス改善やスループットの最大化（ストライピング）の他にレプリケーション効率とクラスタI/O性能の向上によって対応します。GlusterFSは様々な容量のデータ保存向きで、特に小容量ファイルの書き込みにおいて高性能を発揮します。 1.マッピングハッシュ計算をおこなってファイルの物理的なロケーションをマッピングします。メタデータサーバーを不要にするので障害時のメタデータの復帰にともなう時間を大幅に削減することができます。その結果、スケールアウトを線形に向上させ性能ボトルネックや単一障害ポイントを排除することができます。 4.I/O性能 2.レプリケーション異なるサーバー上にデータのコピーを瞬時に複数個作成します。更新データ要求はすべてのコピーが更新されるまで禁止されます。レプリカがディスクに保存されるまでファイルに対するクエリーをブロックしデータの一貫性問題を回避します。その結果、データの一貫性が保証され常に最新バージョンにアクセスが可能です。（データは同期中利用することができません。） GlusterFS 他のDPS(Lustre等) I/O(入出力) I O I O 1 x 20GB 341s 403s 374s 415s 1000 x 1MB 59s 18s 66s 5s GlusterFSが様々な容量のデータ保存に向いているのに対して集中型の分散ファイルシステム（Lustre）は小容量ファイルの保存に適しています。ネットワークトラフィック等の異なる要素に関わらず、GlusterFSのアーキテクチャは小容量ファイルの書き込みにおいて高性能を発揮します。 3.負荷分散ハートビートによりシステムのサーバー障害や過剰負荷を検出します。 GlusterFSでは障害時にシステムから障害サーバーが取り除くか隔離します。損失データの回復後、データは他のサーバーにも保存されます。（Sysfera社 Analysis of six Distributed systemsより引用）【EpochPOWERクラスタの導入による相乗効果】 EpochPOWERの導入により、クラスタI/O性能をさらに向上させることができます。EpochPOWERクラスタはノード間をOminiBus(PCIex-Gen3)で接続しノード間のレプリケーションを瞬時に実行します。この結果、ノードの追加にともない、システム性能が線形に向上するのでスケールアウトの性能劣化が生じません。 EpochPOWERはOmiBusスイッチを介してツリー型に配置されたノード間でレプリケーションを行いGlusterFSをサポートします。分散ファイルシステムの特質上、レプリケーションの性能が高ければ高いほどシステム全体の性能も向上します。 • EpochPOWERクラスタではOmniBus(PCIex-Gen3)上でIPのカプセル化を実行します。 • クライアントはGlusterネイティブ、NFS、CIFSによりOmniBus上のTCP/IP でファイルシステムにアクセスします。 • GlusterFS自身ではレプリケーションをおこなわないため性能劣化が生じません。ストレージ I/O 通信ノード(1) クラスタノード通信 SP7K ホストサーバー(1) ノード(2) PCIe OmniBus Switch スイッチホストサーバー(2) SP7K ノード(3) SP7K ホストサーバー(3) TCP/IP通信ノード(4) SP7K OmniBusネットワークをベースにノード間接続、ストレージI/O接続、IP接続の相関を表示します。 EpochPOWERはツリー型に接続されたノード間でレプリケーションを行いGlusterFSをサポートします。 GlusterFSの冗長性能分散ファイルシステム GlusterFS はクラスタ構成で優れた冗長機能を提供します。【分散型アーキテクチャ】集中型アーキテクチャの限界はメタデータ・サーバーやキャッシュの利用でデータ転送数の減少させていることです。GlusterFSは分散型アーキテクチャを適用しておりサーバー数を増大させるとともに性能を向上させます。 GlusterFSはブリックと呼ばれる複数のデータ領域を1個のボリュームにする場合、基本的に3つの方式があります。 SP7K(1) SP7K(2) • • • SP7K(3) Lustreの様なストライプ方式ファイルを分解せずに分散配置する分配方式ブリック間でミラーリングするリプリカ方式また上記の複合型方式、例えば、リプリカ＋ストライプ方式にすればスケーラビリティとの両立も可能です。ファイルシステムコントロールの部分にFUSE(Filesystem in Userspace)を利用しているため、カーネル依存性が低く、構築も簡単です。 GlusterFSではファイルを配置する際、分割したファイルの断片を複数のSP7K 上に分散配置ならびにミラー(冗長化)して配置することも可能です。これにより、SP7K １台が停止しても、ファイルシステムは維持されます。 [ファイルの増設] GlusterFS は非常に簡単な手順(以下の２手順)にて容量を増設します。 1.GlusterFS のデータ格納単位(ブリック)の作成には以下のパターンがあります。 • SP7000(SP7K) を１台増設して、その増設領域にブリックを作成します。 • 既存の SP7K にディスクを増設して、その増設領域にブリックを作成します。 SP7K(1) SP7K(1) SP7K (2) SP7K (3) SP7K (2) 2.作成したブリックをファイルシステムへ追加します。 SP7K(1) SP7K (2) 注) 追加した領域は、新規作成したディレクトリに配置するファイルから使用されます。注) 既存のディレクトリ、ファイルを再配置する際には、リバランスコマンドで簡単に再配置することができます。 [ファイルの再配置] 下図はGlusterFS 分散+レプリカで、１台の SP7K が１つのブリックを保持する場合で配置済みの仮想ディスクファイルが増設により、再配置される様子を示しています。 [故障時の切り替え] 増設後増設前 • コントローラおよび監視サーバーの切り替え File(1) File(1) 再配置により、File(1) も均等に配置 SP7K(1) SP7K(2) SP7K(3) SP7K(1) SP7K(2) SP7K(3) SP7K(4) • コントローラおよび監視サーバーに異常が発生した場合、自動切替 • メールにてアラート送信 • 動作に不具合が生じた場合、手動切り替えも可能 • SP7K 故障時の切り替え • GlusterFSは、切り替えの必要無し。 • 復旧時に RAID のリビルドにあたる再レプリケーションを実施 • 復旧後、GlusterFS にブリックとして追加 • 複製されていない分割ファイルの複製を生成 • 仮想サーバ(RHEV)故障時の切り替え • 仮想サーバーで動作していた仮想マシンはすべてダウン • 仮想マシンの死活を監視 • ダウンした際には再起動させるなどのスクリプトを組み可能 • 仮想マシン自体をクラスタ化（オプション） File(2) <= 新規追加ファイル GlusterFSとSoftware-Defined Dtorage(SDS) 分散ファイルシステム GlusterFS は仮想ストレージコンポーネント、Software-Defined Storage(SDS)に対応します。 GlusterFSは2セット以上のSolidPOWER7000 ストレージノードによるクラスタ構成で仮想ストレージ、Software-Defined Storage（SDS）に対応します。 GlusterFSは複数サーバーで単一の仮想ボリュームを構築し、クライアントにマウントします。 “OpenStack”はクラウド環境構築用のオープンソフトウエアで仮想マシンとストレージやネットワークといった一番低いレイヤーのリソースを提供するクラウド環境を構築します。また“Zabbix” は統合監視ソフトウエアでSNMPや独自エージェントによる監視、通知を可能にします。 • ソフトウェア層でロジックを最適化(低レーテンシーに精錬） • スケールアウト機能の強化・・・ • GlusterFS はスケールアウトが容易でデータの冗長化に対応 • 広帯域で短いレーテンシーをもつデータパスが必要 SP7K SP7K OpenStack および Zabbix をアドオン通常の GlusterFS モデル構成ファイルをバックアップ/アーカイブ [スケーラブル＆分散ファイルシステム] クラウドシステムに重要なストレージは、”拡張性(スケールアウト、分散度拡張)”が必要です。 GlusterFS は管理・拡張が容易で、データの冗長化にも対応しています。OpenStackでは、仮想サーバーのみならず、通常の物理サーバーも管理下に入れることも可能です。パフォーマンス要件のため、物理サーバーを使用せざるを得ないアプリケーションやサービスにおいても、共通プラットフォームで管理します。ユーザ OmniBUS(*1) InfiniBand FDR ネットワークリソース 10GbE/40GbE/56GbE/100GbE SP7K GlusterFS SP7K GlusterFS ・・・ SP7K GlusterFS スケールアウトストレージリソースアクティブ管理 (設定、操作、監視) RHEL-OSP5 SDA コントローラ(クラスタ) V V V ・・・ M M M V V V ・・・ M M M RHEV RHEV コンピュータリソース（VM) ・・・サーバーサーバー・・・スケールアウトスケールアウトコンピュータリソース（サーバー) スタンドバイ RHEL-OSP5 (*1) 2015年初頭には、EpochPOWER Cluster のネットワーク技術である “OmniBUS Network(128Gbps) に対応また2015年中にはMellanox 社から 100GbE 環境がリリース予定です。 DB DB ミラー 1.ストレージコンポーネントの仮想化ソフトウェア層でロジックを最適化しリソースプールを統合します。ストレージ容量の動的割り当てをおこなうことで柔軟にデータを分散、容量を無駄なく活用し、性能が向上します 2.最速のデータパスクラウドシステムでは、様々なデータが、大量に飛び交います。大きな帯域、短いレイテンシーをもつパスが必要となります。ネットワークは一度構築してしまうと改変することは困難です。将来を見据えたシステムを目指すのであれば、現時点で最速のデータパスで構築します。 3.統合監視ソフトウエア “Zabbix” “Zabbix” は、SNMPや独自エージェントによる監視、通知が可能です。独自エージェントは、Linux, FreeBSD,HP-UX,AIX, Solaris,Windows用のパッケージを提供します。 GlusterFSとLustreの特長比較分散ファイルシステム GlusterFS は他の分散ファイルシステムを性能で凌駕します。 GlusterFS 他のDPS(Lustre) 分散型集中型メタデータを複数のデータサーバーに保存、ファイル数を無制限に生成,サーバーを増設することで迅速に拡張可能。大規模クライアント要求に対応メタデータサーバは不要メタデータは単一サーバーによって管理されストレージデバイスに保存,クライント要求性能は単一サーバーのコンピュータパワーとディスクのレーテンシーに依存ネーミング EHA（ハッシュ関数）インデックス方式透過性ハッシュ関数を利用したグローバルなネーム空間設定アルゴリズム上でファイルを配置ストレージはシステムに値に基づくファイルを保存ファイル名に関連づけられた物理的なロケーションを示すインデックスを保管,ファイルが他のストレージに移動する場合や生成や削除する場合に単純に更新。但しデータの所在を探すのはメタデータサーバーの責任、Lustreはメタデータを大規模スペースのディスク上におくので該当しない、クライアントがデータのロケーションを探すのでメタデータサーバーの負荷は軽減データ同期メタデータはレプリケーションされ管理は数台のサーバーに分散して実行（同期レプリケーションを利用）レプリカがディスクに保存されるまでファイルに対するクエリーをブロックし一貫性問題を回避しているデータは同期中利用することができない。別途、アドオンソフトウエアのインストールが必要システムアクセス外側のクライアントからシステムと相互操作するよう考慮されていない。クライアントがファイルを要求する際は最初にメタデータサーバにコンタクトする。利用不可になった場合、クライアントは LDAPに問い合わせをしてメタデータサーバにコンタクトする。 API REST APIとマウントモジュール (FUSEあるいはマウントコマンド） FUSE 障害検知サーバーが利用不能になった場合に検知可能障害サーバーはシステムから隔離されるか排除サーバー間のメッセージ交換を頻繁にするので性能に影響障害検知の機能はないシステム可用性（負荷分散）高い（フェイルオーバー）高い（フェイルオーバー）データは同期中利用することができない。データの2重化コマンドで手動により負荷分散を実行しなければならない. ファイルのパス名とバリューにハッシュ関数を利用各ロジカルストレージは同数のファイルを保持ファイルは同一サイズではないのでストレージデバイスの追加や削除が可能サーバーに新規データを保存するが負荷過剰のサーバーを解放しない RAID1 無し高可用性を提供メタデータはレプリケーションされ管理は数台のサーバーに分散して実行メタデータサーバーによるメタデータの損失とシステムの利用不可が単一障害点（SPOF) になる。フェイルオーバーを使ってSPOFを排除する。数台のメタデータサーバーは定期的にメタデータを保存する。キャッシュクライアント側でキャシュを利用しないファイルのロックメカニズムを採用してキャシュのデータ一貫性を管理する。配置ポリシー手動無しレプリケーション同期書き込みにより同一ボリューム内にレプリカを作成（ RAID1)を実行 RAID アーキテクチャデータ可用性アーキテクチャの比較【本製品のお問合せ先】〒150-0045 東京都渋谷区神泉町10-10 アシジ神泉ビル TEL：03-5459-4571 FAX：03-3476-4350 マーケティング部 E-mail: inquiry @ tgi.co.jp URL: http://www.tgi.co.jp SolidPOWER®7000(SP7K)はTGI (テクノグラフィー株式会社)の商標登録 (登録番号5289806)です。 EpochPOWER®はTGI (テクノグラフィー株式会社)の商標登録 (登録番号5702781)です。また本文に記載されている会社名、製品名等は、各社の商標または登録商標です。