SANデザイン講座はじめに本資料はBrocade Fibre Channel スイッチでSANファブリックをデザインする為の参考資料として作成しています。 Brocadeとしての一般的なデザインの考え方を示したものです。ストレージベンダーによっては見解が異なる場合がございます。詳細は購入元のベンダーとご相談の上、適切なSANファブリックを構成してください。 © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 目次 • SANデザイン事前準備 • SANトポロジーと可用性 © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. SANデザイン事前準備 © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. SANデザインの事前準備 SANをデザインする前に要件や環境の情報収集が重要 • アプリケーション・仮想環境 ‒ アプリケーションの種類 • データサイズ、ストレージI/O量を調べる ‒ 仮想環境の有無、物理サーバ当たりのVM数 • VM数が増えると物理サーバ当たりのI/O量が増加 • サーバ・ストレージ環境 ‒ ブレード or ラックサーバ • 広帯域HBAが使用可能か？ブレードサーバではFCoEも検討 ‒ ストレージ階層化 ‒ サーバ・ストレージの更新サイクル ‒ ストレージ容量 ‒ データサイズ・IOPS • スケーラビリティ ‒ 現在必要なユーザーポート数 ‒ 基盤統合計画の有無 • サイロ型システムから共通基盤（クラウド）へ ‒ サーバ・ストレージの拡張見込みの有無 • お客様向けサービス用システム、社内業務システム、etc… • バックアップ・災害対策 ‒ バックアップの体制（集中 or 分散） ‒ バックアップ時間帯等の各種条件 ‒ 災害対策サイトの要否 • 既存環境 ‒ 既存SANスイッチの種類・数 ‒ FOSバージョン © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. SANトポロジーと可用性 © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. SANデザイン関連用語 • ISL (Inter-Switch Link) ‒ FCスイッチ-FCスイッチ間のリンク • パス (Path) ‒ デバイスからデバイスまで至る全ての「経路」 • ルート(Route) ‒ ファブリック内のパスで実際に使用する経路 • ポートカウント(Port Count) ‒ Fabric中の使えるポート (ISL用以外のポート)の数 • Hop数 ‒ 送信先に到達するまでに通るISLの数 (最大Hop数7) • カスケード(Cascade) ‒ スイッチ同士をISLで接続する構成 • 遅延(Latency) ‒ スイッチ内遅延は約800n (ナノ)秒 ‒ ケーブルでの遅延は1m当たり5n秒程度 • ローカリティ(locality) ‒ 相互に通信する必要のあるデバイスを同一スイッチ配下に接続すること • 帯域幅(Band width) ‒ どれだけのMB/secをサポートできるかを表す • 輻輳(Congestion) ‒ 帯域 (バンド幅)以上にトラフィックが流入し、帯域を奪い合っている状態 • Over subscription ‒ ポテンシャルトラフィックがバンド幅を超えている設計 © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 「ユーザーポート数」の数え方 • スイッチポート数 (Switch Ports) 24ポートスイッチ ‒ ファブリック内の全てのスイッチのポート数の合計【スイッチポート数】 = 【スイッチ台数】 × 【スイッチ当たりのポート数】 • ユーザーポート数 (User Ports) ‒ ISL接続後に、ホストおよびストレージ接続にしようできるポート数 ‒ スイッチ台数の増加と共に、ユーザーポート数も増加【ユーザーポート数】 = 【スイッチポート数】 - 【ISL本数 × 2】 • 未使用ポート数 (Unused Ports) ‒ ISLおよびホスト/ストレージ接続後の空きポート数 ‒ 既存のSAN環境がどこまで拡張できるかを示す【未使用ポート数】 = 【ユーザーポート数】 - 【ホスト・ストレージ接続ポート数】 24ポートスイッチ4台 6本のISLで接続している場合・スイッチポート数 24 x 4 = 96 ポート・ユーザーポート数 96 – 6 x 2 = 84 ポート ISLを多用するとユーザーポートが減ってしまう為、できるだけISLを使わずに済むポート数のスイッチを導入することを検討する・未使用ポート数 84 – 2 = 82 ポート © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. シングルFabricとデュアルFabric • 一つのファブリックのみで構成されるシステムをシングルファブリックという ‒ ファブリックに障害があるとサービス停止になる構成のため、本番システムでは使わない構成 • 二つ以上の独立したファブリックに接続したシステムをデュアルファブリックという ‒ システム安定運用のためにはこの構成が望ましい ‒ Redundant構成ともいう Fabric A Single Fabric Fabric A Fabric B Dual Fabric © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 冗長性と回復性 • 冗長性(Redundancy) ‒ 独立した Fabric を複数配備し、アクセスパスの冗長性を確保する経路冗長構成 ‒ システム全体の冗長性はOSのマルチパスドライバー(MPIO)の領域 • I/Oタイムアウトを待って経路を切り替える為、MPIOによる経路切替は最終手段 • できるだけFabricがダウンしない様に電源冗長やResilient Fabricを構成する Fabric A Fabric B • 回復性(Resiliency) ‒ Fabric 内のデザイン経路切替はマルチパスドライバー ‒ Fabric としての Single Point of Failure が無い設計 • SAN デザインの大原則 ‒ 冗長性は必ず確保する • ファブリック内の全てのスイッチでファブリックサービス(ゾーニングDBなど)を共有しているため、デバイスが物理的に異なるスイッチに冗長接続されていたとしも、ゾーニングの設定ミスなどのファブリック内全スイッチに影響を及ぼすような障害には対応できない。回復性のあるファブリック ‒ Resiliency は可能な限り確保する • 大規模なファブリックでは重要な要素 © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. Over-subscription ratio • ISL とは ‒ Inter Switch Link 8G 8G 8G 8G 8G 8G 8G ‒ スイッチとスイッチをカスケード接続するリンク • ISL Over-subscription ratio とは ‒ デバイス接続用ポートの帯域と ISL 用ポートの帯域の比率 ‒ １：１は輻輳しないことを意味する。 8G ISL • ISLの設計 ‒ 一般的には７：１を目安に考えるが、バックアップなどのトラフィックではISL帯域を占有する傾向があるので３：１程度に ISL数を増やす、バックアップ専用経路を設定する対応が必要 8G ‒ 経路障害による通信途絶を避けるために最低でもISLは2本確保 ‒ 仮想マシンの集約度、アプリケーションのワークロード変化に対応できるようにISLを追加できる余地（空きポート）は確保しておく ISL Over-Subscription 7:1 の例 © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. ローカリティ（デバイス配置の考慮） • SANにおけるローカリティの意味 ‒ ISLの使用を最小限にするFabric設計 ‒ ISLのcongestion（輻輳）を避ける • ローカリティはそのトラフィックを同じエリア（スイッチASIC）で処理することを意味する ‒ トラヒックアクセスパターンを理解する必要がある ‒ シングルスイッチ内、スイッチのグループ内など • ローカリティの度合い ‒ 任意のところで0%-100%のトラフィックをローカライズ可能 ‒ ローカリティが0%の場合でも、SANとしては正常に動作する • 輻輳が起こる可能性を考慮 ISLの設計変更（追加）ができるように配慮する ‒ ネットワーク上の状況は常に変化があり、ローカリティは一時的な場合もある • ローカリティの特性 ‒ ローカリティが100%に近いほどパフォーマンスは良いローカリティの無い構成 © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. Ring トポロジー • 対障害性が中途半端 Ringトポロジー ‒ ISL障害時に代替経路が存在するが、Hop数が増える ‒ SANでは4台以上のカスケードでこの様な構成にすることは少ない • パフォーマンス問題が発生しやすい ‒ ISLの負荷が高くなりやすい。 ‒ ローカリティーを高く保つ必要がある。 • 拡張性は低い ‒ ファブリックがあまり大きくならない事がわかっている場合は有効。 ‒ スイッチ増設時には、既存のISLのつなぎ直しが発生。 © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. Full-Mesh トポロジー • 高い接続性 ‒ Any-to-Anyの接続性 Full Meshトポロジー ‒ どのスイッチに対してもサーバとストレージを接続できる • 高い可用性 ‒ 複数スイッチの障害に対応 • コストが高い ‒ 多くのISLが必要 • ボックススイッチ4台以上のFull-Meshは現実的では無い • ダイレクタのICL接続で使用 ‒ Brocade8510 ICLによるFull Mesh 構成 ICLはダイレクタシャーシ間接続専用ポート（1つのICLポートでISL4本分） © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. ローカルスイッチトポロジー • 1台のスイッチに全サーバ、ストレージを接続 • 初期導入時のSANで多く用いられる構成 ‒ システム拡張後は、メッシュ型/Core-Edge型へ移行する • メリット ‒ スイッチ間のカスケードがないので、パフォーマンスを確保しやすい ‒ スイッチが1台のみのため、設計と運用管理が容易 • ローカリティ設計がしやすい ‒ 導入するスイッチの台数が少なく、初期導入コストが抑えられる • 考慮点 ‒ 拡張用に空きポートを確保すること ‒ スイッチ障害がファブリック障害となるため、冗長電源構成が推奨 © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. Core-Edgeトポロジー • スイッチを階層構造化して、サーバ/ストレージ間を接続 • 2つの役割のスイッチ ‒ Edgeスイッチ：サーバを収容するスイッチ ‒ Coreスイッチ：ストレージ/Edgeスイッチを収容するスイッチ • Edgeスイッチ Coreスイッチは、多ポート・高信頼性が要求される • 特徴 ‒ ストレージ台数が比較的少なく、サーバ台数が多い場合 Coreスイッチ ‒ FCスイッチ内蔵のブレードサーバシャーシを外部スイッチに接続する場合 ‒ サーバ・ストレージトラフィックは全て1Hop ‒ 適度な管理性と拡張性 • トポロジーの種類 ‒ シングルCore構成 • Coreスイッチの障害がファブリック全体に影響する ‒ マルチCore構成 • Coreスイッチを冗長化 (大規模構成で推奨) © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. Edge-Core-Edgeトポロジー • スイッチを階層構造化して、サーバ/ストレージ間を接続 • 2つの役割のスイッチ ‒ Edgeスイッチ：サーバ/ストレージを収容するスイッチ ‒ Coreスイッチ： Edgeスイッチを収容するスイッチ • Edgeスイッチ Coreスイッチは、多ポート・高信頼性が要求される • 特徴 ‒ サーバ・ストレージ台数が共に多い大規模構成 Coreスイッチ ‒ サーバ・ストレージトラフィックは全て2Hop ‒ 管理性と優れた拡張性 ‒ 全トラフィックがISLを経由するのでISL Trunkingの導入が推奨 • トポロジーの種類 Edgeスイッチ ‒ シングルCore構成 • Coreスイッチの障害がファブリック全体に影響するのでこの規模では非推奨 ‒ マルチCore構成 • Coreスイッチを冗長化 © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. ICL Full Meshトポロジー（ダイレクタ） • ダイレクタ間をICL(Inter Chassis Link)を使って広帯域接続 ‒ 最長2kmの接続が可能（キャンパス内ファブリック構成が可能） ‒ 最大9台でFull Mesh構成（Core-Edgeは12台) • 1000ポート以上の大規模ファブリック ICL接続 Brocade8510-8 ICLポート © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. SAN冗長構成要素 Storage • 冗長構成はストレージ・ファブリック・サーバでそれぞれ担当が分かれているディスクメディアストレージコントローラ ‒ サーバ（OS） • デバイスドライバーのデータ再送処理 • マルチパスドライバーによるI/Oタイムアウト後の経路切替 • アプリケーション内のI/Oタイムアウト処理・データ再送 SAN Director ファブリックサービス ‒ ファブリック（FCスイッチ） • RSCNでファブリックの状態変更通知 • FSPFアルゴリズムで最短経路の設定 • ISL Trunking 負荷分散 (RSCN, FSPF,etc) FCスイッチは通信経路を維持し、速やかに復旧する機能を提供する SAN Switch ‒ ストレージ • コントローラーポートの冗長・負荷分散 HBA#1 HBA#2 HBAドライバーマルチパスドライバー OS Server マルチパスドライバーが経路の負荷分散・切替機能を提供タイムアウトが30～60秒位アプリケーション © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. まとめ • SANデザインの考慮点はISL ‒ ISLは増設時に使うもの初期導入はローカルスイッチトポロジー • デュアルファブリックは最後の砦 • ‒ できる限り、止まらないスイッチを選択ありがとうございました本件に関するお問い合わせブロケードコミュニケーションズシステムズ株式会社 https://www.brocadejapan.com/form/contact