Fibre Channel基礎講座 はじめに 本資料はFibre Channelを理解するための参考資料として作成しています。 資料内に出てくるコマンド及び出力結果はFabric OSのバージョンによっ て結果が異なる場合があります。 詳細情報はFabric OS Command Reference及びAdministrator’s Guideをご 参照下さい。 © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 2 目次 • Fibre Channel基礎 • Fibre Channel基本特性 • ファブリックサービス © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 3 Fibre Channel の基礎 © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. INTERNAL USE 4 ONLY オープン規格としてのFibreChannel T11は、Ethernet/IPの世界におけるIEEE, IETFに相当 • Fibre Channelの開発は1988年に開始し、NCITS T11: I/Oインタフェース(X3.230-1994)規格が1994年に完成。 URL: http://www.t11.org を参照 • 多くの規格団体やベンダーからの支持 ビジネス ソリューション FC-SB (SingleFC-SW Byte Mapping Protocol) 2. FC-SB-2 (Single Byte Protocol Mapping 2) FC-GS 3. FC-LE (Link Encapsulation) 4. FC-PH (Physical and Signaling) FC-FLA 5. FC-PH (Physical and Signaling) Amendment 1 6. FC-PH (Physical and Signaling) Amendment 2 7. FC-PH-2 (Physical and Signaling 2) 8. FC-PH-3 (Physical and Signaling 3) 9. FC-FG (Fabric Generic Requirements) FC-CT 10. FC-GS (Generic Services) 11. FC-GS-3 (Generic Services 3) FC-AL 12. FC-SW (Switch Fabric) 13. FC-SW-2 (Switch Fabric 2) 14. FC-AL (Arbitration Loop) FC-AL-2 (Arbitration Loop 2) FC-FG15. 16. FC-BB (Backbone) 17. FC-FP (Mapping to HIPPI-FC) FC-LS 18. HIPPI-FC (FC-PH Encapsulation) 1. FC-PH オープン, マルチ-ベンダー SAN 製品相互操作性 業界標準 ANSI DMTF IETF © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 5 Fibre Channelの成り立ち Network技術とChannel技術の融合 FibreChannel Network もろい ブロックデータ転送 なし 不良エラー検出 IPなどのネットワーク技術 ルーティング 大規模 接続性 長距離 管理性 Channel 高速度 低レイテンシー データ整合性 大規模データの移動 上級のエラー検出 制限された拡張 性 短距離 制限された管理 性 メインフレームにおける技術 © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 6 FCとOSIのネットワークスタックの実装の違い FCもOSI参照モデルに該当するレイヤーがある OSI参照モデル アプリケーション プレゼンテーション 一部ソフトウエア 実装 ネットワーク Fibre Channel FC-4:上位レイヤプロト コルマッピング TCP IP データ リンク 物理 アプリケーション: - データベース アクセス Ethernet TCP/IP セッション トランスポート 全てがハードウエア 実装 - ファイル アクセス セッション: FC-3:共通サービス ルーティングプロトコル トランスポート: フローコン トロール、 FC-2:データ配信 転送順序保障 ネットワーク: FC-1:バイト符号化 アドレス、ルーティング リンク層: フレーミング Ethernet FC-0:物理層 物理層: シグナリング 実装形態: Hardware Software © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 7 ファイバチャネルとイーサネットの比較 Fibre Channel : I/O保障あり Gigabit Ethernet : I/Oはベストエフォート 物理層の帯域幅 14.025 GB (全二重通信のみ) 1.03Gbps (半二重・全二重に対応) 最大フレーム長(パケット長) 2148バイト(固定長) Payloadは2112バイト 1518バイト (MTUに依存), Jumbo Frameは9000バ イト前後、Payloadは1478バイト~(MTU - IP/TCP ヘッダ) フロー制御 Port-to-Port , BBクレジットによる ビット誤り率の要求値は10-12以下 End-to-End , Pauseフレームによる ビット誤り率の要求値は10-9以下 ネットワーク速度の依存関係 ネットワーク速度に依存しないバッファ制御 ネットワーク速度の差を吸収できるだけのバッファ を用意 バルクデータ転送 FCフレームの “Sequence” で対応 128MB = 2KB (最大フレームサイズ) x 64K (最 大シーケンスカウント) TCPウィンドウで対応 (上位レイヤ) ルーティング FSPFによる複数パスで負荷分散可能 STPによる負荷分散不可能 (1パスのみ利用可能) アドレス管理 Loginサーバによる自動管理 BOOTP/DHCPなどの上位プロトコルによる 名前管理 Nameサーバによる自動管理 ARPはホストにより管理 DNSなどの上位プロトコルによる © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 8 FCトポロジの種類 Point to Point SANではない (DAS) コンピュー タ Arbitrated Loop 初期の SANの形 Switched Fabric 現在の SANの形 スト レージ 2デバイスのみ (直接接続) •1:1の接続 •帯域は独占使用 126デバイスまで (FCハブ) •帯域を共有 •アドレス調停が必要 1600万デバイスまで (FCスイッチ) •帯域はポートごと •拡張性がある © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 9 FC-SANの構成要素 IPネットワーク ホストバスアダプタ (HBA) サーバプール ファイバーケーブル SAN (FC) スイッチ トランシーバ (GBIC/SFP) ストレージ サブシステム ストレージプール © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 10 FCコンポーネント : Host Bus Adapter LAN環境では「NIC」に該当 • サーバの内部バスと FC ネットワークを接続するためのインタフェース ‒ 1/2/4/8/16 Gbpsなどのインタフェース速度を持つ • HBAソフトウェアドライバは様々なストレージ情報を提供する ‒ I/Oや制御情報の取り扱い ‒ ファームウエアやドライバのバージョン情報を提供 ブレードサーバー用HBA PCIe用HBA © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 11 FCコンポーネント :ケーブル・トランシーバ LW (Long Wave) SW (Short Wave) 光ファイバケーブル LCコネクタ 光トランシーバ SFP/SFP+ 光トランシーバ QSFP • ケーブルは、光ファイバケーブルを使用。2/4/8/16Gbpsでは、主にLCコネクタ形状の物を使用 • モジュールは、2/4/8/16Gbpsの製品ではSmall Form-factor Plug (SFP/SFP+)を使用 • Short Wavelength Laserでは、500m (1Gbps), 300m (2Gbps), 150m (4Gbps), 100m (8Gbps)まで対応 • Long Wavelength Laserでは、10Kmまで対応 • Extended Long Wavelength Laser では、25Km (16Gbps) まで対応 © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 12 FCコンポーネント : FC Director/Switch LAN環境では、「LANスイッチ」に該当 • SANの中心において、サーバとストレージを接続 する役割を持 つコンポーネント • スイッチでも、2種類に分別される • コントローラが二重化されたり、ブレード型で拡張性のあるダイ レクタと呼ばれる製品 • シンプルな構造で作成されている、スイッチ(ボックス型とも) 呼ばれる製品 Brocade 8510 Back born Director • ダイレクタ/スイッチ間でトランクなどを設定して、使用するこ ともできる。 Brocade 6520 Switch Brocade 6510 Switch Brocade 6505 Switch © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 13 FCコンポーネント : ストレージデバイス • ストレージデバイスの分類 ‒ RAID – Redundant Array of {Independent | Inexpensive} Disks • 高機能ストレージアレイ • 複数のスピンドルから論理ボリュームを構成する機能のこと ‒ JBOD – Just a Bunch of Disks • 安価なストレージ • 複数のスピンドルがそのまま論理ボリュームとして見えるディスクのこと ストレージの例 ‒ Tape / Tape Library / Virtual Tape Library • バックアップリカバリ用メディアの主流 • ディスクの種類 ‒ SSD : Solid State Drive ‒ Fibre Channel ‒ Serial-Attached SCSI ‒ Serial ATA テープライブラリの例 © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 14 Fibre Channel基本特性 © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. INTERNAL USE 15 ONLY Fibre Channelプロトコルマッピング FC上でSCSI, IPなどのマルチプロトコルが使用可能 上位レベルプロトコル (ULP) • 既存プロトコルのサポート • OSに対し透過的 • 変更なし + 新しい能力 FC-4 IPI-3 コマンドセットマッピ ング(IPI-3 STD) FC-3 SCSI-3 CCWs IP SCSI-3 コマンドセット マッピング(FCP) (CUP) FCリンク カプセル化 FC-LE FC-SB2/FC-SB3 (FICON) Common Services FC-2 フレーミング プロトコル FC-1 エンコード / デコード FC-0 物理的 各種 FibreChannel 物理的 & 信号 インタフェース (FC-PH,FC-PH2, FC-PH3) FC - AL FC - AL -2 8B/10B (64/66B) 符号化 カッパー,オプティカル © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 16 FC-0 レイヤー(FC-PI-5) メディア層(物理インタフェース ):物理面は、Ethernetとほぼ同等 • データ伝送メディアと速度、伝送距離、 コネクタ等を規定 ‒ メディア • 光ケーブル • STP (Shielded Twisted Pair) • 同軸ケーブル etc. ‒ 速度 • 1/2/4/8/16 Gbps • 32/128 Gbpsは規格化中 ‒ コネクタ • SC • LC • DB-9 • HSSDC など • ファイバケーブルの種類 ‒ 大まかな種別 • シングルモード ‒ 伝送性能に優れ、高速・長距離通信が可能 • マルチモード ‒ 通常使うファイバーケーブル ‒ 波長 • 長波 (Long Wave) ‒ 1300nm(シングルモード用) • 短波 (Short wave) ‒ 850nm(マルチモード用) © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 17 ケーブル・コネクタ 銅線ケーブル DB9コネクタ 銅線ケーブル 光ファイバケーブル HSSDCコネクタ SCコネクタ GBIC DB9コネクタ GBIC HSSDCコネクタ GBIC SCコネクタ 銅線ケーブル(2Gのみ) HSSDC2コネクタ 光ファイバケーブル LCコネクタ SFP (2Gのみ) HSSDC2コネクタ SFP/SFP+ LCコネクタ 光ファイバケーブル MTPコネクタ/DACケーブル QSFP MTPコネクタ 現在の主流 1GFC製品で使用 2,4,8,16GFC製品で使用 © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 18 【参考】接続規格と接続距離 規格 ケーブル 62.5µm MMF (OM1) SWL (Short Wavelength Laser 770nm–860nm) 50µm MMF (OM2) 50µm MMF (OM3) 50µm MMF (OM4) LWL (Long Wavelength Laser1270nm–1355nm) 9µm SMF (OS1) 速度 メディア 距離 1 SFP 0.5m – 300m 2 SFP / SFP+ 0.5m – 150m 4 SFP / SFP+ 0.5m – 50m 8 SFP+ 0.5m – 21m 16 SFP+ 0.5m – 15m 1 SFP 0.5m – 500m 2 SFP / SFP+ 0.5m – 300m 4 SFP / SFP+ 0.5m – 150m 8 SFP+ 0.5m – 50m 16 SFP+ 0.5m – 35m 1 SFP 0.5m – 860m 2 SFP / SFP+ 0.5m – 500m 4 SFP / SFP+ 0.5m – 380m 8 SFP+ 0.5m – 150m 16 SFP+ 4 8 0.5m – 100m 0.5m – 400m SFP+ 16 0.5m – 190m 0.5m – 125m 1 SFP 2, 4 SFP / SFP+ 8, 16 SFP+ 2m – 10km © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 19 FC-1 レイヤー(FC-FS-3) シリアル・パラレル変換層 (符号化、フレーミング) • 8B/10B(64B/66B) Encode/Decode • Link Control Protocols ‒ 安定したビット列の転送を実現するた めの変換 ‒ リンク制御を使って、ポートの状態遷移 (Port State Machine)が定義されている ‒ “1”や”0”が連続することを防いで、光信 号の同期をとりやすくする ‒ 大まかには、4つの状態 • Ordered Sets ‒ 特殊な意味を持つ4ワード (=40ビット) のビット列 • デリミタオーダセット - OF (Start of Frame)やEOF (End of Frame) • プリミティブシグナルオーダセット - R_RDYや IDLE/ARBなどのレスポンス • プリミティブシーケンスオーダセット - リンク制御 (確立、切断、初期化) • Active State (AC) • Link Reset (LR1, LR2, LR3) • Offline (OL1, OL2, OL3) • Link Failure (LF1, LF2) © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 20 8b/10b、64b/66b符号化 10/16GFCは、64b/66b 符号化を行う • 信号の直流成分を少なくするために2ビットの冗長化を行い、信号を符号化する方法 • Running Disparity +/-が交互に伝送される • Bit Error Rate (BER)が非常に小さい 0 0 1 1 0 1 1 0 0 0 1 1 1 0 元データ 符号化の背景 0 1 1 0 0 0 0 0 0 0 0 0 0 0 1 ※ もし0や1が連続しすぎると、 3B/4Bエンコーダ 5B/6Bエンコーダ 信号を区別できなくなる恐れがあるため、 0と1が適度な割合で混合していることが望ましい RD 1 0 0 1 0 1 1 0 0 1 符号化済みデータ © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 21 8b/10b符号化と64b/66b符号化 1/2/4/8Gbps は8b/10b 符号化を採用 10/16Gbps は 64b/66b 符号化を採用 8b/10b (since 1950s but patented in 1983) E-of-F °°° 8bit BYTE c111c11111 8bit BYTE c111c11111 8bit BYTE c111c11111 8bit BYTE c111c11111 S-of-F Payload Area of Frame – up to 2112 bytes of data 8b/10b: 8ビット毎に2ビットのチェックビットを付加する。 – オーバーヘッドは 20% 64b/66b (available since 2003) E-of-F 8 BYTEs 8 BYTEs 8 BYTEs 8 BYTEs cc◊◊◊◊◊◊◊◊ cc◊◊◊◊◊◊◊◊ cc◊◊◊◊◊◊◊◊ cc◊◊◊◊◊◊◊◊ S-of-F °°° Payload Area of Frame – up to 2112 bytes of data 64b/66b: 8バイト毎に2ビットのチェックビットを付加する – オーバーヘッドは 約3% © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. All Rights 22 Ordered Set • FCフレームよりも小さな (4バイト)情報伝達単位 ‒ フレームの始まりや終わり、バッファ制御のメッセージ等を表す特殊なバイト ‒ リンクレベル制御には最適 ‒ フレーム解析が必要ないため FibreChannel Transmission Word Data Word Ordered Set 【フレームデリミタ】 【プリミティブシグナル】 【プリミティブシーケンス】 -ファイバチャネルフレームの区 切り -レスポンスを返す際に使用 -リンク確立/切断、ループ初期化 IDLE/ARB NOS/OLS/LR/LRR/AC R_RDY LIP 等 ・SOF (Start Of Frame) ・EOF (End Of Frame) VC_RDY 等 © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 23 Primitives • プリミティブはシグナルイベントで使用 1~4Gbps FCではFill WordとしてIDLEが使用される 8Gbps以降ではIDLEの代わりにARBが使用される様 になった • FCの転送は常時行われている ‒ フレーム ‒ プリミティブ • フレームが無いときは下記のプリミティブが送信されている ‒ R_RDY:受信バッファが空いて他のフレーム受信が可能になったときに通知される ‒ IDLE/ARB:リンクの維持 (Fill word) N_Port I D L E I D L E R R D Y I D L E I D L E F R A M E I D L E I D L E I D L E I D L E F R A M E I D L E I D L E F_Port © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 24 FC-2 レイヤー (FC-FS-3) シグナリング層(ファイバチャネルの中心となるレイヤ) • ノード / ポートタイプ / トポロジーの 規定 • フレーム・シーケンス・エクスチェン ジの規定 • 「プロトコル」の規定 ‒ プリミティブシーケンスプロトコル ‒ アービットレイテッドループ初期化プ ロトコル • Class of Serviceの規定 ‒ トポロジーには依存しない ‒ Class N (1/2/3/4/6) ‒ Class F • 基本/拡張リンクサービスコマンド • アービットレイテッドループ機能 • エラー検知およびリカバリ ‒ Fabric/N_Port Loginプロトコル • ファブリックモデルに関する規定 • フロー制御に関する規定 © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 25 FC-2 ポートタイプ 接続デバイスによるポートタイプの変化 • Switch Port が取りうるポートタイプ ‒ ‒ ‒ ‒ ‒ U_Port FL_Port G_Port F_Port E_Port = “Universal Port” (自動でポート検出する表現の語) = “Fabric Loop Port” = “Generic Port” — EあるいはFポートとして操作可能 = “Fabric Port” = “Expansion Port” (switchからswitch) • Device (Node) Port が取りうるポートタイプ ‒ N_Port ‒ NL_Port = “直接にFabricアタッチされたデバイス” = “ループにアタッチされたデバイス” 送信 Port 受信 リンク • Point-to-Point • Arbitrated Loop • Fabric © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 26 EX_Port/VE_Port/VEX_Port • EX_Port ‒ ファブリックを分離する特殊なE_Port • EX_Portを境にして、ファブリックを分離 EX_Port ‒ FC Routing環境で使用 ‒ 以下の機種でサポート • Brocade 6510,6520,8510-4,8, 7800, 7840 • (Integrated Routingライセンスが必要) FC-SAN FC-SAN • VE_Port ‒ IPネットワーク上に構成される特殊なE_Port ‒ FCIP (Fibre Channel over IP)環境で使用 • EX_Port Brocade 7800、FX8-24ブレードなどでサポート • VEX_Port ‒ IPネットワーク上に構成される特殊なEX_Port FC-SAN VE_Port VEX_Port IP-WAN ‒ FCIP (Fibre Channel over IP)環境で使用 © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 27 FC-2 ポートタイプ構成例 FC Routingで二つのファブリックを接続した構成例 N_Port N_Port E_Port EX_Port N_Port F_Port E_Port E_Port F_Port FL_Port 左図はFCIPを使う構成例 (スイッチのみ記載) VE_Port NL_Port VE_Port VEX_Port IP Network © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 28 Fabric ポートの対応 デバイスおよびスイッチにおけるポートの種類 Node Port (直接にFabricアタッチされたデバイス) Switch 1 Node N_Port F_Port Fabric Port F_Port E_Port Node Loop Port Expansion Port (switchからswitch) E_Port Fabric (ループにアタッチ Loop されたデバイス) Port Universal Port (汎用ポート) Switch Port Device (Node) Port U_Port Node N_Port FL_Port NL_Port Node NL_Port Node Switch 2 Fabric © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 29 Brocadeスイッチのポート初期化プロセス no U - Port 成長したら私は何になりたい? y/n ポートに何か接続されている? yes FL - Port yes y/n ループに話掛けたい? no G - Port F - Port Fabric pt-to-pt y/n 誰かが私に話し掛けるのを待っている… あなたはswitch? あるいは Fabric point-to-point デバイス? switch E - Port © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 30 FibreChannelフレーム形式 フレームは分割できない最小のデータパケットであり、FibreChannelリンク (上位 レイヤのプロトコルには見えない)上に送出される フレーム S O F HEADER PAYLOAD C R C E O F 4 4 2148 bytes 4 24 Up to 2112 Fibre Channel Frame © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 31 ファイバ/チャネルのフレームヘッダ構造 Fibre ChannelのフレームとEthernetのフレームの相違 Word 0 R_CTL Destination Address (D_ID) Word 1 CS_CTL Source Address (S_ID) Word 2 TYPE Frame Control (F_CTL) Word 3 SEQ_ID DF_CTL SEQ_CNT • Ethernetと同様に、送信先・送信元・フ レームの管理方法についての情報がある • FC特有な物としてOX_ID, RX_IDという項 目がある。 • 転送は FCID ベースで行なう(Ethernet は MAC) <参考> Ethernet Frame Destination MAC Word 4 Word 5 OX_ID RX_ID (Originator Exchange ID) (Responder Exchange ID) Parameter Field R_CTL: Routing Control Field CS_CTL: Class Specific Control Field DF_CTL: Data Field Control Destination MAC Source MAC Source MAC Type/Length field © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 32 フレーム/シーケンス/エクスチェンジ FC-2レイヤの構成と動作における役割 エクスチェンジ フレーム1 フレーム2 フレーム3 フレーム4 シーケンス x フレーム5 フレーム6 フレーム7 フレーム8 フレーム9 フレーム10 シーケンス x+1 SCSI READの例 シーケンス ホスト FCスイッチ ストレージ FCP_CMND READフレーム FCP_DATAフレーム (SEQ CNT = 0) エクスチェンジ FCP_DATAフレーム (SEQ CNT = 1) シーケンス FCP_DATAフレーム (SEQ CNT = 2) FCP_DATAフレーム (SEQ CNT = N) シーケンス FCP_RSP Statusフレーム © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 33 Buffer Credit について 2個のバッファを使えます。 5個のバッファを使えます。 Exchange Link Parameters (ELP) E_Port から E_Portへ 5個のバッファを保有 2個のバッファを保有 2個のバッファを使えます。 5個のバッファを使えます。 Fabric Login (FLOGI) N_PortからF_Portへ 2個のバッファを保有 5個のバッファを保有 受信バッファ 送信バッファ 3 送信可能なフレーム数: 2 使用可能な バッファ数 1 10 2 10 2 2個のバッファを受領可能 VC_RDY VC_RDY VC_RDY (Virtual Channel Ready) © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 34 【参考】 TCP/IPにおけるバッファ制御 動作イメージ 入力されるレート > 出力されるレート 1000 Mbps Ethernet Overflow ルータなど 100 Mbps Ethernet IP WAN パケット 1000Mbps バッファ 100 Mbps 領域 Bit Bucket TCP セグメントのWindowサイズ © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 35 フロー制御 「クレジット」ベースの制御方式 BBクレジット SAN Fabric N_Port Node Buffers F_Port F_Port Routing Buffers N_Port Node Buffers Buffers F_Port Buffers BBクレジット Buffers Node N_Port (Buffer-to-Buffer) EE クレジット(End-to-End) EE_Credit BB_Credit 送信元ポートとあて先ポートの間でのフロー制御 物理的に接続しているポート間でのフロー制御 ACKの受信により EE_Credit を増加 すべてのクラスのデータ伝送で使用(Class3 除く) R_RDYの受信により BB_Credit を増加 © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 36 Class-of-Services 柔軟なノードのデリバリサービス • 広範囲の通信要求に適応するように、FibreChannelはデリバリの要請とプロセス指令と合致する様々なサー ビスクラスを定義する N_Port Class 1 IPの世界では、TCPに該当 Yes コネクション優先 (circuit switching) 製品なし Class 4 (virtual circuits) パス リソース 確保? Class 2 IPの世界では、UDPに該当 No (frame switching) コネクションレス 製品あり N_Port Class 3 ※Class1~4の他、スイッチ間通信用のサービスクラスとしてClass Fが定義されて いる。 BrocadeスイッチではClass 2/3/Fをサポート (frame datagram) © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 37 クラス2とクラス3の比較 Initiator N_Port R_RDY Responder N_Port Initiator N_Port Responder N_Port ファブリック ファブリック データフレー ム データフレー ム ACK データフレー ム R_RDY データフレー ム ACK EE Credit -1 BB Credit -1 データフレー ム BB Credit +1 データフレー ム ACK EE Credit +1 クラス2 クラス3 BBクレジットとEEクレジット両方によるフロー制御 ACKによるEnd-to-Endの送達確認あり BBクレジットのみによるフロー制御 R_RDYによるフロー制御のみ ※クラスFはクラス2に近いコネクションレス型で、ACKを使用 © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 38 Fabric Class F : 管理サービス Switch 1 • Class FはFibreChannelスイッチ間でのみ使用 ‒ スイッチ間リンク情報交換 F_Port • スイッチはClass Fフレームを用いて、ネーム サーバ同様の調整サービスやFabric階層の解決 を行う F_Port E_Port Class F サービス • N_PortsからはClass Fトラフィックは認識す る必要がない • E_Port間通信はコネクションレスサービス (Class 2) • Class FではE_Portにより、フレームを基に要 求を行う E_Port U_Port FL_Port Switch 2 Fabric © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 39 FC-3(FC-FS-3) サービス層 • 複数のポートに共通するサービスを提供するレイヤ ‒ 例えば暗号化 • 将来のために非常に緩やかに定義された階層で、現時点でこのレ イヤに属する機能は無い © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 40 FC-4 (FC-DA-2) マッピング層(ULPマッピング) • 上位プロトコル (Upper Layer Protocol : ULP)とのマッ ピング ‒ FC-4の定義を変更することにより、FibreChannelをさまざ まなプロトコルに対応させることが可能 • 代表的なULP ‒ Fibre Channel Protocol : SCSI-3 • 最もよく使用されるFC-4プロトコル • SCSIとのマッピングを提供することにより、OSカーネルはFibreChannel 機器をSCSI機器として取り扱うことが可能 ‒ ISO/IEC 8802-2 LLC : IP • IPFC (IP over FibreChannel)として使用 ‒ SBCCS : FICON • IBM製メインフレームで使用 © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 41 ファブリックサービス FC-SW-5 © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. INTERNAL42 USE ONLY ファブリックサービスとは何か • ファブリックサービスとは ‒ FCファブリック内で行なわれる、データ転送以外の様々な サービス • アドレス管理 • ネームサーバ管理 • 通知サービス • ルーティングサービス • ゾーニング • 時刻サービス • その他 © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 43 スイッチ型Fabricのアドレス空間 • Fabricは一般的なスイッチング環境を説明するのに使われる用語 • 1個、もしくはそれ以上の相互接続スイッチ(ドメイン)から構成 「1個のFibreChannelスイッチ = 1個のFabricドメイン」 • Fabric階層は、24-bitsアドレス空間の分割に基づく • 1個のFabricで最大239ドメイン 特別なエージェント: • プリンシパルスイッチ 特別なデリバリ: • Class Fサービス © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 44 ファイバチャネルアドレス : FC ID , Port ID IPの世界における、DHCPによるIPアドレスの割り当てに相当 • ファイバチャネルアドレスとは ‒ Fabric に接続されたデバイスの各ポートに割り当てられるアドレス番号 • 送信元: S_ID • 送達先: D_ID ‒ デバイスが Fabric にログインするプ ロセスの中で、スイッチがデバイスに 対してファイバチャネルアドレスを通 達する ‒ 24 bits (3 bytes) のアドレス空間 ファイバチャネルアドレス (24-bits) X X Y Y Z Z Domain Port (Area) AL_PA (Node) 8-bits 8-bits 8-bits • ドメイン ID 部 (8 bits) … スイッチのドメイン番号(1~239) ⇒1ファブリックで最大239スイッチ • ポート ID (エリア ID) 部 (8 bits) … スイッチのポートを特定する番号 • AL_PA 部 (8 bits) … ループ内のデバイスを特定。Fabric デバイスでは通常 00。最近はNPIVの ノードIDとして使用 © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 45 NPIV 概要 • NPIVの必要性 ‒ VMware, Zen, LPAR などの仮想マシン環境を使用する際に、仮想マシン毎に別々のWWNを持つための機能 • 通常では、仮想マシンは1つのHBAを共有できるが、仮想マシン毎に別々のWWNを持つことが出来ない • (従来の方法では仮想マシンはHBAのWWNを共有使用しなければならない) • LUNマスキングやWWNゾーニングが仮想マシン単位で設定できない →セキュリティ上問題がある • NPIV – “N-Port ID Virtualization” ‒ ‘N-Port’はサーバHBAなどデバイスを指す。NPIVはN-Portデバイスを仮想化する標準化された手法 • NPIVのメリット ‒ 柔軟性と可用性が向上: • OS インスタンスとアプリケーションがハードウェアに拘束されない • 他のサーバ ハードウェアへアプリケーションのフェイルオーバー・マイグレーションが容易 ‒ セキュリティーが向上: • 複数の仮想マシン単位にゾーニング、ボリュームマッピングが設定可能 • NPIVを利用するために必要なもの ‒ NPIV対応 OS; NPIV対応 FC HBA; NPIV対応 FC Switch © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 46 NPIV概要 続き NPIVがない場合 VM1 VM2 NPIVがある場合 VM3 FCP Channel 共有HBAのWWNを使 うため、どの仮想マシンか らでも同じLUNにアクセ スできてしまう FC switch VM1 VM2 VM3 FCP Channel FC switch 各仮想マシン毎にWWNを 持つことが出来るので、各仮 想マシン毎にLUNマスキング とWWNゾーニングでアクセス 制御が出来る © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 47 Fibre Channel Address 例 09 :デバイスのDomain ID=9 03 : デバイスはポート 3に接続 00 : ファブリック・デバイス 09 03 00 N Port F Port FL Port 09: デバイスのDomain=9 0A: デバイスはポート10に接続 00: ファブリックデバイス 09 Switch Domain 09 F Port 0A 09 NL Port 09: デバイスはFabric Aware, Domain=9 0C: ループはポート12に接続 E9: Arbitrated Loop ポート・アドレスはE9 09 0C E9 NL Port 09: Fabric Awareデバイス, Domain=9 0C: ループはポート12に接続 04: Arbitrated Loop ポート・アドレス は04 09 09 17 01 VM 09 17 02 VM 09 17 03 N Port N Port 00 F Port VM 0C 09: 11: 01: 02: 03: 17 00 Fabric Awareデバイス, Domain=9 物理サーバ(NPIV)はポート17に接続 仮想サーバ#1 仮想サーバ#2 仮想サーバ#3 04 © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 48 Well-known Fabricアドレス FCファブリックで予約されている特別なアドレス x‘000000’— 未確認 N_Port x‘FFFFF5’ — マルチキャストサーバ x‘FFFFF6’ — クロック同期サーバ x‘FFFFF7’ — セキュリティ キー配布サーバ x‘FFFFF9’ — QoSファシリテータ ・管理サーバの主な機能 ファブリックの情報を管理ソフトなどへ提供 (SNMP管理、MIB) ・ファブリックコントローラの主な機能 ファブリック初期化の実施 x‘FFFFF8’ — エイリアスサーバ Well-known Address宛てフレームの処理 x‘FFFFFA’ — 管理サーバ ルーティング x‘FFFFFB’ — タイムサーバ F_BSYおよびF_RJTの生成 x‘FFFFFC’ — ネームサーバ SCRやRSCNへの応答 x‘FFFFFD’ — Fabricコントローラ x‘FFFFFE’ — Fabricログイン サーバ x‘FFFFFF’ — ブロードキャストアドレス ------------------------------------------------------x’FFFCxx’— Brocade Domain Controller ・ログインサーバの主な機能 FLOGIへの応答、アドレス割り当て ・ネームサーバの主な機能 接続ノードの情報管理 (Brocade Switch自身のアドレス) ネームサーバや他のSwitchとの通信で利用 IPの世界における、IANA割り当てのWell-knownアドレスに相当 © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 49 World Wide Name Ethernetの世界における、MACアドレスに相当 • WWN とは ‒ 各 Fabric デバイスが保有する固定値 • 64 bits ‒ MACアドレス は 48bit • ベンダーは IEEE よりアドレスブロックの割り当てを受 けて、WWN内に組み込んで使用 • スイッチ、HBA、ストレージのそれぞれがWWNを持つ ‒ MAC レイヤを使うもの(ポート)が持つ Node WWN 20:00:00:00:c9:26:41:8a サーバ Port WWN 10:00:00:00:c9:26:41:8a 10:00:00:00:c9:26:41:8b HBA Port WWN 20:06:00:60:69:90:02:c0 Node WWN 10:00:00:60:69:90:02:c0 ‒ 2種類ある • MAC はポートのみに設定される Port WWN 20:09:00:60:69:90:02:c0 • Node WWN ‒ ノードとして保有する WWN • Port WWN ‒ ポートとして保有する WWN Port WWN 10:00:00:00:0e:24:4d:19 ストレージ Node WWN 10:00:00:80:17:84:74:dc © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 50 Brocade Switch の WWNの例 MACアドレス同様に、ベンダコード(OUI)が埋め込まれる位置がある • WWN のフォーマット ベンダ固有値 ‒ 2 Bytes: 標準+ベンダ固有値 ‒ 3 Bytes: IEEE 割り当て ‒ 3 Bytes: ベンダ固有値 • Brocade Switch の WWN ‒ IEEE 割り当て部分 • 00:60:69 または 00:05:1e など ‒ Node WWN • IEEE からの割り当て Brocade Switch の Port WWN は 2 で開始 20:06:00:60:69:90:02:c0 10:00:00:60:69:xx:yy:zz ‒ Port WWN • 10:00:00:60:69:90:02:c0 スイッチのポート番号マザーボードのシリアル番号 (スイッチのシリアル番号とは別) 20:PP:00:60:69:xx:yy:zz © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 51 Fabric Login 通信 • ネットワークへのログイン (Fabric Login - FLOGI) • Name Server への登録 (Port Login - PLOGI) • 通信する許可を得る (Port Login - PLOGI) Extended Link Service 1) Login Serverへのlogin処理は、 WindowsやNISドメインへのログイン 処理に該当 2) Name Serverへのlogin処理は、 DNSサーバへ名前解決のための 登録を行う処理に該当 ファブリック スイッチのポート番号 3番に接続 スイッチのポート番号 1番に接続 ドメインID = 9 Login Server (x‘FFFFFE’) FCアドレス サーバ 090300 FCアドレス 090100 ストレージ Name Server (x‘FFFFFC’) ストレージ : 090100 52 サーバ : 090300 ストレージの FCアドレスは 「090100」! ⑪PLOGI(接続要求) ⑫Accept(接続許可) © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 52 FC の初期化フロー スイッチ上の動作 ス P Light/ Char イ O Signal Sync/ ッ S Word チ T Sync の 電 Power 源 On 投 Test 入 S p e e d Loop Init / Link Init F L O G I P L O G I デバイス デバイス ゾ N がNSに がリモート | S 追加 NSに ニ Query/ 追加 ン Registr. グ N e g Ordered Set でやりとり End-to-Endの動作 セ キ ュ リ テ ィ Nx_port同士 の通信手順 ACL FC-2 Link Serviceでやりとり © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 53 HBAとFCスイッチ間のやりとり スイッチのポートのログ 19:20:14.531 19:20:14.827 19:20:14.827 19:20:14.827 19:20:14.827 19:20:14.870 19:20:14.870 19:20:14.920 19:20:14.920 19:20:14.970 19:20:14.970 19:20:15.020 19:20:15.020 19:20:15.070 19:20:15.070 19:20:15.120 19:20:15.121 19:20:15.128 19:20:15.128 19:20:15.129 19:20:15.129 19:20:15.129 19:20:15.129 19:20:15.129 19:20:15.129 19:20:15.139 19:20:15.139 19:20:15.140 19:20:15.140 19:20:15.140 19:20:15.140 SPEE SPEE SPEE SPEE LOOP LOOP LOOP LOOP LOOP LOOP LOOP LOOP LOOP LOOP LOOP LOOP INTR INTR PORT PORT PORT PORT PORT PORT PORT PORT PORT PORT PORT PORT PORT sn sn sn sn loopscn loopscn loopscn loopscn loopscn loopscn loopscn loopscn loopscn loopscn loopscn loopscn pstate pstate scn Rx3 scn debug debug scn debug Tx3 Rx3 Rx3 scn Tx3 Tx3 19 19 19 19 19 19 19 19 19 19 19 19 19 19 19 19 19 19 19 19 19 19 19 19 19 19 19 19 19 19 19 WS NM NF NC LIP TMO LIP TMO LIP TMO LIP TMO LIP TMO LIP TMO OL1 AC 11 116 1 1 116 116 8 2 116 4 00000000,00000000,00000000 00000000,00000000,00000000 00000000,00000000,00000000 00000004,00000000,00000000 8002 4040001 801e 4040001 801e 4040001 801e 4040001 801e 4040001 801e 4040001 Speed Negotiation Loop Initialization Port State Machine/Link Control Protocol 00000000,00000000,00000002 22fffffe,00000000,22a4ffff,04000000 00000000,00000000,00000001 00000001,00654320,00000001,00000000 00000001,00654320,00000002,00000000 00000000,00000000,00000020 00000001,00654320,00000003,00000000 23011300,00fffffe,22a40001,02000000 22fffffc,00011300,22a6ffff,03000000 22fffffd,00011300,22a8ffff,62000000 00011300,00000003,00000004 23011300,00fffffc,22a60002,02000000 23011300,00fffffd,22a80003,02000000 Fabric Login (FLOGI) * 8 Reply from FLOGI Port Login (PLOGI) State Change Registration © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 54 Name ServerとFabric Controller LANではName ServerはDNSに該当 • Name Serverの機能 ‒ Name Serverは下記のデータベースを保持して います。 ‒ Port属性 • • • • • • Port ID (Fabricからアサインされた24bitのファイ バーチャネルアドレス) Port Name (Port WWN) サービスClasss (2,3) FC-4 Type (SCSI,IP) Port Type (N,NL) Symbolic Port Name (形式自由な情報) • Fabric Controllerの機能 ‒ ‒ ‒ ‒ ‒ ‒ ‒ ファブリック初期化の実施 Well-known Address宛てフレームの処理 フレームルーティング F_BSYおよびF_RJTの生成 SCRやRSCNへの応答 SCR (State Change Registered) RSCN (Registered State Change Notifications) ‒ Node属性 • • • Node Name (Node WWN) Fibre Channel IP Address Symbolic Node Name (形式自由な情報) ‒ 複数のFC Switchが相互に接続している場合、 全FC Switchは同じ情報を保持し、単一障害点 を排除しています © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 55 E_Port初期化プロセス Fabricコンフィグレーションプロセス パ ス 選 択 Step 5: (FSPF) ド メ イ ン ア ド レ ス 配 布 Step 4: プ リ ン シ パ ル ス イ ッ チ 選 択 Step 3: Step 2: Step 1: Fabric 初期化 リ ン ク の 初 期 化 ポ ー ト 操 作 モ ー ド の 検 出 Fabric 作動可 CLASS F通信 (Switch Fabric内部リンクサービス) © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 56 E_Port初期化プロセス (続き) • SW_ISL (Switch Internal Link Service) ‒ ファブリックの構成に関連する一連のコマン ド群 1. リンク初期化 (前述) 2. ポート操作モードの検出 -> ポートが 「E_Port」に決定 ‒ ELP (Exchange Link Parameters) SW_ILSを送 受信 • タイムアウト値 (E_D_TOV、R_A_TOV)を交換 • PWWN / Switch Nameを交換 • フロー制御の方法 (ISL Flow Control Mode)を交換 3. プリンシパルスイッチの決定 ‒ EFP (Exchange Fabric Parameters) SW_ILSの交 換 • プリンシパルスイッチの選定 • スイッチ名 (WWN)、優先度 (Priority)、ドメインIDリ ストを交換 ‒ 優先度が等しい場合は、スイッチ名の大小比較で プリンシパルスイッチを決定 • ベンダー固有情報の交換 • ゾーニングデータベースの交換 ‒ ESC(Exchange Switch Capabilities) • ベンダー情報の交換 • Virtual Fabric Support情報の交換 © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 57 E_Port初期化プロセス (続き) 4. Domain IDの割り当て ‒ プリンシパルスイッチ = ドメインアドレスマネージャ ‒ DIA (Domain Identifier Assigned) SW_ISL • プリンシパルスイッチが選定されたことを、ファブリック内の他のスイッチに通知 ‒ RDI (Request Domain Identifier) SW_ISL • 5. プリンシパルスイッチに対してドメインIDを要求 パス選択 ‒ FSPF (Fabric Shortest Path First)アルゴリズム © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 58 Fabricプリンシパルスイッチ • プリンシパルスイッチ = Fabric内に1個 だけ存在 ‒ Domain Address Manager (固有の Domain IDを割当てる) ‒ 時刻の同期(非Virtual Fabric環境のみ) 私はこのファブリックの代 表です。あなたのDomain IDは6を使ってください プリンシパル スイッチ 1 2 3 4 • プリンシパルスイッチの選定 ‒ 最も WWN が低いスイッチがプリンシパ ルスイッチになる (設定情報は全てのス イッチが保有) ‒ プリンシパルスイッチとなるスイッチを あらかじめ明示的に指定しておくことも 可能(fabricprincipal) 5 新たにこのファブリックに参加 します。Domain IDを割り当て てください © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 59 Fabric Shortest Path First (FSPF) IPの世界における、OSPFより派生したルーティング技術 • FSPFはリンクにおけるパス選択プロトコル (OSPF から派生) Hello! ※それぞれの丸は スイッチを示します ‒ リンクコスト/ウェイトを使用 Hello! Hello! ‒ ホップカウントの考慮 ‒ 利用可能な帯域の認識 Hello! ‒ 複数の同コストリンクをラウンドロビンで負荷共有 Hello! • ファブリックアドレス (スイッチのドメインナンバ) によるルーティング ‒ WWNによるフレームフォワーディングはしない ※パスコストは横切る リンクコストの合計 • 容易な6個のステップ: ‒ 隣接スイッチ間で “Hello” ‒ 全体のリンク状況をとなりと交換 ??? 500 1000 ‒ リンク状況記録を更新 ‒ ソースと宛先間の最短パスを計算 ‒ ルートをセットアップ 1000 1000 500 すべてのスイッチが、他の スイッチへの最短パスを計 算 © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 60 Registered State Change Notification RSCNの役割と発生要因 RSCN発生をファブリック内 のデバイスに通知 • ファブリックの状態変更を通知 ‒ Nx_Port対象 ‒ ファブリックにログインしているポートに通知 ‒ 対象となるNx_PortはClass 2もしくは3をサポート • SCR (State Change Registration) E_Port F_Port × × デバイス障害、ポート障害 により、RSCN発生 ‒ RSCNを受け取るように事前に登録 ‒ スイッチはSCRを行ったデバイスにRSCNを送信 • 以下の起因により発生 新規デバイス追加により、 RSCN発生 ‒ Nx_Portのログイン ‒ Nx_Portのログアウト • HBA障害、ポート障害など含む RSCN発生をファブリック内 のデバイスに通知 ‒ ファブリックの構成変更 (Reconfigure) ‒ Zone情報の変更 • RSCNはファブリック (スイッチ)より送信される ‒ RSCN受信時の動作はデバイス (サーバ/ストレージ)の実装に依存 © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 61 Zoning Ethernetの世界における、VLAN機能に相当 • Zoningの目的 ‒ Fabric内の任意のNode間でのアクセスを制御する機能 • 1つのFabricを論理的なアクセスグループに分割する機能 • L2-SwitchにおけるV-LAN(Virtual LAN)に似ている ‒ セキュリティーの向上 ‒ 障害伝搬範囲の低減 0 1 zone1 8 9 2 3 5 zone3 zone2 10 4 11 12 6 7 14 15 zone4 13 • RSCNやLIPの伝達範囲を、影響のあるゾーン内に制限 • Zoneとは ‒ Zoning機能を使用する際に、アクセスを可能にするNode群 を1つにまとめたグループの単位 • Best Practice: イニシエータ1つにつき1つのゾーン ‒ Brocade Switchでは、任意の数のZoneを作成することが可能 ‒ 各メンバーは任意の数のZoneに含まれることが可能 • Overlappingする事が可能 ゾーニングの構成 名称 ポートのみ ポートゾーニング WWNのみ WWNゾーニング ポートとWWN Mixedゾーニング © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 62 一般的なゾーニングの実装 1 3 2 4 5 6 • スイッチ側はポートゾーニングし、ストレー ジ側ではLUNマスキング • スイッチ側でポートゾーニング WWN2 WWN1 WWN3 ‒ 下記のようなゾーンを設定 • Zone1 “port1, port10” • Zone2 “port2, port10, port12” • Zone3 “port4, port12” 0 1 • LUN3とLUN4をWWN2に見せる • LUN5とLUN6をWWN3に見せる 4 5 6 7 13 14 15 zone3 zone2 ‒ 下記のような設定をストレージ側で実施 LUN1とLUN2をWWN1に見せる 3 zone1 • ストレージ側でLUNマスキング • 2 8 LUN1 LUN2 9 10 LUN3 11 12 LUN4 LUN5 LUN6 © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 63 RSCNの抑制 (ゾーニング) RSCN が通知 されない RSCN が通知 されない • Registered State Change Notification (RSCN)はファブリックの 状態変化を通知するためのサービス ‒ ゾーニングの変更、スイッチのon/off、新規デバイスの追加で発生 ‒ RSCNが発生するとパス変更やデバイス検索のためにI/Oが中断する ‒ FC-FS標準に準拠 • ゾーニングによりRSCNやLIPの伝達範囲を、影響のあるゾー ン内に制限する。 ‒ 「1 (イニシエータ):n (ターゲット)」ゾーンを推奨 Zone 1 Zone 2 新規サーバが 接続されると スイッチがRSCN を発生 Zoneが切ってあると 他のZoneには影響 なしでゾーン構成変 更が可能 RSCN • Brocade Fabric OSはRSCNの発生を最低限に抑え、アプリ ケーションレベルの可用性を向上 ‒ Zone変更、デバイスオフライン、スイッチ名変更等により発生 RSCN RSCN が通知 が通知 されない される RSCN が通知 されない © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 64 ファブリックサービスのまとめ • フレーム損失の無い転送 ‒ BB Credit によるフロー制御 • 高効率なデータ転送 ‒ Exchange/Sequence 単位 ‒ 順序配信 • セキュリティ ‒ Zone によるアクセス分離 ‒ WWN, デジタル証明書による認証 ( この資料ではカバーしていません ) • 各種設定の自動構成 ‒ ルーティング構成 ‒ アドレッシング ‒ ネームサービス © 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 65 ありがとうございました 本件に関するお問い合わせ ブロケード コミュニケーションズ システムズ株式会社 https://www.brocadejapan.com/form/contact
© Copyright 2024 ExpyDoc