FCoE - проектирование, настройка и эксплуатация Эльдар Женсыкбаев Системный инженер-консультант [email protected] 11/14/14 © 2014 Cisco and/or its affiliates. All rights reserved. Содержание • Что такое FCoE • Data Center Bridging • Структура FCoE • FIP (Reference) • Начальная настройка FCoE (UCS и N5K) • Демо сценарий #1 (VF_Port) • Демо сценарий #2 (VE_Port) 11/14/14 © 2014 Cisco and/or its affiliates. All rights reserved. Fibre Channel over Ethernet 11/14/14 © 2014 Cisco and/or its affiliates. All rights reserved. 3 FCoE FCoE 1, 2, 4, (8), 10 Gbps 1, 10 . . . Gbps 10, 20 Gbps Что такое FCoE? Легко Понять Построен на Модели FC Операцонная Модель Такое же поведение Host-to-Switch и Switch-to-Switch как FC Управления Трафиком Функции In-Order Delivery и FSPF Load Balancing Модели Управления и Безопасности WWN, FC-ID, Zoning, Nameserver, RSCN Стандарт Технологии FC-BB-5 FCoE • Инкапсуляция FC фреймов в Ethernet • Позволяет передавать FC поверх Lossless Ethernet Ethernet Нормальный фрейм Ethernet, Ethertype = FCoE Fibre Channel Traffic Тот же фрейм Fibre Channel FC Payload Bit 0 CRC EOF FCS FC Header FCoE Header Ethernet Header FCoE Frame Format Служебная информация: Version, ordered sets (SOF, EOF) 5 Что такое FCoE? Легко Понять Построен на Модели FC Операцонная Модель Такое же поведение Host-to-Switch и Switch-to-Switch как FC Стандарт Технологии FC-BB-5 Управления Трафиком Функции In-Order Delivery и FSPF Load Balancing Модели Управления и Безопасности WWN, FC-ID, Zoning, Nameserver, RSCN FCoE • Инкапсуляция FC фреймов в Ethernet • Позволяет передавать FC поверх Lossless Ethernet Что такое FCoE? Это Fibre Channel Нормальный фрейм Ethernet, Ethertype = FCoE Тот же фрейм Fibre Channel FC Payload Bit 0 CRC EOF FCS FC Header FCoE Header Ethernet Header FCoE Frame Format Служебная информация: Version, ordered sets (SOF, EOF) 6 Ethernet Fibre Channel Traffic Стандарт FCoE Нормальный фрейм Ethernet, Ethertype = FCoE FCS Bit 0 FC Payload EOF CRC Служебная информация: Version, ordered sets (SOF, EOF) Destination MAC Address Bit 0 10Gbps Ethernet Lossless Ethernet Source MAC Address IEEE 802.1Q Tag ET = FCoE § Соответствует поведению, обеспечиваемому в FC с использованием B2B credits Ver Reserved Reserved Reserved Reserved SOF Encapsulated Fibre Channel Frame (Including FC-CRC) Jumbo фреймы Ethernet EOF Reserved FCS Byte 0 FCS Fibre Channel Payload EOF FC Header Byte 2197 FCoE Header Ethernet Header § Максимальный размер FC фрейма = 2112 байт Bit 31 CRC FC Header FCoE Header Ethernet Header FCoE Frame Format Тот же фрейм Fibre Channel Data Center Bridging Priority-Based Flow Control (PFC) • Возможность транпорта без потерь для каждого класса трафика • Отправка PAUSE для данной виртуальной полосы (virtual lane) • Выделение ресурсов для каждой VL • Дифференцированное поведение для каждой VL Data Center Bridging Enhanced Transmission Selection (ETS) • Гарантированная полоса передачи и разделение полосы между VL • Стандартизуется в комитете IEEE 802.1Qaz (Priority Grouping) Data Center Bridging Data Center Bridging eXchange Data Center Ethernet Data Center Ethernet Согласование настроек для: • Управления полосой по классам • Управления потоком по классам • Управления перегрузками(BCN/QCN) • Логического состояния интерфейса Fibre Channel over Ethernet (FCoE) Метод прямого отображения фреймов FC на Ethernet § Бесшовно подключается к сетям FC à Расширяет FC через Ethernet — FCoE выглядит как FC для серверов и сети — Сохраняет текущую инфраструктуру и управление FC — Фрейм FC остается неизменным § Может работать на стандартных коммутаторах (с jumbo фреймами) § Priority Flow Control обеспечивает отсутствие потерь — Имитирует систему буферных кредитов FC, избегая TCP § Не требует дорогих off-load технологий Ethernet Fibre Channel Что такое Fibre Channel over Ethernet? С точки зрения Fibre Channel: § Сеть FC используя новый тип кабеля… облако Ethernet С точки зрения Ethernet: § Еще один транспортируемый протокол верхнего уровня (ULP) – хотя и требовательный! С точки зрения технологии: FCoE – расширение Fibre Channel для транспорта через Ethernet без потерь Reference Типы портов FC • N_Port – Node Port • Порт сервера или СХД 13 N_Port Node N_Port Node N_Port Node Reference Типы портов FC • N_Port – Node Port • Порт сервера или СХД • F_Port – Fabric • Порт коммутатора в сторону Node F_Port N_Port Node F_Port N_Port Node F_Port N_Port Node 14 Reference Типы портов FC • N_Port – Node Port • Порт сервера или СХД • F_Port – Fabric • Порт коммутатора в сторону Node • E_Port – "Extender" • Порт коммутатора в сторону другого коммутатора FC Switch E_Port E_Port F_Port N_Port Node F_Port N_Port Node F_Port N_Port Node 15 Структура Fibre Channel Протоколы Верхнего Уровня FC-4 (Mapping) FC-3 (Common Services) FC-2V (FC-2 – Virtual) FC-2 (Framing) FC-2M (FC-2 – Multiplexer) FC-2P (FC-2 – Physical) FC-1 (Transmission Protocol) FC-0 (Physical) Reference Reference Fibre Channel Node … FC-4 FC-4 … FC-4 FC-3 VN_Port FC-2V … VN_Port VN_Port FC-2V FC-2V Multiplexer … VN_Port FC-2V Multiplexer … FC-2M FC-2M PN_Port PN_Port PN_Port PN_Port FC-2P FC-2P FC-2P FC-2P FC-1 FC-1 FC-0 FC-0 FC-1 FC-0 … … FC-1 FC-0 Reference Коммутатор Fibre Channel FC Switching Element VF_Port VF_Port VE_Port VE_Port FC-2V FC-2V FC-2V FC-2V Multiplexer Multiplexer Multiplexer Multiplexer FC-2M FC-2M FC-2M FC-2M PF_Port PF_Port PF_Port PE_Port PE_Port PE_Port FC-2P FC-2P FC-2P FC-2P FC-2P FC-2P FC-1 FC-1 FC-1 FC-1 FC-1 FC-1 FC-0 FC-0 FC-0 FC-0 FC-0 FC-0 F_Port … … E_Port Reference Fibre Channel Link FC Node FC Switch FC-3/FC-4 FC-3/FC-4 FC-3/FC-4 VN_Port VN_Port VN_Port FC-2V FC-2V FC-2V FC Switching Element FC-2V VF_Port FC-2V Multiplexer Multiplexer FC-2M FC-2M PN_Port PF_Port FC-2P FC-2P FC-1 FC-1 FC-0 FC-0 FC Link Reference Структура FCoE FC-4 FC-2 FC-4 FC-3 FC-3 FC-2V FC-2V FC-2M FC-2P Уровни FC (не изменены) FCoE Mapping FC-1 MAC FC-0 PHY Уровни IEEE 802.3 Reference FCoE Node (ENode) FC-3 / FC-4 FC-2V VN_Port FCoE_LEP FCoE Entity FC-3 / FC-4 … FCoE Controller Lossless Ethernet MAC FC-3 / FC-4 FC-2V VN_Port FC-2V FCoE_LEP FCoE Entity Ethernet_Port VN_Port FCoE_LEP FCoE Entity … FC-3 / FC-4 … FCoE Controller Lossless Ethernet MAC FC-2V VN_Port FCoE_LEP FCoE Entity Ethernet_Port Reference FCoE Forwarder (FCF) FC Fabric Interface E_Port … E_Port … F_Port F_Port FC Switching Element FC-2V VE_Port FCoE_LEP FCoE Entity FC-2V or FCoE Controller FCoE_LEP FCoE FCoE_LEP FCoE_LEP Entity Lossless Ethernet MAC Ethernet_Port Ethernet_Port … VE_Port FCoE_LEP FCoE Entity FC-2V or FCoE Controller … Ethernet_Port Ethernet_Port Ethernet_Port Ethernet_Port Lossless Ethernet Bridging Element Ethernet_Port VF_Port FCoE_LEP FCoE FCoE_LEP FCoE_LEP Entity Lossless Ethernet MAC Ethernet_Port Ethernet_Port Lossless Ethernet Bridging Element Ethernet_Port FC-2V VF_Port Ethernet_Port … Ethernet_Port Reference FCoE Link ENode FCF FC-3/FC-4 FC-3/FC-4 FC-3/FC-4 VN_Port(1) VN_Port(2) VN_Port(3) FC-2V FC-2V FC-2V FCoE_LEP FCoE_LEP FCoE_LEP FC Switching Element VF_Port FC-2V FCoE Controller FCoE FC-2V FCoE Controller FCoE_LEP FCoE_LEP FCoE_LEP Ethernet Lossless Ethernet MAC MAC VN_Port(1) MAC VN_Port(2) Ethernet_Port MAC VN_Port(3) Lossless Ethernet MAC Virtual Links Lossless Ethernet network FCF-MAC Ethernet_Port FCF-MAC FCF-MAC Reference Структура протокола FCoE • Протокол передачи данных • Передает большинство фреймов FC и весь трафик SCSI FIP (FCoE Initialization Protocol) • Управляющий протокол • Используется для поиска элементов FC подключенных к облаку Ethernet • Также используется для процессов login и logout в сеть Fibre Channel Два протокола: • Два разных Ethertype • Два разных формата фреймов FCoE Initialization Protocol (FIP) ENode FCoE Switch VLAN Discovery FCF Discovery Reference VLAN Discovery Solicita tion Advertisement FCF Discovery FLOGI/FDISC FLOGI/FDISC Accept FC Command FC Command responses FIP: FCoE Initialization Protocol FCOE Protocol Reference FIP: VLAN Discovery MAC (H1) FCF-MAC (A) H1 FCF A Lossless Ethernet Bridge H2 FC Fabric FCF B MAC (H2) FCF-MAC (B) All-FCF-MACs MAC(H2) VLAN Request [MAC(H2)] Запрос доступных FCF по default VLAN: Какие VLAN доступны для FCoE Reference FIP: VLAN Discovery MAC (H1) FCF-MAC (A) H1 FCF A Lossless Ethernet Bridge H2 FC Fabric FCF B FCF-MAC (B) MAC (H2) MAC(H2) MAC(H2) FCF-MAC(A) FCF-MAC(B) VLAN Notification VLAN Notification [F=1, FCF-MAC(A), FCoE VLAN List] [F=1, FCF-MAC(B), FCoE VLAN List] Reference FIP: FCF Discovery MAC (H1) FCF-MAC (A) H1 FCF A Lossless Ethernet Bridge H2 FC Fabric FCF B MAC (H2) FCF-MAC (B) All-FCF-MACs MAC(H2) Solicitation [F=0, MAC(H2), Capabilities, Other] Идентификация VF_Port, поддерживающие FCF-MAC с совместимой адресацией Reference FIP: FCF Discovery MAC (H1) FCF-MAC (A) H1 FCF A Lossless Ethernet Bridge H2 FC Fabric FCF B FCF-MAC (B) MAC (H2) MAC(H2) MAC(H2) FCF-MAC(A) FCF-MAC(B) Mini-jumbo Advertisement Mini-jumbo Advertisement [S=1, F=1, Priority, Fabric, FCF-MAC(A), Switch_Name, Capabilities, Other] [S=1, F=1, Priority, Fabric, FCF-MAC(B), Switch_Name, Capabilities, Other] Список FCF для H2: FCF-MAC(A) [J] FCF-MAC(B) [J] Reference FIP: FLOGI MAC (H1) FCF-MAC (A) H1 FCF A Lossless Ethernet Bridge H2 FC Fabric FCF B FCF-MAC (B) MAC (H2) FCF-MAC(A) FCF-MAC(B) MAC (H2) MAC(H2) FIP FLOGI Request FIP FLOGI Request [FC Header, FLOGI data, Proposed MAC’(H2)] [FC Header, FLOGI data, Proposed MAC’’(H2)] Reference FIP: FLOGI MAC (H1) FCF-MAC (A) H1 FCF A Lossless Ethernet Bridge H2 FC Fabric FCF B FCF-MAC (B) MAC (H2) MAC (H2) MAC(H2) FCF-MAC(A) FCF-MAC(B) FIP FLOGI LS_ACC FIP FLOGI LS_ACC [FC Header, LS_ACC data, Approved MAC(H2)’] [FC Header, LS_ACC data, Approved MAC(H2)’’] Reference Виртуальные Каналы FCoE MAC (H1) FCF-MAC (A) H1 FCF A Lossless Ethernet Bridge H2 FC Fabric FCF B MAC (H2) MAC (H2)’ MAC (H2)’’ FCF-MAC (B) FCF-MAC(A) FCF-MAC(B) MAC(H2)’ MAC(H2)’’ Fibre Channel Frame (FCoE) Fibre Channel Frame (FCoE) [FC SOF, FC Header, FC Data, FC CRC FC EOF] [FC SOF, FC Header, FC Data, FC CRC, FC EOF] Начальная Настройка Коммутаторов для FCoE 11/14/14 © 2014 Cisco and/or its affiliates. All rights reserved. 33 Nexus 5K Начальная Настройка 1. Установить лицензию Storage Services (FC_FEATURES_PKG) n5k-A(config)# install license LICENSEFILE.lic! n5k-A(config)# show license usage! Feature Ins Lic Status Expiry Date Comments! Count! --------------------------------------------------------------------------------! ...! FC_FEATURES_PKG Yes In use Never -! 2. Включить функционал LLDP n5k-A(config)# feature lldp! n5k-A(config)# show feature! Feature Name Instance -------------------- -------...! lldp 1 ! State ! --------! enabled ! 3. Включить функционал FCoE n5k-A(config)# feature fcoe! n5k-A(config)# show feature! Feature Name Instance -------------------- -------...! fcoe 1 ! Рекомендация: Также включить функцию LACP для агрегации линков State ! --------! enabled ! 34 Nexus 5K Начальная Настройка 4. Настроить system QoS и policy для FCoE: n5k-A(config)# system qos! n5k-A(config-sys-qos)# service-policy n5k-A(config-sys-qos)# service-policy n5k-A(config-sys-qos)# service-policy n5k-A(config-sys-qos)# service-policy type type type type Этот шаг необходим только для платформы Nexus 55xx до релиза 5.1(3)N1(1) qos input fcoe-default-in-policy! queuing input fcoe-default-in-policy! queuing output fcoe-default-out-policy! network-qos fcoe-default-nq-policy! 5. (RBAC) Создать пользователя с ролью администратора SAN n5k-A(config)# username sanadmin role san-admin password PASSWORD! n5k-A(config)# show role name san-admin! ! Role: san-admin! Description: Predefined system role for san administrators. This role! cannot be modified.! vsan policy: permit(default)! Vlan policy: permit(default)! Interface policy: permit(default)! Vrf policy: permit(default)! -------------------------------------------------------------------! Rule Perm Type Scope Entity -------------------------------------------------------------------! 27 permit read ! 26 permit read-write feature fcdomain 25 permit read-write feature rdl ...! 35 ! ! ! Топология Demo-POD 11/14/14 © 2014 Cisco and/or its affiliates. All rights reserved. 36 Топология (FC & FCoE). VF_Port MDS 9148 FC-Attached Storage Nexus 5548UP Fabric Interconnect 6248UP 11/14/14 © 2014 Cisco and/or its affiliates. All rights reserved. UCS B420-M3 Сценарий #1 (VF_Port) SAN A FC Storage h0 SAN B h1 fc1/1 MDS-A fc1/45 MDS-B fc1/1 fc1/45 TE_Port VSAN 7 VSAN 8 TE_Port fc1/29 N5K-A NPIV NPIV e1/27 F_ Port Trunk e1/28 e1/27 po8 VSAN 7 VLAN 7 e1/28 TN_Proxy VSAN 8 VLAN 8 e1/27 FI-A e1/28 FI-B NPV vfc 1491 vfc 1492 F_Port N_Port fc0 VSAN 7 11/14/14 e1/28 TF_Port VSAN 7 VLAN 7 e1/27 NPV fc1/29 N5K-B fc1 VSAN 8 Server 1 © 2014 Cisco and/or its affiliates. All rights reserved. B420-M3 38 F_ Port Channel & Trunk Настройка UCS FCoE Uplink & VSAN FC Storage h0 1. Настроить FCoE Uplink с Fabric Interconnect A: Interface e1/27! Interface e1/28! fc1/1 MDS-A fc1/45 TE_Port VSAN 7 TE_Port fc1/29 N5K-A e1/27 e1/28 TF_Port VSAN 7 VLAN 7 VSAN 7 VLAN 7 e1/27 e1/28 po8 TN_Proxy FI-A vfc 1491 F_Port N_Port fc0 VSAN 7 Server 1 B420-M3 39 Настройка UCS FCoE Uplink & VSAN FC Storage h1 1. Настроить FCoE Uplink с Fabric Interconnect A: Interface e1/27! Interface e1/28! MDS-B fc1/1 2. Настроить FCoE Uplink с Fabric Interconnect B: VSAN 8 Interface e1/27! Interface e1/28! LACP port-channel 8! TE_Port NPIV e1/27 e1/28 TF_Port VSAN 8 VLAN 8 po8 4. Создать VSAN TN_Proxy VSAN fcoe-demo! Fabric A: VSAN 7 / FCoE VLAN 7! Fabric B: VSAN 8 / FCoE VLAN 8! fc0: Fabric A, VSAN fcoe-demo! fc1: Fabric B, VSAN fcoe-demo! fc1/29 N5K-B 3. Включить FC Uplink Trunking 5. Настроить Сервисный Профиль fc1/45 TE_Port e1/27 FI-B NPV N_Port fc1 VSAN 8 Server 1 B420-M3 40 vfc 1492 e1/28 Настройка Nexus 5000 VLAN & VSAN 1. Создать VSAN: MDS-A n5k-A(config)# vsan database! n5k-A(config-vsan-db)# vsan 7! ! n5k-B(config)# vsan database! n5k-B(config-vsan-db)# vsan 8! 2. Создать FCoE VLAN и привязать к нему VSAN n5k-A(config)# vlan n5k-A(config-vlan)# ! n5k-B(config)# vlan n5k-B(config-vlan)# MDS-B N5K-A N5K-B 7! fcoe vsan 7! 8! fcoe vsan 8! FI-A FI-B 41 Настройка Nexus 5000 1/2 Ethernet интерфейсы для FCoE FC Fabric Interface 3. Настроить интерфейсы N5K-A F_Port n5k-A(config)# interface ethernet 1/27-28! n5k-A(config-if-range)# switchport mode trunk ! n5k-A(config-if-range)# switchport trunk allowed vlan 7! n5k-A(config-if-range)# no shutdown ! FC Switching Element 4. Настроить интерфейсы N5K-B n5k-B(config)# interface ethernet 1/27-28! n5k-B(config-if-range)# switchport mode trunk ! n5k-B(config-if-range)# switchport trunk allowed vlan 8! n5k-B(config-if-range)# no shutdown ! n5k-B(config-if-range)# channel-group 8 mode active ! N5K-A e1/28 VSAN 7 VLAN 7 FCoE Controller e1/28 TF_Port VSAN 7 VLAN 7 e1/27 e1/27 VF_Port FCoE_LEP FCoE FCoE_LEP FCoE_LEP Entity N5K-B e1/27 FI-A FC-2V Ethernet_Port po8 e1/28 VSAN 8 VLAN 8 e1/27 Lossless Ethernet MAC e1/28 FI-B 42 Настройка Nexus 5000 2/2 FCoE интерфейсы 5. Создать FCoE интерфейсы и привязать к Ethernet интерфейсам N5K-A FC Fabric Interface F_Port n5k-A(config)# interface vfc27! n5k-A(config-if)# switchport mode F ! n5k-A(config-if)# switchport trunk allowed vsan 7! n5k-A(config-if)# bind interface ethernet 1/27! n5k-A(config-if)# no shutdown ! n5k-A(config)# interface vfc28! n5k-A(config-if)# switchport mode F! n5k-A(config-if)# switchport trunk allowed vsan 7! n5k-A(config-if)# bind interface ethernet 1/28! n5k-A(config-if)# no shutdown ! FC Switching Element FC-2V N5K-A VF_Port FCoE_LEP FCoE FCoE_LEP FCoE_LEP Entity vfc27 e1/27 vfc28 e1/28 Ethernet_Port VSAN 7 VLAN 7 Lossless Ethernet MAC VSAN 7 VLAN 7 e1/27 FCoE Controller e1/28 FI-A 43 Настройка Nexus 5000 2/2 FCoE интерфейсы 5. Создать FCoE интерфейсы и привязать к Ethernet интерфейсам N5K-A FC Fabric Interface F_Port n5k-A(config)# interface vfc27! n5k-A(config-if)# switchport mode F ! n5k-A(config-if)# switchport trunk allowed vsan 7! n5k-A(config-if)# bind interface ethernet 1/27! n5k-A(config-if)# no shutdown ! n5k-A(config)# interface vfc28! n5k-A(config-if)# switchport mode F! n5k-A(config-if)# switchport trunk allowed vsan 7! n5k-A(config-if)# bind interface ethernet 1/28! n5k-A(config-if)# no shutdown ! FC Switching Element FC-2V 6. Создать FCoE интерфейсы и привязать к Ethernet интерфейсам N5K-B n5k-B(config)# interface vfc8! n5k-B(config-if)# switchport mode F! n5k-B(config-if)# switchport trunk allowed vsan 8! n5k-B(config-if)# bind interface port-channel 8! n5k-B(config-if)# no shutdown! 7. (optional) Проверить FCoE n5k-A# n5k-A# n5k-A# n5k-A# n5k-A# show show show show show fcoe database! interface fcoe! fcs database vsan 7! fcns database [detail] vsan 7! fcns database npv [detail]! VF_Port FCoE_LEP FCoE FCoE_LEP FCoE_LEP Entity N5K-B vfc8 e1/27 FCoE Controller e1/28 Ethernet_Port po8 VSAN 8 VLAN 8 e1/27 e1/28 FI-B 44 Lossless Ethernet MAC Настройка Zoning MDS или Nexus FC Fabric Interface 8. Создать зоны в Fabric A n5k-A(config)# zone name ZONE-A vsan 7! n5k-A(config-zone)# member device-alias n5k-A(config-zone)# member device-alias n5k-A(config-zone)# member device-alias n5k-A(config-zone)# zoneset name FCoE-A n5k-A(config-zoneset)# member ZONE-A! n5k-A(config-zoneset)# zoneset activate F_Port STORAGE-PORT-0! UCS-SP-FC0! UCS-SP-FC1! vsan 7! vHBA из фабрики B нам FC Switching Element потребуется в следующем сценарии name FCoE-A vsan 7! 9. Создать зоны в Fabric B n5k-B(config)# zone name ZONE-B vsan 8! n5k-B(config-zone)# member device-alias n5k-B(config-zone)# member device-alias n5k-B(config-zone)# member device-alias n5k-B(config-zone)# zoneset name FCoE-A n5k-B(config-zoneset)# member ZONE-B! n5k-B(config-zoneset)# zoneset activate FC-2V STORAGE-PORT-1! UCS-SP-FC0! UCS-SP-FC1! vsan 8! VF_Port FCoE_LEP FCoE FCoE_LEP FCoE_LEP Entity FCoE Controller Для простоты используем Ethernet_Port basic zone, поэтому commit не требуется Lossless Ethernet MAC name FCoE-B vsan 8! 45 Запускаем сервер 11/14/14 © 2014 Cisco and/or its affiliates. All rights reserved. 46 Топология (FC & FCoE). VE_Port MDS-A MDS-B N5K-A N5K-B FI-A FI-B 11/14/14 © 2014 Cisco and/or its affiliates. All rights reserved. Сценарий #2 (VE_Port) SAN A FC Storage h0 SAN B h1 fc1/1 MDS-A fc1/45 MDS-B fc1/1 fc1/45 TE_Port VSAN 7 VSAN 8 TE_Port fc1/29 N5K-A e1/5 NPIV e1/6 e1/27 F_ Port Trunk po5 VSAN 7,8 VLAN 7,8 e1/27 po8 VSAN 8 7 VLAN 8 7 e1/28 TN_Proxy VSAN 7 8 VLAN 7 8 e1/27 e1/28 FI-B NPV vfc 1491 vfc 1492 F_Port N_Port fc0 VSAN 8 7 11/14/14 e1/28 TF_Port FI-A NPV NPIV e1/6 e1/28 VSAN 8 7 VLAN 8 7 e1/27 fc1/29 e1/5N5K-B fc1 7 VSAN 8 Server 1 © 2014 Cisco and/or its affiliates. All rights reserved. B420-M3 48 F_ Port Channel & Trunk Перенастройка VSAN в UCS и Nexus 5000 VSAN & Сервисный профиль 1. Поменять местами номера VSAN в UCSM VSAN fcoe-demo! Fabric A: VSAN 8 / FCoE VLAN 8! Fabric B: VSAN 7 / FCoE VLAN 7! 2. Создать VSAN: n5k-A(config)# vsan database! n5k-A(config-vsan-db)# vsan 8! ! n5k-B(config)# vsan database! n5k-B(config-vsan-db)# vsan 7! N5K-A N5K-B VSAN 8 VLAN 8 VSAN 7 VLAN 7 3. Создать FCoE VLAN и привязать к нему VSAN n5k-A(config)# vlan n5k-A(config-vlan)# ! n5k-B(config)# vlan n5k-B(config-vlan)# 8! fcoe vsan 8! FI-A 7! fcoe vsan 7! FI-B vfc 1491 vfc 1492 fc0 VSAN 8 7 fc1 7 VSAN 8 Server 1 B420-M3 49 Настройка Nexus 5000 1/2 Ethernet интерфейсы для FCoE (VE_Port) 4. Настроить интерфейсы N5K-A FC Fabric Interface n5k-A(config)# interface ethernet 1/27-28! n5k-A(config-if-range)# switchport trunk allowed vlan add 8! n5k-A(config-if-range)# interface ethernet 1/5-6! n5k-A(config-if-range)# switchport mode trunk ! n5k-A(config-if-range)# switchport trunk allowed vlan 7-8! n5k-A(config-if-range)# no shutdown! n5k-A(config-if-range)# channel-group 5 mode!active! E_Port FC Switching Element 5. Настроить интерфейсы N5K-B n5k-B(config)# interface port-channel 8! n5k-B(config-if)# switchport trunk allowed vlan add 7! n5k-B(config-if)# interface ethernet 1/5-6! n5k-B(config-if-range)# switchport mode trunk ! n5k-B(config-if-range)# switchport trunk allowed vlan 7-8! n5k-B(config-if-range)# no shutdown ! n5k-B(config-if-range)# channel-group 5 mode active ! po5 N5K-A e1/5 e1/6 e1/27 e1/27 FCoE_LEP FCoE Entity e1/6 e1/27 FCoE Controller Ethernet_Port e1/28 TF_Port VSAN 7 VLAN VLAN7,8 7 VE_Port e1/5N5K-B e1/28 VSAN 7 VLAN VLAN7,8 7 FI-A VLAN 7,8 FC-2V Lossless Ethernet MAC po8 e1/28 VSAN 8 VLAN VLAN7,8 8 e1/27 e1/28 FI-B 50 Настройка Nexus 5000 2/2 FCoE интерфейсы (VE_Port) 6. Создать FCoE интерфейсы и привязать к Ethernet интерфейсам N5K-A FC Fabric Interface E_Port n5k-A(config)# interface vfc5! n5k-A(config-if)# switchport mode E ! Тип порта E_Port (Expansion Port) n5k-A(config-if)# switchport trunk allowed vsan 7-8! n5k-A(config-if)# bind interface port-channel 5! n5k-A(config-if)# no shutdown ! FC Switching Element 7. Создать FCoE интерфейсы и привязать к Ethernet интерфейсам N5K-B n5k-B(config)# interface vfc5! n5k-B(config-if)# switchport mode E! n5k-B(config-if)# switchport trunk allowed vsan 7-8! n5k-B(config-if)# bind interface port-channel 5! n5k-B(config-if)# no shutdown! FC-2V FCoE_LEP FCoE Entity e1/5 vfc5 e1/6 VSAN 7,8 VLAN 7,8 FCoE Controller Ethernet_Port po5 N5K-A VE_Port e1/5N5K-B e1/6 Lossless Ethernet MAC vfc5 51 Настройка Nexus 5000 2/2 FCoE интерфейсы (VE_Port) 6. Создать FCoE интерфейсы и привязать к Ethernet интерфейсам N5K-A FC Fabric Interface E_Port n5k-A(config)# interface vfc5! n5k-A(config-if)# switchport mode E ! Тип порта E_Port (Expansion Port) n5k-A(config-if)# switchport trunk allowed vsan 7-8! n5k-A(config-if)# bind interface port-channel 5! n5k-A(config-if)# no shutdown ! FC Switching Element 7. Создать FCoE интерфейсы и привязать к Ethernet интерфейсам N5K-B n5k-B(config)# interface vfc5! n5k-B(config-if)# switchport mode E! n5k-B(config-if)# switchport trunk allowed vsan 7-8! n5k-B(config-if)# bind interface port-channel 5! n5k-B(config-if)# no shutdown! 8. (optional) Проверить FCoE n5k-A# show interface vfc5! n5k-A# show fcdomain vsan 7! n5k-A# show fcdomain vsan 8! n5k-A# show fcoe database! n5k-A# show interface fcoe! n5k-A# show fcs database vsan 7-8! n5k-A# show fcs ie vsan 7-8! n5k-A# show fcns database [detail] vsan 7! n5k-A(config)# interface vfc5! n5k-A(config-if)# shutdown lan! FC-2V VE_Port FCoE_LEP FCoE Entity FCoE Controller Ethernet_Port Lossless Ethernet MAC Можем отключить только LAN функционал на интерфейсе, не затрагивая FCoE 52 Запускаем сервер 11/14/14 © 2014 Cisco and/or its affiliates. All rights reserved. 53 Заключение • FCoE это Fibre Channel! • С точки зрения сервисов Fibre Channel нет отличий между Native FC и FCoE • Настройка FCoE добавляет лишь несколько шагов • Ролевой доступ (RBAC) позволяет разделить права и зоны ответственности 11/14/14 © 2014 Cisco and/or its affiliates. All rights reserved. 54 Ждем ваших сообщений с хештегом #CiscoConnectRu Спасибо Пожалуйста, используйте код для оценки доклада 4495 Ваше мнение очень важно для нас. Эльдар Женсыкбаев [email protected] CiscoRu 11/14/14 Cisco © 2014 Cisco and/or its affiliates. All rights reserved. CiscoRussia
© Copyright 2024 ExpyDoc
