マルチテナントデータセンタにおける ブロードキャスト最適化の一検討 〇松尾 圭佑† 川島 龍太† 松尾 啓志† † 名古屋工業大学大学院 2015/07/16 IN研究会 研究目標 研究目標 • 仮想ネットワーク上でのブロードキャスト、マルチ キャスト通信の実現 IPマルチキャストは使用しない 提案手法 • ユニキャスト化したパケットにトポロジ情報を付加 1 発表の流れ 1. 研究背景 • マルチテナント型データセンタ • ブロードキャスト、マルチキャストのサービス例 2. 関連研究 • IPマルチキャスト • ユニキャスト変換手法 3. 提案手法 4. 性能評価 2 マルチテナント型データセンタ 3 オーバレイ方式によるネットワーク仮想化 • テナントごとに専用の仮想ネットワークを提供 VM テナントA VM VM 仮想ネットワーク テナントB VM VM 物理ネットワーク VM VM テナントC VM VM 仮想ネットワーク上でのブロードキャストの問題点 VM VM VM VM VM VM VM VM VM VM VM VM VM VM 4 VM VM 物理スイッチ 不要なパケットの発生による通信帯域の圧迫 仮想スイッチ VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM sender 物理マシン 既存のデータセンタの現状 Amazon VPC, Microsoft Azure • ブロードキャスト、マルチキャストを非サポート IBM SoftLayer • ブロードキャスト、マルチキャストをサポート 非オーバレイ方式 VMware NSX, midokura midonet • ブロードキャスト、マルチキャストをサポート 必要に応じてパケットを複製し各宛先にユニキャストで送信 5 仮想ネットワーク上でのブロードキャストの用途 ブロードキャストが使えないと．．． ARPによるアドレス解決できない DHCPサーバが運用できない 6 仮想ネットワーク上でのマルチキャストの用途 ルーティングプロトコル • OSPF 仮想ネットワークの大規模化 サーバやネットワーク機器のHigh Availability • VRRP ルータの冗長化 ネームサービスシステム • マルチキャストDNS 7 関連研究 8 特定テナントのVM群にのみBUMトラヒック配送 物理ネットワーク上でのIPマルチキャストの利用†1 Request/Reply型のプロトコル(ARPなど)の最適化†2 汎用ブロードキャストの最適化†3 †1 M. Mahalingam, D. Dutt, K. Duda, P. Agarwal, L. Kreeger, T. Sridhar, M. Bursell, and C. Wright, \Virtual eXtensible Local Area Network (VXLAN): A Framework for Overlay-ing Virtualized Layer 2 Networks over Layer 3 Networks". RFC 7348, 2014. †2 ヴイエムウェア株式会社，”詳解 Vmware NSX “．株式会社インプレス, 2014． †3 伊勢幸一，浅羽登志也，高添修，小松康二，”SDN の実践技術 “．株式会社インプレス, 2013． IPマルチキャスト 9 VXLAN • 仮想ネットワーク上でブロードキャスト 物理ネットワークではIPマルチキャストを利用 VM VM VM VM VM VM VM マルチキャストグループ1 VM VM VM マルチキャストグループ2 VM VM VM VM VM VM マルチキャストグループ3 IPマルチキャスト対応のルータやL3スイッチが必要 マルチキャストグループの構築がオーバヘッド Request/Reply型プロトコルの最適化 10 OpenFlow Controller ARP DHCP… ARP Req. VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM sender 特定のプロトコルにしか対応できない 汎用ブロードキャストの最適化 11 OFC : 専用サーバ 混雑 混雑 VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM sender 常にコントローラと同期する必要 専用サーバ付近やネットワーク上流が混雑 提案手法 OpenFlow拡張によるブロードキャスト最適化 • 仮想スイッチのグループ化 • ユニキャスト化 • パケットにトポロジ情報を付与 12 提案手法の概要 13 : 代表スイッチ トポロジ情報抽出 OFC 代表スイッチ宛 パケット作成 Group1 VM VM VM VM Group2 VM VM VM VM Group3 VM VM VM VM Group4 VM VM VM VM sender トポロジ情報を埋め込んだパケット作成 各仮想スイッチは必要に応じてパケットの複製・転送 仮想スイッチのグループ化 14 ネットワーク上の距離を考慮して分割 • サーバラック単位 Group1 代表スイッチ 代表スイッチを選出 • フローごとに変更可能 仮想スイッチの負荷分散 サーバラック サーバ1 サーバ2 サーバ3 サーバ4 サーバ 5 トポロジ情報の取得 15 OFC : 代表スイッチ トポロジ情報取得 Group1 VM VM VM VM Group2 VM VM VM VM Group3 VM VM VM VM Group4 VM VM VM VM sender トポロジ情報を埋め込んだパケット作成 各仮想スイッチは必要に応じてパケットの複製・転送 トポロジ情報の取得 16 OpenFlowベンダ拡張メッセージを利用 Database ネットワークトポロジ 物理サーバのアドレス スイッチのポート情報 VMの所属サーバ、アドレス 所属テナント情報 dl_dst = ff:ff:ff:ff:ff:ff Actions = CONTROLLER OFPT_PACKET_IN OFPT_VENDOR OFC テナントID, 使用IPバージョン IPアドレス, MACアドレス, 送出ポート番号 VM VM 代表スイッチにユニキャスト 17 OFC : 代表スイッチ 代表スイッチ宛 トポロジ情報取得 パケット作成 Group1 VM VM VM VM Group2 VM VM VM VM Group3 VM VM VM VM Group4 VM VM VM VM sender トポロジ情報を埋め込んだパケット作成 各仮想スイッチは必要に応じてパケットの複製・転送 代表スイッチ宛パケットの構成 18 グループ内のトポロジ情報を含んだパケットの作成 • 物理ネットワーク用のヘッダでカプセル化 送信側VM オリジナルブロードキャスト Eth Payload Eth Payload Eth Payload 送信側仮想スイッチ 物理ネットワーク用のヘッダ Eth IP UDP Network Topology 受信側VM グループ内でのパケット配信 19 埋め込まれたトポロジ情報を解析して配送 2 P1 P2 代表スイッチ Group1 1 VM1 Eth IP UDP 非代表スイッチ VM2 3 VM3 Network Topology VM4 Eth Payload 自身のアドレスではない Total length Tenant ID VM1のエントリ Type IPP1 MACP1 IPVM1 MACVM1 Output port Num Type IPP2 MACP2 IPVM3 MACVM3 Output port Num VM3のエントリ メリット・デメリット メリット • 特別なハードウェアを使用しない • 送信側スイッチ付近やネットワーク上流部分の パケット数削減 • 経路中のネットワーク機器がステートレス トポロジの変化に柔軟に対応 デメリット • 転送ホップ数の増加 20 実装 仮想スイッチ • Open vSwitch 2.3.1 コントローラ • Floodlight 0.90 ネットワークの作成 • Mininet 2.2.1 21 性能評価 22 専用サーバ方式と比較 • パケット転送遅延 • ネットワークの各リンクにおけるパケット数 評価環境 …… 物理スイッチ H Floodlight H H H Mininet OS CentOS 6.6 (2.6.32) OS CentOS 7.0 (3.10.0) CPU Intel® Core™ i3-530 2.93GHz CPU Intel® Core™ i5-4400 3.10GHz Memory 16GB Memory 16GB 評価トポロジ 23 Floodlight Br Br1 H1 H2 H3 Linux Bridge Open vSwitch Br2 Br3 Br4 Group1 Group2 Group3 H4 H5 H6 H7 H8 H9 H10 H11 H12 H13 H14 H15 H16 パケット転送遅延の評価 Floodlight Br1 Br2 Br3 代表スイッチ H1 H2 24 H3 Br4 非代表スイッチ H4 H5 H6 H7 H8 H9 H10 H11 H12 H13 H14 H15 H16 Sender 通常 専用サーバ方式 [packets] ARPの応答時間の比較 提案(代表) 提案(非代表) 100000 • 通常のブロードキャスト 80000 経由オーバヘッドなし 60000 • 専用サーバ方式、提案方式(宛先が代表スイッチ配下) 40000 コントローラ経由 20000 • 提案方式(宛先が非代表スイッチ配下) 0 コントローラ経由、代表スイッチを経由 0 …… 0.4 0.5 0.6 0.7 …… 1.1 1.2 1.3 1.4 1.5 1.6 1.7 [ms] 各リンク別のパケット数の比較 Floodlight Br1 1 Br2 4 H1 5 H2 25 6 H3 2 3 7 8 H4 H5 12 H6 H7 通常 相対値 3 Br3 13 9 10 11 15 16 H8 H9 H10 専用サーバ方式 19 Br4 14 20 17 18 H11 H12 21 22 23 H13 H14 24 25 H15 H16 提案 各ホストがランダムでブロードキャストを送出 2 1 0 • 各リンクのパケット数を比較 通常のブロードキャスト ③ 1 ②2 専用サーバ方式 3 ④4 ⑤5 ⑥6 ⑦7 ⑧8 ① 提案手法 ⑩ ⑪ 9 10 11 ⑨ ⑫ ⑬ ⑭ ⑮ ⑯ ⑰ ⑱ 12 13 14 15 16 17 18 非宛先ホストにパケットは流れていない ネットワーク上流・送信側スイッチ付近のパケット数削減 ~ 25 19⑲～㉕ まとめと今後の課題 まとめ • ユニキャスト化したパケットにトポロジ情報を付加 送信側スイッチ、ネットワーク上流部分でパケット数削減 今後の課題 • 仮想ネットワーク上でのマルチキャストへの対応 • キャッシュ機能 同じフローならコントローラを経由せずに最適化 • ARP等の特定のプロトコルと提案手法のハイブリッド機能 26
© Copyright 2024 ExpyDoc
