Yahoo! JAPANのSDN/OpenStackへの取り組み ∼爆速を支えるネットワークインフラのこれまでとこれから∼ 2014/10/31 ＜コンタクト先＞ ヤフー株式会社 高木 塁 [email protected] YJ America, Inc. 市川 博隆 [email protected] 自己紹介 高木 塁 • ヤフー株式会社(2010/04 - ) • • • • システム統括本部インフラ技術1部プライベートクラウド 所属 入社後、２∼３年サービス開発に従事 その後、１年ほどデータセンターネットワークの運用 現在は社内クラウド環境まわりの開発・検証 市川 博隆 • YJ America, Inc. (2014/10 - ) • • Cloud infrastructure engineering division 所属 ヤフー株式会社 (2010/04 ‒ 2014/09) • • ネットワークインフラ運用 社内クラウド環境のネットワークコンポーネント開発 P2 アジェンダ • • • • • クラウドへの取り組みの流れ OpenStack利用環境のネットワークインフラ SDNへの取り組み 最新Yahoo! JAPAN OpenStack事例 まとめ P3 アジェンダ • クラウドへの取り組みの流れ – 自社開発クラウドの提供 – OpenStackの導入とその効果 • • • • OpenStack利用環境のネットワークインフラ SDNへの取り組み 最新Yahoo! JAPAN OpenStack事例 まとめ P4 自社開発クラウドの提供 • 2011年から2013年前半にかけて全社提供 • 全てをフルスクラッチで開発 – 既存のインフラと同様の構成で実現 – 独自の構成管理システムとの連携 • 利用者がWEB上で全てを操作 – リソースオンデマンド – VM、ストレージ、DNS、ACL、LB、GSLBの機能を提供 • 数万VMが稼働 P5 自社開発クラウドにおける課題 • 独自インタフェースのAPI、原則非公開 – 操作性に欠けるUI – OSSと連携させたいという社内からの要望 • 増強・運用で手一杯 – 新しい機能が増えない • ライフサイクルが回らない – ハードウェアの性能向上に載れない – 新しい機器への対応も０から自分達で開発 P6 新たなクラウド基盤への方針転換 OpenStack • • • • 急速な勢いで成長 AWS互換API等、外部ツールとの連携性 拡張開発の容易性 ネットワーク周りの機能はひとまずデグレード • 依頼ベースのネットワーク設定 • Quantum/Neutronの進化に伴いデグレを解消 P7 OpenStackの導入による効果 • 2013年中期からOpenStackの導入を開始 • 導入により課題の解決を実現 – 公開された標準のAPIを備える • UIなしでも操作可能、OSSと連携可能 • 社内システムと連携させているが、APIフォーマットは変えない – 運用に人、手間を掛けない構成を実現 – 抽象化を実現し、その時最適な物をユーザに意識させることなく導入 • ハードウェアの性能向上を即座に享受可能 • データセンタライフサイクルマネジメントの実現 – コストの大幅な削減 – 機能をベンダーに開発してもらえる – サービス開発者はより早く開発サイクルを回す事が可能になった P8 アジェンダ • クラウドへの取り組みの流れ • OpenStack利用環境のネットワークインフラ • ネットワーク構成 • ネットワークまわりで出てきた課題 • SDNへの取り組み • 最新YJ OpenStack事例 • まとめ P9 ネットワークの構成 VM VM P10 VM VM Linux Bridge VM VM Linux Bridge VLAN L2スイッチ L2スイッチ Load Balancer Neutron GW GW L3スイッチ ・パフォーマンス重視の構成 ・ひとつのVLANに様々なサービスのサーバが混在 ネットワークまわりで出てきた課題 • 構成次第で大きく変わる課題 P11 ネットワークまわりで出てきた課題 • 構成次第で大きく変わる課題 – Linuxbridgeではネットワークの柔軟性が課題 P12 ネットワークまわりで出てきた課題 • 構成次第で大きく変わる課題 – Linuxbridgeではネットワークの柔軟性が課題 – OpenStackリファレンスのNWはパフォーマンスが課題 P13 ネットワークまわりで出てきた課題 P14 • 構成次第で大きく変わる課題 – Linuxbridgeではネットワークの柔軟性が課題 – OpenStackリファレンスのNWはパフォーマンスが課題 20.0Gbps 通信速度 15.0Gbps 10.0Gbps 5.0Gbps 0.0Gbps gre tunnel linuxbridge 転送速度 3000Kpps 3.00ms 2000Kpps 応答速度 2.00ms 1000Kpps 1.00ms 0Kpps gre tunnel linuxbridge 0.00ms gre tunnel linuxbridge ネットワークまわりで出てきた課題 • 構成次第で大きく変わる課題 – Linuxbridgeではネットワークの柔軟性が課題 – OpenStackリファレンスのNWはパフォーマンスが課題 • ACLの適用、VIPの設定が依頼ベース – 利用者からの依頼を受けてから、ネットワーク運用者が設定 – 設定変更に時間を要する P15 アジェンダ • クラウドへの取り組みの流れ • OpenStack利用環境のネットワークインフラ • SDNへの取り組み – ベンダーとの共創 • プラグインの機能 • パフォーマンス • 最新Yahoo! JAPAN OpenStack事例 • まとめ P16 ベンダーとの共創 • 構成次第で大きく変わる課題 – Linuxbridgeではネットワークの柔軟性が課題 – OpenStackリファレンスのNWはパフォーマンスが課題 • ACLの適用、VIPの設定が依頼ベース – 利用者からの依頼を受けてから、ネットワーク運用者が設定 – 設定変更に時間を要する • これらの課題を解決できるベンダーを探し、 BrocadeとNeutronに以下のプラグインを実装 – VDXプラグイン(ML2、SVI、FWaaS) – ADXプラグイン(LBaaS) P17 ネットワークの構成 VM VM P18 VM VM Open vSwitch VM Open vSwitch VLAN VDX6740T Neutron VDX6740T ADX1016 GW VDX8770 GW VM ML2プラグインの機能 VM VM P19 VM VM Open vSwitch VM Open vSwitch VLAN VDX6740T Neutron VDX6740T ADX1016 GW GW VDX8770 • ML2の機能 – VLANの作成(ネットワーク作成時) – trunkの設定追加(インスタンス作成時) VM SVIプラグインの機能 VM VM P20 VM VM Open vSwitch VM Open vSwitch VLAN VDX6740T Neutron VDX6740T ADX1016 GW GW VDX8770 • SVIの機能 – SVIの作成 – VRRP – VRFにも対応(利用有無はコンフィグで指定) VM FWaaSプラグインの機能 VM VM P21 VM VM Open vSwitch VM Open vSwitch VLAN VDX6740T Neutron VDX6740T ADX1016 GW GW VDX8770 • FWaaSの機能 – ルールの作成 – ポリシーの作成 – ACLの適用(テナント毎に存在するSVIで) VM LBaaSプラグインの機能 VM VM P22 VM VM Open vSwitch VM Open vSwitch VLAN VDX6740T Neutron VDX6740T ADX1016 GW VDX8770 • LBaaSの機能 – メンバーの登録 – ヘルスモニターの設定 – VIPの作成 GW VM ネットワークのパフォーマンス検証 Linux Bridge VM VM VM VM VM VM VM VM VM VM VM VM Open vSwitch Open vSwitch VLAN VDX 6740T Open vSwitch + VDX Open vSwitch + gre tunnel Linux Bridge Linux Bridge P23 VM VM VDX 6740T VM VM VM Open vSwitch Open vSwitch gre tunnel VDX 6740T VM VLAN VDX 6740T VDX 6740T VDX 6740T Neutron Neutron GW GW VDX 8770 Open vSwitch GW VDX 8770 Avalanche VDX 8770 Neutron ネットワークのパフォーマンス検証 P24 • 今回の検証の構成 構成 Kernel Open vSwitch ML2 mechanism driver Open vSwitch + VDX + K3 3.14.17 2.3 openvswitch, brocade Open vSwitch + VDX 2.6.32 2.3 openvswitch, brocade Open vSwitch + gre tunnel 2.6.32 2.3 openvswitch Linuxbridge 2.6.32 - linuxbridge これらの環境の50VMに対してAvalancheから負荷を掛けて計測 応答速度はサーバからのレスポンスで最初の1バイトが返ってきた時の経過時間 ネットワークのパフォーマンス検証 P25 • 50VMに対して実施。 20.0Gbps 通信速度 15.0Gbps 10.0Gbps 5.0Gbps 0.0Gbps gre tunnel 3000Kpps 転送速度 linuxbridge VDX 3.00ms 応答速度 2000Kpps 2.00ms 1000Kpps 1.00ms 0Kpps gre tunnel linuxbridge VDX 0.00ms gre tunnel linuxbridge VDX ネットワークのパフォーマンス検証結果 P26 • 1VMに対して実施。Kernel 3.14も検証 7.0Gbps 通信速度 6.0Gbps 15.0Kcps 新規接続 5.0Gbps 4.0Gbps 10.0Kcps 3.0Gbps 2.0Gbps 5.0Kcps 1.0Gbps 0.0Kcps 0.0Gbps gre tunnel linuxbridge VDX VDX+K3 gre tunnel linuxbridge VDX VDX+K3 VDX VDX+K3 900Kpps 750Kpps 転送速度 3.00ms 600Kpps 応答速度 2.00ms 450Kpps 300Kpps 1.00ms 150Kpps 0Kpps gre tunnel linuxbridge VDX VDX+K3 0.00ms gre tunnel 50VMではワイヤレートになり比較不能なため、1VMでの比較になります linuxbridge ネットワークのパフォーマンス検証結果 P27 • ネットワークの課題を解決 – パフォーマンスは解決 – ネットワークの柔軟性も解決 – 構成がシンプルで、耐障害性向上 20.0Gbps 通信速度 15.0Gbps 10.0Gbps 5.0Gbps 0.0Gbps gre tunnel 3000Kpps 転送速度 linuxbridge VDX 3.00ms 応答速度 2000Kpps 2.00ms 1000Kpps 1.00ms 0Kpps gre tunnel linuxbridge VDX 0.00ms gre tunnel linuxbridge VDX Brocadeとの共創 • ネットワーク抽象化に利用が可能 – スループット、安定性を重視した構成が構築可能 – GREの利用なしにネットワークの柔軟性を確保 – VLAN、ACLおよびLBの即時設定が可能な環境に • Brocade VDX2台から始められる構成 (LBaaSも利用の場合はADX1台追加) – 安価にスタート – 40HV程度の構成が可能 • 多くの企業には十分なサイズ P28 アジェンダ • • • • • クラウドへの取り組みの流れ OpenStack利用環境のネットワークインフラ SDNへの取り組み 最新Yahoo! JAPAN Openstack事例 まとめ P29 YJ Americaについて • Yahoo! JAPANの米国子会社 – 米国内のスタートアップ発掘・支援 – Yahoo! JAPAN向け米国データセンターの運営 – Yahoo! JAPANからのクラウド開発業務委託 • アメリカデータセンター立ち上げ – ワシントン州郊外 – Yahoo! JAPANのインフラメンバーが現地へ赴任して運用 • 日本国内と比べ、以下のメリット – データセンター維持費用低減 (電気料金 etc.) – 機器メーカー等との連携、情報収集の容易さ – （遅延を考慮し、サービスに直結しないものを稼働予定） P30 USDC OpenStackクラスタ • 各種Brocade製Neutronプラグインで構築中 • Yahoo! JAPAN内で最新のOpenStackクラスタ • 128HV、約3840VMを提供予定 • VLAN、ACL、LB設定は全てNeutronで実施 – SDNコントローラとしてのNeutron • 抽象化ネットワークを実現するコントローラAPI – H/Wオフロードでパフォーマンスを維持 • 運用者の負荷軽減 • サービス担当者の待ち時間短縮 – 開発・検証・リリースのサイクルを爆速に P31 アジェンダ • • • • • クラウドへの取り組みの流れ OpenStack利用環境のネットワークインフラ SDNへの取り組み 最新Yahoo! JAPAN OpenStack事例 まとめ P32 まとめ • Yahoo! JAPANはOpenStackを採用し、インフラの抽象化を 実現している • Brocadeと共創し、ネットワークの抽象化を進めている • H/Wオフロードすることでパフォーマンスを維持しつつ、 柔軟性のあるネットワークを実現 • VLAN、ACL、LBについてOpenStack/Neutronから 即時設定できるようになったことで運用者の負荷と サービス開発者の待ち時間軽減につながった P33 ありがとうございました . .
© Copyright 2024 ExpyDoc
