アイティメディアエグゼクティブエディター三木が探る巨大ネットサービスのネットワークから考える、データセンターネットワーク運用課題の克服データセンターのネットワークは、課題が山積している。その解決のために、巨大ネットワークサービスのネットワーク運用から学べることはないのか。アイティメディア IT インダストリー事業本部エグゼクティブエディターの三木泉が探る。自社でデータセンターを運用している人なら、だれでもネットワーファイアウォールに大きくシフトしてクをどうするか、悩んでいるはずだ。まず、予測不能なデータセンいる。上記のように、巨大データセター内のトラフィック増への対応が難しい。サービスのニーズに応じンターをはじめとした採用が進んでて、迅速で柔軟な拡張をしていくことが求められるし、スイッチの台おり、この流れは日本でも同様で、そ数が増えれば、機器コストも運用コストもばかにならない。また、ネッの勢いはジュニパージャパンのクラトワークの規模が大きくなるほど、運用安定性の確保が困難になる。ウド導入事例一覧サイトでも伺うここうした悩みを持つ、データセンターのネットワーク運用担当者はとができる（http://www.juniper. どうすべきか。これを探るために、フェイスブックやマイクロソフト、 net/jp/jp/dm/cloud-builder/case. グーグル、アマゾンなどの超大規模データセンターがどのようにネッ html）。トワークを運用しているのかを知ることは参考になる。これらの規模さて、これらのデータセンターの多くが、「Clos トポロジー」（スが全く異なるにしても、データセンターネットワーキングの課題が濃パインスイッチ、リーフスイッチの 2 段構成で、全スパインスイッチが縮されていると考えられるからだ。全リーフスイッチと直接接続されるフラットな構成）を採用し、さらそこで、ソーシャルネットワーキングサービスのトップ 5 社をはじにレイヤー 3 でセンター内のネットワークファブリックを構築していめ、最大クラスのインターネットサービス事業者で、データセンターるのはよく知られている。レイヤー 3 が多用されているのは、これま用のスイッチあるいはルーターが軒並み採用されているというジュニでのレイヤー 2 による「イーサネットファブリック」が各メーカー独自パーネットワークスに、これらのデータセンターがどんなネットワーの実装になっていることを嫌う側面もあるが、何よりもこうしたデークを構築しているのかを聞いてみた。タセンターは、規模からいってレイヤー 2 では賄いきれなくなっていちなみに、日本のユーザーから見た時のジュニパーは、キャリアのることが、背景にある。コアルーターか、旧ネットスクリーンに代表される一般企業向けの小例えばフェイスブックやマイクロソフトは、自社データセンターで型ファイアウォールというイメージが強いかもしれないが、最近の BGP を用い、IP ファブリックを構築していることを明らかにしていジュニパーのビジネスは、データセンター用のスイッチ、ルーター、る。レイヤー 3 終端の単位はサーバーラックごと、あるいはさらに細アイティメディア ITインダストリー事業本部エグゼクティブエディター三木泉図1●巨大データセンターのレイヤー３ IPファブリックレイヤー2スイッチングではなくレイヤー3ルーティングでファブリックを構成 IP ファブリック・ Layer 3 Routing (BGP) BGP ・ Equal Cost Multi-Path（ECMP）ラック1台＝1サブネットあるいはさらに細かい単位でサブネットを構成かい単位で行われている。つまりデータセンター内のトップオブラッとしているという。VXLAN の終端ポイント（VTEP）が自動的にホク・スイッチ（以下では TOR スイッチと表記する）それぞれが、BGP ストのレイヤー 2 ／レイヤー 3 の到達情報を学習し、MP-BGP の利などの大規模構成に対応可能なプロトコルをサーバーの前段でしゃ用で、これを LAN ／ WAN 越しに他の VTEP と共有できる。WAN べっていることになる（図 1）。では MPLS 経由でオーバーレイを運用できる。こうした IP ファブリックの上でレイヤー 2 のコネクティビティを必これを使うと、既存の標準だけで VXLAN を活用でき、ベンダー要とするアプリケーションを動かす必要がある場合は、オーバーレイロックインを避けられるメリットがある。より根本的には、「フラッディ技術を使って論理的なレイヤー 2 空間が構築されている。こうした構ングによってホストが MAC アドレスを学習する」という従来のネット成は今後ますます増えてくるだろうという。ワークのあり方を、大きく変える可能性を秘めている。オーバーレイ技術としては、ジュニパーのお家芸でもある MPLS 上記の一連の動きをまとめると、「データセンター内のネットワーというプロトコルが有名だが、最近では VXLAN の採用も増えていクが、通信事業者で使われるテクノロジーを前提にしたものに近付きるという。TOR スイッチによく使われるブロードコムのチップが、つつある」とも表現できる。このためジュニパーは、同社の差別化の VXLAN をサポートする機能を強化していることが、これを促進して源泉であり続けてきた、通信事業者における利用にも耐えるハードウいるという。TOR スイッチで VXLAN トンネルを終端することもでエアやプロトコルを、データセンターでますます生かせる状況になっき、物理サーバーへの対応もしやすくなってきた。てきたのだという。 VXLAN は実装の選択肢が広い。SDN コントローラーを使いたい米ジュニパーは 2014 年 12 月、「OCX1100」という Open 場合は、ジュニパーの Contrail ／ Open Contrail、ヴイエムウェア Compute Project 準拠のスイッチを発表した。この製品の重要な目の VMware NSX などが利用できる。シスコの SDN ソリューショ的は、大規模データセンターが、低価格なハードウエアを活用しなンである ACI でも、カスタマイズされた VXLAN が利用されているがら、同社のネットワーク関連機能が詰め込まれたネットワーク OS ことは有名だ。である JUNOS を、ベンダーロックインのない形で活用してもらえる一方、SDN コントローラーを使わずに、TOR スイッチの VXLAN ようにすることだという。終端機能を使って、オーバーレイのメリットをシンプルに享受するこ VXLAN では、IP マルチキャストが使われることが多いため、拡張「IPファブリックは無理」でも、やれることはいろいろある性が限られてしまうという課題がある。複数データセンター間での、上記を読んで、「いや、IP ファブリックまではつくりたくない、仮エンド・ツー・エンドのオーバーレイも難しい。想化におけるライブマイグレーションなどの都合から必要なレイヤーそこで、ジュニパーは、シスコやアルカテルなどと共同で、「MP- 2 ネットワークを、低管理負荷で、柔軟に拡張できるものにしたいだ BGP EVPN control plane for VXLAN」という標準を推進しようけだ」と感じた読者もいるだろう。IP ファブリックに基づくデータセとも可能になり始めている。ただし、これまでの標準ベースの図2●ジュニパーのイーサネットファブリック規模に応じた3種類の仮想シャーシ＝イーサネットファブリック … 10 最大10スロットの仮想シャーシ“Virtual Chassis” … 32 最大32スロットの仮想シャーシ“Virtual Chassis Fabric” 最大128スロットの仮想シャーシ“QFabric” … 128 ユーザーは目指したい最大規模に応じて、好きなアーキテクチャを選択することが可能（最大時の規模以外は同様のコンセプトをどのファブリックでも提供）ンターネットワークが拡張性に優れることはたしかだが、BGP の利性も向上する。用など、運用管理負荷が増える部分があることは否めないからだ。ジュニパーでは、データセンターの規模に応じて、3 種類の仮想ジュニパーは、そうしたデータセンターの顧客層の声に応えるためシャーシ機能を用意している。図のように、最大 10 スロットの「Virtual Chassis」、最大 32 スロット「Virtual Chassis Fabric」、のソリューションも用意しているという。最大 128 スロットの「QFabric」から選択できる。さらに、これら仮想シャーシで実質的な管理対象を減らす全てが同一のハードウエアで利用できるという（図 2）（http://www. 1 つは、スイッチの「仮想シャーシ化」だ。アグリゲーションスイッ juniper.net/jp/jp/dm/cloud-builder/mission2.html）。チやスパインスイッチとして、ボックス型の製品を使えば、段階的な「スイッチの仮想化」で、無停止のネットワークOS更新を実現する拡張がしやすいが、台数が増えてくると管理負荷が高まる。一方、シャーシ型スイッチは、HA 機能、パフォーマンス、管理性などの点でメリットがあるが、ネットワークの柔軟な拡張は難しい。 2 つ目は、データセンタースイッチにおける「ネットワーク OS のそこで、数年前から広まってきた機能が、仮想シャーシだ。複数仮想化」だ。ジュニパーの「QFX5100」はハイパーバイザー（KVM）のスイッチをあたかも 1 台のシャーシ型スイッチであるかのように管を搭載し、同社のネットワーク OS である JUNOS は、この上で仮理できる。拡張も、ラインカードを増設する感覚で実施できる。複想マシンとして動作している（http://www.juniper.net/jp/jp/dm/ 数スイッチ間での、レイヤー 2 ／レイヤー 3 の HA 機能により、可用 cloud-builder/mission3.html）。そのメリットは、主に 2 つある。図3●ISSUのサポートサーバ直収のトップオブラック・スイッチにもISSUを提供 QFX5100のアーキテクチャ OS現行バージョン QFX5100データセンタースイッチ OSアップグレードバージョン・ハードウェアの冗長構成なしでIn Service Software Upgradeが可能 Linux Kernel x86Hardware ・プロトコルやポートのリセットなし・メジャーバージョンアップにも対応パケット転送部・トップオブラック・スイッチにもISSU機能を提供ルーティングポートリセットなし！図4●JUNOSによる自動化のサポート OSS/プロビジョニングシステム NETCONF.XML PROTOCOL（RFC4741）リモートサイトから自動の更新を設定 secure TCP/IP connections （SSHv2）RFC4742 XML Python Scripts Ansible Puppet Python EZ Framework Chef Ruby Scripts Ruby EZ Library Cloud Stack Plugin Open Stack Plugin Junoscript Netconf SNMP RO XML-RPC CLI Junos Chassis Data Plne(PFE) Junos Platform Automation Stack 「1つのOS」、JUNOSをアピールまず、スイッチを稼働したままで、ネットワーク OS の更新が可能になる。こうした機能は「In-Service Software Upgrade（ISSU）」と呼ばれ、ハイエンドなネットワーク機器にのみ搭載されてきた機能これまで、データセンターネットワークにおける課題の解決に関すだ。これが、エッジ／リーフスイッチでも使えるようになったことで、る、各種の方法や機能を見てきた。ジュニパーは、同社のネットワー止めることのできないデータセンターネットワークのメンテナンス性ク製品が、JUNOS という共通の OS に基づいており、その JUNOS が向上する（図 3）。が、これらの様々な手法を統合的にサポートしている点が、データセまた、同社および他社の多様なソフトウエアを、スイッチ上で動かンターのネットワーク運用担当者にとって大きなメリットをもたらすすことが技術的には可能だ。これにより、別途サーバーを用意することアピールする。となく、各種のネットワークサービス／セキュリティ関連ソフトウエアなぜなら、ネットワーク全体の運用において、基本的にソフトウエを活用できることになる。ア機能・仕様に関しては、機種によって使える機能が違うとか、機ジュニパーは同様な仮想化を、今後同社の他のネットワーク製品能による動作の制限が異なるといったことが（性能や個別機器ごとにも展開していくとしている。の機能を除けば）ないからだという。特定の機能を使いたいがために、機器を買い替える必要はない。複数の OS のばらばらなリリー API で、自動化ツールやクラウド基盤と連動させて使うスに、対応をせまられることもない（図 5）。 Puppet、Chef、Ansible などの IT インフラ構成自動化ツールにこれは、従来とは多少異なる意味で、「SDN（Software Deﬁned よるネットワーク機器の構成自動化は、このところ急速に注目されて Networking）的」だと表現できる。ソフトウエアとハードウエアがいる。これらのツールでは、統一した手法で、サーバー、ネットワー分離し、ソフトウエアは、（少なくとも概念的には）多様なプラットク、ストレージを半自動的に設定できる。ネットワークスイッチも、フォームで動作するとともに、相互の接続が容易になるからだ。サーバーと同じやり方で設定できることになる。定義ファイルに基づこれは、同社のサービスゲートウェイ「SRX」の仮想アプライアく仕組みであるため、運用の属人性を回避できるし、変更管理もしンス版である「vSRX」にも当てはまる（http://www.juniper.net/ やすい。スイッチに障害が発生し、機器を入れ替えた場合でも、前 jp/jp/dm/cloud-builder/mission4.html）。vSRX はファイアウォー回と同一の定義ファイルを適用することで設定を復元できる。ルなどのセキュリティ機能を提供する製品だが、JUNOS をベースとジュニパーのネットワーク製品の OS である JUNOS は Netconf しており、CLOS IP Fabric を提供する BGP や、MPLS など、高や REST API といった多様な外部 API を公開しており、上記のよう度なキャリアグレードのルーター機能を提供する機器としても利用なツールに対応する。また、同じ API を用いて、OpenStack、できる。ジュニパーでは、vSRX を通じて、JUNOS の使い勝手の CloudStack などのクラウド基盤とも連動できる（図 4）（http:// 良さとキャリアグレードの機能性を体験して欲しいとしている。 www.juniper.net/jp/jp/dm/cloud-builder/mission1.html）。図5●ジュニパーの提唱する”THE NEW NETWORK”をひとつのオペレーティングシステムで構築可能 PTXシリーズ QFX10000 SRX5800 EX9200 SRX5600 QFX5100 SRX3600 EX4550 SRX650 SRX240 MXシリーズ SRX220 SRX100 EX4300 EX3300 ACXシリーズセキュリティ EX2200 ルータスイッチジュニパーネットワークス株式会社〒 163-1445 東京都新宿区西新宿 3-20-2 東京オペラシティータワー 45F お問い合わせ：http://www.juniper.net/jp/jp/contact-us/ 電話：03-5333-7410（受付時間：午前 10 時∼午後 5 時、土日・祝日・年末年始除く） ※この冊子は、@IT（http://www.atmarkit.co.jp）に 2015 年 6 月に掲載されたコンテンツを再構成したものです。 http://www.atmarkit.co.jp/ait/articles/1506/01/news021.html