Palo Alto Networks 社製 UTM アプライアンス ベンチマークテストレポート DUT(テスト対象装置: Device Under Test) Palo Alto Networks 社製 PA-500 2015/07/08 SEC-00012 2015/07/08 SEC-00012 目次 ■ベンチマークテストの内容.................................................................................. 3 ■DUT（テスト対象装置: Device Under Test） .................................................... 3 ■本資料作成のために用いた測定器 ...................................................................... 3 ■テストトラフィックについて................................................................................... 3 ■ベンチマークテスト項目と説明 ............................................................................ 3 ■本資料での専門用語 .................................................................................... 4 ■本資料でのテストに関する諸元 .......................................................................... 6 1．テスト時の物理構成 ................................................................................. 6 2．テスト時の論理構成 ................................................................................. 7 3．PA-500 の MIB ..................................................................................... 7 4. その他の Spirent Avalanche C100 の設定 ..................................................... 8 ■テスト結果 ................................................................................................. 9 1. 単位時間あたりの新規 TCP コネクション確立数の調査 ............................................ 9 2. 最大アプリケーションスループットの調査 .............................................................. 9 ■ベンチマークテスト機材 .................................................................................. 10 ■リファレンス ............................................................................................... 10 ■PA-500 設定 .......................................................................................... 11 PAGE 2 OF 11 Copyright (C) @benchmark 2015/07/08 SEC-00012 中規模エンタープライズ向け UTM アプライアンスベンチマークテストレポート ■ベンチマークテストの内容 アプリケーショントラフィックをテスト対象機器に印加し、新規コネクション数、スループットテスト性能を測 定する。あわせてテスト対象機器の CPU とメモリについての情報を取得し、比較検討する。 ■DUT（テスト対象装置: Device Under Test） ・Palo Alto Networks 社製 PA-500 ・製品 URL: https://www.paloaltonetworks.jp/products/platforms/firewalls/pa-500/overview.html ・Version：6.1.0 ■本資料作成のために用いた測定器 ・Spirent Communications 社製 Spirent Avalanche C100 ・Version 4.46 ■使用ポート クライアント群 ：1000BASE-T（1 ポート） サーバ群 ：1000BASE-T（1 ポート） ■テストトラフィックについて 疑似クライアントに接続されているポートをクライアント群ネットワーク、疑似 Web サーバに接続されてい るポートをサーバ群のネットワークとして使用する。各アプリケーションの TCP コネクションはクライアント群ネッ トワーク上の擬似クライアントから開始する。なお、本ドキュメント中では FTP による試験が含まれるが、パ ッシブモードではないデータ転送用コネクション(本ドキュメント中ではアクティブモードと呼んでいる)を用いる ときには、例外的にサーバから SYN（コネクション確立要求）が送信される。 Spirent Avalanche C100（疑似クライアント、疑似サーバ）による負荷量の設定は、アプリケーショ ンをシナリオに沿って実施する仮想的なユーザの数に基づいて行った。仮想ユーザによるトラフィックを徐々 に増加させ、持続的に処理可能と考えられ、またエラーなどが出ない負荷のときの数値を測定値として採 用した。仮想ユーザによるシナリオの内容については後述する。 ■ベンチマークテスト項目と説明 1.TCP 新規コネクション毎秒テスト HTTP、SSL（HTTPS）の TCP の新規コネクションテストを行った。 HTTP、SSL のいずれも、１仮想ユーザあたりのシナリオは、コネクション確立後 GET メソッドをもちいて index.html コンテンツをサーバに要求し、これに対してサーバは 200 OK で応答、これをクライアントが受 PAGE 3 OF 11 Copyright (C) @benchmark 2015/07/08 SEC-00012 信すると RST をサーバに送信してコネクションを切断するというものである。サーバからのレスポンスに含まれ る メ ッ セ ー ジ ボ デ ィ の サ イ ズ を 、 64bytes 、 512bytes 、 2kbytes 、 44kbytes 、 100kbytes 、 １ Mbytes の 6 種類でテストを行った。 2.アプリケーションスループット性能 HTTP/SSL および FTP のアプリケーションのスループットテストを行った。 HTTP と SSL では、１仮想ユーザあたりのシナリオは、コネクション確立後 GET メソッドをもちいて index.html コンテンツをサーバに要求し、これに対してサーバは 200OK で応答、これを 50 回同一コネ クション上で繰り返したのちにクライアントが RST をサーバに送信してコネクションを切断するというものであ る。サーバからのレスポンスに含まれるメッセージボディのサイズを、64bytes、512bytes、2kbytes、 44kbytes、100kbytes、１Mbytes6 種類でテストを行った。 FTP では、1 仮想ユーザあたりのシナリオは、ポート番号 21 番でコネクション確立・ログイン後 1 ファイル をダウンロードしたのちに制御用のコネクションも閉じるというものである。コネクションの切断は、制御用、デ ータ転送用のいずれも FIN を用いている。また、ファイルをダウンロードするコネクションはパッシブモードとアク ティブモードのそれぞれでテストを実施した。ダウンロードするファイルのサイズは、10KiB、100KiB、1MiB、 10MiB の 4 種類でテストを行った。 ※1KiB＝1,024bytes、1MiB＝1,048,576bytes ■本資料での専門用語 【TCP】 TCP は OSI 参照モデルのトランスポート層にあたる。TCP では各コンピュータ上で実行されている、アプ リケーション間での通信方法を規定している。 【SSL】 Secure Sockets Layer。TCP/IP ネットワークでデータを暗号化して送受信するプロトコル(通信手 順)の一つであるが、本ドキュメント中では SSL≒HTTPS としている。 【TCP 新規コネクション】 TCP の通信ではデータ転送を行う前にコネクションの確立（３way ハンドシェイク）を行う。 この３ウェ イハンドシェイクによって発生する新規のコネクションの確立を TCP 新規コネクションとする。 【CPS】 １秒あたりに確立された新規 TCP コネクション数。 PAGE 4 OF 11 Copyright (C) @benchmark 2015/07/08 SEC-00012 【トランザクション】 本資料でのトランザクションとは、HTTP および SSL（HTTPS）については擬似クライアントから生成さ れる HTTP のリクエストメッセージの実行とその応答のペアである。HTTP1.1 persistence 機能では１ つの TCP のコネクション上で複数のトランザクション（HTTP リクエスト）を実現しているためトランザクショ ン数≠コネクション数となることが多い。 【TPS】 １秒あたりに成立したトランザクション数。 【スループット】 本資料中では、単位時間あたりに Spirent Avalanche C100 のクライアントポートが受信したパケッ トの総オクテット数の総和。TCP ヘッダ等のオーバーヘッドはスループットに含まれる。 【KiB】 2 進接頭辞の KiB(キビバイト)では 210=1,024 バイトを意味している。 【MiB】 2 進接頭辞の MiB(メビバイト)では 220=1,048,576 バイトを意味している。 PAGE 5 OF 11 Copyright (C) @benchmark 2015/07/08 SEC-00012 ■本資料でのテストに関する諸元 1．テスト時の物理構成 今回のテストで用いた測定器は、Spirent Communications 社製 Spirent Avalanche C100 で ある。図に示すように 1000Base-T を 2 ポート用い、サーバ疑似用に 1 ポート、クライアント疑似用に 1 ポート設定し、PA-500 と接続した。負荷試験と並行して PA-500 の CPU およびメモリの情報取得がで きるように、コンソール用 PC は Spirent Avalanche C100 および PA-500 のマネジメントポートと通信 できるようにした。CPU およびメモリの使用率の情報は、SNMP を用いて取得した。本ドキュメント中で用 いられる測定値は、前述の CPU およびメモリの使用率を除き、Spirent Avalanche C100 のクライアン ト群を疑似するポートから得ている。 テスト時の物理構成 PAGE 6 OF 11 Copyright (C) @benchmark 2015/07/08 SEC-00012 2．テスト時の論理構成 図に示すように、172.16.30.0/24 に 100 台のクライアントからなるクライアントグループを Spirent Avalanche C100 上に構成し、PA-500 の Eth1/2 に接続した。 サーバは、10.0.0.11 を構成し、PA-500 の Eth1/1 に接続した。 テスト時の論理構成 3．PA-500 の MIB PA-500 の CPU とメモリの使用状況のデータを取得するため、Mgmt ポートから SNMP により以下の MIB 情報 を取得し た 。この内 、” Utilization of CPUs on dataplane” を CPU 使用率 、” Management plane memory and dataplane packet buffer” の Hardware Packet Buffers（hrStorageUsed÷hrStorageSize）をメモリ使用率とした。 CPU util on management Utilization of CPUs on dataplane Management plane memory and plane that are used for system functions dataplane packet buffer 1.3.6.1.2.1.25.3.3.1.2.1 1.3.6.1.2.1.25.3.3.1.2.2 1.3.6.1.2.1.25.2.3 PAGE 7 OF 11 Copyright (C) @benchmark 2015/07/08 SEC-00012 4. その他の Spirent Avalanche C100 の設定 TCP パラメータ 本資料のために実施したテストでは、クライアント疑似およびサーバ疑似のいずれでも、TCP に関連する パラメータは、以下の通りとした。 MSS 1460bytes Receive Window 32768bytes ポートレ ンジ （クライアントのみ） 1024-65535 再送タイムアウト初期値 300ミリ秒 最大再送回数 5回 HTTP / HTTPS のパラメータ 本資料のために実施したテストでは、HTTP / HTTPS に関連するパラメータは、以下の通りとした。 HTTP / HTTPSのバージ ョン HTTP 1.1 ポート番号 HTTP ：80 HTTPS：443 サーバレ スポンスのメッセージ ボ ディサイ ズ 64bytes、512bytes、2kbytes、44kbytes、 100kbytes、１Mbytes コネクシ ョン クロ ーズ方式 クライ ア ン トからのReset HTTPS のセキュリティ仕様 本資料を作成するために実施したテストでは、サーバ証明書のみ使用し HTTPS の通信を行った。 SSL/TLS のバージョンは TLSv1.2 で、用いた暗号化スイートは AES256-SHA1 である。 FTP のパラメータ ポート番号 制御用コネクシ ョン ：21 データ転送用コネクシ ョン （ア クテ ィブ モ ード）：20 データ転送用コネクシ ョン （パッシ ブ モ ード）：可変 ダウン ロードするファイ ル のサイ ズ 10KiB、100KiB、1MiB、10MiBの4種類でテ ストを 行った。 ※1KiB＝1,024bytes、1MiB＝1,048.576bytes コネクシ ョン クロ ーズ方式 制御用及びデータ転送用コネ クシ ョン のいずれも FINを 用いてクロ ーズ PAGE 8 OF 11 Copyright (C) @benchmark 2015/07/08 SEC-00012 ■テスト結果 1. 単位時間あたりの新規 TCP コネクション確立数の調査 1-1. HTTP 1-2. HTTPS 会員の皆さまは会員サイトでログイン後、テストレポートを全てご覧いただけます。 非会員の皆さまは会員申込み（有料）いただければ、本テストレポートの続きをご覧いただけます。 2. 最大アプリケーションスループットの調査 2-1. HTTP 2-2. HTTPS 2-3. FTP パッシブモード アクティブモード 会員の皆さまは会員サイトでログイン後、テストレポートを全てご覧いただけます。 非会員の皆さまは会員申込み（有料）いただければ、本テストレポートの続きをご覧いただけます。 PAGE 9 OF 11 Copyright (C) @benchmark 2015/07/08 SEC-00012 ■ベンチマークテスト機材 本ベンチマークテストには下記の測定器を用いた。 ●Spirent Communications 社アプリケーション・パフォーマンス/セキュリティ 試験ツール Spirent Avalanche C100 Version 4.46 ■リファレンス http://tools.ietf.org/html/rfc3511 ファイアウォール パフォーマンス評価手法 Benchmarking Methodology for Firewall Performance ■テスト対象装置 Palo Alto Networks 社製 PA-500 PAGE 10 OF 11 Copyright (C) @benchmark 2015/07/08 SEC-00012 ■PA-500 設定 サンプルの設定ファイルは以下の URL よりダウンロード可能です。 会員の皆さまは会員サイトでログイン後、テストレポートを全てご覧いただけます。 非会員の皆さまは会員申込み（有料）いただければ、本テストレポートの続きをご覧いただけます。 免責 本テストレポートは＠benchmark 会員よりテスト申請を受けて株式会社東陽テクニカがテストを実施 しております。 テストに際し、DUT の設定はレポート内もしくは個別の設定ファイルで公開し、この設定、 テスト環境の時の実測値を記載しており、DUT の性能を保証するものではありません。 本テストレポートに関する会員からの質問は [email protected] でお受けしておりま す。 なお、会員以外からの質問等には一切お答えできません。 本テストレポートをデータとしてご利用いただく場合、会員規約で規定されている注意事項を了承された ものとします。 PAGE 11 OF 11 Copyright (C) @benchmark
© Copyright 2024 ExpyDoc
