Juniper Networks 社製サービス・ゲートウェイベンチマークテストレポート DUT(テスト対象装置: Device Under Test) Juniper Networks SRX650 2015/02/20 SEC-00008 2015/02/20 SEC-00008 目次 ■ベンチマークテストの内容.................................................................................. 2 ■DUT(テスト対象装置: Device Under Test) Juniper Networks 社製 SRX650 ......... 2 ■使用ポート構成 ........................................................................................... 2 ■試験構成および設定概要 ............................................................................... 2 ■ベンチマークテスト内容と結果 ............................................................................ 3 1. RFC2544 準拠スループットテスト ................................................................... 3 2. RFC2544 準拠レイテンシテスト ..................................................................... 3 3. 最大コネクション毎秒テスト ........................................................................... 3 4. アプリケーションスループットテスト...................................................................... 4 5. Web ページ内に埋め込まれた既知のマルウェア検体に対する検知率.............................. 5 ■ベンチマークテスト機材 .................................................................................... 6 ■リファレンス ................................................................................................. 7 ■テスト対象装置 ........................................................................................... 7 PAGE 1 OF 7 Copyright (C) @benchmark 2015/02/20 SEC-00008 中規模拠点向けサービス・ゲートウェイベンチマークテストレポート ■ベンチマークテストの内容 UDP トラフィックおよびアプリケーショントラフィックをテスト対象機器に印加し、各種セキュリティ機能を有効にした場合のパフォーマンスへの影響を測定する。 ■DUT(テスト対象装置: Device Under Test) ・ファームウェアバージョン: Juniper Networks 社製 SRX650 12.1X47-D15.4 (Firewall, IDP, Kaspersky-Anti-Virus) ・ポート構成 10BASE‐T/100BASE‐TX/1000BASE‐T Ethernet（4 ポート固定 I/O） 10BASE‐T/100BASE‐TX/1000BASE‐T Ethernet（24 ポート XPIM） RJ-45 コンソールポート（1 ポート） RJ-45 AUX（1 ポート） USB ポート (2 ポート) ■使用ポート構成 LAN ポート (6 ポート) 10BASE‐T/100BASE‐TX/1000BASE‐T Ethernet WAN ポート (6 ポート) 10BASE‐T/100BASE‐TX/1000BASE‐T Ethernet ■試験構成および設定概要 I/F ge-0/0/0 ge-0/0/1 ge-0/0/2 ge-0/0/3 ge-2/0/0 ge-2/0/1 NW 10.0.0.254 11.0.0.254 12.0.0.254 13.0.0.254 14.0.0.254 15.0.0.254 Zone Untrusted Untrusted Untrusted Untrusted Untrusted Untrusted I/F ge-2/0/8 ge-2/0/9 ge-2/0/10 ge-2/0/11 ge-2/0/12 ge-2/0/13 NW 192.168.8.254 192.168.9.254 192.168.10.254 192.168.11.254 192.168.12.254 192.168.13.254 Zone Trusted Trusted Trusted Trusted Trusted Trusted LAN ポートは Trusted ネットワーク、WAN ポートは Untrusted ネットワークとして使用する。アプリケーショントラフィックは HTTP1.1 を使用し、TCP コネクションは Trusted ネットワーク上の擬似クライアントからイニシエートする。 PAGE 2 OF 7 Copyright (C) @benchmark 2015/02/20 SEC-00008 ■ベンチマークテスト内容と結果 1. RFC2544 準拠スループットテスト RFC 2544*1 に準拠したスループットテストを行いDUT のパフォーマンスを確認した。テストには 1000BASE-T 12ポートを使用し合計6ポートペア間で疑似クライアントから擬似サーバへの片方向トラフィックを負荷した。テストトラフィックはUDPを使用しパケット長は64byte(NAT有効時は66Byteを最小パケット長に設定) から1518byte までの固定長、テスト時間は60 秒とした。実通信環境では様々なパケット長が混在したトラフィックが流れるため、トラフィックにiMIX*2 パターンを用いたテストも合わせて行った。iMIX パターンは次のパケット長の組み合わせとした。 IMIX Distribution Ethernet Size(Byte) Weight Percentage(%) Short 66 7 58.33 Middle 594 4 33.33 Long 1518 1 8.33 テスト結果会員の皆さまは会員サイトでログイン後、テストレポートを全てご覧いただけます。非会員の皆さまは会員申込み（有料）いただければ、本テストレポートの続きをご覧いただけます。 2. RFC2544 準拠レイテンシテスト DUT に負荷をかけた状態でのレイテンシテストを行った。入力するトラフィック負荷は先に測定した”1. RFC2544準拠スループット”で測定したスループット値を用いた。テスト時間は60秒とし、レイテンシ測定モードはFIFO (フレームの先頭の送信からフレームの先頭の受信までの時間)を用いた。テスト結果会員の皆さまは会員サイトでログイン後、テストレポートを全てご覧いただけます。非会員の皆さまは会員申込み（有料）いただければ、本テストレポートの続きをご覧いただけます。 3. 最大コネクション毎秒テスト HTTP を使用し新規に確立できる TCP コネクション毎秒の最大値を測定した。毎回のコネクションには擬似クライアントから生成されるアプリケーションコマンド(HTTP GET リクエスト)と擬似サーバから送られるその応答(HTTP 200 OK レスポンス)が含まれる。この 1 回の処理を 1 トランザクションとし今回のテストでは 1 つの TCP コネクション上で 1 つのトランザクションを定義した。DUT の Anti-Virus 機能、IDP 機能(緊急度 Start, Default, Recommend)、 Anti-Virus 機能と IDP 機能をそれぞれ有効にし、それぞれの機能が及ぼす影響の有無を実測した。 PAGE 3 OF 7 Copyright (C) @benchmark 2015/02/20 SEC-00008 また最大コネクション毎秒値は、与えられたコネクション毎秒値に対して TCP コネクション確立後 30 秒の間 Unsuccessful Transactions、Closed with error TCP Connections のカウンタ値が全て”0” であることを確認しバイナリサーチ(二分探索)により自動測定を実施した。 ※なお Anti-Virus 機能を有効にした場合、複数のトランザクションを処理させると@benchmark で定めているテストパラメータではトランザクションが完了しなかった。そのため Anti-Virus 機能を有効にした場合は、トランザクション負荷の印加終了後に 200 秒(標準は 20 秒)の待ち時間を設け測定を実施した。テストパラメータ HTTP1.1 リクエスト方式 1 Transaction/1Connection MSS 値 1460 バイト HTTP1.1 Persistence Enabled Receive Window 32768 バイト HTTP レスポンスオブジェクトサイズ 1KB 再送タイムアウト初期値 2秒クローズ方式クライアント RST 最大再送回数 2回テスト結果会員の皆さまは会員サイトでログイン後、テストレポートを全てご覧いただけます。非会員の皆さまは会員申込み（有料）いただければ、本テストレポートの続きをご覧いただけます。 4. アプリケーションスループットテスト HTTP を使用しアプリケーションのスループットテストとレスポンスタイム(GET リクエスト送信からリクエストした URL を完全に受信するまでの時間)を測定した。テストで求めるスループットは擬似サーバから擬似クライアントへの片方向通信とし、1 秒間に擬似クライアントが受信したフレーム数に各フレーム長を乗じた値とした。今回のテストでは 1 つの TCP コネクション上で 1 つのトランザクションを定義した。DUT の IDP 機能(緊急度 Start, Default, Recommend)をそれぞれ有効にし、それぞれの機能が及ぼす影響の有無を実測した。またアプリケーションスループット(bps)値は、与えられたコネクション毎秒値に対して TCP コネクション確立後 60 秒の間 Unsuccessful Transactions、Closed with error TCP Connections、Closed with reset TCP Connections のカウンタ値が全て”0”であることを確認しバイナリサーチ(二分探索)により自動測定を実施した。なお、上記カウンタ値が全て”0”の場合であっても 60 秒の間で得られたスループット値に大きな変動がある場合は不採用とした。今回のテストで使用したスループット値の測定基準は以下の計算式とした。 ※Anti-Virus 機能を有効にした場合、複数のトランザクションを処理させるとスループット値の測定基準を満たす結果を得ることができなかった。 PAGE 4 OF 7 Copyright (C) @benchmark 2015/02/20 SEC-00008 (測定基準): {最大値(rx[n]) – 最小値(rx[n])} ÷ 平均値(rx[n]) < 1% を満たす最大値 *rx[n]: 60 秒間に 4 秒間隔で得られた各受信レート値(bps) テストパラメータ HTTP1.1 リクエスト方式 1 Transaction/1Connection MSS 値 1460 バイト HTTP1.1 Persistence Disabled Receive Window 32768 バイト HTTP レスポンスオブジェクトサイズ 44KB, 1MB 再送タイムアウト初期値 2秒クローズ方式サーバ FIN 最大再送回数 2回テスト結果会員の皆さまは会員サイトでログイン後、テストレポートを全てご覧いただけます。非会員の皆さまは会員申込み（有料）いただければ、本テストレポートの続きをご覧いただけます。 5. Web ページ内に埋め込まれた既知のマルウェア検体に対する検知率 LAN 側インターフェース上のホストから WAN 側インターフェース上の Web サーバに対し Web アクセスを実施し、サーバ側の応答にマルウェア検体を埋め込みその検知率を測定した。 ■測定条件・クライアント側およびサーバ側ポートにそれぞれ測定器のテストポートを 1 ポートずつ接続・使用したホストアドレス数はクライアント／サーバともに 250 アドレス・振舞いパターン（シナリオ）毎にクライアント／サーバともにアドレスを 1 つインクリメントし巡回・複数の Anti-Virus 製品で検知実績のあるマルウェア検体 300 個を使用 (うち 100 個は@benchmark にて他の製品の検知率試験でも使用したマルウェア検体を含む) ・測定器の結果とあわせて DUT のログ情報をもとに検知の可否を確認 ■試験結果会員の皆さまは会員サイトでログイン後、テストレポートを全てご覧いただけます。非会員の皆さまは会員申込み（有料）いただければ、本テストレポートの続きをご覧いただけます。 PAGE 5 OF 7 Copyright (C) @benchmark 2015/02/20 SEC-00008 ■ベンチマークテスト機材本ベンチマークテストには下記の測定器を用いた。 ●Spirent Communications 社トラフィックジェネレータ Spirent TestCenter Version 4.45 ●Spirent Communications 社アプリケーション・パフォーマンス/セキュリティ試験ツール Spirent Avalanche C100 Version 4.45 ●Spirent Communications 社テスト自動化支援ツール Spirent iTest Version 4.3.1 ●Spirent Communications 社セキュリティテストアプライアンス Spirent Studio Spirent Studio Security Version 6.5.2.r48322 PAGE 6 OF 7 Copyright (C) @benchmark 2015/02/20 SEC-00008 ■リファレンス *1 http://tools.ietf.org/html/rfc2544 ネットワーク装置のベンチマーク手法 Benchmarking Methodology for Network Interconnect Devices *2 http://tools.ietf.org/html/rfc6985 IMIX ゲノム：追加テストのための混合パケット長仕様 IMIX Genome: Specification of Variable Packet Sizes for Additional Testing http://tools.ietf.org/html/rfc3511 ファイアウォールパフォーマンス評価手法 Benchmarking Methodology for Firewall Performance ■テスト対象装置 ●Juniper Networks 社製 SRX650 設定設定ファイルは以下の URL よりダウンロード可能です。会員の皆さまは会員サイトでログイン後、テストレポートを全てご覧いただけます。非会員の皆さまは会員申込み（有料）いただければ、本テストレポートの続きをご覧いただけます。免責本テストレポートは＠benchmark 会員よりテスト申請を受けて株式会社東陽テクニカがテストを実施しております。テストに際し、DUT の設定はレポート内もしくは個別の設定ファイルで公開し、この設定、テスト環境の時の実測値を記載しており、DUT の性能を保証するものではありません。本テストレポートに関する会員からの質問は [email protected] でお受けしております。なお、会員以外からの質問等には一切お答えできません。本テストレポートをデータとしてご利用いただく場合、会員規約で規定されている注意事項を了承されたものとします。 PAGE 7 OF 7 Copyright (C) @benchmark