Global IP Business Exchange Feb. 2010 NTT Communications Corp. 先端IPアーキテクチャセンタネットワクプロジェクトネットワークプロジェクト担当部長博士（工学）宮川晋 BGP Route Hijacking j g - BGP経路ハイジャック - copyright (c) NTT Communications Corp. 通常状態のYoutube Feb.2008 当時 youtube Pakistan Telecom http://www.ripe.net/news/study-youtube-hijacking.html copyright (c) NTT Communications Corp. youtube hijacked （Feb.2008） youtube Pakistan Telecom http://www.ripe.net/news/study-youtube-hijacking.html copyright (c) NTT Communications Corp. BGP Route Hijacking とは不正なBGP経路広告がおこなわれてトラフィックが捻じ曲げられたり、到達不可能になったりするとです能になったりすることです検出は簡単ではありません回復も簡単ではありません頻繁におきてる、というわけではないですが、それなりにおきます簡単に広がり、大きな影響が出ることもあり簡単に広がり大きな影響が出ることもあります copyright (c) NTT Communications Corp. Hijacking ; Case-1 > 10.0.0.0/16 > 10.0.0.0/24 10 30 40 AS20 > 10.0.0.0/16 > 10.0.0.0/24 10 30 40 > 10.0.0.0/16 > 10.0.0.0/24 20 10 40 10.0.0.0/16 AS30 iBGP 10.0.0.0/24 / 10.0.0.0/16 10.0.0.0/24 AS10 10.0.0.0/16 AS10:Customer AS10 C t off AS20 AS40:Customer of AS30 AS20 and AS30 is peering 10.0.0.0/24 10.0.0.0/16 10 0 0 0/16 > 10.0.0.0/16 > 10.0.0.0/24 30 20 10 i 10.0.0.0/24 AS40 Global Impact copyright (c) NTT Communications Corp. Hijacking ; Case-2 > 10.0.0.0/16 > 10.0.0.0/8 10 30 40 AS20 > 10.0.0.0/16 > 10.0.0.0/8 10 30 40 > 10.0.0.0/16 > 10.0.0.0/8 20 10 40 10.0.0.0/16 AS30 iBGP 10.0.0.0/8 / 10.0.0.0/16 10.0.0.0/8 AS10 10.0.0.0/16 10.0.0.0/8 10.0.0.0/16 10 0 0 0/16 > 10.0.0.0/16 > 10.0.0.0/8 30 20 10 i 10.0.0.0/8 AS40 No Impact copyright (c) NTT Communications Corp. Hijacking ; Case-3 > 10.0.0.0/16 10.0.0.0/16 10 30 40 AS20 > 10.0.0.0/16 10 * 10.0.0.0/16 10.0.0.0/16 >10.0.0.0/16 10.0.0.0/16 20 10 40 10.0.0.0/16 AS30 iBGP 10.0.0.0/16 / 10.0.0.0/16 AS10 10.0.0.0/16 10.0.0.0/16 10.0.0.0/16 10 0 0 0/16 > 10.0.0.0/16 > 10.0.0.0/16 30 20 10 i 10.0.0.0/16 AS40 Partial Impact copyright (c) NTT Communications Corp. Hijacking ; Case-4 *> 10.0.0.0/16 10.0.0.0/16 >10.0.0.0/16 10.0.0.0/16 10 i 30 i AS20 > 10.0.0.0/16 10.0.0.0/16 10 30 > 10.0.0.0/16 > 10.0.0.0/16 20 10 i 10.0.0.0/16 AS30 10.0.0.0/16 iBGP 10.0.0.0/16 / 10.0.0.0/16 10.0.0.0/16 10.0.0.0/16 10 0 0 0/16 > 10.0.0.0/16 30 20 10 AS10 10.0.0.0/16 AS40 Partial Impact copyright (c) NTT Communications Corp. 経路ハイジャックがおきるとトラフィックがまげられるので y サービスができなくなったり、アプリケーション異常がおきます y たとえばDNSのRoot-serverのアドレスがHJされるととても… たとえばDNSのR t のアドレスがHJされるととても意図的にやるとすれば… y トラフィックをねじまげて、パケットを記録げ録 y フィッシングやSPAMの送付 y DoSアタックも y 他人になりすまして送受信することが出来る copyright (c) NTT Communications Corp. 経路HJの原因ほとんど意図しない設定エラーとおもわれる y コンフィギュレーションミスギ ○ フィルタのエラー（ローカルあるいはプライベート使用しているアドレスのもれとか…）使用しるドもれとか） ○ 単に書き間違いとか (wrong address/mask) もしも意図的なものだとすると y Spam/DDoS/Phishing…などを意図したIPアドレ p g スの不正使用の可能性 y Cyber y Terrorismともいえる copyright (c) NTT Communications Corp. BGP経路ハイジャクの対抗 BGP経路ハイジャックへの対抗 copyright (c) NTT Communications Corp. 日本におけるBGP経路ハイジャックに関する研究日本国総務省による委託研究 y NTT Communicationsが主幹事 Communicationsが主幹事 y 4年間年間;; 2006/6 - 2010/3 y BGP BGP経路経路HJ HJの、検知・回復・予防技術の開発の、検知・回復・予防技術の開発 Telecom-ISAC Japan のBGP-WG y 日本国内のISPからのボランティアによる動き y BGP working ki group （ 2004∼） 2004 ） copyright (c) NTT Communications Corp. BGP経路HJ対策研究の概略検知回復予防検知(Detection) Compare b/w Routing update and correct routing -IRR registry -Configuration file Routing Info 回復(Recovery) hijacking After detect the hijacking, Start taking action: I,e, registry IRR Agent/ Sensor 参照登録 + 参照 BGP Update Receive correct Routes only 予防 copyright (c) NTT Communications Corp. IRR LIST - Check routing, - Filtering - Longer Prefix L P fi advertise d i 検知（D t ti ）検知（Detection） copyright (c) NTT Communications Corp. 検知（Detection） system Monitoring (ex, BMP) IRR Configure file -Prefix -Origin ASN -AS-Path AS Path : : Alert BGP UPDATE Operator BGP updateを監視する y BGP Updateメッセージによってやってきたアドレスprefix のAS_PATH属性の最後のAS番号と、 IRRデータベースにorigin AS番号として登録されているものとを比較する y もしも違っていたらハイジャックを疑い、メもしも違っていたらハイジャックを疑いメールルやSyslogや、SNMPトラップで警告する copyright (c) NTT Communications Corp. 世界の検知システム RIPE NCC MyASN Service y A part of RIPE NCC RIS (Routing Information Service) y Checking a prefix is announced with an incorrect AS path path. y Alerting by email or to your own syslog server PHAS (Prefix Hijack Alert System) y y y y UCLA uses BGP data (with 3 hours' delay) from Oregon-Univ RouteViews Checking origin, lasthop and sub-allocation set change Alerting by email IAR (Internet Alert Registry) y Using PGBGP (Pretty Good BGP) y Alerting by email or search on the web ENCORE (an inter-AS inter AS diagnostic ENsemble system using OOoperative REflector agents) y NTT 研究所 y インターネット上の多地点にエージェントをおき、経路を監視 y メールよる警告メルよる警告経路奉行（Route magistrate) y Telecom-ISAC Japan BGP-WG y local info (from IRR and manual maintain) とBGP UPDATEを比較 y メールによる警告 copyright (c) NTT Communications Corp. 日本で観察されたハイジャックの数 2008 Jul Aug Sep 15 15 15 # of Hijacks 0 0 # off Bogons B 9 # of detected ASes JPIRR ASes for detection # of alerts except abo e detections of above Hijacks/Bogons 2009 Oct Nov Dec 15 15 15 0 14 1 20 2 12 267 263 265 2 3 19 Jan Feb Mar Apr May Jun 15 15 5 5 12 15 0 2 0 0 3 0 0 6 4 5 18 18 0 464 17 269 276 280 279 283 290 293 294 296 4 1 4 0 9 14 2 1 1 source: Keiro-bugyo / ENCORE project in telecom-isac JAPAN (15 ISPs) copyright (c) NTT Communications Corp. 回復（Recorvery） copyright (c) NTT Communications Corp. 回復の仕方影響の範囲を特定する y Global Impact? Partial Impact? いくつかの回復手法を試すいくかの回復手法を試す y Hijackを引き起こしているASに止めるようにいう（恒久的な回復） y Hijack経路を伝播しているASにフィルタをかいてもらう (temporary) y より詳細な経路（BGPの性質上、詳細な経路のほうが優先的につかわれる）をアナウンスする (temporary)：「ハイジャック返し」 copyright (c) NTT Communications Corp. 詳細なルートの再広告による回復 * 10.0.0.0/16 * 10.0.0.0/23 * 10.0.0.0/24 * 10.0.1.0/24 10 30 40 10 10 10 AS20 * 10.0.0.0/16 * 10.0.0.0/23 * 10.0.0.0/24 * 10.0.1.0/24 30 40 10 10 * 10.0.0.0/16 * 10.0.0.0/23 * 10.0.0.0/24 * 10.0.1.0/24 10.0.0.0/16 10.0.0.0/24 10.0.1.0/24 AS30 iBGP 10 0 0 0/24 10.0.0.0/24 10.0.0.0/16 10.0.0.0/24 10.0.1.0/24 10.0.0.0/24 10.0.0.0/16 10 0 0 0/16 10.0.0.0/24 10.0.1.0/24 10.0.0.0/24 AS10 10.0.0.0/16 20 10 40 20 10 20 10 10.0.0.0/23 * 10.0.0.0/16 * 10.0.0.0/23 10 0 0 0/23 * 10.0.0.0/24 * 10.1.0.0/24 copyright (c) NTT Communications Corp. AS40 30 20 10 i 30 20 10 30 20 10 検知と予防（実際のケス）検知と予防（実際のケース） copyright (c) NTT Communications Corp. Real Hijacking Case (1) 2004/6 Originated from Japanese ISP Longer prefix / Invalid origin y /24 x2, /25 x1, /29 x1 A ti Action y Contacted originated AS operator y Origin AS stopped invalid announcement Impact : about 150 minutes copyright (c) NTT Communications Corp. Real Hijacking Case (2) 2004/9 Originated from Asian ISP Longer g p prefix / Invalid origin g y /24 x 2 Action y Escalate peer ISP ○ Filtering on peer ISP ○ Origin AS stop announcement Impact : about 2 days copyright (c) NTT Communications Corp. Real Hijacking Case (3) 2006/11 O i i t d ffrom Asian Originated A i ISP Same prefix length / invalid origin y /17 x 2, /14 x 1 Action y Not have been taken any action (Withdrawn soon) Impact : about 5 minutes By after analysis, we found this AS originated many other invalid routes at the same time copyright (c) NTT Communications Corp. Real Hijacking Case (4) 2009/8 ; this year Originated from Asian ISP Longer prefix / Invalid origin y /22 x 1 ; dynamic pool address for Broadband user A ti Action y Immediately Announce /23 x 2 y Contact to ISP who originate the hijack route ○ Origin g AS stop p announcement invalid route Impact : about 1 hour copyright (c) NTT Communications Corp. 予防（Prevention） copyright (c) NTT Communications Corp. 予防のためのKey Technologies 拡張されたIRRデータベースソフトウェア y 桁違いに速く、大規模で、なおかつ、電子署名つきのオブジェクトを扱えるように改造する ○ 電子証明のための正規形式を決める ○ High Availabilityと、ロードバランシングのために、データベースデュプリケーション機能を実装する機能拡張されたルータ y ルータに拡張されたBGP機能をもたせる yE E-BGP BGP UPDATEが来るたびに、上記のIRRデ UPDATEが来るたびに上記のIRRデータタベースの中の署名されたオブジェクトと比較をおこない正当性を検証する当性検証す copyright (c) NTT Communications Corp. High Availability IRR ソフトウェアの開発広くIRRDとしてつかわれているRIPE whois-server software f ををコアとするとする y 64bit CPU architectureサポート y Backend DB として、NDB Clusterを採用 y SYNCER module (Redundancy, Radix Tree)追加 y ダウンタイムの最小化 y SQLのOptimization 我々は、RIPE NCCと協力し、いくつかの成果に関、開発して、我々の開発したコードをオリジナルコードに組み入れる方向で調整が進んでいる y y http://www.ripe.net/ripe/meetings/ripe-55/presentations/shirasaki-high-availability.pdf http://www ripe net/ripe/meetings/ripe 56/presentations/Shirasaki http://www.ripe.net/ripe/meetings/ripe-56/presentations/ShirasakiHigh_Availability_Software_Update_for_IRR.pdf 29 ルータ上の拡張されたBGPソフトウェア Received buffer (RIB-In) BGP Update Policy Rule (Incoming) BGP hijacking Validation Local Cache 1)Local h k check cache query IRR cache No entry Normal path Hit local cache Whois client Marking validation 2)IRR server lookup IRR Server Action(accept/deny) FreeBSDベースの手製ルータだけでなく JUNIPERのSDKを使った実装とAccessのルータに実装がある Policy Rule (Incoming) RIB Entry Policy Rule (Outgoing) Advertise Buffer (RIB_Out) BGP Update copyright (c) NTT Communications Corp. 30 予防の考え方 Valid Route × Invalid Route 不正な経路を受け取らないようにする y どれが不正でどれが正当かを決めるようにする二つのやり方がある y IRR base route validation :我々のやり方 ○ オリジンASを保証する：完璧ではないが即効的で実際的 y BGP base route validation :長期的にはこちら ○ オリジンASを保証し、かつ、BGPのPATHを保証するオリジンASを保証しか BGPのPATHを保証する ○ sBGP, soBGP, pgBGP, psBGP y これらは背反しているわけではなく、共通のソフトウェアモジュールも使えるジも使え copyright (c) NTT Communications Corp. BGP経路ハイジャック予防 ①wrong prefixes (ISP-C ;valid) advertised ad e t sed from o ISP-X S ISP-X AS64504 ② ②IRR validation check SDK IRR server ISP-B AS64502 ISP-A AS64501 ③discard the wrong prefixes ISP-C AS64503 ④ISP-B can continue to transit the traffic with right prefix to ISP-C copyright (c) NTT Communications Corp. 例えば大規模なISPのエッジに置けば・・・ Transit Transit RT RT Filter RT Peer RT Static Customer BGP Customer copyright (c) NTT Communications Corp. 結論 BGP経路HJはそれなりに起きています NTTコミュニケ NTTコミュニケーションズは総務省様からのションズは総務省様からの予算を受け、検知システムを用意し、また、 RIPEのWhois データベースソフトウェアの機デタベスソフトウェアの機能拡張を行い、商用ルータを含む参照実装をつくり予防技術も開発していますつくり、予防技術も開発しています NTT-Cは、他のISP様と強調して検知と回復の実験をするとともに、予防に関する実験も行いました近い将来の実用化を目指して検討しており、また技術の公開もしております copyright (c) NTT Communications Corp.