2018年11月12日、太平洋時間の午後1時から午後2時23分までの間、ThousandEyesは、社内の重要なアプリケーションの１つであるG Suiteへの接続問題を検知しました。 さらにThousandEyes のEndpoint Agentの統計情報を確認すると、この問題がThousandEyesオフィスのすべてのユーザーに影響を与えていることがわかりました。
この停止はG Suiteだけでなく、Google の検索とGoogle Analyticsにも影響を与えていました。 そこで我々が注目した点は、GoogleへのトラフィックがChina Telecomでドロップしていることでした。 Googleに向かうサンフランシスコオフィスからのトラフィックが、なぜ中国へ向かってしまうのか？ また、トラフィックの経路上にはロシアのISPが現れ、これらは間違いなく懸念事項となりました。
さらに調査したところ、世界各地に設置されたThousandEyesの一部の監視エージェントが、同様の異常なルーティングを検知しており、これらのトラフィックすべてがChina Telecomに終端していました。
ThousandEyes のBGPルートの可視化画面では興味深い図が表示されました。 パリからwww.google.comへのトラフィックは216.58.204.132 で解決されました。 しかし、Googleは自社サービスのIPアドレスレンジをカバーするために/ 24のプレフィックスを多数アナウンスしていますが、このアドレスは/ 24プレフィックスではカバーされずに、 代わりに、/ 19のプレフィックスでカバーされていました。午後12時45分頃には、ロシアのTransTelecom（AS 20485）、中国のChina Telecom（AS 4809）、およびナイジェリアの小さなISPであるMainOne（AS 37282）を含む複雑なASパスを持つあやしい216.58.192.0/19のアナウンスを発見しました。
上記のトラフィック経路はBGP AS パスを反映していますが、中国のネット検閲システム「グレート・ファイアウォール」に侵入したすべてのトラフィックがChina Telecomのエッジルータで終端していることがわかります。この事象の詳細については、ThousandEyesのスナップショット共有リンクにご覧ください。
この事象は、少なくともG SuiteとGoogle検索へのアクセスに大きな問題を引き起こしました。ThousandEyesは、このルートリークから影響を受けた180を超えるプレフィックスを検出し、これらのIPアドレスは、Googleのサービスを広範囲にカバーしているものでした。我々の分析によると、このルートリークの発端は、ナイジェリアのプロバイダ（MainOne）と、China Telecomの間のBGPピアリングでした。 MainOneはLagosのIXPN経由でのGoogleとのピアリングにより、Googleへの直接ルートを持っており、そこからChina Telecomにリークしました。これらの流出経路は、China Telecomから、TransTelecomを経由してNTTやその他のトランジットISPに伝播しました。また、このリークは主にトランジットプロバイダーによって伝播され、コンシューマー向けISPネットワークには大きな影響を与えていなかったことがわかりました。
11月13日、ナイジェリアのプロバイダであるMain Oneが、問題の原因はネットワークのアップグレード中に行ったBGPフィルター設定においてのミスだったとTwitterで公開しました。
この事件からの教訓は、インターネットの構造上、そこには必ず根本的な弱点が存在するということです。 BGPは、善意を持ったISPと受け取った情報を盲目的に信じざるを得ない多数の組織間の信頼に基づいて設計されています。 しかし、今日ISPと各国の間に存在する複雑なビジネス関係あるいは地理的関係を反映するようには進化していません。 ROA(Route Origin Authorization) などのASとIPアドレスの組み合わせが正しいかを検証する方法は存在しますが、使用しているISPがほとんどいないのが現状です。 膨大なリソースを持つGoogleのような企業であっても、この種のBGPルートリークや悪意のあるハイジャックから逃れられるわけではありません。 MainOneは、事象の検知もしくは問題の通知を受け、さらにそれを修正するまでに74分かかり、サービスの復旧までにはさらに約４5分間を要しました。 Googleへの直接のアクセスとリソースを持たないほとんどの企業は、問題を迅速に解決することができないため、ビジネスに大きな影響を受けたかもしれません。
最近、BGP関連のインシデントが増加しています。 2018年4月、DNSプロバイダー全体のハイジャックを含む仮想通貨強盗を目撃しました（ルート53）。 その1年前、2017年4月には、多数の電子商取引および金融サービスのウェブサイトに影響を与えたロシアの大手ISP(Rostelecom)の BGPのルートリークが見られました。 ISPコミュニティはこれらの問題の影響範囲を認識し、ROAやIRRフィルタリングなどのソリューション導入を検討していますが、いずれも問題を解決する決め手とはなっておらず、常にインターネットが壊されるリスクに脅かされています。
サービス保証がされないインターネットという世界で、企業がビジネスやサービスへの影響を軽減するためには、BGPルートを継続的に監視し、そのような事象を迅速に検出する必要があるのです。 ThousandEyesを使ってBGPハイジャックやリークを検出する方法についての詳細はこちらをご覧ください。
