IIJ-II 第1次分散並列処理プラットフォーム公開実験ご案内

クラウド環境への構造化オーバーレイ技術の適用
藤田昭人
株式会社IIJイノベーションインスティテュート
クラウド環境への構造化オーバーレイ技術の適用
 「クラウドとP2Pは親和性が高い」と言われているが・・・

クラウドの「スケールアウト」を実現する具体的手段としてP2P技術は有望





P2Pは元々スケールするアーキテクチュア
P2Pの冗長性はクラウドの高信頼化に寄与する
P2Pの自律性は大規模クラスタの運用管理負荷を軽減する
P2Pのオーバーレイ全体での一貫性維持はクラウドのそれと共通する課題
オーバーレイをネットワークと見るべきか？システムと見るべきか？



P2Pではオーバーレイは「ネットワーク」と理解されることが多い
→ なので「データを deploy する」のが基本
クラウドではオーバーレイは「仮想的なシステム」と見ることが多い
→ なので「データを store する」のが基本
クラウドではP2Pもビルディング・ブロックとして考える
→ 構造化オーバーレイの方がフィットするような（気がする）
 クラウド環境へ構造化オーバーレイ技術を適用するための３つのトピック



大規模クラスタ ≒ 比較的小規模なオーバーレイ・ネットワーク
システムとしてのオーバーレイ・ネットワーク
クラウドのパブリック－プライベート連携
大規模クラスタ≒比較的小規模なオーバーレイ・ネットワーク
 P2P研究において懸案とされる幾つかの課題は単純化される






構成ノード数は最大でも数千台ぐらい
構成ノードのスペックは比較的に均質で稼働状態は制御可能
ネットワーク構造にはある程度の任意性が許容される
ネットワークのパフォーマンスは理想的な状態に（少し）近づく
ブロードキャストや IP マルチキャストなど下位ネットワークの機能が使える
信用性に関わる問題も棚上げできる
 要は・・・

無限のインターネットから有限のデータセンタ内ネットワークに
スケールダウンするので研究論文を書くには好都合が事が増える
 反面、これまで無視できた新たな課題も出現する



数台から数十台でのパフォーマンス
一貫性保証に関わる諸問題 ← データの格納ありきなので
ベストエフォート的信頼性保証では許されない場合もある
 いずれにせよ・・・

従来のP2P研究とは視点が変わるので提案できる余地は広がる
システムとしてのオーバーレイ・ネットワーク
 オーバーレイ・ネットワークを１つのシステムと見なすと・・・

MIMD（Multiple Instruction, Multiple Data streams）アーキテクチュアとして理解できる？




分散ハッシュテーブルは分散メモリと等価 → つまりある種のデータ・バス？
P2Pは最下層のノード間ブリッジを担うビルディング・ブロックだと位置づけられる
きっとその上にいろいろ乗ってくるはずなんだが・・・
であれば過去のOSに関する知見が活用できるのではないか？

モデルであるとか？アーキテクチュアであるとか？
 クラスタ全体を１単位とするシステム・ソフトウェアとは？

個人的に「クラウドOS」という表現は適切でないように思う


現状ではストレージ（ファイルシステムやDB）に対して関心が集中している？





個々のノードで動いているのがOSなんだから・・・別のカッコいい名前が欲しい
Google のシステム（GFS, BigTable, Chubby…）はハイブリットP2P的
Amazon の Dynamo はピュアP2P的？
その他にも Key-Value Store だとか NoSQL だとか・・・いろいろ提案されてます。
課題はやはりデータ一貫性の保証
Live Migration は「大きく勘違いしているんじゃないか？」と思ったり



分散OSの Process Migration と同じ根の問題（だからビジネス的にしくじると思う）
そのためだけに高価なストレージ・ユニットを使うなんて（スケールしないじゃん）
かつての VAX Cluster を思い出すぞぉぉぉ（きっとアダ花になる）
クラウドのパブリック－プライベート連携
 クラウドにもパブリックとプライベートがある



パブリック・クラウド複数の利用者で１つのクラウドを共有する
プライベート・クラウド単一の利用者がクラウドの１部（あるいは全部）を占有する
両者はビジネス的には対立する面もあるが技術的には相互補完の関係が基本



パブリック・クラウドはスケールアウトのメリットを効果的に活用できる（つまりコストメリット）
プライベート・クラウドは他の利用者の影響を最小化できる（つまり安全性）
クラウドのシステム構築では両者の特性を生かした使い分けと組み合わせを考慮する
→ 例えばサージ・コンピューティングだとか・・・
→ つまり現実のクラウド・システム構築ではパブリック－プライベート連携は必須の課題
 パブリック－プライベート連携をP2P的に理解することもできるのでは？

パブリック・クラウドとプライベート・クラウドがデータ共有を図る
→ パブリック・クラウドとプライベート・クラウドがが相互にP2P的な通信を行う




これはオーバーレイ・ネットワークが階層構造をなす事例？
２階層構造のオーバーレイ・ネットワークの場合のルックアップは２次元的にトラバースする？
さらに多階層構造のオーバーレイ・ネットワークの場合は？
クラウド・コンピューティングはP2P研究に対して新たな問いを提示してくれる？

他にもいろいろありそうな気がしています。

Download Report