Windows Azure から教わる クラウド時代のエンジニアが持つべきスキル 日本マイクロソフト株式会社 エバンジェリスト 高添 修 http://blogs.technet.com/b/osamut 時間 内容 『Windows Azure だけでどこまでできるか?』 14:00 – 16:15 『自社運用と Windows Azure 仮想マシンの運用の違いにみる必要なスキル』 日本マイクロソフト エバンジェリスト 高添 修 16:15 – 16:30 16:30 – 17:30 17:30 - 19:00 途中休憩有り 休憩 『Windows Azure を使ったエンジニアの生の声』 ビットアイル 後藤 諭史様 Q&A を兼ねた(その場) 懇親会 2 その前に Project Management IDE 統合開発環境 Multi Language ALM Agile Auto Deploy Release Management Intelligent Test Env DevOps Monitoring ダウン サイジング Configuration Management Scripting ITIL Change Management 仮想化 Runbook Automation IT as a Service Private Cloud SDN/SDS 非所有 5 ※ 更に進化中 アプリケーション ネットワーク Virtual Network Point to Sites VPN Traffic Manager *無償プレビュー キャッシュ キャッシュ データ アクセス コントロール Azure AD 多要素認証 システム 連携 キュー BizTalkサービス サービス バス *有償プレビュー データ周辺 Blob ホスティング VM 管理 Table *有償プレビュー Cloud Services (PaaS) スケール 管理 ポータル BackUp RDB PaaS *プレビュー 運用 Virtual Network (S2S VPN) *有償プレビー 認証 CDN ミ ド ル ウ ェ ア Ruby PowerShell レポート Virtual Machines (IaaS) ロード バランサ ファブリック コントローラ ファイアー ウォール Federation Datasync Mobile Services *一部有償プレビュー スタート アップタスク オンプレミス 連携 Import/Export *無償プレビュー Websites 外部アクセス グローバルIP制限 Windows Server 2012 System Center 2012 オンラインバックアップ Media Services 通知ハブ アラート SQL Server 2012 SP1 CU2 Native Backup & Restore HDInsight *有償プレビュー 6 7 8 需要に応じて 伸縮可能な柔軟性 適時利用による 大幅なコスト削減 従量制と定額制を選択可能 年間契約によるディスカウント コンピュート環境 10.49 円/h ストレージ環境 12.24 円/GB SQL Server とのデータ同期 VPN 機能による NW 連携 Active Directory 認証 他社認証サービスとの ID 連携 データとデータベースの3重化保護 DC 間でのデータの自動複製 パッチ管理の自動化 99.9% の SLA を提供 インフラ サービスへの依存度の軽減 グローバルなサービス展開 Visual Studio ベースの開発 LAMP 資産とツールの利用 容易な 運用管理作業 自動化による 運用負荷の低減 オンプレミス環境 との親和性 柔軟な仮想サーバー構成の選択 負荷に応じたリソース供給 インスタンス数の即時変更 6 拠点の DC を選択可能 迅速な サービスの展開 シンプルな構成管理モデル GUI 版の管理者ポータル 容易なリソースの調達/解放 アップグレードの自動化 9 10 クラウド サービスへの戦略的投資の継続 Windows Azure のサービス拠点 • 3 つの地域、8 ヵ所の DC からサービスを提供 大規模データセンター整備への投資 • クラウド サービスの基盤整備に 23 億ドルを投資 • 第三世代(コンテナ型)から 第四世代(モジュラー型)データ センターへの移行 • シカゴ データ センターの構成 • • • 1 コンテナ = 1,800 ~ 2,500 サーバー DC 毎に約 200 基のコンテナを収容 PUE *1 (Power Usage Effectiveness) = 1.22 *1: PUE (Power Usage Effectiveness): DC の電力効率の評価基準。「DC 全体の消費電力 ÷ IT 機器による消費電力」で算出(最低は 1.0)。効率が良い DC の目安は 2.0 以下) 11 Windows Azure IaaS Windows Server あるいは Linux 仮想マシンを 作成し、任意のアプリケーションをインストール することができるため、用途は多様です。 既存の社内サーバーのクラウド移行に 検証・テスト環境として 自社データセンター被災時の災害対策用に ※ Hyper-V ベース 数クリックで 仮想マシンを稼働状態に 13 サーバーOS Windows Server Linux Server ミドルウェア SQL Server BizTalk Server 2013 SharePoint Server 2013 Trial Oracle Database Oracle WebLogic Server JDK (Preview) 非MSプラットフォーム openSUSE SUSE Linux Enterprise Server Ubuntu Server OpenLogic CentOS Oracle Linux テンプレートの持ち込みも可能 ※ 2014年1月8日現在 14 ディスク1本当たりの最大サイズは 1023 GB 接続可能な最大数は、仮想マシンのサイズによって 異なりますが、S →2 , M → 4, L → 8, XL → 16 これは固定サイズ VHD なので、空の VHD でも BLOB は指定したディスクサイズ分確保されます (32 GBのディスクを作成すると 32 GB の BLOB) しかし、実際には「疎」(スパース)な BLOB であり、 課金は実際に使用した容量分のみ行われます。 ゲストOSでフォーマットする際は、 必ず「クイックフォーマット」してください。 フルフォーマットをするとディスク全体を舐めるので 全体容量分課金されます。 15 16 Windows Azure S2S と P2S の両方をサポート <subnet 1> <subnet 2> <subnet 3> DNS Server サイト間 VPN Gateway 自社内データセンター Static & Dynamic Routing VPN デバイス ローカル サブネット 専用の仮想ネットワーク Point-to-Site VPN 社内ユーザーの インターネット 経由のアクセス 17 IPSec トンネルによる 暗号化通信可能な VPN 機器が対象 <米国本社検証済み> メーカー名 Cisco Juniper WatchGuard F5 Citrix Win Server 2012 RRAS <メーカー様検証済み> 静的 動的 ルーティング ルーティング ASA 非対応 ○ ○ ○ ○ ○ ○ メーカー名 (静的ルーティングのみ) アライドテレシス株式会社 株式会社インターネットイニシアティブ ジュニパーネットワークス株式会社 パロアルトネットワークス合同会社 富士通株式会社 ○ ヤマハ株式会社 msdn.microsoft.com/ja-jp/windowsazure/dn132612.aspx 18 S2S VPN Tunnel Virtual Network Gateway 19 Windows Azure PaaS 2012年 国内クラウド コンピューティング市場の動向 • 国内のクラウド コンピューティング市場は 今後も急速な拡大を継続 • 2011 - 2016 の CAGR は 39% • 2016 年の国内市場は 3,000 億円規模に成長 21 22 Gateway (Stateless) … Compute (Stateful?) … Storage Database (Stateful) 23 xyz.cloudapp.net xyz を利用する Production デプロイ アプリ Web Role 実行 エンドユーザー VIP スワップによる Production と Staging 環境の切替 管理者 Staging デプロイ サ管 ブ理 ド者 メ指 イ定 ンの 名 アプリ Web Role 正式公開前のテスト目的でアクセス パッチ適用後の動作確認目的、問題なければ VIP スワップで Production/Staging を切替 サ自 ブ動 ド割 メり イ当 ンて 名の 24 簡単なパラメーター設定だけで1台から n台のプロビジョニングまで実施可能 Visual Studio マシンスペックと台数を指定 ご利用のポート番号を指定 ※明示ポート以外は全て閉じ ますので、特定外のアクセスは 遮断されます 25 (参考) Inside a Physical Server TOR Switch Physical Server VM VM CPU CPU PaaS VM Role Instance CPU VM CPU PaaS VM Role Instance CPU CPU IaaS VM Role CPU CPU Unallocated CPUs … PDU Trust boundary Host Partition 26 Windows Azure 究極の PaaS スケールアップ、スケールアウト、スケールダウン、オートスケールが自由自在 ギャラリーからのデプロイ、開発環境とのシームレスな連携も完備 28 Windows Azure Other Services SQL / NoSQL / BLOB を利用可能 99.9% の SLA の提供 SQL データベース • これまでの SQL Azure SQL Server と同様のツール を利用してアプリケーションを迅速 にクラウドへ展開 • ニーズに応じて DB 構成の 変更および拡張が可能 SQL データベース • データ移行やエクスポートの 機能を提供 SQL Data Sync • オンプレミス環境の SQL Server データベースと Windows Azure 上の データベースの同期機能を提供 テーブル • スキーマを持たないデータに キーによってアクセスする NoSQL データベース • シンプルなデータ アクセス BLOB • 大量の画像、音声、動画の 格納に最適化された記憶域 • 非常に低価格なストレージ 30 31 アカウント テーブル エンティティ Name =… Email = … • Windows Azure の key-value 型の NoSQL データベース Name =… EMailAdd= … • 大量の半構造化データを 低コストで格納可能 Photo ID =… Date =… • 高性能なストレージの 利用が必要とされる ワークロードに最適 customers contoso photos Photo ID =… Date =… 32 http://<account>.blob.core.windows.net/<container>/<blobname> アカウント コンテナ BLOB ページ/ ブロック PIC01.JPG Images Contoso Block/Page • 大量の非構造化テキスト、又 は、バイナリデータ (映像や 音声)を格納 • 高い読み取り性能を得る ための最も容易な手段 • 高い拡張性と可用性を 持つファイルシステム • HTTP で公開可能 • アクセスの設定が可能 PIC02.JPG Video Block/Page VID1.AVI 33 • • 34 CDN • コンテンツを利用者に 近い場所にキャッシュ • アプリケーションと データ アクセス性能を 大幅に改善 35 インメモリ キャッシュ サービス (NEW) • • データを保持したまま、キャッ シュ サイズを動的変更 アプリケーションの スケールアップ & ダウンに 容易に対応可能 36 いつでも、どこからでも アプリケーションを接続 「キュー」 • 常時接続されていない相手との メッセージ交換手段 • アプリケーションに 高い信頼性と拡張性を実装 「トピック」と「サブスクリプション」 • 複数の宛先にメッセージの配信のための、 リーズナブルな手段 • 高い拡張性と柔軟性の提供 「リレー」 • ファイアウォールや NAT の内側 のプライベート クラウドで 動作するアプリケーションの 安全な呼び出しを実現 37 SQL レポート Windows Azure アプリケーションに レポーティング機能を統合 Windows Azure 業務アプリケーション レポートや サービス利用者 業務アプリケーションの (組織外) URL をインターネットに公開 SQL レポーティング レポート開発者 SQL データベース サービス利用者 (組織内) レポーティングツール 38 Windows Azure HDInsight Service 2013年10月正式リリース済み 利用可能なリージョンは以下の 5 箇所 東南アジア (AsiaPacific Southeast) 北ヨーロッパ (Europe North) 西ヨーロッパ (Europe West) 米国東部 (US East) 米国西部 (US West) インスタンスサイズ ヘッドノード(ネームノード)は XL データノードは L サイズ OS Windows Server 2008 R2 バージョンは以下の3種から選択可能 HDInsight-1.6 (Hadoop 1.0.3) HDInsight-2.1 (Hadoop 1.2.0) HDInsight-3.0 (Hadoop 2.2.0) ※ プレビュー 39 Windows (Azure|Server) HDInsight Hortonworks と協業し、Windows 環境で Hadoop を提供します 元々 Java で書かれたオープンソースプロジェクトである Hadoop ですが、 Windows 環境でスムーズに動かすた めにはいくつか工夫が必要でした。 マイクロソフトは Hortonworks 社と協業し、 Hadoop の Windows 環境への移植と最適化を行っています。 Hortonworks は Yahoo! で Apache Hadoop の 開発に携わっていたチームが独立して設立された企業。 “Hortonworks Data Platform” (HDP) という Hadoop ディストリビューションを開発しており、 その Windows 版が HDInsight のコア部分です。 http://hortonworks.com/products/hdp-windows/ 40 HDInsight Service システム構成 Windows Azure の PaaS 機能と BLOB ストレージを活用します。 ネームノード、データノードは どちらも Worker ロールの インスタンスです。 多数のノードを素早く デプロイできます。 また、Windows Azure の 「BLOB ストレージ」を、 デフォルトのファイルシステム として利用します。 もちろん HDFS も 利用可能です。 ネーム ノード データ ノード BLOB ストレージ 41 Hadoop は Java だけ? .NET は? Java 以外の言語でもプログラムを開発できます! 元より多言語対応 Hadoop 自体が Java で書かれているため、 MapReduce プログラムを書く言語としては Java が メジャーです。 しかし、 Hadoop には “Hadoop Streaming” という 仕組みがあり、およそありとあらゆる言語で MapReduce できるようになっています。 Hadoop Streaming は、 「標準入出力に対してプログラミングするだけで、 MapReduce ジョブができあがる。」 という、ある意味 inetd のような存在です。 Microsoft .NET SDK For Hadoop Codeplex でホストされているオープンソースプロ ジェクトです。下記のモジュールがあります。 Hadoop Streaming を活用した “.NET MapReduce” LINQ で Hive にクエリを行える “LINQ To Hive” HDInsight 管理用の PowerShell コマンドレット WebHDFS クライアント https://hadoopsdk.codeplex.com/ 42 PowerQuery for Excel による接続 Excel から直接 HDInsight 上のデータを取得できます 43 44 自社システム HPC ヘッドノード • MPI • SOA • Excel Desktop 計算グリッド (Windows PC) HPC クラスタ (Windows Server) WCF ブローカー クラウド Windows Azure Azure 計算 プロキシ Azure 計算インスタンス 45 サード パーティ CDN メディア サービス エンコーディング フォーマット 変換 コンテンツ 保護 オンデマンド ストリーミング Windows Azure CDN ライブ ストリーミング 分析 46 47 価格体系 利用条件 48 49 Windows Azure 仮想マシン 自社運用 仮想化基盤 ハイパーバイザー SR 仮想マシン HA:High Availability SR:Site Recovery SDN:Software Defined Network HA HW スペック 事前定義 (SS,S,M,L,XL) コスト 高 参考 テンプレート Windows & Linux OS 環境 事前定義 (管理パスワードや ドメイン参加等) VHDX VHDX VHDX 高度化する 管理ツール 共有ストレージ SDN ネットワーク 仮想化を 越えた自動化 52 作業用 ディスク容量 (GB) データ ディスク数 最大 IOPS サイズ コア数 メモリ容量 (GB) XS (A0) 共有 0.768 20 1 1 x 500 S (A1) 1 1.75 70 2 2 x 500 M (A2) 2 3.5 135 4 4 x 500 L (A3) 4 7 285 8 8 x 500 XL (A4) 8 14 605 16 16 x 500 A5 2 14 135 4 4 x 500 A6 4 28 285 8 8 x 500 A7 8 56 605 16 16 x 500 http://msdn.microsoft.com/en-us/library/windowsazure/dn197896.aspx 53 A8 and A9 Compute Intensive Instances: Quick Start with HPC Pack http://msdn.microsoft.com/en-us/library/windowsazure/dn594431.aspx CPU メモリ A8 A9 OS = Guest OS size Local resource = 1.77 TB Apps = approx. 1.5 GB 8 56 GB 16 OS = Guest OS size 112 GB Local resource = 1.77 TB Apps = approx. 1.5 GB 54 クライアント(この場合、仮想マシンインスタンス) からの書き込み要求があった場合、3 つの複製の 作成が完了して初めて「書き込み成功」が返され ます。 つまり、『仮想マシン』のディスクは通常の シンプルボリュームであっても、3本のディスクを ミラーリングした場合と同等の堅牢性を持ちます。 BLOB ストレージ ゲスト OS 上でミラーボリュームを構成すること はあまり意味がありません。 55 東日本 西日本 > 500 miles セカンダリ地域への転送は、プライマリへの書き込みとは非同期に行われます 56 FC ・ ・ ・ FC ・ ・ ・ クラスタ 1 FC アフィニティ グループ “AG1” ・ ・ ・ ・ たとえば、2台の仮想マシンを同一のアフィニティ グループ”AG1”に配置します。 この場合、2台は同一クラスタ内に配置されるように、 FC が配置の調整を行います。 ネットワーク的に近く配置され、通信が高速に行えるよう になります。 ・ ・ クラスタ 2 ・ ・ ・ ・ ・ ・ クラスタ 3 しかし、この場合「クラスタ 2」に障害が 発生すると2台が共倒れになるのでは? 57 クラスター内の各ラックは、電源やネットワーク装置が 冗長化され、これら装置の障害が他のラックに影響を 及ぼさないように設計されています。 このくくりを「障害ドメイン (fault domain)」と呼びます。 障害ドメイン 障害ドメイン 障害ドメイン ルータ ルータ ルータ FC たとえば、2台の仮想マシンを同一の可用性セット “AS1” でくくります。 この場合、2台は異なる障害ドメインに配置されるように、 FCが調整を行います。 いずれかのラック内で障害が発生しても、可用性セット内 の別インスタンスは生き残ることができます。 ・ ・ ・ FC 可用性セット “AS1” ・ ・ ・ ・ ラック ・ ・ FC ・ ・ ・ ラック ・ ・ ・ ・ ・ ・ ラック 58 Windows Azure 管理ポータル ・・・× Attach 可能なディスク数 59 複数のディスクを束ねて一つのボリュームを作成することが可能です。 60 普段から Hybrid を意識 仮想マシンの相互利用 Hyper-V Hyper-V VHD on Hyper-V データベースの同期 SQL Data Sync アプリケーションの 接続とメッセージング プライベート クラウド リソースプール パブリック クラウド リソースプール Services Bus サーバーとの VPN 接続 Point to Site Windows Linux & OSS サイト間の VPN 接続 Virtual Network 共通の開発ツールと アーキテクチャ 稼働管理 Windows Linux & OSS 構成管理 運用監視 更新管理 共通のツールで統合的に管理 共通の開発ツールと アーキテクチャ ログ収集 仮想管理 バックアップ ウイルス対策 62 VHD ポータビリティ (プライベート – パブリック) VHD ポータビリティ (物理 – 仮想化) Windows & Linux Windows & Linux VHDBoot HW Hyper-V Hyper-V Hyper-V VHDBoot 物理環境 自動展開 (ベアメタル) マルチテナント データセンター (/w SDN) Hyper-V VHDBoot Windows Azure サイト間 VPN Windows Azure (/w SDN) 63 コピー & 貼り付けで VHD ファイルをクラウドへ 仮想マシンのリストには 社内とクラウドが並ぶ 64 ハイブリッドクラウド管理も自動化 PowerShell Get-AzureVM … | # Return the VM Config Add-AzureDataDisk … | # Modify the returned VM Add-AzureEndpoint … | # Modify the returned VM Update-AzureVM # Call Update System Center Orchestrator 例 アプリケーション Windows Azure 回復 サービス Hyper-V ストレージ System Center Data Protection Manager StorSimple 65 • クラウドを活用した自動復旧を 実現 System Center が管理する クラウド間で Hyper-V レプリカ を構成 • 連携するシステム Windows Azure Hyper-V Recovery Manager システム A システム B フェール オーバー Windows Azure Hyper-V Recovery Manager System Center 2012 SP1 以降 Virtual Machine Manager Windows Server 2012 以降 Hyper-V レプリカ レプリケーション チャネル データセンター 1 データセンター 2 66 • Azure API • SCOM Azure 監視パック • SCOM + Global Service Monitor インターネット経由 外部監視 System Center Operations Manager (SCOM) • Azure 標準ポータル (簡易監視機能) • MetricsHub Azure ポータル Application Windows Azure HyperV VPN 経由 内部監視 • SCOM アプリケーション監視 3rd party Tools & Services 67 Visual Studio 連携も ! レスポンス タイム 世界中から テスト実行 アラート テスト 状況 Global Service Monitor (on Azure) SCOM アプリ 68 仮想ネットワーク サイト VPNによる拡張 Virtual Network Active Directory Active Directory ID 情報の同期 AD Directory Sync Active Directory ADFS 2.0 仮想サーバー上の Active Directory • • • 検証/開発サイト DR サイト BCP 向け IT サービス Windows Azure Active Directory ADFS 2.0 プライベート クラウド リソースプール Active Directory フェデレーション サービス 2.0 ID サービス間の連携 ADFS Directory Sync Active Directory Services SNS との ID サービス連携 SaaS への SSO サービス Microsoft アプリケーション 独自の アプリケーション サード パーティ アプリケーション 69 ディスク バックアップ (高速なバックアップ/リストア) バックアップ対象 Exchange Server SharePoint SQL Server 15 分間隔で バックアップ 遠隔地の System Center Data Protection Manager Windows Azure Storage の 高い価格性能比と冗長性 • データを3重化して格納 (バックアップの冗長化と災害対策) • • テープ バックアップ DC 間でのデータの複製 (Geo-Replication) 利用者と管理者への低負荷 (長期保管) 運用管理ツールによるバックアップ Dynamics System Center DPM SP1 Windows Azure Online Backup OS の標準機能によるバックアップ Windows Server 2012 Windows Azure Online Backup アプライアンス機器を利用した バックアップ Storsimple プライベート クラウド リソースプール 70 まとめ 72 73 © 2014 Microsoft Corporation. All rights reserved. Microsoft, Windows, and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries. The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.
© Copyright 2025 ExpyDoc