SPARC M10 / Oracle VM Server for SPARC 設計のポイント 2014年12月(第1版) 富士通株式会社 Copyright 2014 FUJITSU LIMITED はじめに 目的 SPARC M10 は、サーバ仮想化機能 Oracle VM Server for SPARC を使用できます。 Oracle VM Server for SPARC は豊富な機能を有しておりますが、 本書では特に有用な機能と当社がお勧めする仮想化設計の方式を解説します。 対象読者 SPARC M10とOracle VM Server for SPARC の導入を検討されている方 Oracle Solaris, Oracle VM Server for SPARC の基礎知識を有している方 対象環境 サーバ : SPARC M10 (SPARC M10-1, SPARC M10-4) Oracle VM Server for SPARC のバージョン : 3.1 OS : Oracle Solaris 11.1 / 11.2 ※この環境以外では一部の機能や設計方法が使用できない場合があります。ご注意ください。 留意事項 本書では、Oracle Solaris を 「Solaris」、Oracle VM Server for SPARC を 「Oracle VM」 と省略して表記する場合があります。 参考情報 Oracle VM Server for SPARC を使ってみよう • http://jp.fujitsu.com/platform/server/sparc/technical/document/#ovm-use-11 Oracle VM Server for SPARC Documentation (オラクル社) • http://www.oracle.com/technetwork/documentation/vm-sparc-194287.html 1 Copyright 2014 FUJITSU LIMITED 目次 1. Oracle VM の基礎知識 4. 設計サンプル Oracle VM Server for SPARC の概要 Oracle VM を構成するドメイン パターン1. 基本パターン パターン2. 独立性重視パターン パターン3. 応用パターン 2. Oracle VM の構築パターン 5. ライブマイグレーション パターン1. 基本パターン パターン2. 独立性重視パターン ライブマイグレーションの概要 留意事項 設計のポイント 3. リソース設計のポイント リソース割り当ての基礎知識 CPUの割り当て メモリの割り当て 物理I/Oの割り当て 仮想I/O(ネットワーク)の割り当て 仮想I/O(ディスク)の割り当て 仮想コンソールの割り当て 2 Copyright 2014 FUJITSU LIMITED 1. Oracle VM の基礎知識 最初に、Oracle VMの概要や 基本的な用語について解説します。 3 Copyright 2014 FUJITSU LIMITED Oracle VM Server for SPARC の概要 Oracle VM Server for SPARC の構造 Oracle VMは、ファームウェア層でサーバを論理的に分割する仮想化機能です。 筐体内に、「ドメイン」と呼ばれる仮想マシンを構築し、 各ドメインで独立したSolaris(Solaris 10 or Solaris 11)環境を実現できます。 ドメインの管理 各ドメインには、CPU・メモリ・(仮想)I/Oを自由に割り当てることができます。 また、ドメインは個々に起動・停止することができます。 ドメインの操作性 ドメイン(仮想環境)のOSの設定や操作方法は、従来(物理環境)とほとんど変わりません。 既存の物理環境を仮想環境に移行しても、同等の運用・管理が可能です。 ドメイン=仮想マシン Solaris 仮想化集約 (Oracle VM) Solaris ドメインA ドメインB ドメインC Solaris Solaris Solaris ファームウェア ハードウェア Solaris 4 Copyright 2014 FUJITSU LIMITED Oracle VM を構成するドメイン Oracle VM Server for SPARC を構成するドメインは大きく分けて4種類です。 制御ドメイン (サービスドメイン) ゲストドメイン ゲストドメイン I/Oルートドメイン Solaris Solaris Solaris Solaris OS 仮想サービス 仮想I/O 仮想I/O 物理I/O ファームウェア ハードウェア 物理I/O 物理I/O 制御ドメイン Oracle VMの管理(ドメインの作成やリソースの割り当てなど)を行うドメインです。 サービスドメイン 仮想ディスクや仮想スイッチなどの仮想サービス(※)を提供するドメインです。 基本的に制御ドメインまたはI/Oルートドメインがサービスドメインとなります。 I/Oルートドメイン 物理I/Oデバイス(PCIカードやディスクなど)に直接アクセスできるドメインです。 ゲストドメイン 仮想サービス(※)を利用し、業務アプリケーションを動作させるドメインです。 ※仮想サービスについて 物理I/Oデバイスより仮想サービスを作成し、他のドメインに仮想的なI/Oデバイスを割り当てることができます。 これにより、1つの物理NICや物理ディスクを元に、複数の仮想環境(ゲストドメイン)のI/Oを構築することができます。 5 Copyright 2014 FUJITSU LIMITED 制御ドメイン / サービスドメイン 制御ドメイン • • Oracle VM 環境の管理(ドメインの作成やリソースの割り当てなど)を行うドメインです。 サーバごと(ハードウェアパーティションごと)に必ず1つ構築されます。 サービスドメイン • 仮想ディスクや仮想ネットワークなどの仮想デバイスを他のドメインに提供するドメインです。 ※ 通常、制御ドメインやI/Oルートドメインがサービスドメインの役割を兼ねています。 制御ドメイン (サービスドメイン) Solaris Oracle VM Software 仮想スイッチ サービス 仮想ディスク サービス ゲストドメイン Solaris 仮想NIC 仮想ディスク ファームウェア ハードウェア 物理NIC 物理ディスク 6 他のドメインに 仮想I/Oを提供 Copyright 2014 FUJITSU LIMITED I/Oルートドメイン / ゲストドメイン I/Oルートドメイン • • 物理I/Oデバイス(PCIカードやディスクなど)を割り当てられたドメインです。 サービスドメインとして、他のドメインに仮想I/Oを提供することもできます。 ゲストドメイン • • 物理I/Oデバイスの代わりとして、サービスドメイン(制御ドメインもしくは、I/Oルートドメイン) から提供される仮想I/Oデバイスを使用するドメインです。 Oracle VMでは通常、ゲストドメインを複数構築して、仮想化集約を実現します。 制御ドメイン (サービスドメイン) ゲストドメイン ゲストドメイン I/Oルートドメイン (サービスドメイン) ゲストドメイン Solaris Solaris Solaris Solaris Solaris 仮想I/O 仮想I/O 仮想サービス 仮想I/O Oracle VM Software 仮想サービス ファームウェア ハードウェア 物理I/O ゲストドメインは 仮想化された I/Oデバイスを使用 物理I/O I/Oルートドメインは I/Oデバイスを直接使用 7 Copyright 2014 FUJITSU LIMITED 2. Oracle VMの構築パターン Oracle VM には様々な種類のドメインがありますが、 それらを複雑に使いこなして、設計する必要はありません。 本章では、代表的な2つの構築パターンを解説します。 8 Copyright 2014 FUJITSU LIMITED 構築パターンの概要 本書では2種類のOracle VM構築パターンを紹介します。 パターン1. 基本パターン パターン2. 独立性重視パターン 仮想化構成図 ゲスト ドメイン ゲスト ドメイン 仮想化構成図 ゲスト ドメイン 制御 ドメイン 制御ドメイン (サービスドメイン) I/O ルート ドメイン I/O ルート ドメイン I/O ルート ドメイン 構築概要 制御ドメインとゲストドメインのみで構成されます。 制御ドメインはサービスドメインとして、 ゲストドメインに仮想I/Oを提供します。 構築概要 ゲストドメインは使用せず、 I/Oルートドメインのみを構築する構成です。 特長 全てのサーバで構築可能で、 柔軟性の高い構成です。 特長 仮想環境間の障害隔離性が高い構成です。 次ページより各構築パターンの詳細を解説します。 9 Copyright 2014 FUJITSU LIMITED パターン1. 基本パターン (1/2) 概要 ゲストドメインで業務を稼動させる、Oracle VMの基本構成です。 I/Oルートドメインを作成せず、制御ドメインに全ての物理I/Oを割り当てます。 制御ドメインがサービスドメインとなり、全ての仮想I/Oを提供します。 構成イメージ ゲストドメインに業務を集約 ゲストドメイン1 ゲストドメイン2 業務A 仮想 ディスク 業務B 仮想 LAN 仮想 ディスク 制御ドメイン (サービスドメイン) 業務C 仮想 LAN 仮想 ディスク 仮想 LAN 仮想サービス (仮想ディスクサービス / 仮想スイッチサービス) 物理ディスク HDD ゲストドメイン3 物理ネットワークデバイス HDD HDD NIC ・・・ 10 NIC NIC ・・・ Copyright 2014 FUJITSU LIMITED パターン1. 基本パターン (2/2) 特長 Oracle VM に対応した全てのサーバで構成できます。 柔軟性が高く、業務稼動中の環境変更が可能です。 • CPU, メモリ, 仮想 I/Oリソースの追加 • 他サーバへの業務システムの移動(ライブマイグレーション) 留意事項 制御ドメイン(サービスドメイン)に障害が発生した場合は、仮想I/Oが使用不可となり、 全ての業務システムが停止します。 本事象の対策としては、 以下のいずれかを導入する必要があります。 ゲストドメイン ゲストドメイン ゲストドメイン 業務I/O 仮想 業務I/O 仮想 業務I/O 仮想 停止 停止 • パターン2. 独立性重視パターンを導入 (次ページ以降を参照) 制御ドメイン • ゲストドメインを含めたクラスタ環境を構築 仮想サービス (PRIMECLUSTER, Oracle Solaris Cluster など) 停止 障害発生 物理サーバと比較して、ゲストドメインのI/O(ネットワーク, ディスク)の 性能が低下する場合があります。(下記理由) • I/Oのアクセスはサービスドメインを経由するため、オーバーヘッドが発生する。 • I/Oを複数のゲストドメインで共有するため、 あるゲストドメインのI/Oの負荷が他のゲストドメインのI/O性能に影響を与える。 11 Copyright 2014 FUJITSU LIMITED パターン2. 独立性重視パターン (1/2) 概要 I/Oルートドメインで、業務システムを稼動させます。 ゲストドメイン・仮想I/Oは使用しません。 構成イメージ I/Oルートドメインに業務を集約 I/Oルートドメイン1 I/Oルートドメイン2 業務A 制御 ドメイン HDD NIC I/Oルートドメイン3 業務B HDD NIC 12 業務C HDD NIC Copyright 2014 FUJITSU LIMITED パターン2. 独立性重視パターン (2/2) 特長 独立性・障害隔離性の高い設計パターンです。 • I/Oが各ドメインで独立しているため、物理サーバと同等のI/O性能を確保できます。 • どのドメインが停止しても他のドメインには影響を与えません。 • 制御ドメインが停止した場合も、業務継続可能です。 I/Oの構成がシンプルな仮想化環境を構築できます。 • ディスクやポート(LAN/FC)を各I/Oルートドメインで占有させるため、 構成が分かりやすく、保守性に優れています。 CPU ・ メモリリソースを有効活用できます。 • 仮想I/O用のサービスドメインを構築しないため、 CPU・メモリリソースを業務システムへ集中させることができます。 留意事項 多数の業務システム(OS)を集約することはできません。 • SPARC M10-4(2CPUモデル) : 2~3 環境程度の集約 • SPARC M10-4(4CPUモデル) : 2~6 環境程度の集約 業務稼動中の構成変更には一部の制限があります。 • 業務システムのライブマイグレーション不可 • 業務システムへの物理I/O(ルートコンプレックス)の動的追加・削除不可 (3章 「物理I/Oの割り当て (2/4)」 参照 ) PCIeバスを意識した、物理I/O設計が必要です。 (3章 「物理I/Oの割り当て」 参照) 13 Copyright 2014 FUJITSU LIMITED 各構築パターンの特長比較 パターン1. 基本パターン パターン2. 独立性重視パターン 対象サーバ SPARC M10-1 / M10-4 SPARC M10-4 耐障害性 (障害隔離性) 制御ドメイン障害時、 全業務システム停止 △ ◎ I/Oの性能オーバーヘッド ○ が生じる場合がある(※1) ◎ CPU・メモリ・I/Oの オーバーヘッド無し ◎ ほぼ制限なし ( 2~256 ドメイン) △ 多数の集約は不可 ( 2~6 ドメイン程度) 業務システムの リソース変更 ◎ CPU・メモリ・仮想I/O の動的変更可能 ○ CPU・メモリの 動的変更可能 業務システムの ◎ 性能 ドメインの数(※2) 柔 軟 性 仮想環境障害時は、 他の環境に影響なし ライブマイグレーション × 可能 不可 (※1) CPU・メモリの性能オーバーヘッドはありません。 (※2) 制御ドメインなどのサービスドメインを含めた、構築可能なドメインの数を記述しています。 14 Copyright 2014 FUJITSU LIMITED 3. リソース設計のポイント 各ドメインには、CPU・メモリ・物理I/O・仮想I/Oなどの リソースを割り当てる必要があります。 本章ではリソース割り当てに関する、基本的なルールと 推奨する設計指針を解説します。 15 Copyright 2014 FUJITSU LIMITED リソース割り当ての基礎知識 CPU・メモリ パターン 1 & 2 本章では各ページの右上に、関連する構築パターン (パターン1, パターン2, パターン1 & 2) を表示しています。 各ドメインに占有させて割り当てます。 • リソースプール化・ドメイン間で共用させることはありません。 (例:Oracle Solaris ゾーン) 各ドメインに割り当てるメモリ容量の合計は、 物理的に搭載しているメモリ容量よりも2GB小さくする必要があります。 割り当ての変更は、動的(ドメインが起動した状態)に実行可能です。 サーバ仮想化による性能オーバーヘッドはありません。 • 業務稼動用のドメインに割り当てるリソースの量(CPUコア数 / メモリ容量)は、 従来の物理サーバと同様に見積もり・決定します。 (サービスドメインのCPU・メモリリソースは別途確保しておく必要があります) オーバーコミット機能(物理搭載以上のCPUやメモリを擬似的に割り当てる機能)はありません。 • 各ドメインに必要となるリソース、拡張予定のリソースを満たす、 CPU・メモリが搭載されたサーバを導入します。 I/O(物理I/O・仮想I/O) I/Oの割り当てには以下の2種類があります。 • 「物理」I/Oの割り当て : ドメインにI/Oを「占有」させる(I/Oルートドメイン) • 「仮想」I/Oの割り当て : 複数のドメインでI/Oを「共有」させる(ゲストドメイン) 動的に割り当てを変更できるのは、「仮想」I/Oのみです。 • 物理I/Oの構成を変更する場合、事前にドメインを停止させる必要があります。 16 Copyright 2014 FUJITSU LIMITED CPUの割り当て (1/2) パターン 1 & 2 CPUは各ドメインに割り当てる量を 「コア単位 or スレッド単位」 で指定します。 3種類の割り当て方式があり、ドメイン毎に選択することができます。 ① コア数 指定(コア単位) ② コアID 指定(コア単位) ③ スレッド数 指定(スレッド単位) : CPUのコア数を指定 : CPUのコアID(物理的な位置)を指定 : CPUのスレッド数を指定 割り当てるCPUコアやスレッドの数は動的に変更可能です。 制御ドメイン (CPU : 2コア) 0 1 2 :コア :スレッド ゲストドメイン (CPU : 3スレッド) 3 0 1 CPUチップ 2 ① コア数 指定 ③ スレッド数 指定 0 1 2 3 4 5 6 7 8 9 ・・・ SPARC64 X+ (1CPU / 16core) 17 Copyright 2014 FUJITSU LIMITED CPUの割り当て (2/2) パターン 1 & 2 CPUの割り当ては、 「 ① コア数 指定 」 を推奨します。 以下の通り、性能・信頼性・柔軟性に優れた割り当て方式です。 より細かい粒度でCPUを割り当てる場合は、「 ③ スレッド数指定 」 を使用します。 未使用のCPUコア(ライセンス購入・有効化していないコア)を1コア以上確保します。 「CPUコアの自動交替機能(次ページ参照)」を有効にするためです。 ① コア数指定 ② コアID指定 ③ スレッド数指定 ○ ・問題なし ・最適割当可(※1) △ 性能が低下する 可能性(※2) 性能 ○ 問題なし CPUコアの 自動交替機能 ○ 対応 × 非対応 ○ 対応 動的構成変更 (柔軟性) ○ 可能 × 不可 ○ 可能 割り当ての粒度 △ CPUコア単位 △ CPUコア単位 ○ CPUスレッド単位 (※1) ドメインの各CPUコアの位置を指定することで、より性能に優れた環境を構築可能です。 (高度な設計のため、本書ではその詳細について記述していません。) (※2) 同一コア内のCPUスレッドを別々のドメインに割り当てた場合、 片方のドメインの負荷が高くなると、もう片方のドメインの性能に影響を与えることがあります。 18 Copyright 2014 FUJITSU LIMITED 【ご参考】 交替コアによる性能確保と運用継続 SPARC M10 のCPUコアの自動交替機能により、 CPUコアに異常が生じても、ドメインの性能を維持したまま業務を継続できます。 ドメインのCPUコアに異常が発生 ゲストドメイン1 制御ドメイン CPU CPU 当該のCPUが動的に縮退 ゲストドメイン2 CPU CPU CPU CPU CPU CPU CPU CPU 異常 CPUコア 未使用のCPUコアを自動的に割り当て CPU 自動 割り当て 未使用のCPUコア(ライセンス購入なし) CPUリソースを維持して、業務継続 CPU CPU CPU CPU CPU CPU ※SPARC M10のみ、有効な機能です。 SPARC M10-1(16CPUコア搭載) ・このときに自動で割り当てられる分のCPUコアアクティベーション(CPUのライセンス)を 購入しておく必要はありません。 ※上図の場合、10CPUコア分の購入でOKです。 ・「未使用のCPUコア(CPUコア アクティベーションで有効化していないコア)」を用意しておく必要があります。 ・詳細は、以下をご参照ください。 [初期投資を抑制しつつ、業務拡張や異常時にも柔軟に対応するCPUコア アクティベーション] http://jp.fujitsu.com/platform/server/sparc/technology/scalability/cod/ 19 Copyright 2014 FUJITSU LIMITED メモリの割り当て (1/2) パターン 1 & 2 メモリは各ドメインに割り当てる容量を 「MB単位 or GB単位」 で指定します。 メモリ容量は、「4MB」の倍数で指定します。 ドメインを停止させずに割り当て容量を変更(追加 or 削減)したい場合は、 メモリの変動サイズが 「256MB単位」 となるように、指定します。 ドメインを停止させる場合は、256MB単位である必要はありません。 各ドメインに、割り当てるメモリ容量のみを指定 ハードウェア メモリ 制御ドメイン ゲストドメイン1 ゲストドメイン2 8GB 16GB 12GB 512MB 動的に追加・削減する場合は、 256MB単位で容量を指定 20 Copyright 2014 FUJITSU LIMITED メモリの割り当て (2/2) パターン 1 & 2 各ドメインには、「4GB」以上のメモリを割り当てます。(①) トータルで、「2GB」以上の余裕を確保します。(②) SPARC M10-1 / M10-4 では、ファームウェアが「約2GB」のメモリを消費します。 例えば「64GB」のメモリが搭載されたサーバの場合、 ドメインに割り当てたメモリの合計が「62GB」以下になるように、設計します。 業務稼動中のメモリ追加を想定する場合は、さらに余裕を確保します。 業務稼動中のメモリ削減は実行できないケースがあります。ご注意ください。 ドメインのOSやミドルウェアなどがメモリを大量に使用している場合、 動的な削減ができない、もしくは少ない容量のメモリしか削減できないことがあります。 ドメインを一度停止させれば、自由にメモリを削減させることができます。 ハードウェア メモリ ② 2GB以上の余裕 (この場合は、約20GB) 制御ドメイン ゲストドメイン ゲストドメイン 8GB 20GB 16GB ① 4GB以上のメモリ割り当て 21 SPARC M10-1 (64GBメモリ搭載) Copyright 2014 FUJITSU LIMITED 物理I/Oの割り当て (1/4) パターン 2 物理I/OはPCI Express のバス単位(以下、PCIeバス)でドメインに割り当てます。 PCIeバスは、ルートコンプレックス(Root Complex)と呼ばれることもあります。 PCIeバスを割り当てられたドメインがI/Oルートドメインです。 PCIeバスとI/Oデバイス(オンボードデバイスやPCIスロットなど)の関係は、 サーバの種類やそのハードウェア構成によって異なります。 SPARC M10-1では2つのPCIeバス, SPARC M10-4では4つまたは8つの PCIeバスがあります。 (詳細は 物理I/Oの割り当て (3/4) 以降を参照) 物理I/Oは PCIeバス単位で割り当て ハードウェア 制御ドメイン PCIeバス #0 I/Oルートドメイン2 PCIeバス #1 PCIeバス #2 PCIeバス #3 PCI slot PCI slot PCI slot PCI slot PCI slot PCI slot PCI slot PCI slot PCI slot PCI slot PCI slot 内蔵ディスク・ポート I/Oルートドメイン1 PCIeバスごとに使用できるI/Oデバイスは異なる SPARC M10-4 (2CPU / PCIeバス×4) 22 Copyright 2014 FUJITSU LIMITED 物理I/Oの割り当て (2/4) パターン 2 PCIeバス#0(内蔵ディスクや内蔵LANポートを含む)は 基本的に制御ドメインへ割り当て、残りのPCIeバスを任意のドメインに割り当てます。 I/OルートドメインにPCIカードを追加搭載するときなど、 PCIeバスの割り当てを変更する場合は、 事前に当該のドメインを停止(制御ドメインの場合はリブート)させる必要があります。 I/Oルートドメイン1 制御ドメイン ハードウェア PCIeバス #0 PCIeバス #1 I/Oルートドメイン2 PCIeバス #3 PCIeバス #2 PCIeバス #3 PCI slot PCI slot PCI slot PCI slot PCI slot PCI slot PCI slot PCI slot PCI slot PCI slot PCI slot PCI slot PCI slot PCI slot PCI slot 物理I/Oの割り当て変更 上図のような割り当て変更を実施する場合は、 I/Oルートドメイン1, I/Oルートドメイン2 を両方停止させます。 23 Copyright 2014 FUJITSU LIMITED 物理I/Oの割り当て (3/4) パターン 2 SPARC M10-4 (2CPUモデル) の物理I/O構成 合計4個のPCIeバスが存在します。 • I/Oルートドメインは3つまで構築可能です。(1つのPCIeバスは制御ドメインに割り当て) PCIeバス#0には、内蔵(オンボード)のI/Oデバイスが全て含まれます。 • PCI Expressのスロットは含まれません。 PCIeバス#1~#3には、3~4個のPCI Expressのスロットが含まれます。 PCIeバス #0 PCIeバス #1 PCI スロット #10 PCI スロット #9 PCI スロット #8 PCI スロット #7 内蔵SAS・USBポート PCIeバス #3 PCI スロット #6 PCI スロット #5 PCI スロット #4 PCI スロット #3 USB 内蔵LANポート (#0~#3) PCI スロット #2 USB PCI スロット #1 ・ ・ ・ 内蔵ディスク (#0~#7) USB PCI スロット #0 SAS PCIeバス #2 SPARC M10-4 (2CPU / PCIeバス×4) 24 Copyright 2014 FUJITSU LIMITED 物理I/Oの割り当て (4/4) パターン 2 SPARC M10-4 (4CPUモデル) の物理I/O構成 合計8個のPCIeバスが存在します。 • 通常、I/Oルートドメインは6ドメインまで作成します。(以下理由) • PCIeバス#0は制御ドメインに割り当て • PCIeバス#1(PCIスロット×1)やPCIeバス#4(内蔵LANポート×2)は、他のPCIeバスと合わせて割り当て PCIeバス#0および#4には、内蔵(オンボード)のI/Oデバイスのみが含まれます。 PCIeバスの番号とPCI Expressのスロット番号の順番が異なるため、 注意が必要です。 内蔵LAN ポート (#2~#3) PCI スロット #5 PCI スロット #9 PCI スロット #10 PCIeバス #7 PCI スロット #6 PCIeバス #6 PCI スロット #2 PCIeバス #5 PCI スロット #1 内蔵LAN USB ポート (#0~#1) 内蔵SAS・USBポート 内蔵ディスク (#0~#7) PCIeバス #4 PCI スロット #8 USB PCIeバス #3 PCI スロット #4 ・ ・ ・ USB PCI スロット #0 SAS PCIeバス #2 PCI スロット #7 PCIeバス #1 PCI スロット #3 PCIeバス #0 SPARC M10-4 (4CPU / PCIeバス×8) 25 Copyright 2014 FUJITSU LIMITED 【ご参考】 SPARC M10-1の物理I/O構成 SPARC M10-1 の物理I/O構成 合計2個のPCIeバスが存在します。 • 本書では、制御ドメインに全てのPCIeバスを割り当て、 I/Oルートドメインは構築せず、ゲストドメインのみ構築することを推奨します。(基本パターン) PCIeバス#0には、全ての内蔵ディスク・内蔵SAS,USBポートが含まれます。 • SPARC M10-4 でも同様です。 PCIeバス #0 内蔵LAN ポート (#2~#3) PCI スロット #2 USB 内蔵ディスク 内蔵LAN (#0~#7) 内蔵 ポート SAS・ USBポート (#0~#1) PCI スロット #1 ・ ・ ・ USB PCI スロット #0 SAS PCIeバス #1 SPARC M10-1 (1CPU / PCIeバス×2) 26 Copyright 2014 FUJITSU LIMITED 仮想I/O(ネットワーク)の割り当て (1/5) パターン 1 サービスドメイン(制御ドメイン or I/Oルートドメイン)の 物理LANポートを1つ指定して、仮想スイッチ(vsw)を構築します。 仮想スイッチを元に仮想LANポート(vnet)を作成し、ゲストドメインに割り当てます。 vnet は物理LANポートと同様に、ゲストドメインのOS上で設定・使用できます。 デバイスの有効化, IPアドレスの設定 ネットワークの冗長化設定 (IPMP, PRIMECLUSTER GLS) 1つのvswから複数のvnetを作成して、別々のドメインに割り当てることができます。 (物理LANポートの共用) ゲストドメイン1 制御ドメイン (サービスドメイン) 仮想スイッチ (vsw0) 仮想スイッチ (vsw1) 物理LAN (NIC0) 物理LAN (NIC1) 仮想LAN (vnet0) 仮想LAN (vnet1) ゲストドメイン2 仮想LAN (vnet0) ファームウェア ハードウェア 本書では、物理LANポートを「NIC」と表記します。 27 Copyright 2014 FUJITSU LIMITED 仮想I/O(ネットワーク)の割り当て (2/5) パターン 1 vnet は物理LANと同様、冗長化設計が可能です。以下2種類の方法があります。 2つの物理LANポートより、vsw と vnet をそれぞれ構築して、ゲストドメインで冗長化 ※Solaris標準のIPMP や PRIMECLUSTER GLSなどを使用 複数の物理LANポートをLink Aggregation で集約させて、仮想スイッチを構築 ※Solaris標準のLink Aggregationを使用 ゲストドメイン1 ゲストドメイン2 IPMP 制御 ドメイン vnet0 vnet1 vnet0 vsw0 vsw1 vsw2 aggr0 NIC0 NIC1 NIC2 28 NIC3 Link Aggregation NIC4 Copyright 2014 FUJITSU LIMITED 仮想I/O(ネットワーク)の割り当て (3/5) ゲストドメインのネットワーク性能を を優先して構築する場合は、 物理ネットワークデバイスを 1つのゲストドメインで 占有させることを推奨します。 (下記いずれかの設計) パターン 1 ゲストドメイン1 ゲストドメイン2 vnet0 vnet0 制御 ドメイン vsw1 vsw0 物理LANポートを占有 (ゲストドメイン1) Link Aggregation で作成した デバイスを占有 (ゲストドメイン2) NIC0 29 aggr0 NIC1 NIC2 NIC3 Copyright 2014 FUJITSU LIMITED 仮想I/O(ネットワーク)の割り当て (4/5) 使用する物理LANポートの数を削減し、 柔軟な仮想ネットワーク環境を 構築する場合は、複数のゲストドメインで ネットワークデバイスを共有させます。 ゲストドメイン1 50 Mbps VLAN ID:10 帯域制御機能により、各vnetの帯域を Mbps, Gbps 単位で指定(※)できます。 ゲストドメイン2 200 Mbps IPMP vnet0 このとき、「帯域制御」 と 「VLAN」の 機能の併用が有効です。 パターン 1 IPMP vnet1 制御 ドメイン VLAN ID:20 vnet0 vsw0 vsw1 NIC0 NIC1 VLAN機能により、サブネットの 異なるネットワーク集約が可能です。 ポートVLAN(タグ無し)とタグVLAN の片方または両方の設定が可能です。 vnet1 VLAN対応 スイッチ VLAN 10 (ゲストドメイン1) VLAN 20 (ゲストドメイン2) ※物理NICの帯域を越えない範囲の値を指定する必要があります。 30 Copyright 2014 FUJITSU LIMITED 仮想I/O(ネットワーク)の割り当て (5/5) パターン 1 & 2 ドメイン間の通信には、仮想スイッチの内部ネットワーク機能が有効です。 物理LANポート無しで通信を確立することができます。 サーバ外部を経由しない通信のため、性能・セキュリティの両方で優れています。 本機能はゲストドメインだけでなく、制御ドメインやI/Oルートドメインなどの 全てのドメイン間で適用可能です。 ゲストドメイン1 ゲストドメイン2 vnet2 vnet2 制御 ドメイン ゲストドメイン間の内部通信 NIC0 NIC1 I/Oルートドメイン1 vnet2 vsw3 I/Oルートドメインとの 通信にも使用可能 NICx 31 Copyright 2014 FUJITSU LIMITED 仮想I/O(ディスク)の割り当て (1/2) パターン 1 サービスドメイン(制御ドメイン or I/Oルートドメイン)に仮想ディスクの元となる デバイス(バックエンド)を用意します。バックエンドには以下を推奨します。 物理ディスク・外部ストレージのLUN ( /dev/dsk/cXtXdXs2 ) ZFSボリューム バックエンドを仮想ディスクサービス(vds)に登録し、ゲストドメインに割り当てます。 仮想ディスク(vdisk)は、通常の物理ディスクと同様にゲストドメインで使用できます。 仮想ディスクにはターゲットIDがありません。( cXtXdXsX ⇒ cXdXsX ) バックエンドのマルチパスはゲストドメインではなく、サービスドメインで構築します。 (詳細は次ページ参照) ゲストドメイン1 制御ドメイン (サービスドメイン) vdisk0 仮想ディスクサービス (vds) ゲストドメイン2 vdisk1 vdisk0 ファームウェア ZFS pool ハードウェア SPARC M10 DISK0 DISK2ZFSDISK3 DISK1 Volume FC FC 32 外部ストレージ(FC) Copyright 2014 FUJITSU LIMITED 仮想I/O(ディスク)の割り当て (2/2) 仮想ディスクの元となるディスクのミラーリングや FC(ファイバーチャネル)のパスの冗長化は サービスドメインに構築します。 ミラーリングは2種類の方法があります。 パターン 1 ゲストドメイン1 vdisk0 ゲストドメイン2 vdisk1 vdisk0 ② ① 制御 ディスク装置のハードRAID機能を使用する ドメイン 場合は、ハードRAIDを適用したディスク・LUNを そのままゲストドメインに割り当てます。(①) DISK0 ZFS pool (RAID) DISK2 ZFS Volume DISK1 DISK4 ソフトRAID機能(OS標準のZFSなど)を使用 する場合は、ソフトRAIDによって生成された デバイスやボリュームをゲストドメインに 割り当てます。(②) FCのパスの冗長化はSolaris標準のMPxIOや ETERNUSマルチパスドライバを使用します。 FC DISK3 DISK5 FC MPxIO FC FC DISK0 DISK1 DISK4 DISK5 DISK2 DISK3 FC 接続ストレージ (ETERNUS DXシリーズなど) 33 Copyright 2014 FUJITSU LIMITED 仮想コンソールの割り当て (1/2) パターン 1 & 2 サービスドメイン(制御ドメイン or I/Oルートドメイン)に 仮想コンソールサービス(vcc)を構築します。 vcc には仮想コンソール接続に使用するポート番号の範囲を指定できます。 (5000~6000 など) vcc より、他のドメインに仮想コンソールポート(vcons)を割り当てます。 仮想コンソール接続には、telnet コマンド(プロトコル)を使用します。 各ドメインのポート番号を指定することで、 物理サーバと同様にtelnetによるコンソール接続ができます。 SSHによる仮想コンソール接続はできません。 各ドメインのポート番号は一意の値が設定 制御ドメイン ゲストドメイン1 ゲストドメイン2 仮想コンソール サービス(vcc) vcons vcons 5000 5001 サービスドメイン経由で 各ドメインにコンソール接続 5000~6000 ファームウェア ハードウェア 34 Copyright 2014 FUJITSU LIMITED 仮想コンソールの割り当て (2/2) パターン 1 & 2 仮想コンソール接続方法は、以下の2種類を設定できます。 制御ドメインにログインした後に接続 (デフォルト) 外部ネットワークから直接接続 仮想コンソール接続方法の変更は、サービスドメインの SMF(Service Management Facility)のプロパティを設定します。 SMFサービス : svc:/ldoms/vntsd プロパティ : vntsd/listen_addr 制御 ドメイン ゲスト ドメイン 制御 ドメイン ゲスト ドメイン vcc vcons vcc vcons 制御ドメインからコンソール接続 (デフォルト) [ vntsd/listen_addr = localhost ] 外部ネットワークから直接コンソール接続 [ vntsd/listen_addr = “制御ドメインのIPアドレス” ] 35 Copyright 2014 FUJITSU LIMITED 4. 設計サンプル 2章~3章ではOracle VMの2つの構築パターンと リソース設計について、解説しました。 本章ではそれらのノウハウを活用した、 各構築パターンとさらに応用的な構成の設計の一例を ご紹介します。 36 Copyright 2014 FUJITSU LIMITED パターン1. 基本パターン~CPU・メモリ・物理I/O~ SPARC M10-1 (CPU:16core / メモリ:64GB)に3つのゲストドメインを構築 未使用のCPUは2コア(CPUコアの自動交替機能用) どのドメインにも割り当てていないメモリは4GB(ファームウェアのメモリ使用容量以上) 制御ドメインに全てのI/O(PCIe バス)を割り当て 仮想I/Oサービスに必要なPCIカード(FC, LAN)を搭載 ゲストドメイン1 CPU 2core ゲストドメイン2 CPU 2core メモリ 10GB PCIeバス #0 制御ドメイン USB 内蔵SAS・USBポート 内蔵LAN ポート (#0~#1) 内蔵LAN ポート (#2~#3) 37 FCカード(2port) 内蔵ディスク (#0~#7) LANカード(4port) USB CPU 6core メモリ 10GB メモリ 24GB PCIeバス #1 FCカード(2port) ・ ・ ・ SAS ゲストドメイン3 CPU 4core メモリ 16GB Copyright 2014 FUJITSU LIMITED パターン1. 基本パターン~仮想ネットワーク~ 管理LAN(vnet0)は各ゲストドメインで1つの物理LANポートを共有 業務用の外部ネットワーク(vnet1)はLink Aggregation によるvswを使用 VLAN機能を併用して、異なるサブネットのネットワーク環境を集約 外部ネットワークが不要なゲストドメインは、 ゲストドメイン間の通信に内部ネットワーク機能を使用(vnet2) ゲストドメイン1 ゲストドメイン2 VLAN ID:10 vnet0 vnet1 VLAN ID:20 vnet0 vnet1 制御 ドメイン vnet2 vnet0 vsw1 (サービスドメイン) NIC2 vsw2 vnet2 業務LAN (内部) aggr0 vsw0 内蔵LAN (#2~#3) ゲストドメイン3 NIC3 NIC0 NIC1 内蔵LAN (#0~#1) 業務LAN (外部) 管理LAN 38 増設LAN カード NIC4 NIC5 NIC6 NIC7 ※内蔵LANポートの表記順序(NICx)を変更しています。 Copyright 2014 FUJITSU LIMITED パターン1. 基本パターン~仮想ディスク~ 制御ドメインのシステムディスクは内蔵HDDを使用 OS 標準のZFSによるミラーリングを構築 ゲストドメインの仮想ディスクには、ストレージ装置のディスク(LUN)を使用 ゲストドメイン上の冗長化設定は不要(ストレージ装置のハードRAID機能を使用) FC のパスの冗長化はOS標準のMPxIOを使用 ゲストドメイン1 vdisk0 (システム) ゲストドメイン2 vdisk1 (データ) vdisk0 (システム) ゲストドメイン3 vdisk1 (データ) vdisk0 (システム) 制御ドメイン vdisk1 (データ) MPxIO (サービスドメイン) DISK0 内蔵 HDD0 内蔵 HDD1 DISK1 DISK4 DISK2 DISK3 DISK5 FC FC FC FC ZFSミラー FC 接続ストレージ (ETERNUS DXシリーズなど) 39 Copyright 2014 FUJITSU LIMITED パターン2. 独立性重視パターン SPARC M10-4(2CPUモデル, CPU:32core / メモリ:128GB) に3つのI/Oルートドメインを構築 I/Oルートドメインは全てSAN Boot構成(PCIeバスを1つずつ割り当て) 各業務に必要なI/O(PCIカード)を搭載 制御ドメイン CPU 2core メモリ 6GB PCIeバス #0 メモリ 30GB I/Oルートドメイン3 CPU 8core メモリ 40GB CPU 8core メモリ 40GB PCIeバス #2 PCIeバス #3 FCカード(2port) LANカード(4port) FCカード(2port) LANカード(4port) FCカード(2port) LANカード(4port) FCカード(2port) LANカード(4port) FCカード(2port) 内蔵LANポート (#0~#3) FCカード(2port) USB LANカード(4port) ・ ・ ・ USB USB CPU 6core I/Oルートドメイン2 PCIeバス #1 SAS 内蔵ディスク (#0~#7) I/Oルートドメイン1 内蔵SAS・USBポート 40 Copyright 2014 FUJITSU LIMITED パターン3. 応用パターン(基本+独立性重視) 基本パターンと独立性重視パターンを併用して、設計することも可能です。 仮想化構成概要 ゲストドメイン • WebサーバやAPサーバなどの柔軟なスケールアップ(リソース変更)やスケールアウト(ドメイン追加)を 必要とするシステムは柔軟性の高いゲストドメインに構築しています。 I/Oルートドメイン • DBサーバなどの信頼性・I/O性能を重視するシステムは、 他ドメインの影響を受けにくく、独立性に優れたI/Oルートドメインに構築しています。 ゲストドメイン1 ゲストドメイン2 業務A 仮想 ディスク ゲストドメイン3 業務B 仮想 LAN 仮想 ディスク I/Oルートドメイン1 業務C 仮想 LAN 業務D 仮想 LAN 仮想 ディスク 制御ドメイン (仮想ディスクサービス / 仮想スイッチサービス) (サービスドメイン) 仮想サービス 物理ディスク HDD 物理ディスク/物理NIC 物理ネットワークデバイス HDD HDD ・・・ NIC NIC 41 NIC ・・・ HDD NIC Copyright 2014 FUJITSU LIMITED パターン3. 応用パターン~CPU・メモリ・物理I/O~ SPARC M10-4 (4CPUモデル, CPU:64core / メモリ:256GB)を使用 制御ドメインには仮想サービスに必要となるPCIeバスを割り当て PCIスロット#8, PCIeバス#4は、ゲストドメイン追加用として用意 I/Oルートドメインには業務システム要件を満たす、PCIeバスを割り当て ゲストドメイン1 CPU 4core CPU 8core メモリ 16GB 制御ドメイン ゲストドメイン2 CPU 8core PCIeバス #0 PCIeバス PCIeバス PCIeバス PCIeバス #1 #2 #3 #4 PCIeバス PCIeバス PCIeバス #5 #6 #7 PCI スロット #10 LANカード(4port) PCI スロット #6 FCカード(2port) LANカード(4port) 内蔵LAN ポート (#2~#3) FCカード(2port) 42 PCI スロット #8 FCカード(2port) LANカード(4port) FCカード(2port) LANカード(4port) ・ ・ ・ USB USB メモリ 40GB メモリ I/Oルート CPU 24core 80GB ドメイン1 内蔵LAN ポート (#0~#1) 内蔵SAS・USBポート 内蔵ディスク (#0~#7) CPU 8core メモリ 40GB メモリ 32GB SAS USB ゲストドメイン3 Copyright 2014 FUJITSU LIMITED パターン3. 応用パターン~仮想ネットワーク~ 管理LAN(vnet0)は各ゲストドメインで1つの物理LANポートを共有 外部ネットワークとして、ゲストドメインで物理LANポートを占有(vnet1_0, vnet1_1) 2つのLANポートを割り当て、ゲストドメイン上でIPMPによる冗長化 ドメイン間の通信には、内部ネットワーク機能を使用(vnet2) ゲストドメイン1 ゲストドメイン2 IPMP vnet0 vnet1_0 vnet1_1 ゲストドメイン3 IPMP vnet0 vnet1_0 vnet1_1 vnet2 vnet0 I/Oルート ドメイン1 vnet2 vnet2 制御 ドメイン (サービス ドメイン) 内蔵LAN (#0~#1) vsw1_0 vsw2_0 vsw0 NIC0 管理LAN vsw1_1 vsw2_1 増設LAN カード 増設LAN カード NIC1 NIC4 vsw3 NIC5 NIC8 業務LAN (外部) 43 NIC9 業務LAN (内部) NICx ※仮想I/Oに使用しない物理LANポートは省略しています。 Copyright 2014 FUJITSU LIMITED パターン3. 応用パターン~仮想ディスク~ 制御ドメイン, ゲストドメインはパターン1. の構成例と同様 制御ドメインの起動ディスクは内蔵ディスク, 仮想ディスクは外部ストレージのLUNを使用 I/Oルートドメインは外部ストレージによるSAN Boot 構成 ゲストドメイン1 ゲストドメイン2 ゲストドメイン3 vdisk0 vdisk1 vdisk0 vdisk1 vdisk0 vdisk1 (システム) (データ) (システム) (データ) (システム) (データ) I/Oルートドメイン1 制御ドメイン (サービスドメイン) 内蔵 HDD0 内蔵 HDD1 DISK0 DISK2 DISK1 ZFSミラー DISK4 DISK3 FC DISK5 FC DISK0 DISK1 システム ボリューム データ ボリューム FC MPxIO FC MPxIO FC 接続ストレージ (ETERNUS DXシリーズなど) 44 Copyright 2014 FUJITSU LIMITED 5. ライブマイグレーション Oracle VM には起動中の仮想環境を他のサーバへ 移動させる、ライブマイグレーション機能を備えております。 本章ではライブマイグレーションを使用するための 設計指針と留意事項を解説します。 45 Copyright 2014 FUJITSU LIMITED ライブマイグレーションの概要 ライブマイグレーションにより、ゲストドメインの業務・アプリケーションを動作させたまま、 他のサーバへ移動させることができます。 Live migration ゲスト ドメイン1 ゲスト ドメイン2 ゲスト ドメイン3 ゲスト ドメイン4 ゲスト ドメイン3 業務A 業務B 業務C 業務D 業務C 制御ドメイン (サービスドメイン) 制御ドメイン (サービスドメイン) 移行元サーバ 移行先サーバ ゲストドメインのリソース(CPU・メモリ・仮想I/O)はそのままで移動します。 ライブマイグレーションは主に以下の用途で、使用することができます。 ・ 業務システム稼動中のサーバの保守・メンテナンス ・ハードウェアリソースの最適化 (CPU・メモリリソースが余っているサーバへゲストドメインを移動させる、など) 46 Copyright 2014 FUJITSU LIMITED 留意事項 ライブマイグレーションは「クラスタ」に該当する機能ではありません。 ライブマイグレーションは 「移行元サーバの制御ドメイン」 で実行させる機能です。 そのため、サーバ全体もしくは制御ドメインに障害が発生した場合は、 ライブマイグレーションが実行できません。 ライブマイグレーションは「ゲストドメイン」に対する機能です。 ドメインに割り当てるI/Oは、全て「仮想I/O」にする必要があります。 SPARC M10 の CPUコア アクティベーション機能との併用は、 以下の資料をご参照ください。 一時的にゲストドメインのCPUリソースを減らすことで、 CPUコア アクティベーションも移行先のサーバへ移動させることができます。 • ご参考 : Technical Park 「ビジネスの変化にスピーディに対応するSPARC M10」 http://jp.fujitsu.com/platform/server/sparc/technical/document/#server-resource 予め各ミドルウェアのライセンス形態をご確認ください。 移行元サーバと移行先サーバの両方のライセンス費用が必要となるミドルウェアもあります。 仮想コンソールのポート番号が変わることがあります。 ライブマイグレーションされたゲストドメインには自動で仮想コンソールの再設定が実行されます。 そのため、仮想コンソールサービス・ポート番号が変更されることがあります。 47 Copyright 2014 FUJITSU LIMITED 設計のポイント (1/4) ゲストドメイン 制御ドメイン ③ vsw vds NIC DISK vnet ゲストドメイン 制御ドメイン ③ vdisk vsw vds NIC DISK vnet CPU vdisk MEM ① ② 移行元 サーバ DISK ④ 移行先 サーバ 共有ストレージ装置 設計のポイントは以下の4つです。(詳細は次ページ以降) ① ② ③ ④ 移行先サーバでCPU・メモリリソースを確保 仮想ディスクのバックエンドを共有ストレージに配置 同一の仮想I/Oサービスの定義 移行先サーバに対応した「cpu-arch」プロパティの設定 48 Copyright 2014 FUJITSU LIMITED 設計のポイント (2/4) ① 移行先サーバでCPU・メモリリソースを確保 移行先サーバ における注意事項です。 移行先サーバにゲストドメインのリソースを余らせておく必要があります。 CPUはゲストドメインに割り当てたリソースと同数のCPUコア (スレッド単位の割り当ての場合はCPUスレッド)を余らせておきます。 メモリはゲストドメインと同容量以上のメモリを余らせておきます。 さらに、同じ構成のメモリーブロックを作成するための十分な空き容量が必要です。 詳細はオラクル社のマニュアル 「 Oracle VM Server for SPARC 3.1 管理ガイド 」を参照してください。 ② 仮想ディスクのバックエンドを共有ストレージに配置 移行元サーバ・移行先サーバ の両方における注意事項です。 移行元サーバと移行先サーバの両方の制御ドメイン(サービスドメイン)に、 共有ストレージのディスクを認識させておきます。 FC接続のストレージ装置を使用するのが一般的です。 バックエンドにはZFSボリュームではなく、ディスク(LUN)を指定します。 49 Copyright 2014 FUJITSU LIMITED 設計のポイント (3/4) ③ 同一の仮想I/Oサービスの定義 移行元サーバ・移行先サーバ の両方における、サービスドメインの注意事項です。 移行元サーバと移行先サーバで、以下の名称を一致させておく必要があります。 仮想スイッチ(vsw) 仮想ディスクサービス(vds) 仮想ディスクボリューム(vol) (※) ※仮想ディスクボリューム(vol) 仮想ディスクのバックエンドをvdsに登録する際の定義名です。 仮想ディスクは、同一のバックエンド(ディスク)を同一のvds, volに登録します。 ゲストドメイン vnet0 vnet1 vdisk0 制御 ドメイン vdisk1 vsw,vds,vol の名称を一致 制御 ドメイン vds vsw0 vsw1 vsw2 NIC0 NIC1 NIC2 vol0 vol1 DISK0 DISK1 移行元 サーバ ゲストドメインが使用していない仮想I/Oサービスは 移行先に用意する必要はありません vds vsw0 vsw1 NIC5 NIC6 vol0 vol1 DISK0 DISK1 移行先 サーバ 物理LANポートの位置・デバイス名は、 同一にする必要はありません 50 Copyright 2014 FUJITSU LIMITED 設計のポイント (4/4) ④ 移行先サーバに対応した「cpu-arch」プロパティの設定 移行する ゲストドメイン の注意事項です。 通常、ライブマイグレーションは「CPUが同じ名称・同じタイプのサーバ間」で実行します。 ただし、ゲストドメインに「cpu-arch」パラメータを設定することで、 CPUが異なるサーバにおいてもライブマイグレーションが可能となります。 以下の3種類のパラメータを設定することができます。 native ライブマイグレーション対象 CPUが同タイプのサーバ(※) M10 (SPARC64 X+) M10 (SPARC64 X+) sparc64-class1 ライブマイグレーション対象 SPARC M10サーバ M10 (SPARC64 X+) M10 (SPARC64 X+) M10 (SPARC64 X) generic ライブマイグレーション対象 全てのSPARCサーバ M10 (SPARC64 X+) M10 (SPARC64 X) T4 CPU機能 CPU機能 CPU機能 全てのCPUで使用できる CPU固有の機能・命令セットを SPARC64 Xの機能・命令を使用 (SPARC64 X+ 固有のものは不可) 機能・命令のみを使用 全て使用可能 ※SPARC M10 には、SPARC64 X と SPARC64 X+ のいずれかの CPUが搭載されています。同じCPUが搭載されたモデル同士であれば、 SPARC M10-1とSPARC M10-4などの異なる機種間でライブマイグレーションができます。 cpu-arch の設定を変更するためには、一度ゲストドメインを停止させる必要があるため、 予め適切なパラメータでゲストドメインを起動させておく必要があります。 51 Copyright 2014 FUJITSU LIMITED 技術情報 Technical Park Oracle Solaris 11の構築に役立つドキュメントが満載 • ハイパーバイザーベースの仮想化: Oracle VM Server for SPARC • Solarisベースの仮想化: Oracle Solaris ゾーン • 最新ファイルシステム: ZFS(Zetta-byte File System) • Solaris 8/9環境をそのままSolaris 10へ: Oracle Solaris Legacy Containers など 今すぐクリック!! http://jp.fujitsu.com/platform/server/sparc/technical/ 52 Copyright 2014 FUJITSU LIMITED 改版履歴 版数 初版 更新日時 2014年12月 更新ページ 更新内容 新規作成 53 Copyright 2014 FUJITSU LIMITED 商標について 使用条件 著作権・商標権・その他の知的財産権について コンテンツ(文書・画像・音声等)は、著作権・商標権・その他の知的財産権で保護されていま す。本コンテンツは、個人的に使用する範囲でプリントアウトまたはダウンロードできます。ただ し、これ以外の利用(ご自分のページへの再利用や他のサーバへのアップロード等)について は、当社または権利者の許諾が必要となります。 保証の制限 本コンテンツについて、当社は、その正確性、商品性、ご利用目的への適合性等に関して保証 するものではなく、そのご利用により生じた損害について、当社は法律上のいかなる責任も負 いかねます。本コンテンツは、予告なく変更・廃止されることがあります。 商標 UNIXは、米国およびその他の国におけるオープン・グループの登録商標です。 SPARC Enterprise、SPARC64、SPARC64ロゴおよびすべてのSPARC商標は、米国SPARC International, Inc.のライセンスを受けて使用している、同社の米国およびその他の国におけ る商標または登録商標です。 OracleとJavaは、Oracle Corporation およびその子会社、関連会社の米国およびその他の国 における登録商標です。 その他各種製品名は、各社の製品名称、商標または登録商標です。 54 Copyright 2014 FUJITSU LIMITED 55 Copyright 2014 FUJITSU LIMITED
© Copyright 2025 ExpyDoc