CA92344-0514-02 FUJITSU Server PRIMEQUEST 2000 シリーズクラスタ構成設計ガイド（Linux/PRIMECLUSTER 編）富士通株式会社 PRIMEQUEST 2000 シリーズクラスタ構成設計ガイド（Linux/PRIMECLUSTER 編）はじめに本書は、PRIMEQUEST 2000 シリーズにおける RHEL6 および RHEL7 の環境で、PRIMECLUSTER を使用したクラスタシステムを設計するときに必要となるネットワーク、共用 I/O 装置の情報、構成について説明しています。 PRIMEQUEST 2000 シリーズは、QPI（Quick Path Interconnect）ネットワークとメモリミラー機能をあわせ持ち、さらにパーティション機能、Reserved SB 機能（*）などにより高信頼なシステムを構築できる基幹 IA サーバです。 PRIMEQUEST 2000 シリーズに関する基本的な情報は、『PRIMEQUEST 2000 シリーズ構成設計ガイド』を参照してください。（*）Reserved SB 機能については「付録 Reserved SB 機能」を参照してください。 PRIMEQUEST 2000 シリーズにクラスタシステムを採用することで、OS、ミドルウェア、アプリケーションの障害発生にまで対応し、さらに高可用な運用が可能になります。略称本書では、製品名を以下のように表記しています。製品名、部品名略称 PRIMEQUEST 2400S PRIMEQUEST 2400E PRIMEQUEST 2400L PRIMEQUEST 2800E PRIMEQUEST 2800L Red Hat® Enterprise Linux® 6 (for Intel64) Red Hat® Enterprise Linux® 7 (for Intel64) VMware vSphere® 5 システムボードマネジメントボード Network Interface Card PRIMEQUEST 2000 シリーズ、または PRIMEQUEST RHEL6 RHEL7 VMware SB MMB NIC Linux、RHEL 1 Copyright 2014 FUJITSU LIMITED PRIMEQUEST 2000 シリーズクラスタ構成設計ガイド（Linux/PRIMECLUSTER 編）関連ドキュメントクラスタ構成設計を行うときに必要に応じて参照してください。名称略称 PRIMECLUSTER 導入運用手引書（Linux 版） PRIMECLUSTER コンセプトガイド（Oracle Solaris／Linux 版） PRIMECLUSTER Cluster Foundation 導入運用手引書（Linux 版） PRIMECLUSTER RMS 導入運用手引書（Oracle Solaris／Linux 版） PRIMECLUSTER Web-Based Admin View 操作手引書 PRIMECLUSTER Global Link Services 説明書（伝送路二重化機能編）（Linux 版） PRIMECLUSTER Global Disk Services 説明書（Linux 版） PRIMECLUSTER Global File Services 説明書（Linux 版） PRIMECLUSTER 活用ガイド＜トラブルシューティング編＞（Oracle Solaris／Linux 版） PRIMECLUSTER 活用ガイド＜メッセージ集＞（Oracle Solaris／Linux 版） PRIMECLUSTER 活用ガイド＜コマンドリファレンス編＞（Oracle Solaris／Linux 版） PRIMECLUSTER Wizard for Oracle 導入運用手引書 Red Hat Enterprise Linux 6 Linux ユーザーズマニュアル（SupportDesk サービスご契約者様向け）（*1） Red Hat Enterprise Linux 7 Linux ユーザーズマニュアル（*1） VMware vSphere 5 ソフトウェア説明書 VMware vSphere 5.1 ソフトウェア説明書 PRIMEQUEST 2000 シリーズシステム構成図 PRIMEQUEST 2000 シリーズ製品概説 PRIMEQUEST 2000 シリーズ導入マニュアル PRIMEQUEST 2000 シリーズ運用管理マニュアル PRIMEQUEST 2000 シリーズ構成設計ガイド PRIMECLUSTER 導入運用手引書 ― ― ― ― ― PRIMECLUSTER Services 説明書 ― ― Global Disk ― ― ― Linux ユーザーズマニュアル ― ― ― 製品概説導入マニュアル運用管理マニュアル構成設計ガイド（*1）参照するには SupportDesk 契約が必要です。 2 Copyright 2014 FUJITSU LIMITED PRIMEQUEST 2000 シリーズクラスタ構成設計ガイド（Linux/PRIMECLUSTER 編）輸出管理規制について本ドキュメントを輸出または第三者へ提供する場合は、お客様が居住する国および米国輸出管理関連法規等の規制をご確認のうえ、必要な手続きをおとりください。商標  Linuxは、Linus Torvalds氏の登録商標です。  Red Hatは米国およびそのほかの国において登録されたRed Hat, Inc.の商標です。  VMwareおよびVMwareの製品名は、VMware, Inc.の米国および各国での商標または登録商標です。  Intel は、アメリカ合衆国および/またはその他の国におけるIntel Corporationの商標です。  OracleとJavaは、Oracle Corporationおよびその子会社、関連会社の米国およびその他の国における登録商標です。  NetVaultは、米国、日本およびその他の国における Dell Inc.の商標もしくは登録商標です。  PRIMECLUSTERは、富士通株式会社の登録商標です。  その他、会社名と製品名はそれぞれ各社の商標、または登録商標です。 3 Copyright 2014 FUJITSU LIMITED PRIMEQUEST 2000 シリーズクラスタ構成設計ガイド（Linux/PRIMECLUSTER 編）目次はじめに .................................................................................................... 1 PRIMEQUEST 2000 シリーズにおけるクラスタシステムの構築............... 6 1 1.1 クラスタシステムによる信頼性向上 ................................................................. 6 1.2 クラスタ構成 .................................................................................................. 8 1.2.1 筐体間クラスタ（推奨） ........................................................................... 8 1.2.2 筐体内クラスタ ........................................................................................ 8 1.2.3 サポート構成 ........................................................................................... 9 1.3 ネットワーク ................................................................................... 12 2 2.1 ネットワークの種類 ...................................................................................... 12 2.2 管理 LAN のクラスタ運用（パーティションの管理 LAN） ............................... 13 2.3 クラスタインタコネクト ............................................................................... 14 2.3.1 ネットワーク機器................................................................................... 14 2.3.2 クラスタインタコネクトの構成 ............................................................... 14 2.4 ネットワーク構成例 ...................................................................................... 15 共用 I/O 装置 .................................................................................... 17 3 3.1 外部ディスク装置 ......................................................................................... 17 3.2 テープ装置 ................................................................................................... 17 3.3 共用 I/O 装置の接続 ...................................................................................... 18 3.3.1 外部ディスク装置の接続 ......................................................................... 18 3.3.2 テープ装置の接続................................................................................... 20 バックアップ／リストア ................................................................... 21 4 4.1 システムボリュームのバックアップ／リストア .............................................. 21 4.2 データボリュームのバックアップ／リストア.................................................. 22 仮想環境でのクラスタ構成 ................................................................ 24 5 5.1 仮想マシン機能を使用したクラスタ構成の種類 .............................................. 24 5.1.1 管理 OS が 1 つの場合 ............................................................................ 25 5.1.2 管理 OS が複数の場合 ............................................................................. 26 5.2 6 PRIMECLUSTER によるクラスタシステム........................................................ 10 信頼性の比較 ................................................................................................ 28 留意事項 .......................................................................................... 29 4 Copyright 2014 FUJITSU LIMITED PRIMEQUEST 2000 シリーズクラスタ構成設計ガイド（Linux/PRIMECLUSTER 編） 6.1 PRIMEQUEST 2000 シリーズの留意事項 ........................................................ 29 6.2 PRIMECLUSTER の留意事項 ........................................................................... 30 付録 ....................................................................................................... 31 改版履歴 .................................................................................................. 32 使用条件 .................................................................................................. 33 5 Copyright 2014 FUJITSU LIMITED PRIMEQUEST 2000 シリーズクラスタ構成設計ガイド（Linux/PRIMECLUSTER 編） 1 PRIMEQUEST 2000 シリーズにおけるクラスタシステムの構築 PRIMEQUEST 2000 シリーズにおけるクラスタシステムの構築について説明します。 1.1 クラスタシステムによる信頼性向上クラスタシステムとは、1 台のサーバでは救済できないソフトウェア異常やハードウェア異常による業務停止を、複数台のサーバを利用して冗長化することにより救済するシステムです。ソフトウェア（OS、ミドルウェア、アプリケーション）を含めたシステム全体の可用性を高めます。 PRIMEQUEST 2000 シリーズが適用される基幹系システムの一層の高信頼・高可用実現のために、クラスタシステムの導入を推奨します。クラスタの運用形態の例を以下に示します。運用ノードに対して待機ノードを用意します。運用ノードが故障しても業務の継続が可能な、冗長性の高い構成です。図 1.1 2 ノードの運用待機の例クラスタシステムと Reserved SB 組込みの比較を以下の表に示します。御利用の業務に合わせて、最適な方法を選択してください。表 1.1 クラスタシステムと Reserved SB 組込みの比較項目ハード障害ソフト障害 CPU メモリ OS ミドルウェアアプリケーションまとめ ○：待機系に切替え業務継続クラスタシステム Reserved SB 組込み ○ △ ○ × 待機系への切替えにより、ハード障害時／ソフト障害時も業務継続が可能 SB 障害時の迅速な業務再開、クラスタ構成と併用するとクラスタ待機系の早期復旧が可能 △：該当パーティションのリブート後に業務継続 ×：業務停止 6 Copyright 2014 FUJITSU LIMITED PRIMEQUEST 2000 シリーズクラスタ構成設計ガイド（Linux/PRIMECLUSTER 編）参考：Reserved SB の組込みによる待機系の早期復旧クラスタ構成時に Reserved SB を活用することで、SB または CPU、メモリに故障が発生した場合に運用待機状態への復旧時間を大幅に短縮できます。運用ノードの SB にハードウェア故障が発生した場合、クラスタ切替えが発生し待機ノードが運用ノードに切り替わることで、業務の継続を可能にしています。一方、SB のハードウェア故障が発生した運用ノードは待機ノードとなり、そのパーティションは停止状態となります。あらかじめ Reserved SB を設定しておくことで、停止したパーティションを再起動して自動的に故障した SB を切り離し、Reserved SB を組み込んで待機ノードとして起動します。これにより、待機系の早期復旧が可能となります。図 1.2 クラスタ構成時の Reserved SB 組込み 7 Copyright 2014 FUJITSU LIMITED PRIMEQUEST 2000 シリーズクラスタ構成設計ガイド（Linux/PRIMECLUSTER 編） 1.2 クラスタ構成 PRIMEQUEST 2000 シリーズのクラスタシステムは、複数筐体間でクラスタシステムを構成する筐体間クラスタと、1 台の筐体内の複数パーティションでクラスタシステムを構成する筐体内クラスタの 2 つがあります。仮想環境でのクラスタシステムの構成については、「5 仮想環境でのクラスタ構成」を参照してください。 1.2.1 筐体間クラスタ（推奨）筐体間クラスタは、パーティションを 1 つのノードとして扱い、そのノードを筐体間でクラスタ構成します。筐体異常時の冗長性、筐体分離による保守性向上などのメリットがあります。複数の筐体で同じ動作をさせるため、筐体内クラスタと比較して冗長度が高く、信頼性が向上します。図 1.3 筐体間クラスタ 1.2.2 筐体内クラスタ筐体内クラスタは、1 台の筐体内にある複数のパーティション間でクラスタシステムを構成します。 1 筐体内にクラスタが構成できるため、システムコストを低減するメリットがありますが、DU（ディスクユニット）をパーティション間で共有すると DU がシングルポイントになるデメリットがあります。図 1.4 筐体内クラスタ 8 Copyright 2014 FUJITSU LIMITED PRIMEQUEST 2000 シリーズクラスタ構成設計ガイド（Linux/PRIMECLUSTER 編） 1.2.3 サポート構成 ■ ハードウェア構成クラスタシステムを構成するすべてのノードは、同一構成（CPU 数、CPU 周波数、メモリ容量、ハードディスク容量、ハードディスク数）を推奨します。 PRIMECLUSTER では最大 16 ノードをサポートしています。クラスタの運用形態によって必要となるノードの数は異なります。クラスタ運用形態の詳細については、『PRIMECLUSTER 導入運用手引書』を参照してください。モデル別サポート構成、ノードの組み合わせを以下の表に示します。表 1.2 ノードの組み合わせ自ノード相手ノード 2400S 2400E 2400L 2800E 2800L 2400S ○ × × × × 2400E × ○ × × × 2400L × × ○ × × 2800E × × × ○ × 2800L × × × × ○ ○：サポート ×：未サポート DU をパーティション間で共有すると、DU の保守時に関連パーティションを停止する必要があります。 9 Copyright 2014 FUJITSU LIMITED PRIMEQUEST 2000 シリーズクラスタ構成設計ガイド（Linux/PRIMECLUSTER 編） 1.3 PRIMECLUSTER によるクラスタシステム PRIMECLUSTER は、クラスタシステムを構築するためのソフトウェアです。サーバ、外部ディスク装置、ネットワーク、ミドルウェアなどのシステムの構築要素を冗長化技術により仮想化し、異常検出、フェイルオーバ（業務の引継ぎ）および縮退機能により、自律的に業務を継続することで、システム全体の高信頼化を実現します。 PRIMECLUSTER は、ハードウェア機構と連携して、運用中のパーティションまたは筐体で障害が発生した場合でも、待機中のパーティションおよび筐体に業務を引き継ぎ、高い可用性を実現します。 PRIMECLUSTER を使用したクラスタシステムを構築する場合は、PRIMECLUSTER 4.3A30 以降（RHEL7 環境では、PRIMECLUSTER 4.3A40 以降）を使用してください。 PRIMECLUSTER の各製品と提供機能を以下の表に示します。 PRIMECLUSTER の詳細については、以下の URL を参照してください。 http://software.fujitsu.com/jp/primecluster/index.html 表 1.3 PRIMECLUSTER の各製品と提供機能製品名 PRIMECLUSTER PRIMECLUSTER PRIMECLUSTER PRIMECLUSTER Enterprise Edition HA Server GDS GLS 並列データベース ○ ― ― ― HA（切替え）型クラスタ ○ ○ ― ― ○ ○ ○ ― ○ ○ ○ ― ○ ○ ― ― ○ ○ ― ○ 機能クラスタ制御ソフトウェア RAID ストレージ制御機構ボリューム管理機能共用ファイルシステム機能ネットワーク制御伝送路二重化機能 ○：サポート ―：非サポート  PRIMECLUSTER Enterprise Edition 並列データベース・HA（切替え）などの豊富なクラスタリング機能と、ボリューム管理機能、共用ファイルシステム機能、ネットワーク冗長化機能などシステム全体を高可用化する機能をセットにした高信頼基盤ソフトウェアです。 PRIMECLUSTER GDS、PRIMECLUSTER GLSを包含する製品です。  PRIMECLUSTER HA Server HA（切替え）による豊富なクラスタリング機能と、ボリューム管理機能、共用ファイルシステム機能、ネットワーク冗長化機能などシステム全体を高可用化する機能をセットにした高信頼基盤ソフトウェアです。 PRIMECLUSTER GDS、PRIMECLUSTER GLSを包含する製品です。 10 Copyright 2014 FUJITSU LIMITED PRIMEQUEST 2000 シリーズクラスタ構成設計ガイド（Linux/PRIMECLUSTER 編）  PRIMECLUSTER GDS システムやデータが格納されているディスク装置をミラーリングし、ディスク故障などの不測の事態からお客様の資産を守るボリューム管理ソフトウェアです。  PRIMECLUSTER GLS 複数のNIC（Network Interface Card）を使用して、自システムが接続されるネットワーク伝送路を冗長化し、通信全体の高信頼化を実現するソフトウェアです。通信業務の継続性が重視されるシステムに対して最適なネットワークソリューションを提供します。  PRIMECLUSTER GDS Snapshot PRIMECLUSTERのGDSのボリューム管理機能を利用したシステムにおいて、ディスクやボリュームのスナップショットを瞬時に作成するオプションソフトウェア製品です。ディスクのバックアップ／リストア作業時の業務停止時間を大幅に削減します。 11 Copyright 2014 FUJITSU LIMITED PRIMEQUEST 2000 シリーズクラスタ構成設計ガイド（Linux/PRIMECLUSTER 編） 2 ネットワーク 2.1 ネットワークの種類 PRIMEQUEST 2000 シリーズで使用されるネットワークの種類を以下に示します。 PRIMEQUEST 2000 シリーズの基本的なネットワーク設定については、『運用管理マニュアル』を参照してください。  管理LAN 外部の運用管理サーバなどと各パーティション、MMBを接続し、サーバやソフトウェアなどの管理をするLANです。 ► パーティションの管理 LAN パーティションの OS、アプリケーション、ミドルウェアなどを監視します。クラスタの管理にも使用します。 ► MMB の管理 LAN 筐体内のハードウェアを監視し、監視情報を送出します。  業務LAN お客様が業務で使用するLANです。  クラスタインタコネクトノードの状態を相互に監視するために、ノード間で使用するクラスタ専用のLANです。業務LANとクラスタインタコネクトは別々に敷設する必要があります。管理 LAN、業務 LAN およびクラスタインタコネクトは、すべてセグメントを分けてください。 12 Copyright 2014 FUJITSU LIMITED PRIMEQUEST 2000 シリーズクラスタ構成設計ガイド（Linux/PRIMECLUSTER 編）図 2.1 ネットワークの種類 2.2 管理 LAN のクラスタ運用（パーティションの管理 LAN）クラスタシステムのパーティションの管理 LAN は、ハードウェア機構と連携し、以下の機能で使用します。  ノードの状態監視ハードウェアが提供する機能を利用したノードの状態監視を行います。突然のシステムパニックや電源切断など、ほかのノードに異常が発生した場合にハードウェア機構と連携し、その異常を即時に検知します。  ノードの強制停止ハードウェアが提供する機能を利用して、他ノードを意図的にパニックまたはリセットさせることで確実な強制停止を実現し、ユーザー資産への競合を防ぎます。また、パーティションの管理 LAN は、クラスタ運用管理を行う Web-Based Admin View を動作させるためのコンソールとも接続されます。Web-Based Admin View の詳細については、以下のサイトから「PRIMECLUSTER」を検索し、PRIMECLUSTER 4.3A30 製品以降の『PRIMECLUSTER Web-Based Admin View 操作手引書』を参照してください。 http://software.fujitsu.com/jp/manual/ 13 Copyright 2014 FUJITSU LIMITED PRIMEQUEST 2000 シリーズクラスタ構成設計ガイド（Linux/PRIMECLUSTER 編） 2.3 クラスタインタコネクト PRIMEQUEST 2000 シリーズのクラスタ構成では、各ノード間を専用の LAN で接続する必要があります。このノード間をつなぐネットワークをクラスタインタコネクトといいます。ノードの状態を相互に監視し、異常が発生した場合の切替えなどの制御を行います。クラスタインタコネクトはクラスタシステムの重要な構成要素であり、クラスタインタコネクトの二重化を推奨します。 2.3.1 ネットワーク機器クラスタインタコネクトの構成例クラスタインタコネクトは、IO ユニットのオンボード LAN に 1 本、以下のどちらかにもう 1 本接続することを推奨します。 ► 2 台目の IO ユニットのオンボード LAN ► IO ユニットの PCI スロットに増設した NIC クラスタインタコネクトで使用するネットワーク機器は、『PRIMEQUEST 2000 シリーズシステム構成図』を参照してください。 2.3.2 クラスタインタコネクトの構成インタコネクトの多重化インタコネクトを多重化することで、システムの可用性を向上させます。インタコネクトの接続例を以下の図に示します。図 2.2 2 ノードのインタコネクト接続例図 2.3 3 ノードのインタコネクト接続例 14 Copyright 2014 FUJITSU LIMITED PRIMEQUEST 2000 シリーズクラスタ構成設計ガイド（Linux/PRIMECLUSTER 編） 3 ノード以上の場合は、各ノードを HUB またはスイッチに接続してください。 2.4 ネットワーク構成例筐体間クラスタと筐体内クラスタの接続例（ファイバーチャネル接続の場合）を以下の図に示します。 IO ユニットのオンボード LAN と、IO ユニットに搭載した NIC のポートを使用し、各 LAN および FC ケーブルを冗長化しています。図 2.4 2 ノードのネットワーク構成例（ファイバーチャネル接続の筐体間クラスタ） 15 Copyright 2014 FUJITSU LIMITED PRIMEQUEST 2000 シリーズクラスタ構成設計ガイド（Linux/PRIMECLUSTER 編）図 2.5 2 ノードのネットワーク構成例（ファイバーチャネル接続の筐体内クラスタ）ネットワーク接続に関する留意事項 ► 管理 LAN は、PRIMEQUEST の制御専用のため、インタコネクト通信には使用しないでください。 ► クラスタインタコネクトは、アプリケーション用の業務 LAN とは別に敷設してください。 ► クラスタインタコネクトで使用するスイッチは、STP（スパニングツリープロトコル）を使用しないでください。リンクの再構成時に無通信状態になり、インタコネクト通信ができなくなる可能性があります。 ► クラスタインタコネクトを二重化する場合は、シングルポイント故障にならないよう、コンポーネントやコネクターを分けて接続することを推奨します。 16 Copyright 2014 FUJITSU LIMITED PRIMEQUEST 2000 シリーズクラスタ構成設計ガイド（Linux/PRIMECLUSTER 編） 3 共用 I/O 装置 3.1 外部ディスク装置外部ディスク装置を以下の接続方法により共用できます。  ファイバーチャネル接続  iSCSI接続 PRIMEQUEST 2000 シリーズでサポートする外部ディスク装置は、『PRIMEQUEST 2000 シリーズシステム構成図』を参照してください。【留意事項】  外部ディスク装置を接続するPCIカードは、二重化してノードに搭載することを推奨します（二重化したPCIカードはコンポーネントやコネクターを分けて搭載することを推奨します）。  外部ディスク装置を使用する場合、信頼性を重視するシステムではRAID0は使用しないでください。 RAIDレベルに関しては、接続する各装置のドキュメントを参照してください。さらに各装置は2コントローラー構成、パスの二重化構成を推奨します。  外部ディスク装置の共用は、複数ノードからのアクセスが競合するため、システム性能の低下を招く要因となります。外部ディスク装置は、必要最小限に絞る、複数のディスクに分ける、同一インターフェース上のディスク台数を減らすなどの配慮が必要です。 3.2 テープ装置 LTO ライブラリ装置を以下の接続方法により共用できます。  ファイバーチャネル接続 PRIMEQUEST 2000 シリーズでサポートするテープ装置は、『PRIMEQUEST 2000 シリーズシステム構成図』を参照してください。テープ装置、ライブラリ装置を使用する場合、バックアップソフトウェアが必要です。バックアップソフトウェアについては「4 バックアップ／リストア」を参照してください。 17 Copyright 2014 FUJITSU LIMITED PRIMEQUEST 2000 シリーズクラスタ構成設計ガイド（Linux/PRIMECLUSTER 編） 3.3 共用 I/O 装置の接続 3.3.1 外部ディスク装置の接続以下の二重化構成を推奨します（図はファイバーチャネル接続を例に説明しています）。 ①ノード側は PCI カードを二重化 ②スイッチを使用し、アクセスパスを二重化 ③外部ディスク装置のコントローラーを二重化図 3.1 外部ディスク装置のファイバーチャネル接続例 18 Copyright 2014 FUJITSU LIMITED PRIMEQUEST 2000 シリーズクラスタ構成設計ガイド（Linux/PRIMECLUSTER 編）【留意事項】 ► 接続台数および接続方法の詳細については、接続する外部ディスク装置のドキュメントを参照してください。 ► 外部ディスク装置、ノードの接続台数がスイッチのポート数を超える場合は、カスケード接続してください。スイッチについてはスイッチのドキュメントを参照してください。 ► ETERNUS を接続するときには、ETERNUS マルチパスドライバ（MPD）の使用を推奨します。クラスタシステムでは、2～8 パスまでサポートしています。 19 Copyright 2014 FUJITSU LIMITED PRIMEQUEST 2000 シリーズクラスタ構成設計ガイド（Linux/PRIMECLUSTER 編） 3.3.2 テープ装置の接続クラスタ運用形態が運用待機型の 2 ノード間共用接続、またはカスケード形態であれば 4 ノードまでの共用接続構成ができます。 ► 各ノードからの同時アクセスはできません。 ► 共用接続用にスイッチを用意してください。 ► PCI カードは、共用ファイル接続しているものとは別に（テープ装置接続用に）用意してください。ファイバーチャネル接続の例を以下の図に示します。図 3.2 テープ装置のファイバーチャネル接続例 20 Copyright 2014 FUJITSU LIMITED PRIMEQUEST 2000 シリーズクラスタ構成設計ガイド（Linux/PRIMECLUSTER 編） 4 バックアップ／リストア 4.1 システムボリュームのバックアップ／リストアローカルブート構成の場合、PRIMECLUSTER GDS および PRIMECLUSTER GDS Snapshot を使用して、システム運用中に、ある時点のシステムボリュームをバックアップできます。 PRIMECLUSTER GDS および PRIMECLUSTER GDS Snapshot の使用方法については、『PRIMECLUSTER Global Disk Services 説明書』を参照してください。ソフトウェアの設定・構成の変更、またはハードウェアの構成を変更するときは、必ずバックアップを行ってください。また、バックアップのためにノードを停止できる場合、外部記憶装置へバックアップすることが可能です。ただし、ノードを停止する場合は、クラスタの手順に従って実施する必要があります。リストアも一般の場合と同様です。なお、クラスタの構成を変更した場合は、その都度バックアップしてください。構成変更前のデータを構成変更後にリストアすると、リストア後の状態一致化の処理でエラーとなります。また、クラスタはノード間で連携して動作するソフトウェアであるため、各ノードに固有情報を持ちます。したがって、ノードごとにバックアップし、バックアップしたノードにデータをリストアしてください。一般の場合のシステムボリュームのバックアップ／リストア方法については、『Linux ユーザーズマニュアル』を参照してください。クラスタ構成時の手順については、PRIMECLUSTER のマニュアルを参照してください。 ► PRIMECLUSTER GDS および PRIMECLUSTER GDS Snapshot を使用してシステムボリュームをバックアップできるのは、RHEL6 (for Intel64)および RHEL7 (for Intel64)の場合です。 ► ゲスト OS 上で採取したバックアップデータをテープなどの外部記憶媒体に保存する場合は、ハイパーバイザーにバックアップデータを転送したうえで、ハイパーバイザーから外部記憶装置に保存してください。 21 Copyright 2014 FUJITSU LIMITED PRIMEQUEST 2000 シリーズクラスタ構成設計ガイド（Linux/PRIMECLUSTER 編） 4.2 データボリュームのバックアップ／リストアユーザーデータのバックアップは、バックアップ専用ソフトウェアを使用して、クラスタ運用中に実施できます。構成例を以下の図に示します。図 4.1 バックアップの構成例共用ディスク内のユーザーデータは、Server / Manager ソフトの制御の下、運用ノードの Client / Agent ソフトによりバックアップ装置にバックアップされます。この場合、次ページのソフトウェア（およびネットワークストレージサーバ）を利用することができます。なお、PRIMECLUSTER GDS Snapshot を使用することにより、バックアップデータを ETERNUS 上のディスク（マスタ）からディスク（プロキシ）へ採取することが可能になります。 22 Copyright 2014 FUJITSU LIMITED PRIMEQUEST 2000 シリーズクラスタ構成設計ガイド（Linux/PRIMECLUSTER 編）対応しているテープ装置や各種機器は製品ごとに異なります。詳細はそれぞれの製品のマニュアルおよびハンドブックを参照してください。以下の製品は、フェイルオーバ発生後も、ユーザーが意識することなく継続してバックアップデータを管理できます。  PRIMECLUSTER GDS Snapshot  ETERNUS SF AdvancedCopy Manager  ETERNUS SF TSM  SystemcastWizard Professional  NetVault クラスタの業務サーバに ETERNUS SF AdvancedCopy Manager を、バックアップサーバにほかのバックアップソフトウェアを導入する場合、ETERNUS SF AdvancedCopy Manager のアドバンスト・コピー機能を利用して作成したレプリカ（コピーしたデータ）はバックアップサーバから直接バックアップすることができるため、クラスタを意識する必要はありません。 23 Copyright 2014 FUJITSU LIMITED PRIMEQUEST 2000 シリーズクラスタ構成設計ガイド（Linux/PRIMECLUSTER 編） 5 仮想環境でのクラスタ構成 5.1 仮想マシン機能を使用したクラスタ構成の種類 PRIMECLUSTER は、仮想環境においても、ハードウェア（ネットワークやディスク）の冗長構成の考え方は、物理的なクラスタ構成と同じです。 PRIMECLUSTER では、以下の仮想環境をサポートしています。 ► KVM ► VMware 仮想環境でのクラスタ構成は、管理 OS、筐体の使用数により、以下のパターンがあります。 ► 管理 OS が 1 つの場合（「5.1.1 管理 OS が 1 つの場合」参照） ► 管理 OS が複数の筐体間クラスタ（「5.1.2 管理 OS が複数の場合」の筐体間クラスタを参照）仮想マシン機能を使用したクラスタシステムの詳細および注意事項については、『PRIMECLUSTER 導入運用手引書』を参照してください。 ► KVM 環境では、管理 OS をハイパーバイザーと読み替えてください。 ► VMware 環境では、管理 OS を ESX ホストと読み替えてください。【留意事項】仮想環境では、複数のクラスタシステムで物理 NIC を共用できます（仮想ブリッジは別で作成が必要です）。 24 Copyright 2014 FUJITSU LIMITED PRIMEQUEST 2000 シリーズクラスタ構成設計ガイド（Linux/PRIMECLUSTER 編） 5.1.1 管理 OS が 1 つの場合本構成は、テスト環境での使用を推奨します。 1 つの物理マシンでクラスタシステムを動作させ、ゲスト OS の異常時に業務を継続動作させることができます。テスト環境を目的としているため、仮想のインタコネクトが 2 本必要です。図 5.1 管理 OS が 1 つの場合の構成例 25 Copyright 2014 FUJITSU LIMITED PRIMEQUEST 2000 シリーズクラスタ構成設計ガイド（Linux/PRIMECLUSTER 編） 5.1.2 管理 OS が複数の場合本構成では、ハードウェア（ネットワークやディスク）が故障しても、フェイルオーバにより業務を継続動作させることができます。 KVM の場合、管理 OS にも PRIMECLUSTER を導入するかどうかで、監視できる範囲が異なります。 ► 筐体間クラスタ図 5.2 管理 OS が 2 つの場合の構成例（管理 OS に PRIMECLUSTER を導入しない構成） 26 Copyright 2014 FUJITSU LIMITED PRIMEQUEST 2000 シリーズクラスタ構成設計ガイド（Linux/PRIMECLUSTER 編） ► 筐体間クラスタ（管理 OS 異常切替機能を使用する場合）KVM の場合だけ図 5.3 管理 OS が 2 つの場合の構成例（管理 OS に PRIMECLUSTER を導入する構成） 27 Copyright 2014 FUJITSU LIMITED PRIMEQUEST 2000 シリーズクラスタ構成設計ガイド（Linux/PRIMECLUSTER 編） 5.2 信頼性の比較管理 OS および筐体の使用数が多いほど、冗長化される部分が増え障害発生時の信頼性が高まります。以下に構成パターンと冗長化の比較を示します。表 5.1 KVM 環境での冗長化比較表構成パターン管理 OS 1 つ障害発生箇所管理 OS 複数管理 OS 複数（筐体間）（管理 OS 異常切替機能を使用する場合）（*1）パーティション共通のハードコンポーネント（DU を共有した場合など）パーティション別のハードコンポーネント（SB、HDD など） × ○ ○ × ○ ○ 管理 OS × × ○ ゲスト OS ○ ○ ○ ○：待機系に自動で切り替え業務継続 ×：業務停止（*1）管理 OS 異常切替機能を使用する場合、ゲスト OS と管理 OS の両方に PRIMECLUSTER の導入が必要。表 5.2 VMware 環境での冗長化比較表障害発生箇所構成パターン管理 OS 1 つ管理 OS 複数（筐体間）パーティション共通のハードコンポーネント（DU を共有した場合など）パーティション別のハードコンポーネント（SB、HDD など） × ○ × ○ ESX ホスト × ○（*3）ゲスト OS ○（*2） ○ ○：待機系に自動で切り替え業務継続 ×：業務停止（*2）異常検出時に手動切替が必要。（*3）ESX ホストに異常が発生した場合、対象ゲスト OS のハングアップを検出しゲスト OS を待機系に切替え｡ 28 Copyright 2014 FUJITSU LIMITED PRIMEQUEST 2000 シリーズクラスタ構成設計ガイド（Linux/PRIMECLUSTER 編） 6 留意事項 6.1 PRIMEQUEST 2000 シリーズの留意事項  筐体内クラスタ構成時、DUを共有しないようパーティションを構成することを推奨します。 DUを分けることにより、冗長構成の特長を活かしたDUの故障対応が可能になり、クラスタシステムとしてさらなる可用性の向上を図ることができます。  MMBが二重化されていない場合、MMBが故障し、かつ、サーバ切替えとなる故障が発生した場合、管理者がクラスタ切替えを指示するまでの間は業務が停止するため、速やかに故障したMMBを交換する必要があります。  クラスタを構築する場合は、以下の設定を必ず行ってください。 ► MMB の物理 IP アドレス（MMB#0、MMB#1）の設定以下のドキュメントを参照してください。『導入マニュアル』「3.3.6 MMB のネットワーク設定」 ► 管理 LAN IP アドレスの設定以下のドキュメントを参照してください。『運用管理マニュアル』 ► ファイアーウォール機能の確認以下のドキュメントを参照してください。『SVmco ユーザマニュアル』 29 Copyright 2014 FUJITSU LIMITED PRIMEQUEST 2000 シリーズクラスタ構成設計ガイド（Linux/PRIMECLUSTER 編） 6.2 PRIMECLUSTER の留意事項  PRIMEQUEST 2000シリーズでは、PRIMECLUSTER 4.3A30からサポートされています。  Oracle使用システムでPRIMECLUSTERを使用する場合は、OSとOracle Databaseの組み合わせについて、各適応OSの以下のマニュアルを参照してください。『PRIMECLUSTER Wizard for Oracle 導入運用手引書』  PRIMECLUSTERのパッチ情報については、SupportDesk-Web （http://eservice.fujitsu.com/supportdesk/）を参照してください。  クラスタを構成する場合、時刻同期を行うため、NTPの設定はslewモードにしてください。  クラスタシステム環境下では、各サーバ、外部ディスク装置に2台ずつUPSを接続することを推奨します。  UPSが接続されていないと、停電や電源異常により片側のノードの電源が突然切断された場合に、クラスタのフェイルオーバが動作しないことがあります。  物理的なクラスタ構成では、ハードウェア機構と連携してノード異常を即時に検知することができます。仮想環境ではノード（ゲストOS）異常を即時に検知する仕組みがないため、物理的なクラスタ構成よりノード異常時のクラスタ切替えに時間がかかります。 30 Copyright 2014 FUJITSU LIMITED PRIMEQUEST 2000 シリーズクラスタ構成設計ガイド（Linux/PRIMECLUSTER 編）付録 Reserved SB 機能故障した SB を自動的に切り離し、あらかじめ Reserved SB（障害待機用として設定される予備の SB）として設定しておいた SB を組み込んでパーティションを再起動する機能です。Reserved SB をパーティションの再起動時に自動的に組み込むことで、パフォーマンスの低下を防ぎ、業務の早期復旧が可能となります（詳細は、『運用管理マニュアル』の「3.2.3 Reserved SB」を参照）。図： Reserved SB 運用例 31 Copyright 2014 FUJITSU LIMITED PRIMEQUEST 2000 シリーズクラスタ構成設計ガイド（Linux/PRIMECLUSTER 編）改版履歴版数日付変更箇所（*）変更内容 01 2014-04-10 初版作成 ― 02 2014-12-02 全体 RHEL7 追加（*）変更箇所は、最新版の項番を示している。 32 Copyright 2014 FUJITSU LIMITED PRIMEQUEST 2000 シリーズクラスタ構成設計ガイド（Linux/PRIMECLUSTER 編）使用条件著作権・商標権・そのほかの知的財産権についてコンテンツ（文書・画像・音声など）は、著作権・商標権・そのほかの知的財産権で保護されています。本コンテンツは、個人的に使用する範囲でプリントアウトまたはダウンロードできます。ただし、これ以外の利用（御自分のページへの再利用やほかのサーバへのアップロードなど）については、当社または権利者の許諾が必要となります。保証の制限本コンテンツについて、当社は、その正確性、商品性、御利用目的への適合性などに関して保証するものではなく、その御利用により生じた損害について、当社は法律上のいかなる責任も負いかねます。本コンテンツは、予告なく変更・廃止されることがあります。不明な点は、「本製品のお問い合わせ」 (http://primeserver.fujitsu.com/primequest/contact/) よりお尋ねください。無断転載を禁じます。 CA92344-0514-02 2014.12 33 Copyright 2014 FUJITSU LIMITED