FUJITSU Software PRIMECLUSTER Wizard for Oracle 4.3 導入運用手引書 Linux J2UL-1678-02Z0(00) 2014年10月 はじめに 本書の目的 本書は、PRIMECLUSTER Wizard for Oracle の導入から運用までの流れを説明したものです。 本書の読者 本書は、PRIMECLUSTER システムの設計、構築、または運用管理を行う、システムエンジニアやシステム管理者を対象にしており、 PRIMECLUSTER および Oracle の知識を有していることを前提にしています。 本書について 本書は、6章と付録で構成されています。各章の内容を以下に示します。 ・ 第1章 機能概要 ・ 第2章 環境設定 ・ 第3章 運用 ・ 第4章 コマンド ・ 第5章 留意事項 ・ 第6章 メッセージ一覧 ・ 付録A トラブル事例集 ・ 付録B Oracle リソースの追加作成/設定変更/削除 ・ 付録C Oracle Grid Infrastructure のインストールとASMインスタンス、データベースの作成 ・ 付録D Oracle ソフトウェアを共用ディスク上で使用する場合 ・ 付録E シングルノードクラスタ運用 ・ 付録F (参考)アクション定義ファイル 用語について 本書中で使用しているクラスタ関連の用語については、関連マニュアルを参照してください。 以下は特に断りがないかぎり Oracle の用語です。Oracle のマニュアルを参照してください。 ・ Oracle インスタンス 本書では、"インスタンス" または "Oracle インスタンス"と表記します。 ・ Oracle リスナー 本書では、"リスナー" または "Oracle リスナー" と表記します。 ・ Oracle Database 本書では、“Oracle Database”、“Oracle”または“Oracle Version Release”と表記します。 ・ Oracle ユーザー Oracle の操作を行う、OSDBA グループに所属するオペレーティング・システム上のユーザーです。 本書では、"Oracle ユーザー" と表記します。 本書の表記について 本書中の表記方法は以下のとおりです。 -i- ポイント ポイントとなる内容を説明します。 参考 参考となる内容を説明します。 参照 参照となる内容を説明します。 注意 注意する項目について説明します。 例 例題を用いて説明します。 輸出管理規制について 本ドキュメントを輸出または第三者へ提供する場合は、お客様が居住する国および米国輸出管理関連法規等の規制をご確認のうえ、 必要な手続きをおとりください。 商標について Red Hat は米国およびそのほかの国において登録されたRed Hat, Inc. の商標です。 Linux は、Linus Torvalds 氏の登録商標です。 Oracle と Java は、Oracle Corporation およびその子会社、関連会社の米国およびその他の国における登録商標です。文中の社名、 商品名等は各社の商標または登録商標である場合があります。 PRIMECLUSTERは、富士通株式会社の登録商標です。 その他記載された社名および各種製品名は、識別のためにのみ掲載されており、一般に各社の製品名称、商標または登録商標で す。 お願い ・ 本書を無断で他に転載しないようお願いします。 ・ 本書は予告なしに変更されることがあります。 出版年月および版数 出版年月および版数 2014年10月 初版 マニュアルコード J2UL-1678-02Z0(00)/ J2UL-1678-02Z2(00) 著作権表示 Copyright FUJITSU LIMITED 2014 - ii - 目 次 第1章 機能概要.........................................................................................................................................................................1 1.1 機能概要.............................................................................................................................................................................................1 1.2 動作環境.............................................................................................................................................................................................2 第2章 環境設定.........................................................................................................................................................................5 2.1 環境設定手順.....................................................................................................................................................................................5 2.2 スタンバイ運用.....................................................................................................................................................................................5 2.2.1 PRIMECLUSTER のインストール/設定......................................................................................................................................5 2.2.2 Oracle ソフトウェアのインストール/設定.......................................................................................................................................6 2.2.3 userApplication およびリソースの構成........................................................................................................................................8 2.2.4 Oracle リソースを含まない userApplication の作成.....................................................................................................................9 2.2.4.1 userApplication の作成.......................................................................................................................................................10 2.2.4.2 RMS 構成定義の生成と配布.............................................................................................................................................13 2.2.5 userApplication の動作確認......................................................................................................................................................14 2.2.6 データベースの作成/設定.........................................................................................................................................................15 2.2.7 userApplication の編集..............................................................................................................................................................21 2.2.7.1 Oracle リソースの作成と userApplication への登録...........................................................................................................22 2.2.7.2 その他必要なリソースや userApplication の作成..............................................................................................................29 2.2.7.3 RMS 構成定義の生成と配布.............................................................................................................................................30 2.2.8 userApplication の動作確認......................................................................................................................................................31 2.3 参考...................................................................................................................................................................................................32 2.3.1 Oracle 起動・停止時のスクリプトの設定....................................................................................................................................32 2.3.2 ASM(Automatic Storage Management)を使用する場合.........................................................................................................35 2.3.2.1 環境構築時の注意(Oracle 11g R1の場合)........................................................................................................................35 2.3.2.2 環境構築時の注意(Oracle 11g R2/12c R1の場合)...........................................................................................................38 2.3.2.3 運用時の注意......................................................................................................................................................................41 第3章 運用..............................................................................................................................................................................42 3.1 クラスタ環境における Oracle の制御................................................................................................................................................42 3.1.1 Oracleリソースの起動、停止.......................................................................................................................................................42 3.1.2 Oracleリソースの監視.................................................................................................................................................................44 3.2 Oracle のメンテナンスについて........................................................................................................................................................47 3.2.1 Oracle の設定変更.....................................................................................................................................................................48 3.2.1.1 Oracle を停止させる必要がある場合..................................................................................................................................49 3.2.2 パッチ適用..................................................................................................................................................................................49 3.2.2.1 In-place アップグレードによるパッチ適用...........................................................................................................................50 3.2.2.2 Out-of-place アップグレードによるパッチ適用...................................................................................................................51 3.2.3 バックアップ................................................................................................................................................................................55 3.2.3.1 コールドバックアップ...........................................................................................................................................................55 3.2.3.2 ホットバックアップ.................................................................................................................................................................56 3.2.4 リカバリ........................................................................................................................................................................................56 3.2.4.1 Oracle を停止させる必要がある場合..................................................................................................................................57 3.2.4.2 Oracle を停止させる必要がない場合.................................................................................................................................57 3.3 クラスタ運用中の Oracle SYSTEM ユーザーパスワード変更手順.................................................................................................58 3.4 切替え発生時の問題解決................................................................................................................................................................59 3.5 トラブル調査情報..............................................................................................................................................................................60 3.6 ログファイル.......................................................................................................................................................................................61 第4章 コマンド..........................................................................................................................................................................63 4.1 hvoradisable - リソース監視の中断...................................................................................................................................................63 4.2 hvoraenable - リソース監視の再開....................................................................................................................................................64 4.3 clorapass - 監視用パスワードの登録................................................................................................................................................65 4.4 cloracpy - Oracle 設定ツール(待機ノード用)..................................................................................................................................66 4.5 clgetoralog - Oracle 調査資料採取..................................................................................................................................................67 4.6 clorainfo - 設定情報や監視状態の表示..........................................................................................................................................69 - iii - 第5章 留意事項.......................................................................................................................................................................71 第6章 メッセージ一覧...............................................................................................................................................................74 付録A トラブル事例集..............................................................................................................................................................90 A.1 Oracle インスタンスに関するトラブル...............................................................................................................................................90 A.1.1 起動・停止に失敗......................................................................................................................................................................90 A.1.2 AutoRecoverやフェイルオーバが発生.....................................................................................................................................91 A.1.3 Warning 状態に遷移.................................................................................................................................................................91 A.2 リスナーに関するトラブル.................................................................................................................................................................93 A.2.1 起動・停止に失敗......................................................................................................................................................................93 A.2.2 AutoRecoverやフェイルオーバが発生.....................................................................................................................................93 A.2.3 Warning 状態に遷移.................................................................................................................................................................94 付録B Oracle リソースの追加作成/設定変更/削除..............................................................................................................95 B.1 リソースの追加作成..........................................................................................................................................................................95 B.1.1 個々のリソースを追加作成する場合.........................................................................................................................................95 B.1.2 Oracle リソースを追加作成する場合.........................................................................................................................................96 B.2 リソースの設定変更..........................................................................................................................................................................97 B.3 リソースの削除..................................................................................................................................................................................98 B.3.1 個々のリソースを削除する場合.................................................................................................................................................98 B.3.2 まとめて削除する場合...............................................................................................................................................................99 付録C Oracle Grid InfrastructureのインストールとASMインスタンス、データベースの作成......................................................101 付録D Oracle ソフトウェアを共用ディスク上で使用する場合....................................................................................................107 付録E シングルノードクラスタ運用..........................................................................................................................................112 E.1 ASMを使用しない場合..................................................................................................................................................................113 E.2 Oracle 11g R1のASMを使用する場合...........................................................................................................................................114 E.3 Oracle 11g R2/12c R1のASMを使用する場合..............................................................................................................................115 付録F (参考)アクション定義ファイル......................................................................................................................................117 - iv - 第1章 機能概要 1.1 機能概要 PRIMECLUSTER Wizard for Oracle は、PRIMECLUSTER 上で Oracle データベースのクラスタ運用を行うためのソフトウェア製品で す。Oracle データベースのスタンバイ運用 (コールドスタンバイ) 、シングルノードクラスタ運用を行うことができます。 本製品は、以下の機能を提供します。 機能 概要 環境設定 クラスタ運用のための環境設定インターフェース 監視 Oracle インスタンス、リスナーの状態を監視するデーモンプロセス 起動・停止制御 Oracle インスタンス、リスナーの起動・停止を制御するスクリプト 運用・設定コマンド 運用時に使用するコマンド類 環境設定 Oracle データベースのクラスタ運用を行うには、userApplication (クラスタアプリケーション) に Oracle インスタンスやリスナーを「リソー ス」として登録する必要があります。本製品は、それを行うための環境設定インターフェースを提供します。詳細は、「第2章 環境設定」 を参照してください。 監視 Oracle インスタンス、リスナーの監視を行います。監視処理中に異常を検出した場合は、Oracleインスタンスまたはリスナーの再起動や フェイルオーバを自動的に行います。詳細は、「3.1 クラスタ環境における Oracle の制御」を参照してください。 ・ Oracle インスタンスの監視 以下の方法でOracleインスタンスを監視します。 - Oracle のバックグラウントプロセスの監視 SYSTEMユーザーにてOracleへ接続し、PMON・SMON・DBWn・LGWR・CKPT の5つのOracle のバックグラウンドプロセスの 存在を一定周期で監視します。 - SQL文の実行による監視 監視用テーブルを使ってSQL 文(INSERT・UPDATE・DELETE・COMMIT)が実行できることを一定周期で監視します。SQL 文の実行結果からOracleインスタンスの状態を監視します。そのため、Oracle インスタンスのプロセス生死だけでなく、論理的 な異常も検出することが可能です。 ・ リスナーの監視 以下の方法でリスナーを監視します。 - リスナープロセスの監視 リスナープロセスの存在を一定周期で監視します。 - tnspingコマンドによる監視 Oracleのtnsping コマンドを実行し、ネットサービスが有効か確認します。 起動・停止制御 userApplication の状態遷移に従って、Oracle インスタンスおよびリスナーを自動的に起動・停止します。詳細は、「3.1 クラスタ環境に おける Oracle の制御」を参照してください。 -1- ・ Oracle インスタンスの起動・停止 スタンバイ運用の場合、Oracle インスタンスの状態をチェックし、リカバリ処理を実施しながら起動します。例えば Oracle データベー スのオンライン・バックアップ中に Oracle インスタンスがダウンした場合、次回の起動処理中に END BACKUP を自動的に実行し ます。停止においては、デフォルトでは IMMEDIATE モードで停止し、正常に停止できなかった場合は、さらにABORT モードで 停止します。そのため、高速なフェイルオーバが可能です。 ・ リスナーの起動・停止 スタンバイ運用の場合、Oracle の lsnrctl コマンドを使った起動・停止を行います。また、起動・停止処理と同時にリスナープロセス のチェックも行い、起動や停止が正しく行われたことも確認します。 運用・設定コマンド Oracle のメンテナンスや環境設定を補助するためのコマンドを提供します。詳細は、「第4章 コマンド」を参照してください。 1.2 動作環境 スタンバイ運用 -2- スタンバイ運用では、運用ノードと待機ノードが存在します。運用ノードでは、Oracle (データベース、リスナー)、論理IPアドレス、共用 ディスクなどの資源が活性化され、待機ノードでは、それらが非活性化されています。異常発生時には、待機ノードへの業務の切替え が発生し、待機ノードの資源が活性化されます。クライアントは論理IPアドレスによる接続を行うことにより、設定を変更することなく運用 中のノードに接続することができます。 注意 ・ Oracle 11g R2/12c R1でASMを使用する場合はOracle Grid Infrastructureをインストールする必要があります。Oracle Grid Infrastructureをインストールする場合はOracle DatabaseのインストールユーザーとOracle Grid Infrastructureのインストールユーザー を分割する構成をサポートします。単一インストールユーザーの構成はサポートしません。 また、Oracle Database のインストールユーザーの ORACLE_BASE 環境変数と Oracle Grid Infrastructure のインストールユーザー の ORACLE_BASE 環境変数は、異なるディレクトリを指定してください。 ・ PRIMECLUSTER Wizard for Oracleで、Oracle 11g R2/12c R1のASMをスタンバイ運用で使用する場合、Oracleのサービスリソー スは使用できません。 シングルノードクラスタ運用 -3- シングルノードクラスタ運用は、1ノードから構成されるクラスタシステムです。アプリケーションの状態を監視し、異常発生時には、アプ リケーションを再起動して業務を継続します。 注意 ・ Oracle 11g R2/12c R1でASMを使用する場合はOracle Grid Infrastructureをインストールする必要があります。Oracle Grid Infrastructureをインストールする場合はOracle DatabaseのインストールユーザーとOracle Grid Infrastructureのインストールユーザー を分割する構成をサポートします。単一インストールユーザーの構成はサポートしません。 また、Oracle DatabaseのインストールユーザーのORACLE_BASE環境変数とOracle Grid Infrastructureのインストールユーザーの ORACLE_BASE環境変数は、異なるディレクトリを指定してください。 ・ PRIMECLUSTER Wizard for Oracleで、Oracle 11g R2/12c R1のASMをシングルノードクラスタ運用で使用する場合、Oracleのサー ビスリソースは使用できません。 参考 スタンバイ運用、シングルノードクラスタ運用の運用形態については、「PRIMECLUSTER導入運用手引書」の「第1部 導入準備編」を 参照してください。 -4- 第2章 環境設定 2.1 環境設定手順 以下に、一般的な環境設定手順を示します。 注意 本章で説明する環境設定手順は、userApplicationを新規に作成する場合のものです。本製品の以前のバージョンにて既に作成済み の環境を、今回新たに4.3A20にアップデートして運用する場合は、本製品付属のソフトウェア説明書を参照して設定を行ってくださ い。 スタンバイ運用 概要 項番 運用ノード 待機ノード 1 PRIMECLUSTER のインストール/設定 PRIMECLUSTER のインストール/設定 2 PRIMECLUSTER Wizard for Oracle の インストール PRIMECLUSTER Wizard for Oracle の インストール 3 Oracle ソフトウェアの インストール/設定 Oracle ソフトウェアの インストール/設定 4 userApplication の作成 5 データベースの作成/設定 データベースの設定 6 7 Oracle リソースの作成/設定 「2.2 スタンバイ運用」で、各手順の詳細を説明します。 シングルノードクラスタ運用 "付録E シングルノードクラスタ運用"で、各手順の詳細を説明します。 2.2 スタンバイ運用 本章では、スタンバイ運用の環境設定について説明します。 2.2.1 PRIMECLUSTER のインストール/設定 ハードウェアの設定 PRIMECLUSTER に必要なハードウェアの設定を行います。Oracle データベースのファイルを配置する共用ディスク装置が必要とな ります。 -5- ソフトウェアのインストール PRIMECLUSTER のソフトウェア説明書に従って、インストールを行ってください。以下の製品のいずれかが必要になります。 ・ PRIMECLUSTER Enterprise Edition ・ PRIMECLUSTER HA Server ・ PRIMECLUSTER Clustering Base 次に PRIMECLUSTER Wizard for Oracle をインストールします。付属のソフトウェア説明書に従って、インストールを行ってください。 クラスタの構築 「PRIMECLUSTER 導入運用手引書」に従い、「6.6 Online/Offlineスクリプトの設定」までの構築・設定を行ってください。 RMS Wizard (hvw コマンド) を使った userApplication (クラスタアプリケーション) の設定作業については、「PRIMECLUSTER 導入運 用手引書」の「6.7 クラスタアプリケーションの設定」、および本書の以降の節を参照してください。 2.2.2 Oracle ソフトウェアのインストール/設定 Oracle ソフトウェアのインストールおよび設定について説明します。 注意 ・ ここでは、Oracle ソフトウェアのインストールだけを実施し、データベースは作成しないでください。データベースは「2.2.6 データ ベースの作成/設定」で作成します。 ・ Oracle ソフトウェアを共用ディスクに配置する環境では、ASM は未サポートです。ASM を使用する場合は、Oracle ソフトウェアを 各ノードのローカルディスクにインストールしてください。 ・ 1台のサーバーに複数の ORACLE_HOME を作成する場合 (複数の Oracle ソフトウェアをインストールする場合) は、それぞれ異 なる Oracle ユーザーを準備してください。1つの Oracle ユーザーが複数の ORACLE_HOME を持つことはできません。 ・ Oracle 11g R2/12c R1でASMを使用するためにOracle Grid Infrastructureをインストールする場合は、OracleユーザーとGrid ユー ザーを分割してインストールしてください。この構成でのインストール手順については、「2.3.2 ASM(Automatic Storage Management)を使用する場合」を参照してください。 ・ 「第5章 留意事項」に関連情報を記載していますので、事前にご確認ください。 初期設定 ・ カーネルパラメータの設定 PRIMECLUSTER で使用する値に、Oracle 自身が使用する値を加えたものを/etc/sysctl.conf に設定する必要があります。カーネ ルパラメータの設定は使用する Oracle のバージョンやデータベースの構成によって異なるため、Oracle のインストールガイドを参 照してください。パラメータの設定は全てのノードで同一になることを推奨します。 カーネルパラメータは、実行時に、sysctl(8) コマンドで構成することができます。以下にパラメータの設定例および適用方法を示し ます。 注意 カーネルパラメータ semopm ("kernel.sem" の3番目) には、4以上の値を設定してください。 -6- 例 以下のコマンドを実行すると、各パラメータの値が変更されます。このコマンドは、/etc/sysctl.conf の値をカーネルに適用します。 カーネルの再構築は必要ありません。実行時にカーネルパラメータを変更するには sysctl (8) を使用します。sysctl の動作の詳細 については、マニュアルページの sysctl (8) を参照してください。 sysctl -p <filename> <filename> 省略時は、/etc/sysctl.conf ファイルから読み込まれます。 ・ Oracle ユーザーの設定 Oracle ソフトウェアのインストールおよび、起動・停止などの操作を行うための OSDBA グループに所属する OS ユーザーを作成 します。ユーザーID、グループIDは全ノードで同一にする必要があります。 例 # # # # groupadd -g <グループID> dba groupadd -g <グループID> oinstall useradd -g oinstall -G dba oracle passwd oracle ※ グループを2つ作成します。グループ名は一般的に「dba」、「oinstall」とします。 Oracle ユーザーの環境変数を設定する必要があります。 例 (.bash_profile) ORACLE_BASE=/u01/app/oracle; export ORACLE_BASE ORACLE_HOME=/u01/app/oracle/product/db; export ORACLE_HOME ORACLE_SID=ora; export ORACLE_SID LD_LIBRARY_PATH=$ORACLE_HOME/lib; export LD_LIBRARY_PATH PATH=$ORACLE_HOME/bin:/usr/bin:/bin:/usr/bin/X11/:/usr/local/bin; export PATH 注意 PRIMECLUSTER Wizard for Oracleは、Oracle の操作を OSDBA グループに所属する OS ユーザー (Oracle ユーザー) で行いま す。 - Oracle ユーザーの PATH 環境変数に、$ORACLE_HOME/bin を必ず含めるようにしてください。 - 以下のように root ユーザーで su(1M) を実行し、Oracle ユーザーにスイッチできることを確認してください。 # su - <Oracle ユーザー> - Oracle ユーザーのプロファイルにおいて、対話型のコマンド (例 script) を実行しないでください。プロファイルは、/etc/ profile, .bash_profile, .cshrc, .profile などを指します。 - Oracle ユーザーのホームディレクトリ、プロファイルを共用ディスクに配置した環境は、サポート対象外です。Oracle ユーザー のホームディレクトリ、プロファイルは各ノードのローカルディスクに配置してください。 -7- 参照 詳しくは Oracle のマニュアルを参照してください。 インストール Oracle ソフトウェアをローカルディスクに配置する環境の場合、Oracle ソフトウェアを各ノードのローカルディスクにインストールしてくだ さい。Oracle ソフトウェアのインストール手順は Oracle のマニュアルを参照してください。 Oracle ソフトウェアを共用ディスクに配置する環境の場合、“付録D Oracle ソフトウェアを共用ディスク上で使用する場合”を参照して Oracle ソフトウェアを共用ディスクにインストールしてください。 データベースは共用ディスク上に作成する必要があるので、インストール時には作成せず、共用ディスクのクラスタ設定が完了した後 に作成してください (「2.2.6 データベースの作成/設定」で説明します)。 参照 詳しくは Oracle のマニュアル を参照してください。 2.2.3 userApplication およびリソースの構成 スタンバイ運用時には、userApplication は以下のような構成になります。 -8- userApplication app1 説明 登録するリソース 運用を行う全てのノードを含む userApplication です。 Oracle リソース (インスタンス、リスナー) Gds リソース LocalFileSystems リソース Gls リソース RMS Wizard (hvw コマンド)を使用し、userApplication と userApplicationに含まれるリソースを作成します。RMS Wizard (hvw コマン ド)は、メニューから項目を選択するウィザード形式です。 まず Oracle リソースを含まない userApplication を作成し、データベース作成後に Oracle リソースを追加します。以降でその手順につ いて説明します。 参照 RMS Wizard (hvw コマンド) の詳細については、PRIMECLUSTER のマニュアルを参照してください。 2.2.4 Oracle リソースを含まない userApplication の作成 ここでは下図のように、Oracle リソースを含まない構成を作成します。Oracle リソースの作成は、データベース作成後に行います。 GDS の設定 スタンバイ運用では、GDSを「切替えディスク」として設定します。 -9- 参考 スタンバイ運用の場合、例えば Oracle の SYSTEM 表領域を配置するための Disk Class と、その他のデータを配置するための Disk Class を別々に用意し、Oracle の SYSTEM 表領域用 Disk Class は、MONITORONLY 属性 "NO"、その他のデータ用 Disk Class は、 MONITORONLY 属性 "YES" と設定しての運用も可能です。 userApplication の設定 以降の手順と、「PRIMECLUSTER 導入運用手引書」の「第6章 クラスタアプリケーションの構築」に従い userApplication を作成してく ださい。 2.2.4.1 userApplication の作成 1. hvw コマンドを実行し、RMS Wizard を起動します。 # hvw -n <RMS 構成定義名> 2. 「Main Configuration menu」画面にて Application-Create を選択します。 3. 「Application type selection menu」画面にて WIZSTANDBY を選択します。 注意 - 「Application type selection menu」画面にて、ORACLE は選択しないでください。これは、PRIMECLUSTER Wizard for Oracle 4.2 で構築した環境を移行した場合に使用します。 - 10 - - PRIMECLUSTER Wizard for NAS の Netappリソースと組み合わせる場合は、WIZSTANDBYの代わりにNETAPP を選択 してください。詳細は「第5章 留意事項」を参照してください。 4. userApplication 名を変更する場合は、「Settings of turnkey wizard "WIZSTANDBY"」画面で ApplicationName を選択し userApplication 名を設定します。 5. Machines+Basics を選択し、ノード設定と基本設定を行います。 Machines の 設 定 は 、 運 用 ノ ー ド を Machines[0] 、 待 機 ノ ー ド を Machines[1] に 設 定 し ま す 。 ノ ー ド を 追 加 す る 場 合 は AdditionalMachines を選択します。その他の設定については、HELP または「PRIMECLUSTER 導入運用手引書」を参照してく ださい。 参考 以下の設定を推奨します。記述されていない属性は任意です。 属性 推奨設定値 AutoSwitchOver HostFailure|ResourceFailure|ShutDown PersistentFault 1 HaltFlag Yes - 11 - 6. 設定が完了したら、SAVE+EXIT を選択し設定を保存します。 - 12 - 7. 「Setting of turnkey wizard "WIZSTANDBY"」の画面にて、必要となる共用ディスクリソース(例:GDS)、LocalFileSystems、Gls の 設定を行います。 8. この状態で SAVE+EXIT で「Main Configuration menu」画面に戻ります(Oracle に関する設定はまだ行いません)。 2.2.4.2 RMS 構成定義の生成と配布 - 13 - 1. Configuration-Generate および Configuration-Activate を順に実行して、環境設定が完了します。 2. QUIT を選択し、RMS Wizard を終了します。 2.2.5 userApplication の動作確認 RMS および userApplication の動作確認を行います。 全てのノードで RMS を起動し、それぞれのノード上で userApplication が正常に起動する (Online 状態になる) ことを確認してくださ い。 共用ディスク装置 運用中のノードからディスクにアクセスできることを確認してください。また、共用ディスク上に Oracle ユーザー権限でファイルを作成で きることも確認してください。 userApplication を待機ノード側に切替え、同様の確認を行ってください。 - 14 - 論理IPアドレス クライアントマシンから、論理IPアドレスを使用して運用ノードにアクセスできるか確認してください。 userApplication を待機ノード側に切替え、同様の確認を行ってください。 参照 RMS のコマンドについては、「PRIMECLUSTER 導入運用手引書」を参照してください。 2.2.6 データベースの作成/設定 データベースは共用ディスク上に作成します。またその作成は運用ノード上にて行い、待機ノードではデータベースを動作させる設定 のみ行います。 次の手順概要に従い、データベースの作成と設定を行ってください。 例 相互待機や N:1 運用待機構成の場合も、1:1 運用待機と同様にデータベースの作成はそれぞれの運用ノードから行い、待機ノードで は、運用ノードから作成した共用ディスク上のデータベースを動作させる設定のみ行います。その他の運用形態も同様です。 ・ 相互待機 ・ 2:1運用待機 - 15 - 1. userApplication の起動 データベースを作成するノード (運用ノードとします) 上で、「2.2.5 userApplication の動作確認」にて動作確認を終えた userApplication を起動させてください。(Online 状態にしてください。) 2. データベースの作成 運用ノードから共用ディスク上にデータベースを作成してください。 注意 1台のサーバーに複数のORACLE_HOMEを作成している場合(複数のOracleソフトウェアをインストールしている場合)、Oracle インスタンス名には異なるOracleインスタンス名を設定してください。 参考 - データベースの作成は、Oracle のマニュアルを参照してください。 - データベース作成前に、共用ディスクに Oracle ユーザーの書き込み権限があることを確認してください。 - 「第5章 留意事項」に関連情報を記載していますので、事前にご確認ください。 - 各資源の配置先 ファイル 初期化パラメータ・ファイル(PFILE) サーバー・パラメータ・ファイル(SPFILE) パスワード・ファイル 場所 任意 各ノードのローカルディスクに配 置することを推奨します。 共用 下記「サーバー・パラメータ・ファ イル」項を参照してください。 任意 下記「パスワード・ファイル」項を参 照してください。 制御ファイル 共用 データファイル 共用 REDO ログ・ファイル 共用 任意 アーカイブ REDO ログ フラッシュ・リカバリ領域 ログファイル 備考 共用ディスクとローカルディスクと で多重化しておくことを推奨しま す。 共用 AUDIT_FILE_DEST ローカル BACKGROUND_DUMP_DEST ローカル CORE_DUMP_DEST ローカル USER_DUMP_DEST ローカル DIAGNOSTIC_DEST ローカル - 16 - トラブル調査時に確実に採取でき るよう、各ノードのローカルディス クに配置してください。 注意 アーカイブ REDO ログを共用ディスクに配置する場合、ディスクの容量の枯渇に注意してください。アーカイブログ領域不足 に陥ると、監視用 SQL によるデータ更新処理がハングアップし、リソース異常となる場合があります。 その後、userApplication がフェイルオーバしてもフェイルオーバ先の待機ノードでも共用ディスク上の領域不足により Oracle データベースの起動に失敗するため、最終的に両系停止となり業務が停止する場合があります。 - 初期化パラメータ 初期化パラメータ LOCAL_LISTENER の設定が、listener.ora、tnsnames.ora の設定と整合性が保たれている必要がありま す。Oracle のネットワークの設定を行う場合も、注意してください。 - サーバー・パラメータ・ファイル Oracle のサーバー・パラメータ・ファイルを使用する場合、サーバー・パラメータ・ファイルは共用ディスク上に配置してくださ い。共用ディスク上に配置しない場合、運用・待機ノードで同一の設定で動作できなくなります。サーバー・パラメータ・ファイ ルを共用ディスクに配置後、共用ディスク上のファイルを参照するための設定を運用・待機両ノードにて実施してください。 以下のいずれかの方法で設定してください。 例 - 共用ディスク上のサーバー・パラメータ・ファイルへのシンボリックリンク・ファイルを作成する方法 $ ln -s <共用ディスク上の格納先>/spfile<$ORACLE_SID>.ora <$ORACLE_HOME>/dbs/spfile<$ORACLE_SID>.ora - 初期化パラメータ・ファイルにサーバー・パラメータ・ファイルの配置先を指定する方法 初期化パラメータ・ファイル (<$ORACLE_HOME>/dbs/init<$ORACLE_SID>.ora) に以下のように設定します。 spfile=<共用ディスク上の格納先>/spfile<$ORACLE_SID>.ora 注意 dbca (Database Configuration Assistant) を使用してデータベースを作成する場合、サーバー・パラメータ・ファイルの格納先 を指定できない場合があります。 このような場合、以下の例を参考にして、データベース作成後にサーバー・パラメータ・ファイルを共用ディスク上に移動して ください。 1. 共用ディスクがマウントされていなければ、マウントします。 「2.2.5 userApplication の動作確認」にて動作確認を終えた userApplication を起動することでも可能です。 2. サーバー・パラメータ・ファイルを共用ディスク上に移動します。 # mv <$ORACLE_HOME>/dbs/spfile<$ORACLE_SID>.ora <共用ディスク上の格納先>/ 3. 初期化パラメータ・ファイル <$ORACLE_HOME>/dbs/init<$ORACLE_SID>.ora を編集します(上記「例」参照)。 手順3は、運用・待機両ノードにて実施してください。 または運用ノードで実施後、cloracpy コマンドを使用することもできます。詳しくは、「4.4 cloracpy - Oracle 設定ツール(待機 ノード用)」を参照してください。 - パスワード・ファイル パスワード・ファイルは、ローカルディスク、共用ディスクのいずれかに配置してください。どちらに配置するかは、以下の点を 参考にしてください。 - 17 - - ローカルディスク ローカルディスクに配置する場合、運用ノードでパスワード・ファイルを作成、または更新した後に、全ての待機ノードに 配置する必要があります。そのため、共用ディスクに配置する場合に比べて、メンテナンス効率は低下します。 - 共用ディスク 共用ディスク上に配置する場合、パスワード・ファイルの作成や更新は運用ノードでのみ実施します。そのため、ローカ ルディスクに配置する場合に比べて、メンテナンス効率は向上します。 共用ディスクに配置する場合は、運用ノードでパスワード・ファイルを作成し、共用ディスク上に配置してください。 $ orapwd file=<$ORACLE_HOME>/dbs/orapw<SID> password=password force=y $ mv <$ORACLE_HOME>/dbs/orapw<SID> <共用ディスク上の格納先>/orapw<SID> 次に、全てのノードの$ORACLE_HOME/dbs 配下にシンボリックリンク・ファイルを作成してください。 $ ln -s <共用ディスク上の格納先>/orapw<SID> <$ORACLE_HOME>/dbs/orapw<SID> データベース作成に関するその他の注意事項です。 注意 - ASM (Automatic Storage Management) を使用する場合、後で ASM を RMS リソースとして登録する必要があります。「2.3.2 ASM(Automatic Storage Management)を使用する場合」を参照してください。 - Oracle ユーザーの login.sql に、システム変数の設定以外の処理を記述しないでください。 PRIMECLUSTER Wizard for Oracle では、SQL*Plus を使用して Oracle を制御しています。そのため、login.sql にSQL 文 などが記述されていると、制御時に自動的に実行してしまい誤動作する可能性があります。 ただし、SET コマンドによりシステム変数を設定することは可能です。 3. Oracle Net Services の構成 (リスナーの作成) 運用ノード上で Oracle Net Services の構成を行ってください。 - 各資源の配置先 ファイル 場所 備考 listener.ora 任意 配置先については、参考を参照してください。 tnsnames.ora 任意 同上 <LISTENER>.log ローカル 参考 listener.ora/tnsnames.ora ファイルは、ローカルディスク、共用ディスクのいずれかに配置してください。どちらに配置するか は、以下の点を参考にしてください。 - ローカルディスク ローカルディスクに配置した場合、ファイルの編集は、ノードごとに行う必要があります。そのため、共用ディスクに配置 する場合に比べて、メンテナンス効率は低下します。一方で、トラブル調査時には、共用ディスクのマウント状態の影響 を受けないため、確実にファイルを採取することができます。 - 共用ディスク 共用ディスク上に配置した場合、ファイルの編集は、共用ディスク上のファイルを編集するのみでよく、ローカルディスク に配置する場合に比べて、メンテナンス効率は向上します。一方で、共用ディスクがマウントされていない場合に、トラブ ル調査に必要なファイルを採取できないことがあります。 - 18 - 共用ディスクに配置する場合は、各ノードの$ORACLE_HOME/network/admin 配下にシンボリックリンク・ファイルを作 成してください。 ・listener.ora の場合 $ ln -s <共用ディスク上の格納先>/listener.ora <$ORACLE_HOME>/network/admin/listener.ora ・tnsnames.ora の場合 $ ln -s <共用ディスク上の格納先>/tnsnames.ora <$ORACLE_HOME>/network/admin/tnsnames.ora - Oracle リスナー listener.ora ファイルを編集するか、 $ORACLE_HOME/network/admin/listener.ora または netca (Oracle Net Configuration Assistant) を使用するなどしてリスナーを作成してください。 スタンバイ運用などで論理IPアドレスを使用した、リスナーの切替え運用を行う場合は、リスナーの IPアドレスに論理IPアドレ スを設定します。 例 listener.ora ファイルで、HOST に論理IPアドレスが設定されるようにしてください。 LISTENER = (DESCRIPTION = (ADDRESS = (PROTOCOL = TCP)(HOST = <論理IPアドレス>)(PORT = 1521)) ) SID_LIST_LISTENER = (SID_LIST = (SID_DESC = (GLOBAL_DBNAME = ora) (ORACLE_HOME = /u01/app/oracle/product/db) (SID_NAME = ora) ) ) - ネット・サービス名 Oracle リスナーの監視において、tnsping による Oracle リスナー動作監視を行う場合は、tnsnames.ora ファイルを編集する か、 $ORACLE_HOME/network/admin/tnsnames.ora または netca (Oracle Net Configuration Assistant) を使用するなどしてネット・サービス名を設定してください。tnsnames.oraで 設定したネット・サービス名をPRIMECLUSTER Wizard for Oracle の Oracle リスナーの環境設定で指定します。 tnsnames.ora で設定する $ORACLE_SID、ホスト (論理IPアドレス) およびポート番号は、監視対象の Oracle リスナーと同一 にします。 例 tnsnames.ora ファイルに設定する $ORACLE_SID、ホスト (論理IPアドレス) およびポート番号は、監視対象の Oracle リスナー と同一にします。 ネット・サービス名 = (DESCRIPTION = (ADDRESS = (PROTOCOL = TCP)(HOST = <論理IPアドレス>)(PORT = 1521)) (CONNECT_DATA = (SID = ora)) ) - 19 - 注意 - TWO_TASK 環境変数は使用しないでください。 TWO_TASK 環境変数は、データベースへの接続時に接続識別子を付加し、自動的にネットワーク接続にて接続するため の環境変数です。PRIMECLUSTER Wizard for Oracle では、ローカル接続 ("/ as sysdba") にてデータベースに接続する必 要があるため、ネットワーク接続は使用できません。 業務などでネットワーク接続を行う場合は、TWO_TASK 環境変数を使用せず、ログイン時に"@接続識別子" を指定してく ださい。 - リスナーのオペレーティング・システム認証 (OS認証) を有効にしてください。 デフォルトでは OS 認証が有効になっています。 listener.ora ファイルに以下のパラメータを設定した場合もOS認証は有効になります。 LOCAL_OS_AUTHENTICATION_<LISTENER_NAME> = ON - 1台のサーバーに複数のORACLE_HOMEを作成している場合(複数のOracleソフトウェアをインストールしている場合)、リス ナー名には異なるリスナー名を設定してください。 4. スタンバイ運用のための事前準備 運用ノード側の構成情報を待機ノード側に反映してください。 - 構成内容の同一化 データベースや Oracle Net Services の構成内容が運用ノード側と同一になるように、待機ノード側でディレクトリの作成や ファイルのコピー、リンクの設定を行ってください。 - <$ORACLE_HOME>/dbs 配下 - <$ORACLE_BASE>/admin/<$ORACLE_SID> 配下 - <$ORACLE_BASE>/diag 配下 - <$ORACLE_HOME>/network/admin 配下 上記で作成したディレクトリとファイルのアクセス権限を運用ノードと同一にしてください。 アーカイブ REDO ログ出力先などの設定を運用ノードで行った場合は、待機ノードでも同一の設定を行ってください。 参考 cloracpy コマンドを使って、運用ノードの必要なファイルを tar 形式にバックアップすることができます。 詳しくは「4.4 cloracpy - Oracle 設定ツール(待機ノード用)」を参照してください。 - SYSTEM ユーザーパスワードの登録 PRIMECLUSTER Wizard for Oracle では、Oracle の SYSTEM ユーザーとして Oracle に接続し、Oracle の監視を行ってい ます。そのため、SYSTEM ユーザーのパスワードを、PRIMECLUSTER Wizard for Oracle に登録する必要があります。「4.3 clorapass - 監視用パスワードの登録」を参照して、SYSTEM ユーザーのパスワードを登録してください。 - ログファイルのフルパス定義 PRIMECLUSTER Wizard for Oracleの調査資料コマンドclgetoralogは、Oracleのアラート・ファイルやリスナーログを採取しま す。しかしログファイルの格納場所によっては採取できない場合があり、この結果、トラブル調査に時間を要する可能性があ ります。 これを防止するために、/opt/FJSVclora/etc/clgetoralog.confファイルにログファイルのフルパスを定義してください。詳しくは、 “4.5 clgetoralog - Oracle 調査資料採取”の「注意」を参照してください。 - 20 - 5. 動作確認 Oracle インスタンス (データベース)、リスナーを手動で起動、停止し、正しく動作することを確認してください。これは、運用、待 機両ノードで行ってください。 注意 userApplication を運用ノードから待機ノードへ切替える場合は、事前に運用ノード上で稼働中のデータベース、リスナーを必ず 停止してください。データベースが共用ディスク上のデータにアクセス中に切替えてしまうと、Oracle バックグラウンド・プロセスが 強制終了されます。 動作確認終了後は、全ての Oracle インスタンス (データベース)、リスナーを停止し、さらに全ノード上の RMS を停止してくださ い。 2.2.7 userApplication の編集 「2.2.4 Oracle リソースを含まない userApplication の作成」で作成した userApplication に Oracle 関連のリソースを追加登録します。 (下図の太枠のリソースの作成・追加を行います。) 注意 ・ Oracle リソースの作成/設定作業は、Oracle インスタンス、リスナーを手動で起動・停止し、正しく動作することを確認してから行っ てください。 - 21 - ・ Oracle リソースの作成/設定作業の前に、クラスタ内の全ノードで Oracle インスタンス、リスナーおよび RMS を停止してください。 ・ 同一の Oracle インスタンスまたはリスナーに対して、複数のリソースを作成してはいけません(二重作成してはいけません)。 参照 詳しくは PRIMECLUSTER のマニュアルを参照してください。 2.2.7.1 Oracle リソースの作成と userApplication への登録 1. hvw コマンドを実行し、RMS Wizard を起動します。 (<RMS 構成定義名>には「2.2.4 Oracle リソースを含まない userApplication の作成」で指定した定義名を指定してください。) # hvw -n <RMS 構成定義名> 2. 「Main Configuration menu」画面にて Application-Edit を選択します。 3. 「Application selection menu」画面にて、「2.2.4 Oracle リソースを含まない userApplication の作成」で作成した userApplication (すべて大文字)を選択します。 - 22 - 4. 「Settings of turnkey wizard "WIZSTANDBY"」画面から、Oracle を選択します。 5. Oracle インスタンス、リスナーをリソースとして追加します。 設定項目 説明 AdditionalInstance Oracle インスタンスリソースを追加します。 AdditionalListener Oracle リスナーリソースを追加します。 StartPriority Oracle インスタンスとリスナーの起動順序を設定します。 デフォルトは「Same」(同時起動) です。 例 StartPriority について 共有サーバー構成や動的サービス構成など、Oracle インスタンスより先にリスナーを起動させる必要がある場合は、StartPriority に "Listener" を設定してください。 6. Oracle インスタンスリソースを追加します。 AdditionalInstance を選択し、さらに FREECHOICE で ORACLE_SID を入力します。 - 23 - 参考 ここで入力された ORACLE_SID をもとに、RMS 上のリソース名は以下のように生成されます。(Oracle インスタンスリソース/ASM インスタンスリソースの場合) ORACLE_Ora_<ApplicationName>_<OracleSID> このリソース名には次の規約があります。 - 39文字以内である必要があります。 - 先頭の "ORACLE_Ora_" は固定文字です。 - <ApplicationName> 部分については、「2.2.4.1 userApplication の作成」の手順“4”を参照してください。 注意 ASMインスタンスをリソース登録する場合、「2.3.2 ASM(Automatic Storage Management)を使用する場合」を参照してください。 7. Oracle インスタンスリソースの詳細設定を行います。 Oracle インスタンスリソースに関する設定項目は次の通りです。 設定項目 OracleSID OracleUser 説明 ORACLE_SID ・ Oracleインスタンスリソースの場合、または、ASMインスタンス リソース(Oracle 11g R1)の場合 - OSDBAグループに所属するOSユーザー(「2.2.2 Oracle ソフ トウェアのインストール/設定」の「Oracleユーザーの設定」を参 照) ・ ASMインスタンスリソース(Oracle 11g R2/12c R1)の場合 - Gridユーザー StartTimeout Oracle 起動処理のタイムアウト時間(秒) デフォルト 600 (300 - 86400) StopTimeout Oracle 停止処理のタイムアウト時間(秒) デフォルト 180 (60 - 86400) AbortTimeout Oracle 停止エラー時の強制終了処理のタイムアウト時間(秒) デフォルト 60 (60 - 86400) StopModeStop 正常時の Oracle 停止モード デフォルト immediate (abort, immediate, transactional) - 24 - 設定項目 説明 StopModeFail 異常時の Oracle 停止モード デフォルト abort (abort, immediate) Interval Oracle インスタンスの監視間隔(秒) デフォルト 30 (5 - 86400) WatchTimeout 監視タイムアウト時間 (秒) ここで指定した時間 Oracle からの応答が無い場合、Oracleの異常 と判断します。 デフォルト 300 (30 - 3600) PreOnlineScript オンライン処理の前に実行されるスクリプト。 スクリプトは、フルパスで設定してください。引数を指定する場合 は、"半角空白"で区切ります。 PostOnlineScript オンライン処理の後に実行されるスクリプト。 スクリプトは、フルパスで設定してください。引数を指定する場合 は、"半角空白"で区切ります。 PreOfflineScript オフライン処理の前に実行されるスクリプト。 スクリプトは、フルパスで設定してください。引数を指定する場合 は、"半角空白"で区切ります。 PostOfflineScript オフライン処理の後に実行されるスクリプト。 スクリプトは、フルパスで設定してください。引数を指定する場合 は、"半角空白"で区切ります。 FaultScript Fault 発生時に実行されるスクリプト。 スクリプトは、フルパスで設定してください。引数を指定する場合 は、"半角空白"で区切ります。 Flags NullDetector (D) リソース監視を行うかどうかを選択するフラグです。 有効にすると、リソース監視を行いません。 デフォルトは無効です。 AutoRecover (A) リソース異常が発生した場合に、フェイルオーバ前にリソースの再 起動を試みるかどうかを選択するフラグです。 有効にすると、再起動を試みます。 デフォルトは無効です。 MonitorOnly (M) リソース異常が発生した場合に、フェイルオーバさせるかどうかを 選択するフラグです。 有効にすると、フェイルオーバしません。 デフォルトは無効です。 参照 - *Scriptに関しては、「2.3.1 Oracle 起動・停止時のスクリプトの設定」を参照してください。 - Flagsに関しては、「PRIMECLUSTER RMS導入運用手引書」の「11 付録-属性」を参照してください。 注意 - NullDetector を有効にすると、AutoRecover と MonitorOnly 属性は自動的に無効になります。 - StartPriority に "Instance" または "Listener" を指定した場合、MonitorOnly を有効にすることはできません。MonitorOnly を 有効にしたい場合は、StartPriority に "Same" を指定してください。 - Flags に関しては、Flags=<略称>となっていれば、そのフラグの属性が有効であることを示します。 - 25 - 8. SAVE+RETURN を選択し、Oracle インスタンスリソースの詳細設定を終了します。 9. Oracle リスナーリソースを追加します。 AdditionalListener を選択し、さらに FREECHOICE でリスナー名を入力します。 参考 ここで入力された リスナー名をもとに、RMS 上のリソース名は以下のように生成されます。 LISTENER_Ora_<ApplicationName>_<ListenerName> このリソース名には次の規約があります。 - 39文字以内である必要があります。 - 先頭の "LISTENER_Ora_" は固定文字です。 - <ApplicationName> 部分については、「2.2.4.1 userApplication の作成」の手順“4”を参照してください。 - 26 - 10. Oracle リスナーリソースの詳細設定を行います。 Oracle リスナーリソースに関する設定項目は次の通りです。 設定項目 ListenerName OracleUser 説明 Oracle リスナー名 ・ Oracleリスナーリソース(Oracle 11g R1)の場合、または、Oracleリス ナーリソース(Oracle 11g R2/12c R1でASMを使用しない)の場合 - Oracleリスナーを制御するOSユーザー ・ Oracleリスナーリソース(Oracle 11g R2/12c R1でASMを使用する) の場合 - Gridユーザー TNSName Oracle リスナー監視で使用するネット・サービス名。TNSNameが設定さ れると Oracle リスナーの監視のために tnsping コマンドを実行します。 tnsnames.ora で設定した値です。 TNSName省略時は Oracle リスナーのプロセス監視のみ行います。(任 意) StartTimeout Oracle リスナー起動処理のタイムアウト時間(秒) デフォルト 180 (120 - 86400) StopTimeout Oracle リスナー停止処理のタイムアウト時間(秒) デフォルト 60 (60 - 86400) Interval Oracle リスナーの監視間隔(秒) デフォルト 30 (5 - 86400) WatchTimeout 監視タイムアウト時間 (秒) ここで指定した時間 Oracleリスナー からの応答が無い場合、Oracleリス ナーの異常と判断します。 デフォルト 300 (30 - 3600) PreOnlineScript オンライン処理の前に実行されるスクリプト。 スクリプトは、フルパスで設定してください。引数を指定する場合は、"半 角空白"で区切ります。 PostOnlineScript オンライン処理の後に実行されるスクリプト。 スクリプトは、フルパスで設定してください。引数を指定する場合は、"半 角空白"で区切ります。 PreOfflineScript オフライン処理の前に実行されるスクリプト。 スクリプトは、フルパスで設定してください。引数を指定する場合は、"半 角空白"で区切ります。 PostOfflineScript オフライン処理の後に実行されるスクリプト。 スクリプトは、フルパスで設定してください。引数を指定する場合は、"半 角空白"で区切ります。 FaultScript Fault 発生時に実行されるスクリプト。 スクリプトは、フルパスで設定してください。引数を指定する場合は、"半 角空白"で区切ります。 - 27 - 設定項目 Flags 説明 NullDetector (D) リソース監視を行うかどうかを選択するフラグです。 有効にすると、リソース監視を行いません。 デフォルトは無効です。 AutoRecover (A) リソース異常が発生した場合に、フェイルオーバ前にリソースの再起動 を試みるかどうかを選択するフラグです。 有効にすると、再起動を試みます。 デフォルトは有効です。 MonitorOnly (M) リソース異常が発生した場合に、フェイルオーバさせるかどうかを選択 するフラグです。 有効にすると、フェイルオーバしません。 デフォルトは無効です。 参照 - *Scriptに関しては、「2.3.1 Oracle 起動・停止時のスクリプトの設定」を参照してください。 - Flagsに関しては、「PRIMECLUSTER RMS導入運用手引書」の「11 付録-属性」を参照してください。 注意 - NullDetector を有効にすると、AutoRecover と MonitorOnly 属性は自動的に無効になります。 - StartPriority に "Instance" または "Listener" を指定した場合、MonitorOnly を有効にすることはできません。MonitorOnly を 有効にしたい場合は、StartPriority に "Same" を指定してください。 - Flags に関しては、Flags=<略称>となっていれば、そのフラグの属性が有効であることを示します。 11. SAVE+RETURN を選択し、Oracle リスナーリソースの詳細設定を終了します。 - 28 - 12. Oracle インスタンス、リスナーが登録されていることを確認し、SAVE+EXIT で設定を保存します。 次の画面で Oracle(Ora_xxx) が設定されていることを確認してください。 2.2.7.2 その他必要なリソースや userApplication の作成 1. その他必要なリソースがある場合は、「Setting of turnkey wizard "WIZSTANDBY"」画面から作成、登録を行ってください。 参考 Procedure リソースやバックアップソフトのリソース登録を行う場合は、ここで登録してください。 詳しくは、各製品のマニュアルを参照してください(Procedure リソースについては「PRIMECLUSTER 導入運用手引書」を参照し てください)。 2. SAVE+EXIT で「Main Configuration menu」画面に戻ります。 - 29 - 3. その他必要な userApplication がある場合は、「Main Configuration menu」から作成を行ってください。 2.2.7.3 RMS 構成定義の生成と配布 1. Configuration-Generate および Configuration-Activate を順に実行して、環境設定が完了します。 2. QUIT を選択し、RMS Wizard を終了します。 参考 userApplication 設定完了後、ここで設定した内容を clorainfo -c コマンドで確認することができます。詳しくは、「4.6 clorainfo - 設定情 報や監視状態の表示」を参照してください。 - 30 - 2.2.8 userApplication の動作確認 RMS および userApplication の動作確認を行います。 全てのノードで RMS を起動し、それぞれのノード上で userApplication が正常に起動する(Online 状態になる)ことを確認してください。 参照 RMS のコマンドについては、「PRIMECLUSTER 導入運用手引書」を参照してください。 運用構成 Web-Based Admin View の Cluster Admin 画面を参照して、以下のような構成になっていることを確認してください。 共用ディスク装置 運用中のノードからディスクにアクセスできることを確認してください。 また、共用ディスク上にOracleユーザー権限でファイルを作成できることを確認してください。 論理IPアドレス クライアントマシンから、論理IPアドレスを使用して運用ノードにアクセスできるか確認してください。 Oracle クライアントマシンから、論理IPアドレスを使用して運用ノードの Oracle にアクセスできるか確認してください。 - 31 - 参考 Oracle インスタンスリソースが Warning 状態となった場合、Oracle の SYSTEM ユーザーのパスワードが正しく登録されていない可能 性があります。その場合、「4.3 clorapass - 監視用パスワードの登録」を参照し、再登録を行ってください。 2.3 参考 2.3.1 Oracle 起動・停止時のスクリプトの設定 PRIMECLUSTER Wizard for Oracle では、Oracle インスタンス、リスナーの起動・停止(Online 処理・Offline 処理)の途中、またはそ の前後で、ユーザー独自の処理を実行させることができます。例えば、Oracle インスタンス、リスナーの起動・停止に連動して、アプリ ケーションの起動・停止や、バッチ処理を実行することができます。 スクリプトの種類 スクリプト 説明 PreOnlineScript リソースの Online 処理の前に実行されます。 RMS Wizard (hvw コマンド) を使った userApplication 作成中に設定してください。 OnlineScript リソースとして登録された対象 (Oracle インスタンス、リスナー) の起動 (Online 処理) を行います。 Wizard for Oracle 内部で自動設定されるものであり、ユーザーが明示的に設定する ことはできません。 prestartup* スタンバイ運用の Oracle インスタンスリソースのみ設定可能です。 Oracle インスタンス起動処理 (Online 処理) において、インスタンス起動処理前に呼 び出されます。Oracle の状態 (V$INSTANCE ビューの STATUS 列) を意識する必 要がある場合、呼び出された側で考慮する必要があります。 /opt/FJSVclora/usr 配下に "prestartup" で始まる実行形式ファイルを格納してくださ い。 nomount* スタンバイ運用の Oracle インスタンスリソースのみ設定可能です。 Oracle インスタンス起動処理 (Online 処理) において、Oracle の状態 (V$INSTANCE ビューの STATUS 列) が "STARTED" のときに呼び出されます。 /opt/FJSVclora/usr 配下に "nomount" で始まる実行形式ファイルを格納してくださ い。 mount* スタンバイ運用の Oracle インスタンスリソースのみ設定可能です。 Oracle インスタンス起動処理 (Online 処理) において、Oracle の状態 (V$INSTANCE ビューの STATUS 列) が "MOUNTED" のときに呼び出されます。 /opt/FJSVclora/usr 配下に "mount" で始まる実行形式ファイルを格納してください。 起動系 PostOnlineScript リソースの Online 処理の後に実行されます。 RMS Wizard (hvw コマンド) を使った userApplication 作成中に設定してください。 PreOfflineScript リソースの Offline 処理の前に実行されます。 RMS Wizard (hvw コマンド) を使った userApplication 作成中に設定してください。 OfflineScript リソースとして登録された対象 (Oracle インスタンス、リスナー) の停止 (Offline 処理) を行います。 停止系 - 32 - スクリプト 説明 Wizard for Oracle 内部で自動設定されるものであり、ユーザーが明示的に設定する ことはできません。 その他 PostOfflineScript リソースの Offline 処理の後に実行されます。 RMS Wizard (hvw コマンド) を使った userApplication 作成中に設定してください。 FaultScript リソース異常発生時に実行されます。 RMS Wizard (hvw コマンド) を使った userApplication 作成中に設定してください。 参照 次のスクリプトの設定方法は、「2.2.7.1 Oracle リソースの作成と userApplication への登録」の手順“7”または手順“10”を参照してくださ い。 ・ PreOnlineScript ・ PostOnlineScript ・ PreOfflineScript ・ PostOfflineScript ・ FaultScript 次のスクリプトの処理内容は、「3.1 クラスタ環境における Oracle の制御」を参照してください。 ・ OnlineScript (Online 処理) ・ OfflineScript (Offline 処理) スクリプトの実行順序 スクリプト 起動系 停止系 その他 userApplication 起 動時 リソースの AutoRecover 時 userApplication 停 userApplication 停 止 (通常時) 止 (リソース異常時) PreOnlineScript 1 ― ― ― OnlineScript 2 1 ― ― prestartup* 3 2 ― ― nomount* 4 3 ― ― mount* 5 4 ― ― PostOnlineScript 6 5 ― ― PreOfflineScript ― ― 1 2 OfflineScript ― ― 2 3 PostOfflineScript ― ― 3 4 FaultScript ― ― ― 1 例 Oracle インスタンスとリスナーが StartPriority=Listener でリソース登録されたスタンバイ運用の場合、以下の順序で実行されます。 - 33 - ・ userApplication 起動時 全てのリソースの PreOnlineScript が最初に実行されることに注意してください。 1. リスナーリソースの PreOnlineScript 2. Oracle インスタンスリソースの PreOnlineScript 3. リスナーリソースの OnlineScript 4. リスナーリソースの PostOnlineScript 5. Oracle インスタンスリソースの OnlineScript (prestartup*・nomount*・mount* 含む) 6. Oracle インスタンスリソースの PostOnlineScript ・ リスナーリソースの AutoRecover 時 PreOnlineScript は実行されないことに注意してください。 1. リスナーリソースの OnlineScript 2. リスナーリソースの PostOnlineScript ・ userApplication 停止時 全てのリソースの PreOfflineScript が最初に実行されることに注意してください。 1. Oracle インスタンスリソースの PreOfflineScript 2. リスナーリソースの PreOfflineScript 3. Oracle インスタンスリソースの OfflineScript 4. Oracle インスタンスリソースの PostOfflineScript 5. リスナーリソースの OfflineScript 6. リスナーリソースの PostOfflineScript ・ リスナーリソース異常に伴う userApplication 停止時 FaultScript は異常が発生したリソースだけでなく、その上位リソース (後に起動し、先に停止するリソース) でも実行されることに注 意してください。 1. リスナーリソースの FaultScript 2. Oracle インスタンスリソースの FaultScript 3. Oracle インスタンスリソースの PreOfflineScript 4. リスナーリソースの PreOfflineScript 5. Oracle インスタンスリソースの OfflineScript 6. Oracle インスタンスリソースの PostOfflineScript 7. リスナーリソースの OfflineScript 8. リスナーリソースの PostOfflineScript 留意事項 (PreOnlineScript・PostOnlineScript・PreOfflineScript・PostOfflineScript・FaultScript) ・ root ユーザーで実行されます。 ・ exit コード 0 で正常終了です。0 以外の場合は異常終了となり、Online 処理または Offline 処理が異常となります。 ・ スクリプトの実行時間が ScriptTimeout を超えると異常終了となり、Online 処理または Offline 処理が異常となります。 ・ 各スクリプトには、RMS で定義された環境変数が設定されています。 - 34 - ・ スクリプトは、フルパスで設定してください。引数を指定する場合は、"半角空白"で区切ります。 参照 各スクリプトの詳細は 「PRIMECLUSTER RMS 導入運用手引書」の「2.6.3 スクリプト」などを参照してください。 留意事項 (prestartup*・nomount*・mount*) ・ 格納場所は /opt/FJSVclora/usr 配下とし、複数存在する場合は名前順に実行されます。 ・ 正常終了時は 0、異常終了時は 0 以外で復帰してください。 異常終了した場合、Oracle インスタンス起動処理自体もその時点で異常終了します。 ・ root ユーザーで実行されます。 ・ 次のパラメータが渡されます。 - $1 : $ORACLE_HOME - $2 : $ORACLE_SID - $3 : Oracleユーザー名 ・ 起動タイムアウト時間内に終了しなかった場合、異常終了と見なされます。 起動タイムアウト時間については、「2.2.7.1 Oracle リソースの作成と userApplication への登録」の手順“7”または手順“10”の 「ScriptTimeout」を参照してください。 注意 これらのスクリプトは、スタンバイ運用の Oracle インスタンスリソースのみ使用可能です。 2.3.2 ASM(Automatic Storage Management)を使用する場合 ASM を PRIMECLUSTER 上で使用する場合は、スタンバイ運用での使用が可能です。 スタンバイ運用 ASM インスタンスを PRIMECLUSTER RMS にリソース登録してください。 リソース登録された ASM インスタンスは、起動・停止制御のみが行われ監視は行われません。ASM インスタンスに異常が発生した場 合でも、Oracle インスタンスリソースで異常を検出しますので、userApplication の切替えが発生し、業務を継続できます。 環境構築時の注意事項については、Oracle 11g R1 の場合は “2.3.2.1 環境構築時の注意(Oracle 11g R1の場合)”、Oracle 11g R2/12c R1 の場合は “2.3.2.2 環境構築時の注意(Oracle 11g R2/12c R1の場合)” を参照してください。 2.3.2.1 環境構築時の注意(Oracle 11g R1の場合) Oracle 11g R1のASMを使用する場合の注意事項は以下の通りです。 - 35 - ASM インスタンスとデータベースの作成/設定 ・ 運用ノード ASM インスタンスとデータベースの作成は運用ノード上からのみ行い、待機ノードでは、運用ノードから作成した共用ディスク上の データベースを動作させる設定のみ行います。 注意 - ASMインスタンス作成時、ASMインスタンス名の先頭に「+」がつくように設定してください。(デフォルトでは“+ASM”となります) 複数のASMインスタンスを作成する場合、ASMインスタンス名には異なるASMインスタンス名を設定してください。 - 1台のサーバーに複数のORACLE_HOMEを作成している場合(複数のOracleソフトウェアをインストールしている場合)、Oracle インスタンス名には異なるOracleインスタンス名を設定してください。 - 1つのuserApplication内でASMインスタンスとデータベースの関係が1:1もしくは、1:nになるように、ASMインスタンスとデータ ベースを作成してください。 - ASMインスタンス:データベース = 1:1 - ASMインスタンス:データベース = 1:n 下図は、ASMインスタンス:データベース = 1:2の例です。 - 36 - - 相互待機やN:1運用待機で使用する場合、userApplicationごとにASMインスタンスとデータベースの関係が1:1もしくは、1:nに なるよう、ASMインスタンスとデータベースを作成してください。 - 相互待機 下図は、ASMインスタンス:データベース = 1:1のuserApplicationを2つ作成した例です。 - N:1運用待機 下図は、ASMインスタンス:データベース = 1:2のuserApplicationを2つ作成した例です。 参照 ASM インスタンス、データベースの作成は、Oracle のマニュアルを参照してください。 - 37 - ・ 待機ノード ASM インスタンス、データベースを作成した運用側と同一の構成になるように、ディレクトリの作成やファイルのコピー、リンクの設 定を行ってください。 - $ORACLE_HOME/dbs 配下 - $ORACLE_BASE/admin/$ORACLE_SID 配下 - $ORACLE_BASE/admin/<ASMインスタンス名> 配下 - $ORACLE_BASE/diag/asm 上記で作成したディレクトリとファイルのアクセス権限を運用ノードと同一にしてください。 アーカイブ REDO ログ出力先などの設定を運用ノードで行った場合は、待機ノードでも同一の設定を行ってください。 CSS(Cluster Services Synchronization)デーモンの設定・起動を行ってください。運用側はデータベース作成時に設定・起動されま すが、待機側は手動で設定・起動させておく必要があります。 注意 cloracpy コマンド(「4.4 cloracpy - Oracle 設定ツール(待機ノード用)」参照)を使って運用ノードの必要なファイルを tar 形式にバッ クアップする場合、ASM インスタンスの定義情報はバックアップされません。以下のファイルは tar などを用いて手動でコピーして ください。 - $ORACLE_BASE/admin/<ASMインスタンス名> 配下 ASM 初期化パラメータの確認 ASM インスタンスの初期化パラメータ "ASM_DISKGROUPS" に、Oracle データベースを作成したディスクグループ名が設定されて いることを確認してください。 参照 ASM インスタンスの初期化パラメータについては、Oracle のマニュアルを参照してください。 userApplicationの作成 userApplication作成時は、Oracleインスタンスリソースと同様にASMインスタンスリソースを作成してください。ASMインスタンスリソース と、そのASMインスタンスリソースに関連するOracleインスタンスリソースは、同じOracleリソースに登録してください。 参考 ・ ASM インスタンスをリソース登録する場合の手順については、「2.2.7.1 Oracle リソースの作成と userApplication への登録」の手 順“5”を参照してください。 ・ ASM インスタンスリソースのフラグ設定値には、NullDetector 属性のみが自動設定されます。この値を変更することはできません。 2.3.2.2 環境構築時の注意(Oracle 11g R2/12c R1の場合) Oracle 11g R2/12c R1のASMを使用する場合の注意事項は以下のとおりです。 - 38 - サポートする構成 Oracle 11g R2/12c R1でASMを使用する場合はOracle Grid Infrastructureをインストールする必要があります。Oracle Grid Infrastructure をインストールする場合はOracle DatabaseのインストールユーザーとOracle Grid Infrastructureのインストールユーザーを分割する構成 をサポートします。単一インストールユーザーの構成はサポートしません。 また、Oracle Database のインストールユーザーの ORACLE_BASE 環境変数と Oracle Grid Infrastructure のインストールユーザーの ORACLE_BASE 環境変数は、異なるディレクトリを指定してください。 Oracle Grid InfrastructureのインストールとASMインスタンス、データベースの作成 “付録C Oracle Grid InfrastructureのインストールとASMインスタンス、データベースの作成”を参照してOracle Grid Infrastructureのイ ンストールとASMインスタンス、データベースの作成を行ってください。 注意 ・ ASMインスタンス作成時、ASMインスタンス名の先頭に「+」がつくように設定してください。(デフォルトでは“+ASM”となります) ・ 1台のサーバーに複数のORACLE_HOMEを作成している場合(複数のOracleソフトウェアをインストールしている場合)、Oracleイン スタンス名には異なるOracleインスタンス名を設定してください。 ・ 1つのuserApplication内でASMインスタンスとデータベースの関係が1:1もしくは、1:nになるように、ASMインスタンスとデータベー スを作成してください。 - ASMインスタンス:データベース = 1:1 - 39 - - ASMインスタンス:データベース = 1:n 下図は、ASMインスタンス:データベース = 1:2の例です。 ・ Oracle 11g R2/12c R1のASMをスタンバイ運用で使用する場合は、以下の運用形態のみサポートします。 - 1:1運用待機 Oracle 11g R2/12c R1のASMをスタンバイ運用で使用する場合は、以下の運用形態は未サポートです。 - カスケード - 相互待機 - N:1運用待機 - 移動待機 - N:M運用待機 ・ PRIMECLUSTER Wizard for Oracleで、Oracle 11g R2/12c R1のASMをスタンバイ運用で使用する場合、Oracleのサービスリソー スは使用できません。 参照 ASM インスタンス、データベースの作成は、Oracle のマニュアルを参照してください。 Oracle Restartの設定変更 各ノードにて、以下のコマンドをGrid ユーザーで実行し、OS起動時にOracle RestartおよびCSS(Cluster Services Synchronization)デー モンが起動するように設定してください。また、Oracle RestartによるOracleインスタンス、リスナー、ASMの自動起動を無効にしてくださ い。 コンポーネント コマンド Oracle Restart crsctl enable has CSS crsctl modify resource ora.cssd -attr "AUTO_START=always" ASM srvctl disable asm Oracle リスナー srvctl disable listener [-l <listener_name>] Oracle インスタンス srvctl disable database -d <db_unique_name> - 40 - userApplicationの作成 userApplication作成時は、Oracleインスタンスリソースと同様にASMインスタンスリソースを作成してください。ASMインスタンスリソース と、そのASMインスタンスリソースに関連するOracleインスタンスリソースは、同じOracleリソースに登録してください。 参考 ・ ASM インスタンスをリソース登録する場合の手順については、「2.2.7.1 Oracle リソースの作成と userApplication への登録」の手 順“5”を参照してください。 ・ ASM インスタンスリソースのフラグ設定値には、NullDetector 属性のみが自動設定されます。この値を変更することはできません。 注意 ・ ASM インスタンスリソースとOracle リスナーリソースの"OracleUser"にはGrid ユーザーを、Oracle インスタンスリソースの"OracleUser" にはOracle ユーザーを設定してください。 ・ ASMの起動前にCSSの待ち合わせをするため、ASM インスタンスリソースのPreOnlineScript に以下のスクリプトを設定してくださ い。 /opt/FJSVclora/sbin/cloracsswait <Grid ユーザー名> 2.3.2.3 運用時の注意 ASM インスタンスで使用するディスクグループは、手動でマウント操作 (mount/umount) をしないでください。ディスクグループがマウン トされている場合は、ASM リソース活性化時に以下のメッセージがコンソールに出力される場合がありますが、特に対処する必要はあ りません。 ・ ORA-15032: not all alterations performed ・ ORA-15017: diskgroup "ディスクグループ名" cannot be mounted ・ ORA-15030: diskgroup name "ディスクグループ名" is in use by another diskgroup - 41 - 第3章 運用 3.1 クラスタ環境における Oracle の制御 スタンバイ運用、シングルノードクラスタ運用において、Oracleリソースの起動、停止、監視処理について説明します。 3.1.1 Oracleリソースの起動、停止 Oracle インスタンスの起動 Oracle インスタンスの起動処理は以下のようになります。 1. su - <Oracle ユーザー> 2. sqlplus /nolog 3. connect / as sysdba 4. startup nomount または startup mount 5. alter database mount; (“4”で startup nomount を行ったとき) 6. alter database open; ・ 初期化パラメータ・ファイル/サーバー・パラメータ・ファイルの配置 PRIMECLUSTER Wizard for Oracle による Oracle の起動では、デフォルトの配置先の初期化パラメータ・ファイルが使用されます ので、以下のデフォルトのパスに初期化パラメータ・ファイルを配置 (またはシンボリックリンク) してください。 <$ORACLE_HOME>/dbs/init<$ORACLE_SID>.ora サーバー・パラメータ・ファイルは動的に変更される資源のため、共用ディスク装置に配置する必要があります。サーバー・パラメー タ・ファイルを使用する場合は、「2.2.6 データベースの作成/設定」の例に従って、サーバー・パラメータ・ファイルのパスを初期化 パラメータ・ファイルに記述してください。 初期化パラメータ・ファイルを使用する場合は、運用・待機ノードで同一の設定とすることを推奨します。 注意 シングルノードクラスタ運用の場合、「初期化パラメータ・ファイル/サーバー・パラメータ・ファイルの配置」の設定は不要です。 ・ リカバリ処理 PRIMECLUSTER Wizard for Oracle は、Oracle インスタンスのリカバリを行い Oracle を起動する場合があります。 - V$BACKUP 表内に ACTIVE な表領域がある場合 - V$RECOVER_FILE 表内に、リカバリが必要なファイルがある場合 ・ DBA の認証 PRIMECLUSTER Wizard for Oracle は、Oracle インスタンス、データベースの起動/停止を行う際に SYSDBA システム権限で接 続しますが、このときオペレーティング・システム認証によるローカル接続を行います。 Oracle インスタンスの停止 Oracle インスタンスの停止処理は以下のようになります。 - 42 - ・ オペレーターによる userApplication の手動停止や手動切替えに伴う停止の場合 1. su - <Oracle ユーザー> 2. sqlplus /nolog 3. connect / as sysdba 4. shutdown <immediate/abort/transactional> (StopModeStop で設定) デフォルト : immediate 5. “4”で Oracle が停止しない場合、shutdown abort (“4”で、abort 以外の場合) 6. “4”または“5”で Oracle が停止しない場合、バックグラウンド・プロセスに SIGKILL を送信して強制停止 ・ リソース異常 (Oracle 以外のリソース異常も含む) に伴う停止の場合 1. su - <Oracle ユーザー> 2. sqlplus /nolog 3. connect / as sysdba 4. shutdown <immediate/abort> (StopModeFail で設定) デフォルト : abort 5. “4”で Oracle が停止しない場合、shutdown abort (“4”で、abort 以外の場合) 6. “4”または“5”で Oracle が停止しない場合、バックグラウンド・プロセスに SIGKILL を送信して強制停止 リスナーの起動 リスナーの起動処理は以下のようになります。 1. su - <Oracle ユーザー> 2. lsnrctl start <ListenerName> 3. リスナープロセスが存在することを確認 リスナーの停止 リスナーの停止処理は以下のようになります。 1. su - <Oracle ユーザー> 2. lsnrctl stop <ListenerName> 3. リスナープロセスが存在しないことを確認 4. “3”でリスナープロセスが存在する場合、SIGKILL を送信して強制停止 ASM インスタンスの起動 ASM インスタンスの起動処理は以下のようになります。 1. su - <Oracle ユーザー> 2. sqlplus /nolog 3. connect / as sysasm 4. startup mount (既に STARTED 状態の場合は alter diskgroup all mount;) - 43 - ASM インスタンスの停止 ASM インスタンスの停止処理は以下のようになります。 ・ オペレーターによる userApplication の手動停止や手動切替えに伴う停止の場合 1. su - <Oracle ユーザー> 2. sqlplus /nolog 3. connect / as sysasm 4. shutdown <immediate/abort/transactional> (StopModeStop で設定) デフォルト : immediate 5. “4”で ASM が停止しない場合、shutdown abort (“4”で、abort 以外の場合) 6. “4”または“5”で ASM が停止しない場合、バックグラウンド・プロセスに SIGKILL を送信して強制停止 ・ リソース異常 (ASM 以外のリソース異常も含む) に伴う停止の場合 1. su - <Oracle ユーザー> 2. sqlplus /nolog 3. connect / as sysasm 4. shutdown <immediate/abort> (StopModeFail で設定) デフォルト : abort 5. “4”で ASM が停止しない場合、shutdown abort (“4”で、abort 以外の場合) 6. “4”または“5”で ASM が停止しない場合、バックグラウンド・プロセスに SIGKILL を送信して強制停止 3.1.2 Oracleリソースの監視 Oracle インスタンスの監視 Oracle インスタンスの監視処理は以下のようになります。 1. Oracleバックグラウンド・プロセス(PMON・SMON)の存在を30秒間隔(固定)で確認。 Oracle が起動し、プロセス(PMON・SMON)の存在を確認した場合は“2”へ進む。 2. su - <Oracle ユーザー> 3. Oracle の SYSTEM ユーザーにて Oracleへローカル接続。 4. Oracle のステータスが OPEN であることを確認した場合は“5”へ進む、 5. Oracleバックグラウンド・プロセス(PMON・SMON・DBWn・LGWR・CKPT)の生存を監視。 監視間隔はデフォルト30秒で、設定項目「監視間隔(Interval)」で変更可能です。 6. 「監視間隔(Interval)」に設定された監視間隔でSQL監視を実行。 SQL監視は、SYSTEM ユーザーのデフォルト表領域上の監視用テーブルに対し、SQL(INSERT・UPDATE・DELETE・COMMIT) が正常に実施できるかを確認します。 ただし、前回のSQL監視からの経過時間をチェックし、60秒以上経過している場合にのみSQL監視を実行します。 7. 24時間に1度、Oracle へ再接続。 待機ノードでは、“1”を実行し、Oracleバックグラウンド・プロセス(PMON・SMON)が存在しないことを確認します。 ・ SYSTEM ユーザーのパスワード PRIMECLUSTER Wizard for Oracle によるOracleの監視は SYSTEM ユーザーにて行います。「4.3 clorapass - 監視用パスワード の登録」に従って、SYSTEM ユーザーのパスワードを PRIMECLUSTER Wizard for Oracle に登録してください。 - 44 - ・ 監視用テーブル (FAILSAFEORACLE_<ORACLE_SID>) PRIMECLUSTER Wizard for Oracle は、監視のために監視用テーブルを SYSTEM ユーザーのデフォルト表領域上に作成しま す (初回起動時や、監視時の監視用テーブルが存在しない場合自動作成されます)。監視用テーブルは削除されません。 ・ WarningとなるOracle異常 以下の異常を検出した場合、Warningを通知します (Fault ではないためフェイルオーバはしません)。 - clorapass コマンドで登録された SYSTEM ユーザーのパスワードが誤っており Oracle に接続できない場合 (ORA-01017を検 出) - SYSTEM ユーザーのアカウントがロックされており、Oracleに接続できない場合 (ORA-28000を検出) - SYSTEM ユーザーのパスワードが期限切れとなり、監視機能がOracleに接続できない場合 (ORA-28001を検出) - max session エラー、max process エラーなどで Oracle に接続できない場合 (ORA-00018 や ORA-00020を検出) - 監視の SQL 文が一定時間応答せず監視タイムアウトが発生した場合 監視タイムアウトが発生した場合、再度監視を実施し、SQL文から応答があればOnlineを通知します。 ・ フェイルオーバとなるOracle異常 Oracleの異常を検出しOfflineを通知した場合、リソース異常となりフェイルオーバします。 Oracleインスタンスリソースの設定で、AutoRecover(A) が有効の場合、リソース異常となる前にリソースを再起動し復旧を試みま す。AutoRecover(A) については、「2.2.7.1 Oracle リソースの作成と userApplication への登録」を参照してください。 以下の場合にOfflineを通知します。 - バックグラウンド・プロセス (PMON・SMON・DBWn・LGWR・CKPT)のどれか1つでも存在しない場合 例 以下の場合が該当します。 - インスタンスが異常終了した場合 - 監視を中断せずにインスタンスを停止した場合 - SQL 文を実行したが Oracle からエラー (ORA-xxxxx) が返された場合 SQL 監視でエラー (ORA-xxxxx) が発生した場合、Wizard for Oracle は、アクション定義ファイル(/opt/FJSVclora/etc/ FJSVclorafm.actionlist) に従った動作を行います。アクション定義ファイルで Of が定義されているORA-xxxxxを検出した場 合、異常と判断します。詳細は、「付録F (参考)アクション定義ファイル」を参照してください。 例 以下の場合が該当します。 - ORA-4031(共有プール不足)のエラーが発生した場合 - SQL 文を実行したが監視タイムアウトが2回連続で発生した場合 SQL 文を実行しても300 秒間(デフォルト)応答が無かった場合は「監視タイムアウト」となり、Oracleインスタンスリソースは Warning 状態となります。その後、Oracleインスタンスへ再接続を試みますが、接続処理でも 300秒間応答が無かった場合は、異常と判 断します。 監視タイムアウトの300秒は、設定項目「監視タイムアウト(WatchTimeout)」で変更可能です。 例 以下の場合が該当します。 - 45 - - アーカイブログ領域の枯渇などで、Oracleデータベースがハングした場合 - システム負荷が高負荷状態の場合 注意 フェイルオーバは、userApplication (クラスタアプリケーション) のAutoSwitchOverの設定に従います。 ResourceFailure(リソース故 障時)を有効としている場合は、リソース異常でフェイルオーバします。userApplication (クラスタアプリケーション) の設定について は、「PRIMECLUSTER 導入運用手引書」の「6.7 クラスタアプリケーションの設定」を参照してください。 リスナーの監視 リスナーの監視処理は以下のようになります。 1. psコマンドを使用し、リスナープロセスの生存を監視。 監視間隔はデフォルト30秒で、設定項目「監視間隔(Interval)」で変更可能です。 2. 「監視間隔(Interval)」に設定された監視間隔でtnsping コマンドを実行。 ネット・サービス名に到達できるかを確認します。 ただし、前回のtnspingコマンド実行からの経過時間をチェックし、60秒以上経過している場合にのみtnspingコマンドを実行しま す。 注意 本監視は、Oracleリスナーリソースの設定で、TNSName(OracleTNS名)が設定されている場合に実行されます。TNSNameにつ いては、「2.2.7.1 Oracle リソースの作成と userApplication への登録」を参照してください。 待機ノードでは、“1”を実行し、リスナープロセスが存在していないことを確認します。 ・ 監視タイムアウト tnspingコマンドからの応答が一定時間返らない場合、監視タイムアウトと判定し、Oracleリスナーリソースの状態を Warning にしま す。監視タイムアウトが2回連続して発生すると、リソース異常と判断してフェイルオーバさせます。 Oracle リスナーからの応答待ち時間 (監視タイムアウト時間) は、設定項目「監視タイムアウト(WatchTimeout)」で変更可能です。 ・ フェイルオーバ リスナーの異常を検出しOfflineを通知した場合、リソース異常となりフェイルオーバします。 Oracleリスナーリソースの設定で、AutoRecover(A) が有効の場合、リソース異常となる前にリソースを再起動し復旧を試みます。 AutoRecover(A) については、「2.2.7.1 Oracle リソースの作成と userApplication への登録」を参照してください。 以下の場合にOfflineを通知します。 - リスナープロセスが存在しない場合 - tnspingコマンドがエラーとなった場合 - 監視タイムアウトが2回連続して発生した場合 注意 フェイルオーバは、userApplication (クラスタアプリケーション) のAutoSwitchOverの設定に従います。 ResourceFailure(リソース故 障時)を有効としている場合は、リソース異常でフェイルオーバします。userApplication (クラスタアプリケーション) の設定について は、「PRIMECLUSTER 導入運用手引書」の「6.7 クラスタアプリケーションの設定」を参照してください。 - 46 - ASM インスタンスの監視 ASM インスタンスの監視は行いません。NullDetector フラグが自動的に有効になります。 3.2 Oracle のメンテナンスについて ここでは、Oracle の設定変更、Oracle のパッチ適用、Oracle データベースのバックアップ・リカバリなど、メンテナンス時の操作につい て説明します。 クラスタシステムにおいては、Oracle の起動・停止と Oracle のデータが格納されている共用ディスク装置の活性/非活性制御が連動し て行われます。 ・ userApplication 運 用 中 、 PRIMECLUSTER Wizard for Oracle は 、 Oracle を 監 視 し ま す 。 Oracle を 手 動 停 止 す る と、 PRIMECLUSTER Wizard for Oracle は、Oracleに異常が発生したとみなすため、Oracle の再起動や待機ノードへの切替えが発 生します。 ・ userApplication 停止中は、共用ディスク装置が非活性になり、共用ディスク装置へのアクセスができない状態になります。 そのため、Oracle コールドバックアップなどメンテナンス作業のために Oracle を手動で制御する必要がある場合は、事前に userApplication を保守モードにし、Oracle インスタンス、リスナーの監視を一時的に中断する必要があります。 一般的な手順 Oracle のメンテナンス時の一般的な手順を以下に示します。メンテナンスを行うノードにて実施してください。 1. userApplication の起動 設定変更を行う Oracle インスタンスリソースが含まれている userApplication が停止している場合は、起動してください。 2. 保守モード/監視中断 userApplication を保守モードに移行してください。 次に hvoradisable コマンドで Oracle インスタンスリソース、リスナーリソースの監視を中断してください。 3. 保守モード移行/監視中断の確認 保守モードへの移行や監視中断が正常に行われたことを確認してください。 (参考 “4.1 hvoradisable - リソース監視の中断” - 注意) 4. Oracle に依存するリソースの停止 Oracle に依存するリソースがある場合は、手動で停止してください。 5. Oracle の停止 Oracle を手動停止してください。 6. Oracle のメンテナンス Oracle の設定変更、Oracle のパッチ適用、Oracle データベースのバックアップ・リカバリなどの操作を行ってください。 7. Oracle の起動 メンテナンス完了後、Oracle インスタンスを OPEN 状態まで手動起動してください。リスナーも停止していた場合は手動起動して ください。 次の手順へ進む前に、Oracle インスタンス、リスナーが正常に動作していることを確認してください。Oracle インスタンスは OPEN 状態で起動している必要があります。 8. Oracle に依存するリソースの起動 Oracle に依存するリソースを停止した場合は、手動で起動してください。 9. 監視再開/保守モード解除 hvoraenable コマンドで Oracle インスタンスリソース、リスナーリソースの監視を再開してください。次に userApplication の保守 モードを解除してください。 - 47 - 10. 監視再開/保守モード解除の確認 監視再開や保守モードの解除が正常に行われたことを確認してください。 (参考 “4.2 hvoraenable - リソース監視の再開” - 注意) 参考 ・ 監視中断・再開について userApplication を起動したまま Oracle を停止するには、PRIMECLUSTER Wizard for Oracle の “監視中断” 機能を使用します。 “監視中断” 機能では、Oracle リソース監視のみが停止されます。そのため Oracle 以外のリソース故障が発生するとフェイルオー バが発生しますので注意してください。 ・ userApplication の保守モードについて userApplication を保守モードに移行すると、リソース異常は無視されるようになります。つまり、Oracle を手動停止させても、再起動 やフェイルオーバが発生しません。これにより、Oracle を含めた全てのリソースのメンテナンスを実施することができます。 詳しくは、「PRIMECLUSTER RMS 導入運用手引書」 の「7.3 保守モードの使用法」 を参照してください。 ・ Oracle インスタンス、リスナーの監視中断・再開について hvoradisable および hvoraenable コマンドを使って、Oracle インスタンスおよびリスナーの監視を中断・再開することができます。 userApplication の保守モードだけでは、監視用の Oracle セッションが残ったままの状態となります。ここでさらに Oracle インスタン スリソースの監視を中断することで、セッションが切断されます。これにより、Oracle 手動停止の際に shutdown コマンドを normal オ プションで実行することができます。 Oracle インスタンス、リスナーの監視中断・再開については、「4.1 hvoradisable - リソース監視の中断」、「4.2 hvoraenable - リソース 監視の再開」を参照してください。 注意 ・ 監視の再開 リソースの監視を中断した後、Oracle インスタンス、リスナーを手動停止した場合、監視を再開する前に、Oracle インスタンス、リス ナーの手動起動を行ってください。起動されないまま監視を再開すると、リソース異常が発生します。 ・ 監視中断中のリソースの状態について hvoradisable コマンドによりリソースの監視が正しく中断された場合、リソースの状態は Warning になります。 ・ 本手順と Oracle のドキュメントを参照し、運用環境やメンテナンス要件に合わせて、メンテナンス手順を計画してください。 3.2.1 Oracle の設定変更 初期化パラメータの変更やデータファイルの配置変更など Oracle の設定変更を行う場合、以下の手順で実施してください。 注意 Oracle の設定を変更する場合、Oracle の停止が必要な場合とそうでない場合があります。 詳しくは Oracle のマニュアルを参照して、正しい変更方法を選択・実施してください。 - 48 - 3.2.1.1 Oracle を停止させる必要がある場合 Oracle の設定変更などを行う時に Oracle を停止させておく必要がある場合、以下の手順にて Oracle の設定変更を実施してください。 1. 保守モード/監視中断 # /opt/SMAW/SMAWRrms/bin/hvutil -m on <userApplication> (保守モード) # /opt/FJSVclora/sbin/hvoradisable -a <userApplication> (監視中断) 2. 保守モード移行/監視中断の確認 保守モードへの移行や監視中断が正常に行われたことを確認してください。 (参考 “4.1 hvoradisable - リソース監視の中断” - 注意) 3. Oracle の停止 # su - <Oracle ユーザー> $ sqlplus /nolog SQL> connect / as sysdba SQL> shutdown immediate 4. 設定変更 Oracle の設定変更を行ってください。 初期化パラメータの変更、データファイルの配置変更など、Oracle の設定変更を行ってください。 5. Oracle の起動 # su - <Oracle ユーザー> $ sqlplus /nolog SQL> connect / as sysdba SQL> startup 6. 監視再開/保守モード解除 # /opt/FJSVclora/sbin/hvoraenable -a <userApplication> (監視再開) # /opt/SMAW/SMAWRrms/bin/hvutil -m off <userApplication> (保守モード解除) 7. 監視再開/保守モード解除の確認 監視再開や保守モードの解除が正常に行われたことを確認してください。 (参考 “4.2 hvoraenable - リソース監視の再開” - 注意) 3.2.2 パッチ適用 Oracle PSR (Patch Set Release) など Oracle パッチの適用を行う場合、データベースをマウントする必要性の有無に応じて、手順が異 なります。 パッチ適用前後にデータベースをマウントする必要がない場合は、RMS を完全に停止した状態で、適用を行ってください。パッチ適 用前後にデータベースをマウントする必要がある場合は、以降の手順のようにuserApplication を保守モードにした状態で、適用を行っ てください。 参考 Oracle 11g R2 より Oracle PSR (Patch Set Release) の適用方法は以下が提供されています。 ・ In-place アップグレード 既存の ORACLE_HOME に対して PSR を上書きインストールする従来の方法です。この方法で PSR を適用する場合、“3.2.2.1 In-place アップグレードによるパッチ適用”を参照してください。 - 49 - ・ Out-of-place アップグレード 既存の ORACLE_HOME とは異なる新規の ORACLE_HOME にインストールする Oracle 11g R2 より提供される方法です。この 方法で PSR を適用する場合、“3.2.2.2 Out-of-place アップグレードによるパッチ適用”を参照してください。 3.2.2.1 In-place アップグレードによるパッチ適用 Oracle 11g R1 でPSR 適用を行う場合、または Oracle 11g R2/12c R1 で In-place アップグレードによる PSR 適用を行う場合は、以下の 手順を実施してください。 1. userApplication の起動(運用ノード) Oracle インスタンスリソース、リスナーリソースが含まれている userApplication が停止している場合は、起動してください。 2. 保守モード移行(運用ノード) 運用ノード上で、userApplication を保守モードに移行してください。 例 全ての userApplication を保守モードに移行する場合 # /opt/SMAW/SMAWRrms/bin/hvutil -M on 全てのノード上で userApplication の状態が "Maintenance" になったことを確認してください。 3. Oracle リソース監視の中断(全てのノード) 全てのノード上で hvoradisable コマンドを実行し、Oracle インスタンスリソース、リスナーリソースの監視を中断してください。 例 ローカルノード上の全ての Oracle リソースの監視を中断する場合 # /opt/FJSVclora/sbin/hvoradisable -a 全てのノード上で Oracle インスタンスリソース、リスナーリソースの状態が"Warning" になったことを確認してください。 参考 スタンバイ運用の場合、待機ノードでも監視を行っているため、パッチ適用時に問題が発生する可能性があります。そのため、 待機ノードでも監視を停止してください。 4. Oracle の停止 (必要に応じて) # su - <Oracle ユーザー> $ sqlplus /nolog SQL> connect / as sysdba SQL> shutdown immediate 5. パッチの適用 Oracle ソフトウェアの配置先に応じて、パッチを適用してください。 参照 詳しくは Oracle のマニュアルを参照してください。 - 50 - 6. Oracle の起動 (“3”で停止した場合) # su - <Oracle ユーザー> $ sqlplus /nolog SQL> connect / as sysdba SQL> startup 7. Oracle リソース監視の再開(全てのノード) 全てのノード上で hvoraenable コマンドを実行し、Oracle インスタンスリソース、リスナーリソースの監視を再開してください。 例 ローカルノード上の全ての Oracle リソースの監視を再開する場合 # /opt/FJSVclora/sbin/hvoraenable -a 全てのノード上で Oracle インスタンスリソース、リスナーリソースの状態が"Warning" から元の状態("Online"、"Offline")になった ことを確認してください。 8. 保守モードの解除(運用ノード) 運用ノード上で、userApplication の保守モードを解除してください。 例 全ての userApplication を保守モードに解除する場合 # /opt/SMAW/SMAWRrms/bin/hvutil -M off 全てのノード上で userApplication の状態が "Maintenance" から元の状態("Online"、"Standby"、"Offline")になったことを確認 してください。 3.2.2.2 Out-of-place アップグレードによるパッチ適用 Oracle 11g R2/12c R1でOut-of-placeアップグレードによるPSR適用を行う場合は、以下の手順を実施してください。 注意 ・ Oracleソフトウェアがローカルディスク上に配置されている場合、ローカルディスク上にアップグレードしてください。 ・ Oracleソフトウェアが共用ディスク上に配置されている場合、共用ディスク上にアップグレードしてください。 ・ アップグレード前後でOracleソフトウェアの配置先を変更することはサポート対象外です。 1. userApplication の起動(運用ノード) Oracle インスタンスリソース、リスナーリソースが含まれている userApplication が停止している場合は、起動してください。 2. 保守モード移行(運用ノード) 運用ノード上で、userApplication を保守モードに移行してください。 例 全ての userApplication を保守モードに移行する場合 # /opt/SMAW/SMAWRrms/bin/hvutil -M on - 51 - 全てのノード上で userApplication の状態が "Maintenance" になったことを確認してください。 3. Oracle リソース監視の中断(全てのノード) 全てのノード上で hvoradisable コマンドを実行し、Oracle インスタンスリソース、リスナーリソースの監視を中断してください。 例 ローカルノード上の全ての Oracle リソースの監視を中断する場合 # /opt/FJSVclora/sbin/hvoradisable -a 全てのノード上で Oracle インスタンスリソース、リスナーリソースの状態が"Warning" になったことを確認してください。 参考 スタンバイ運用の場合、待機ノードでも監視を行っているため、パッチ適用時に問題が発生する可能性があります。そのため、 待機ノードでも監視を停止してください。 4. Oracle に依存するリソースの停止(運用ノード) Oracle に依存するリソースがある場合は、手動停止してください。 5. PSR の適用、データベースのアップグレード 1. PSR の適用 - Oracle ソフトウェアをローカルディスクに配置する場合 Oracle のマニュアルに従い、全てのノードで Out-of-place アップグレードを実施してください。 - Oracle ソフトウェアを共用ディスクに配置する場合 Oracle のマニュアルに従い、運用ノードで Out-of-place アップグレードを実施してください。 注意 - 「インストール・オプションの選択」画面では、"データベース・ソフトウェアのみインストール" を選択してください。 - 詳しくは、Oracle のマニュアルを参照してください。 2. データベースのアップグレード(運用ノード) 運用ノードで dbua(Database Upgrade Assistant) を実行し、データベースをアップグレードしてください。 注意 - "<新ORACLE_HOME>/bin/dbua" を実行してください。 - 詳しくは、Oracle のマニュアルを参照してください。 3. SPFILE の共用ディスク上への移動と参照設定(運用ノード) データベースのアップグレード実施後、SPFILE(サーバー・パラメータ・ファイル)がローカルディスク上に新たに生成され た場合は、共用ディスク上へ移動してください。移動後、PFILE(初期化パラメータ・ファイル "<新ORACLE_HOME>/dbs/ init<SID>.ora")に SPFILE のパスを指定するか、または SPFILE へのシンボリックリンクを作成して、SPFILE の参照設定 を行ってください。 注意 Oracle ソフトウェアを共用ディスクに配置する場合、本手順は不要です。 - 52 - 参照 詳しくは、“2.2.6 データベースの作成/設定”を参照してください。 6. PRIMECLUSTER Wizard for Oracle の設定 1. ログインプロファイルの設定変更(全てのノード) Oracle ユーザーのログインプロファイルを vi などで開き、ORACLE_BASE および ORACLE_HOME 環境変数の設定を、 アップグレード後のパスに変更してください。本手順は、全てのノードで実施してください。 例 - 変更前 ORACLE_HOME=/u01/app/oracle/product/11.2.0/dbhome_1 - 変更後 ORACLE_HOME=/u01/app/oracle/product/11.2.0/dbhome_2 参照 詳しくは、“2.2.2 Oracle ソフトウェアのインストール/設定”を参照してください。 2. PFILE の待機ノードへの転送(運用ノード、待機ノード) 運用ノードの "<新ORACLE_HOME>/dbs" ディレクトリを tar アーカイブにまとめてください。 例 # su - oracle $ tar cfpvP /tmp/dbs.tar <新ORACLE_HOME>/dbs その後、待機ノードへFTP転送し、展開してください。 例 # su - oracle $ tar xfpvP /tmp/dbs.tar 注意 - Oracle ソフトウェアを共用ディスクに配置する場合、本手順は不要です。 - シングルノードクラスタ運用の場合、本手順は不要です。 - ここでは、PRIMECLUSTER Wizard for Oracle の cloracpy コマンドを使用しないでください。 - 待機ノード側で展開したファイルのアクセス権限が、運用ノード側と一致していることを確認してください。 - 53 - 参照 詳しくは、“2.2.6 データベースの作成/設定”を参照してください。 3. Oracle Net Services 構成ファイルの配置 Oracle Net Services 構成ファイルを <旧ORACLE_HOME> 配下から<新ORACLE_HOME> 配下へコピーしてください。 - Oracle ソフトウェアをローカルディスクに配置する場合 本手順を、全てのノードで実施してください。 - Oracle ソフトウェアを共用ディスクに配置する場合 本手順を、運用ノードで実施してください。 例 $ cp -p <旧ORACLE_HOME>/network/admin/*.ora <新ORACLE_HOME>/network/admin/ 注意 - Oracle Net Services 構成ファイル内のパラメータに、ORACLE_BASE や ORACLE_HOME に依存する設定がある場 合、コピー後、必要に応じて "<新ORACLE_HOME>/network/admin/*.ora" ファイルを編集してください。 - ここでは、PRIMECLUSTER Wizard for Oracle の cloracpy コマンドを使用しないでください。 7. Oracle の起動確認(運用ノード) Oracle インスタンス、リスナーが起動していることを確認してください。停止している場合は、手動起動してください。 注意 - Oracle インスタンスは OPEN 状態で起動している必要があります。 - リスナープロセスが "<新ORACLE_HOME>/bin/tnslsnr" で起動していることを確認してください。 "<旧ORACLE_HOME>/bin/tnslsnr" となっている場合、それを停止して "<新ORACLE_HOME>/bin/tnslsnr" として起動し てください。 8. Oracle に依存するリソースの起動(運用ノード) 手順 4) で Oracle に依存するリソースを停止した場合は、手動起動してください。 9. Oracle リソース監視の再開(全てのノード) 全てのノード上で hvoraenable コマンドを実行し、Oracle インスタンスリソース、リスナーリソースの監視を再開してください。 例 ローカルノード上の全ての Oracle リソースの監視を再開する場合 # /opt/FJSVclora/sbin/hvoraenable -a 全てのノード上で Oracle インスタンスリソース、リスナーリソースの状態が"Warning" から元の状態("Online"、"Offline")になった ことを確認してください。 10. 保守モードの解除(運用ノード) 運用ノード上で、userApplication の保守モードを解除してください。 - 54 - 例 全ての userApplication を保守モードに解除する場合 # /opt/SMAW/SMAWRrms/bin/hvutil -M off 全てのノード上で userApplication の状態が "Maintenance" から元の状態("Online"、"Standby"、"Offline")になったことを確認 してください。 11. 待機ノードへの切替確認 userApplication を待機ノードへ切替えて、正しく起動することを確認してください。 注意 - シングルノードクラスタ運用の場合、本手順は不要です。 - 待機ノード上で userApplication が正しく起動できない場合、手順 6) を確認してください。 12. 業務の再開 必要に応じて userApplication を運用ノードへ切戻し、問題がない場合は業務を再開してください。 3.2.3 バックアップ ここでは、Oracle データベースのバックアップ手順やその際の注意事項について説明します。 3.2.3.1 コールドバックアップ Oracle のコールドバックアップ (オフラインバックアップ) は、以下の手順で実施してください。これらの手順は、バックアップを行うノー ド上にて実施してください。 また、Oracle に依存するリソース (例:SAP R/3) がある場合は、バックアップによる Oracle 停止中にリソース異常となる可能性があるた め、これらも手動停止しておく必要があります。 1. 保守モード/監視中断 # /opt/SMAW/SMAWRrms/bin/hvutil -m on <userApplication> (保守モード) # /opt/FJSVclora/sbin/hvoradisable -a <userApplication> (監視中断) 2. 保守モード移行/監視中断の確認 保守モードへの移行や監視中断が正常に行われたことを確認してください。 (参考 “4.1 hvoradisable - リソース監視の中断” - 注意) 3. Oracle の停止 # su - <Oracle ユーザー> $ sqlplus /nolog SQL> connect / as sysdba SQL> shutdown immediate 4. コールドバックアップ データベースのコールドバックアップを行ってください。 5. Oracle の起動 # su - <Oracle ユーザー> $ sqlplus /nolog - 55 - SQL> connect / as sysdba SQL> startup 6. 監視再開/保守モード解除 # /opt/FJSVclora/sbin/hvoraenable -a <userApplication> (監視再開) # /opt/SMAW/SMAWRrms/bin/hvutil -m off <userApplication> (保守モード解除) 7. 監視再開/保守モード解除の確認 監視再開や保守モードの解除が正常に行われたことを確認してください。 (参考 “4.2 hvoraenable - リソース監視の再開” - 注意) 3.2.3.2 ホットバックアップ Oracle のホットバックアップ (オンラインバックアップ) は、以下の手順で実施してください。これらの手順は、バックアップを行うノード上 にて実施してください。 1. 保守モード/監視中断 # /opt/SMAW/SMAWRrms/bin/hvutil -m on <userApplication> (保守モード) # /opt/FJSVclora/sbin/hvoradisable -a <userApplication> (監視中断) 2. 保守モード移行/監視中断の確認 保守モードへの移行や監視中断が正常に行われたことを確認してください。 (参考 “4.1 hvoradisable - リソース監視の中断” - 注意) 3. ホットバックアップ データベースのホットバックアップを行ってください。 次の手順へ進む前に、Oracle インスタンス、リスナーが正常に動作していることを確認してください。 4. 監視再開/保守モード解除 # /opt/FJSVclora/sbin/hvoraenable -a <userApplication> (監視再開) # /opt/SMAW/SMAWRrms/bin/hvutil -m off <userApplication> (保守モード解除) 5. 監視再開/保守モード解除の確認 監視再開や保守モードの解除が正常に行われたことを確認してください。 (参考 “4.2 hvoraenable - リソース監視の再開” - 注意) 3.2.4 リカバリ Oracle データベースのリカバリを行う場合、Oracle 停止の必要性に応じて実施してください。 参考 Oracle データベースのリカバリを行う場合、Oracle の停止が必要な場合とそうでない場合があります。停止を必要とするのは、リカバリ 対象のデータファイルが SYSTEM 表領域や UNDO 表領域に属する場合、データベース全体をリカバリする場合、不完全リカバリを 行う場合などです。 停止を必要としないのは、リカバリ対象のデータファイルが SYSTEM 表領域や UNDO 表領域に属さない場合、完全リカバリを行う場 合などです。 - 56 - 詳しくは Oracle のマニュアルを参照して、最適なリカバリ方法を選択・実施してください。 3.2.4.1 Oracle を停止させる必要がある場合 Oracle データベースのリカバリ時に Oracle を停止させておく必要がある場合、以下の手順にてリカバリを実施してください。 また、Oracle に依存するリソース (例:SAP R/3) がある場合は、Oracle 停止中にリソース異常となる可能性があるため、これらも手動停 止しておく必要があります。 1. userApplication の停止 # /opt/SMAW/SMAWRrms/bin/hvutil -f <userApplication> 2. 監視中断 hvoradisable コマンドで監視中断されたリソースは、userApplication を起動しても起動しません。これにより、ディスクなど Oracle 以外のリソースのみを起動させることができます。 # /opt/FJSVclora/sbin/hvoradisable -a <userApplication> 3. 監視中断の確認 監視中断が正常に行われたことを確認してください。 (参考 “4.1 hvoradisable - リソース監視の中断” - 注意) 4. userApplication の起動 # /opt/SMAW/SMAWRrms/bin/hvswitch <userApplication> 5. リカバリ データベースのリカバリを行ってください。 6. Oracle、リスナーの起動 # su - <Oracle ユーザー> $ lsnrctl start <リスナー名> $ sqlplus /nolog SQL> connect / as sysdba SQL> startup 7. 監視再開 # /opt/FJSVclora/sbin/hvoraenable -a <userApplication> 8. 監視再開の確認 監視再開の解除が正常に行われたことを確認してください。 (参考 “4.2 hvoraenable - リソース監視の再開” - 注意) 3.2.4.2 Oracle を停止させる必要がない場合 Oracle データベースのリカバリ時に Oracle を停止させておく必要がなく、起動した状態で行える場合、以下の手順にてリカバリを実施 してください。 1. 保守モード/監視中断 # /opt/SMAW/SMAWRrms/bin/hvutil -m on <userApplication> (保守モード) # /opt/FJSVclora/sbin/hvoradisable -a <userApplication> (監視中断) - 57 - 2. 保守モード移行/監視中断の確認 保守モードへの移行や監視中断が正常に行われたことを確認してください。 (参考 “4.1 hvoradisable - リソース監視の中断” - 注意) 3. リカバリ データベースのリカバリを実行してください。 次の手順へ進む前に、Oracle インスタンス、リスナーが正常に動作していることを確認してください。 4. 監視再開/保守モード解除 # /opt/FJSVclora/sbin/hvoraenable -a <userApplication> (監視再開) # /opt/SMAW/SMAWRrms/bin/hvutil -m off <userApplication> (保守モード解除) 5. 監視再開/保守モード解除の確認 監視再開や保守モードの解除が正常に行われたことを確認してください。 (参考 “4.2 hvoraenable - リソース監視の再開” - 注意) 3.3 クラスタ運用中の Oracle SYSTEM ユーザーパスワード変更手順 クラスタ運用中に Oracle SYSTEM ユーザーパスワードを変更する場合は、以下の手順を実施してください。 1. Oracle インスタンスリソースの監視中断 以下のコマンドでOracleインスタンスリソースの監視を中断します。スタンバイ運用の場合は、運用ノードにて実行してください。 シングルノードクラスタ運用の場合は、1ノードにて実行してください。 # /opt/FJSVclora/sbin/hvoradisable -a <userApplication> 実行後、syslog に監視中断のメッセージが出力されたことを確認し、次の手順に進んでください。 [Info] [0101] Fault Watching is disabled 2. Oracle SYSTEM ユーザーパスワードの変更、アカウントロックの解除 Oracle SYSTEM ユーザーパスワードの変更、またはアカウントロックの解除を行います。 - Oracle SYSTEM ユーザーパスワードの変更 スタンバイ運用の場合は、運用ノードにて実行してください。シングルノードクラスタ運用の場合は、1ノードにて実行してくだ さい。 例 パスワードを “oracle” に変更する設定例です。 # su - <Oracle ユーザー> $ sqlplus /nolog SQL> connect / as sysdba SQL> alter user system identified by oracle; SQL> exit - アカウントロックの解除 「A.1.3 Warning 状態に遷移」の [ケース2] を参照してください。 - 58 - 3. PRIMECLUSTER Wizard for Oracle に Oracle SYSTEM ユーザーパスワードを登録 clorapass を実行し、PRIMECLUSTER Wizard for Oracle に 変更後の Oracle SYSTEM ユーザーパスワードを登録します。 スタンバイ運用の場合は、運用ノードにて実行してください。シングルノードクラスタ運用の場合は、1ノードにて実行してくださ い。 # /opt/FJSVclora/sbin/clorapass Enter OracleSID > sid (ORACLE_SID を入力) Enter Password > ****** (変更後のパスワード “oracle” を入力) Re-enter Password > ****** (変更後のパスワード “oracle” を再入力) finished 4. Oracle インスタンスリソースの監視再開 以下のコマンドでOracleインスタンスリソースの監視を再開します。スタンバイ運用の場合は、運用ノードにて実行してください。 シングルノードクラスタ運用の場合は、1ノードにて実行してください。 # /opt/FJSVclora/sbin/hvoraenable -a <userApplication> 実行後、syslog に監視再開のメッセージが出力されたことを確認してください。 [Info] [0102] Fault Watching is enabled 参考 ・ Oracle インスタンス、リスナーの監視中断・再開については、「4.1 hvoradisable - リソース監視の中断」、「4.2 hvoraenable - リソース 監視の再開」を参照してください。 ・ Oracle SYSTEM ユーザーのパスワードの変更方法は、Oracle のマニュアルなどを参照してください。 ・ clorapass コマンドについては「4.3 clorapass - 監視用パスワードの登録」を参照してください。 ・ Oracleユーザー、Gridユーザー、Oracle SYSユーザーのパスワードを変更する場合は、PRIMECLUSTER Wizard for Oracleの設 定変更は不要です。 3.4 切替え発生時の問題解決 Oracle のログ PRIMECLUSTER による Oracle の運用で、切替え が発生した場合は、単体のOracle 運用と同様に、Oracle のアラート・ログやログファイルから問題を解決してください。 PRIMECLUSTER Wizard for Oracle のログ PRIMECLUSTER Wizard for Oracle においても、どのような異常を検出し、どのような対処を行ったかを以下のログファイルに出力し ています。 /var/opt/reliant/log/FJSVclora_<$ORACLE_SID>*.log /var/opt/reliant/log/FJSVclora_<ListenerName>*.log ログファイルのフォーマットは以下の通りです。 - 59 - 日付時間/区分/ID/テキスト 2002/04/25 15:18:40 [Info] [1101] Starting Oracle detector 2002/04/25 15:18:40 [Info] [1102] Connected to Oracle 2002/04/25 15:18:40 [Error] [1299] ORA-01034 Oracle not available. ・ 日付時間 YYYY/MM/DD HH:MM:SS の形式で出力します。 ・ 区分 ログの区分を示します (Information、Error、Warning)。 ・ ID メッセージ番号を示します。 ・ テキスト メッセージの内容を示します。 注意 ログファイルの容量制限は行っていません。ログファイルの管理は、RMS によるログファイル管理機能によって行われます。 ログファイルはトラブル発生時の調査のための重要な資料となります。これらのファイルを削除したり編集したりしないでください。 3.5 トラブル調査情報 トラブルが発生した場合は、本製品および関連製品のログファイルや設定情報から、トラブル調査を行います。 主な設定情報ファイルやログファイルは以下の通りです。 Oracle の情報 ・ 設定ファイル - 初期化パラメータ・ファイル $ORACLE_HOME/dbs/*.ora $ORACLE_BASE/admin/$ORACLE_SID/pfile/*.ora - Oracle Net Services 構成ファイル $ORACLE_HOME/network/admin/*.ora ・ ログファイル - アラート・ログ $ORACLE_HOME/rdbms/log/alert_$ORACLE_SID.log $ORACLE_BASE/diag 配下 - リスナーログ $ORACLE_HOME/network/log/<ListenerName>.log $ORACLE_BASE/diag 配下 - 60 - PRIMECLUSTER の情報 「PRIMECLUSTER 導入運用手引書」の「付録C トラブルシューティング」を参照してください。 PRIMECLUSTER Wizard for Oracle の情報 ・ 設定ファイル /opt/FJSVclora/etc/* /usr/opt/reliant/etc/hvgdconfig /usr/opt/reliant/build/<RMS構成定義名>.usfiles/* ・ ログファイル /var/opt/reliant/log/* 参考 上記 Oracle および PRIMECLUSTER Wizard for Oracle の調査資料は、PRIMECLUSTER と同様に、pclsnap コマンドを使って収集 することが可能です。pclsnap コマンドはシステム情報ツールで、FJSVpclsnap 拡張サポート機能パッケージに付属しています。 PRIMECLUSTER システムで障害が発生した場合は、必要なエラー情報を収集して原因を追及することができます。ただし、 PRIMECLUSTER Wizard for Oracle の設定が正しく完了していないと、Oracle の情報は正しく収集されません。 PRIMECLUSTER Wizard for Oracle 単体の調査資料採取については、「4.5 clgetoralog - Oracle 調査資料採取」を参照してください。 3.6 ログファイル PRIMECLUSTER Wizard for Oracle では、次のディレクトリにログファイルを出力します。 ・ /var/opt/reliant/log 配下 RMS および userApplication が動作している間、特に userApplication の状態遷移が行われた場合に、追記型で出力されますが、 RMS により使用量管理が行われています。 参照 詳しくは、「PRIMECLUSTER RMS 導入運用手引書」を参照してください。 ・ /var/opt/FJSVclora 配下 RMS および userApplication が動作している間、出力されますが、一定量に到達するとそれ以上は増えず、最も古いログから順に 削除されます。 - Oracle インスタンスリソース 1つにつき、最大 5.5MB - リスナーリソース 1つにつき、最大 4.5MB - ASM インスタンスリソース 1つにつき 0.0MB (出力なし) - 61 - ただし、監視タイムアウトを検出した場合、次のログファイルが追記型で作成されます。 - FJSVclora_<SID>_idto.trclog - FJSVclora_<LISTENER>_ldto.trclog これらは、1回の監視タイムアウトにつき62バイト増加します。なお、これらのログは RMSの管理外のため、RMSによる使用量管理 は行われません。 注意 これらのログファイルは、トラブル発生時の調査資料となりますので、不用意に削除・編集しないでください。 - 62 - 第4章 コマンド 4.1 hvoradisable - リソース監視の中断 実行ユーザー スーパーユーザー 形式 /opt/FJSVclora/sbin/hvoradisable userApplication Resource /opt/FJSVclora/sbin/hvoradisable -a [ userApplication ] 機能説明 本コマンド実行ノード (ローカルノード) 上に存在する指定された Oracle インスタンス、リスナーリソースの監視を中断します。Oracle の保守などで Oracle インスタンス、リスナーの停止を行いたい場合に使用します。userApplication が停止中/起動中の両方で使用 できます。 userApplication が停止中に使用した場合、次に userApplication を起動した時、Oracle インスタンス、リスナーの起動を行わずに、 リソースの状態が Warning になります。 userApplication が運用中に使用した場合は、すぐに監視を無効にします。このときリソースの状態は Warning となり、Oracle インス タンス、リスナーを停止しても、リソースは Warning のままとなります。(userApplication 運用中に使用する場合、リソースの状態が Warning になったことを確認して Oracle インスタンス、リスナーの停止を行ってください。) userApplication を停止、または Faulted 状態をクリアすると、リソース監視の中断設定は、自動的に解除されます。 参考 - ASM インスタンスリソースは監視が行われませんので、本コマンドによる監視の中断は必要ありません。 - ASM インスタンスリソースについての詳細は、「2.3.2 ASM(Automatic Storage Management)を使用する場合」を参照してくだ さい。 パラメータ userApplication Resource userApplication には、監視中断するリソースが含まれる userApplication 名を指定します。 Resource には、監視中断する Oracle インスタンスリソース、リスナーリソースいずれかのリソース名を指定します。 userApplication と Resource には、ローカルノードに存在するものを指定してください。 -a [ userApplication ] ローカルノード上に存在し、かつ userApplication に指定された userApplication に属する全ての Oracle インスタンス、リスナー リソースの監視を中断します。 userApplication が省略された場合、本コマンドはローカルノード上の全ての Oracle インスタンス、リスナーリソースの監視を中 断します。 終了ステータス 0 : 正常終了 1 : 異常終了 2 : 異常終了 (-a オプション指定時に、いくつかのリソースの監視中断に失敗) 注意 本コマンドの実行タイミングに注意してください。状態不整合や意図せぬリソース異常を引き起こす場合があります。 - 63 - ・ 本コマンドを userApplication の状態遷移中に実行してはいけません。 ・ 本コマンドを RMS 停止中に実行してはいけません。 ・ 本コマンドの実行直後に、userApplication の起動や停止を行わないでください(5秒程度の間を置いてください)。 ・ リソース監視の中断が有効になったことを確認後、Oracle インスタンスやリスナーの操作を行ってください。 以下のいずれかの方法でhvoradisableコマンドによるリソース監視の中断が有効になったことを確認してください。 - syslog に “INFO: 0101: Fault Watching is disabled” のメッセージが出力されたこと。 - リソースが Warning 状態に変わったこと。 - clorainfo -m の結果が disable に変わったこと。 4.2 hvoraenable - リソース監視の再開 実行ユーザー スーパーユーザー 形式 /opt/FJSVclora/sbin/hvoraenable userApplication Resource /opt/FJSVclora/sbin/hvoraenable -a [ userApplication ] 機能説明 hvoradisable コマンドによってリソース監視が中断されたローカルノード上の Oracle インスタンスリソース、リスナーリソースの監視を 再開します。userApplication が停止中/起動中の両方で使用できます。 userApplication が停止中に使用した場合、hvoradisable コマンドで設定された監視無効設定を解除します。 userApplication が運用中に使用した場合は、すぐに監視を再開します。そのため、Oracle インスタンス、リスナーを手動起動した 状態で、本コマンドを実行してください。(この場合、リソースの状態が Warning から Online になることを確認してください。) 参考 - ASM インスタンスリソースは監視が行われませんので、本コマンドによる監視の再開は必要ありません。 - ASM インスタンスリソースについての詳細は、「2.3.2 ASM(Automatic Storage Management)を使用する場合」を参照してくだ さい。 パラメータ userApplication Resource userApplication には、監視再開するリソースが含まれる userApplication 名を指定します。 Resource には、監視再開する Oracle インスタンスリソース、リスナーリソースいずれかのリソース名を指定します。 userApplication と Resource には、ローカルノードに存在するものを指定してください。 -a [ userApplication ] ローカルノード上に存在し、かつ userApplication に指定された userApplication に属する全ての Oracle インスタンス、リスナー リソースの監視を再開します。 userApplication が省略された場合、本コマンドはローカルノード上に存在する全ての Oracle インスタンス、リスナーリソースの監 視を再開します。 終了ステータス 0 : 正常終了 1 : 異常終了 2 : 異常終了 (-a オプション指定時に、いくつかのリソースの監視再開に失敗) - 64 - 注意 本コマンドの実行タイミングに注意してください。状態不整合や意図せぬリソース異常を引き起こす場合があります。 ・ 本コマンドを userApplication の状態遷移中に実行してはいけません。 ・ 本コマンドの実行直後に、userApplication の起動や停止を行わないでください(5秒程度の間を置いてください)。 ・ 監視中断中、Oracle インスタンスやリスナーを手動停止していた場合、本コマンドの実行前に手動起動してください。 ・ 以下のいずれかの方法により、hvoraenableコマンドによるリソース監視の再開が有効になったことを確認できます。 - syslog に “INFO: 0102: Fault Watching is enabled” のメッセージが出力されたこと。 - リソースが元の状態("Online"、"Offline")に変わったこと。 - clorainfo -m の結果が enable に変わったこと。 4.3 clorapass - 監視用パスワードの登録 実行ユーザー スーパーユーザー 形式 /opt/FJSVclora/sbin/clorapass 機能説明 本コマンドは PRIMECLUSTER Wizard for Oracle が使用する Oracle の SYSTEM ユーザーのパスワードを登録します。ディテク タは Oracle インスタンスの監視のために SYSTEM ユーザーを使って接続を行います。このためディテクタは SYSTEM ユーザー のパスワードを必要とします。 パスワードが設定されていなければ、ディテクタは SYSTEM ユーザーのパスワードとして“manager” を使用します。 本コマンドは、任意の1ノードで実行してください。 パラメータ なし 終了ステータス 0 : 正常終了 0 以外 : 異常終了 コマンド実行例 # /opt/FJSVclora/sbin/clorapass Enter OracleSID > ora (ORACLE_SID を入力 例:“ora”) Enter Password > ****** (SYSTEMユーザーのパスワードを入力 例:“oracle”) Re-enter Password > ****** (SYSTEMユーザーのパスワードを再入力 例:“oracle”) finished 参考 ・ クラスタ運用中に Oracle SYSTEM ユーザーパスワードを変更する場合は、「3.3 クラスタ運用中の Oracle SYSTEM ユーザーパス ワード変更手順」を参照してください。 - 65 - ・ clorapass コマンドが取り扱うパスワード文字列については、以下を参考にしてください。 - 使用できる文字は、ASCII文字コードの16進値21, 23-3f, 41-7e(10進値の33, 35-63, 65-126)です。 - 全ての非引用識別子:英数字、アンダースコア(_)、ドル記号($)、シャープ記号(#) abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789_$# - 引用識別子のうち、以下のもの !%&'()*+,-./:;<=>?[\]^`{|}~ - 空白、タブ、アットマーク(@)、マルチバイト文字は使用できません。 - 引用識別子を含む場合、および英字以外で開始する場合、全体を二重引用符(")で括る必要はありません。 - 最大63文字まで指定可能です。(Oracle の仕様は最大30文字です) 4.4 cloracpy - Oracle 設定ツール(待機ノード用) 実行ユーザー Oracle ユーザー 形式 /opt/FJSVclora/sbin/cloracpy 機能説明 本コマンドを使って、Oracle データベース設定に必要な運用ノード上のファイルを tar 形式にバックアップすることができます。本コ マンドを使用してバックアップしたファイルを待機ノード側で展開することで、ファイルコピー、リンクの設定が行えます。 - 本コマンドの使用条件 - スタンバイ運用である - Oracleソフトウェアを各ノードのローカルディスクにインストールしている - 運用・待機ノードの $ORACLE_HOME、$ORACLE_BASE の設定が同一である - 1:1 運用待機のように、運用・待機ノードの Oracle 構成が同一である - 運用ノードでのデータベースの作成や設定が完了している - Oracle ユーザーで実行する - Oracle ユーザーの環境変数に $ORACLE_BASE、$ORACLE_HOME、$ORACLE_SID の設定がされている - 本コマンドで tar 形式にまとめるファイル - $ORACLE_HOME/dbs 配下のすべて - $ORACLE_BASE/admin/$ORACLE_SID 配下のすべて - $ORACLE_HOME/network/admin 配下のすべて - $ORACLE_BASE/diag 配下のすべて これらは、/tmp/oracle.<$ORACLE_SID>.tar ファイルにまとめられます。この tar ファイルを運用ノードから待機ノードへ転送し、そこ で“tar xvfP /tmp/oracle.<$ORACLE_SID>.tar”コマンドを実行すると、上記のファイルが待機ノード上で展開されます。 参考 - 待機ノード上での tar ファイルの展開は、Oracle ユーザー、または root ユーザーで実行してください。 - Oracle ユーザーで展開する場合、"tar xvfPp /tmp/oracle.<$ORACLE_SID>.tar" コマンドを実行してください。 - root ユーザーで展開する場合、"tar xvfP /tmp/oracle.<$ORACLE_SID>.tar" コマンドを実行してください。 - 66 - 注意 本コマンドは、フルパスで tar 形式にファイルをまとめ、フルパスで展開されますので、$ORACLE_BASE や $ORACLE_HOME の 設定が運用・待機ノードで異なる場合は、使用しないでください。また N:1 運用待機構成のように、運用・待機ノードで設定が異な る場合も、使用できません。同一名のファイルが存在する場合は上書きされますので注意してください。 パラメータ なし 終了ステータス 0 : 正常終了 0 以外 : 異常終了 4.5 clgetoralog - Oracle 調査資料採取 実行ユーザー スーパーユーザー 形式 /opt/FJSVclora/bin/clgetoralog [ -n RMSconfiguration ] [ -d output_directory ] [ -a ] 機能説明 本コマンドは、Oracle のトラブル調査資料を採取します。PRIMECLUSTER 上で運用中の Oracle の設定情報、ログファイルを採取 します。 採取した資料は、<hostname>_<日付>_clgetoralog.tar.Z (または tar.gz) ファイルにまとめられます。 採取する情報は次の通りです。 - 初期化パラメータ・ファイル $ORACLE_HOME/dbs/*.ora $ORACLE_BASE/admin/$ORACLE_SID/pfile/*.ora - アラート・ログ BACKGROUND_DUMP_DEST/*.log $ORACLE_HOME/rdbms/log/*.log $ORACLE_HOME/log/diag 配下 $ORACLE_BASE/diag 配下 - listener.ora、tnsnames.ora $ORACLE_HOME/network/admin/*.ora - リスナーログ $ORACLE_HOME/network/log/*.log - PRIMECLUSTER Wizard for Oracle の V/L 情報、設定情報やログファイル - RMS の V/L 情報やログファイル (switchlog) - PRIMECLUSTER の V/L 情報や設定情報、パッチ情報 - システム情報 uname -a 実行結果 (システム基本情報) uptime 実行結果 (システム稼働時間) cat /proc/cpuinfo 実行結果 (CPU情報) - 67 - cat /proc/version 実行結果 (Linux バージョン情報) sysctl -a 実行結果 (カーネルパラメータ情報) ipcs 実行結果 (共有資源情報) cat /proc/swaps (スワップ情報) pstree -pal, ps -efw 実行結果 (プロセス情報) ntpq -p 実行結果 (NTP情報) /var/log/messages ファイル - UpdateSite(MW) 適用済み修正情報 uam showup 実行結果 参考 本コマンドで採取される情報は、pclsnap コマンドでも採取されます。(-a、-A または -h オプション指定時) パラメータ [ -n RMSconfiguration ] RMSconfiguration には、採取する RMS 構成定義名を指定します。 RMS 構成定義名を指定した場合、本コマンドは、上記 [機能説明] で記載した資料や情報に加え、RMS 構成定義ファイル群 も採取します。 RMS 動作中の場合は、以下のコマンドで RMS 構成定義名を確認することもできます。 # /opt/SMAW/SMAWRrms/bin/hvdisp -a | grep Configuration Configuration: /opt/SMAW/SMAWRrms/build/config.us 本オプションを省略した場合、本コマンドは、上記 [機能説明] で記載した資料や情報のみを採取します。 [ -d output_directory ] 採取資料を格納するディレクトリを指定します。 ディレクトリを指定した場合、本コマンドは、採取した資料や情報をまとめた <hostname>_<日付>_clgetoralog.tar.Z (または tar.gz) ファイルを、そのディレクトリに格納します。 指定したディレクトリが存在しない場合、自動的に作成します。 本オプションを省略した場合、本コマンドは、採取資料をまとめた <hostname>_<日付>_clgetoralog.tar.Z (または tar.gz) ファイ ルを、デフォルトディレクトリ (/var/tmp 配下) に格納します。 [ -a] 本オプションを指定した場合、本コマンドは、上記 [機能説明] で記載した資料や情報に加え、以下の情報も採取します。 - 現在有効となっている RMS 構成定義ファイル群 -n オプションも指定された場合はその RMS 構成定義ファイル群 - RMS ログファイル群 (/var/opt/reliant/log/*) - RMS 環境変数定義ファイル (/usr/opt/reliant/bin/hvenv.local) - /var/log/messages* (全世代) - /etc/hosts - /etc/passwd - /etc/services - /etc/fstab - /etc/fstab.pcl 終了ステータス 0 : 正常終了 - 68 - 0 以外 : 異常終了 注意 本コマンドは初期化パラメータ・ファイルまたはサーバー・パラメータ・ファイルから初期化パラメータ BACKGROUND_DUMP_DEST または DIAGNOSTIC_DESTの値を取得し、Oracle アラート・ファイルおよびリスナーログの格納場所を取得します。 サーバー・パラメータ・ファイルが格納されている共用ディスクがマウントされていない場合などは、初期化パラメータが読み込めず、 Oracle アラート・ファイルおよびリスナーログの格納場所(ファイル名)が取得できません。取得できない場合に備えて、本コマンドの定 義ファイル /opt/FJSVclora/etc/clgetoralog.conf に、Oracle アラート・ファイルおよびリスナーログの格納場所(ファイル名)をフルパスで 定義してください。 Oracleアラート・ファイルおよびリスナーログの格納場所は、以下のいずれかの方法で確認してください。 ・ 初期化パラメータ BACKGROUND_DUMP_DEST または DIAGNOSTIC_DEST の値を確認する。 ・ Oracle 起動状態で SQL 文 "show parameter dest" を実行する 以下に /opt/FJSVclora/etc/clgetoralog.conf の定義例を示します: COLLECTOBJ=/oracle/admin/orclsid/bdump/alert_orclsid.log COLLECTOBJ=/oracle/product/network/log/listener.log (Oracleアラート・ファイル) (リスナーログ) ※BACKGROUND_DUMP_DEST が “/oracle/admin/orclsid/bdump” の場合 “COLLECTOBJ=” は行の先頭から記載し、“=” の後にフルパスでファイル名を記載してください。 パスの途中にワイルドカード “*” は使用できません。 COLLECTOBJ=/oracle/admin/orclsid/bdump/*.trc COLLECTOBJ=/oracle/admin/*/bdump/*.trc [OK] [NG] /opt/FJSVclora/etc/clgetoralog.conf に定義している採取資料も含めた全体のサイズが10MBを超えた場合、/opt/FJSVclora/etc/ clgetoralog.conf に定義した採取資料は採取されません。 -a オプションを指定すれば、サイズが10MBを超えた場合でも /opt/FJSVclora/etc/clgetoralog.conf に定義した採取資料を採取すること ができます。 4.6 clorainfo - 設定情報や監視状態の表示 実行ユーザー スーパーユーザー 形式 /opt/FJSVclora/bin/clorainfo { -c [ RMSconfiguration ] | -e | -m [ ResourceName ] | -v } 機能説明 本コマンドは、PRIMECLUSTER Wizard for Oracle の設定情報や状態を表示します。 パラメータ -c [ RMSconfiguration ] 指定された RMS 構成定義に含まれる PRIMECLUSTER Wizard for Oracle リソースの設定情報を表示します。RMSconfiguration には、RMS 構成定義名を指定します。 RMSconfiguration を省略した場合、現在有効となっている RMS 構成定義に含まれる PRIMECLUSTER Wizard for Oracle リ ソースの設定情報を表示します。 - 69 - -e ローカルノードに設定されたカーネルパラメータ値や、ローカルノード上の Oracle 環境の設定情報を表示します。 -m [ ResourceName ] ローカルノード上の PRIMECLUSTER Wizard for Oracle リソースの現在の監視状態 (監視が行われているかどうか) を表示し ます。(enable:監視有効状態、disable:監視無効状態) ResourceName を指定した場合、指定されたリソースの監視状態を確認し、次の復帰値を返します。 - 0:RMS 稼動中で、かつ監視有効状態 - 2:RMS 稼動中で、かつ監視無効状態 - 10:RMS 停止中で、かつ監視有効状態 - 12:RMS 停止中で、かつ監視無効状態 ResourceName に指定する PRIMECLUSTER Wizard for Oracleリソース名は、ローカルノード上に存在するものでなければな りません。 ResourceName を省略した場合、ローカルノード上の全 PRIMECLUSTER Wizard for Oracle の全リソースの監視状態を表示し ます。 -v ローカルノードにインストールされている PRIMECLUSTER Wizard for Oracle のパッケージ情報を表示します。 終了ステータス 0 : 正常終了、または RMS 稼動中で、かつ監視有効状態 ("-m ResourceName" 指定時) 2 : RMS 稼動中で、かつ監視無効状態 ("-m ResourceName" 指定時) 10 : RMS 停止中で、かつ監視有効状態 ("-m ResourceName" 指定時) 12 : RMS 停止中で、かつ監視無効状態 ("-m ResourceName" 指定時) 上記以外 : 異常終了 - 70 - 第5章 留意事項 PRIMECLUSTER Wizard for Oracle の留意事項について説明します。 要件・前提条件 本製品を使用するための要件、前提条件に関する留意事項です。 ・ 同一ノード上に、バージョン・リリースの異なる複数の Oracle をインストールすることができます。ただし、運用・待機ノードでバー ジョン・リリースを一致させる必要があります。サポートするOracle 製品名称などは、ソフトウェア説明書やソフトウェアガイドを参照 してください。 ・ Oracle をインストールする際に使用するユーザー名、ユーザーID、グループ名、グループIDは、全ノードで同一にする必要があり ます。 ・ 1台のサーバーに複数の $ORACLE_HOME を作成する場合は、それぞれ異なるユーザー名で作成してください。 ・ Oracle のデータベースは、共用ディスク上に配置する必要があります。 ・ Oracle のログ出力先を共用ディスク装置に設定することは推奨しません。ディスク装置の障害発生時にログが出力されず、調査が できなくなる場合があります。 ・ Oracle のアーカイブログファイルについては、ローカルディスク、共用ディスクに配置した場合、それぞれ以下の点に注意してくだ さい。 - ローカルディスク Oracle のリカバリが必要な場合には、両系のノードにある Oracle アーカイブログファイルを集結してリカバリ作業を実施してく ださい。 - 共用ディスク 共用ディスクの容量の枯渇に注意してください。アーカイブログ領域不足に陥ると、監視用 SQL によるデータ更新処理がハン グアップし、リソース異常となる場合があります。 その後 userApplication がフェイルオーバしてもフェイルオーバ先の待機ノードでも共用ディスク上の領域不足により Oracle データベースの起動に失敗するため、最終的に両系停止となり業務が停止する場合があります。 ・ Oracle の TWO_TASK 環境変数は使用できません。詳しくは、「2.2.6 データベースの作成/設定」を参照してください。 ・ Oracle ユーザーの login.sql に、Oracle データベースに接続するような処理を記述しないでください。詳しくは、「2.2.6 データベー スの作成/設定」を参照してください。 ・ 本製品は、Oracle インスタンスの起動/停止を行う際に SYSDBA システム権限で接続しますが、このときオペレーティング・シス テム認証 (OS認証) を使ったローカル接続を行います。そのため、次の条件を満たしている必要があります。 (これらを満たしてい ない場合、userApplication による Oracle インスタンスの操作に失敗します。) - 「2.2.7.1 Oracle リソースの作成と userApplication への登録」で Oracle インスタンスリソースに設定した OS ユーザー (Oracle ユーザー) が、OSDBA グループに所属していること。 - sqlnet.ora ファイルに SQLNET.AUTHENTICATION_SERVICES パラメータが設定されていないこと。 本製品の接続は OS 認証を使用しますが、それ以外の接続 (例えば、システム管理者がメンテナンスのために手動で SYSDBA または SYSOPER システム権限で接続する場合) では、パスワード・ファイル認証を使用することができます。 ・ Oracle ユーザーのプロファイルにおいて、対話型のコマンド (例 script) を実行しないでください。プロファイルは、/etc/ profile, .bash_profile, .cshrc, .profile などを指します。 Oracle ユーザーのプロファイルに対話型のコマンドを記述した場合、以下の現象が発生します。 - userApplication の起動・停止、Oracle リソースの監視が正常に動作しない - clgetoralogコマンド、clorainfoコマンドがハングアップしコマンドラインに復帰しない ・ Oracle ユーザーのホームディレクトリ、プロファイルを共用ディスクに配置した環境は、サポート対象外です。Oracle ユーザーの ホームディレクトリ、プロファイルは各ノードのローカルディスクに配置してください。 ・ リスナーのオペレーティング・システム認証 (OS認証) を有効にしてください。詳しくは、「2.2.6 データベースの作成/設定」を参照し てください。 - 71 - ・ /tmp ディレクトリに Oracle ユーザーの書き込み権限を付与してください。 本製品では、Oracle ユーザー権限で動作するプログラムが /tmp ディレクトリを使用します。書き込み権限がない場合、Oracle の 起動や停止に失敗します。 ・ Oracle 11g R2/12c R1でASMを使用する場合はOracle Grid Infrastructureをインストールする必要があります。Oracle Grid Infrastructureをインストールする場合はOracle DatabaseのインストールユーザーとOracle Grid Infrastructureのインストールユーザー を分割する構成をサポートします。単一インストールユーザーの構成はサポートしません。 ・ Oracle 11g R2/12c R1 で ASM を使用する場合、Oracle Database のインストールユーザーの ORACLE_BASE 環境変数と、 Oracle Grid Infrastructure のインストールユーザーの ORACLE_BASE 環境変数は異なるディレクトリを指定してください。 ・ PRIMECLUSTER Wizard for Oracleで、Oracle 11g R2/12c R1のASMをスタンバイ運用またはシングルノードクラスタ運用で使用 する場合、Oracleのサービスリソースは使用できません。 ・ Oracleソフトウェアがローカルディスク上に配置されている場合、ローカルディスク上にアップグレードしてください。 Oracleソフトウェアが共用ディスク上に配置されている場合、共用ディスク上にアップグレードしてください。 アップグレード前後でOracleソフトウェアの配置先を変更することはサポート対象外です。 仕様・機能 本製品の仕様、機能に関する留意事項です。 ・ 本製品は、Oracle インスタンスの監視のため、SYSTEM ユーザーでデータベースに接続します。また、SYSTEM ユーザーのデ フォルト表領域上に監視用テーブルを作成して Oracle の動作確認を行います。この監視用テーブルは数バイトの小さなもので す。ただしデータの更新を定期的に行っているため、微量の REDO ログの更新が行われ、アーカイブ REDO ログが出力されま す。 ・ Oracle インスタンスの IMMEDIATE モードによる停止がオンライン・バックアップ実施中に行われると、停止に失敗します。この場 合本製品は、ABORT で停止を行います。 ・ Oracle インスタンスの起動時間、停止時間はデータベースの規模によって異なります。本製品のデフォルトでは Oracle インスタン ス起動時間のタイムアウトは10分、停止時間のタイムアウトは3分となっています。また、RMS の停止コマンド hvshut は独自のタイ ムアウト時間が設定されています。hvshut コマンドがタイムアウトしても RMS 停止に伴う userApplication の停止処理は継続されま す。 ・ Oracleインスタンスの起動時にデータベースのバックアップ・モードまたはメディア障害を検出したとき、バックアップ・モードの解除 またはリカバリを自動的に実行します。 ・ 起動優先度 (StartPriority) が "Instance" または "Listener" を指定した場合、MonitorOnly を有効にすることはできません。 MonitorOnly を有効にしたい場合は、起動優先度 (StartPriority) を "Same" に指定してください。詳しくは、「2.2.7.1 Oracle リソー スの作成と userApplication への登録」を参照してください。 環境構築 環境構築に関する留意事項です。 ・ PreOnlineScript などのスクリプトを設定した場合は、exit code と タイムアウト時間に注意してください。詳しくは、「2.3.1 Oracle 起 動・停止時のスクリプトの設定」を参照してください。 ・ 同一の Oracle インスタンス、リスナーなどに対して、複数のリソースを作成してはいけません(二重作成してはいけません)。 ・ PRIMECLUSTER Wizard for NAS のNetapp リ ソ ー ス と 組 み 合 わ せ る 場 合 は 、 「 2.2.4.1 userApplication の 作 成 」に お い て、 「Application type selection menu」画面でNETAPPを選択してください。 NETAPPメニューの詳細については、「PRIMECLUSTER Wizard for NAS 導入運用手引書」を参照してください。 参考 PRIMECLUSTER Wizard for NASと組合せた場合の「Application type selection menu」画面 - 72 - 運用 運用に関する留意事項です。 ・ クラスタ運用中にOracle SYSTEMユーザーパスワードを変更する場合は、PRIMECLUSTER Wizard for Oracleに変更後のOracle SYSTEMユーザーパスワードを登録する必要があります。"3.3 クラスタ運用中の Oracle SYSTEM ユーザーパスワード変更手順"を 参照してください。Oracleユーザー、Gridユーザー、Oracle SYSユーザーのパスワードを変更する場合は、PRIMECLUSTER Wizard for Oracleの設定変更は不要です。 その他 上記以外の留意事項です。 ・ ABORT での停止では、次回起動時に Oracle インスタンスの自動リカバリが実行されます。 - 73 - 第6章 メッセージ一覧 PRIMECLUSTER Wizard for Oracle が出力するメッセージの一覧を以下に示します。 以下は、syslog (daemon.err) に出力するメッセージです。 ・ Oracle インスタンスリソースに関するメッセージ ・ Oracle リスナーリソースに関するメッセージ ・ 共通のメッセージ 以下は、コマンド実行画面に出力するメッセージです。 ・ clgetoralog が出力するメッセージ ・ clorainfo が出力するメッセージ ・ hvoradisable/hvoraenable が出力するメッセージ ・ cloracpy が出力するメッセージ ・ clorapass が出力するメッセージ Oracle インスタンスリソースに関するメッセージ ERROR: 1202: Cannot map shared memory or get semaphore [説明] システム異常が発生しました。(共有メモリまたは、セマフォの獲得に失敗) [処置] システム資源が不足している可能性があります。システム環境を見直してください。 ERROR: 1203: Cannot open actionlist [説明] アクション定義ファイルを開くことができません。 [説明] アクション定義ファイルが存在するか、ファイルのアクセス権が変更されていないかなどを確認してください。 ERROR: 1204: Corrupted actionlist: Invalid errno, line=linenumber. [説明] アクション定義ファイルの errno に異常があります。 [処置] アクション定義ファイルの line=linenumber の errno を確認してください。 ERROR: 1205: Corrupted actionlist: Invalid status, line=linenumber [説明] アクション定義ファイルの status に異常があります。 [処置] アクション定義ファイルの line=linenumber の status を確認してください。 ERROR: 1206: Corrupted actionlist: Invalid action, line=linenumber - 74 - [説明] アクション定義ファイルの action に異常があります。 [処置] アクション定義ファイルの line=linenumber の action を確認してください。 ERROR: 1208: Oracle process process error [説明] Oracle プロセスの異常を検出しました。 [処置] Oracle のアラート・ログなどを確認し、Oracle が正常に動作しているかを確認してください。 ERROR: 1213: Action error detected: Offline [説明] リソースの Offline を通知します。 [処置] Oracle のアラート・ログなどを確認し、Oracle が正常に動作しているかを確認してください。 ERROR: 1214: Action error detected: Faulted [説明] リソースの Faulted を通知します。 [処置] Oracle のアラート・ログなどを確認し、Oracle が正常に動作しているかを確認してください。 ERROR: 1215: Action error detected: Restart [説明] 監視のリトライを行います。 [処置] Oracle のアラート・ログなどを確認し、Oracle が正常に動作しているかを確認してください。 ERROR: 1219: Cannot read hvgdconfig [説明] RMS の定義ファイル (hvgdconfigファイル) が読み込めません。 [処置] RMS の定義ファイルを手動で修正した場合は、設定を見直してください。 ERROR: 1220: Not Found ResourceName setting in hvgdconfig [説明] RMS 定義ファイル (hvgdconfigファイル) の ResourceName の設定が異常です。 [処置] RMS の定義ファイルを手動で修正した場合は、設定を見直してください。 ERROR: 1223: Not found AttributeName in hvgdconfig - 75 - [説明] RMS 定義ファイル (hvgdconfigファイル) の AttributeName の設定が異常です。 [処置] RMS の定義ファイルを手動で修正した場合は、設定を見直してください。 ERROR: 1224: Receiving of monitoring instruction failed (detail) [説明] 内部異常が発生しました。(共有メモリ、またはセマフォの操作に失敗) [処置] システム管理者に連絡してください。 ERROR: 1225: Reporting of monitoring result failed : status [説明] 内部異常が発生しました。(監視結果の通知に失敗) [処置] システム管理者に連絡してください。 ERROR: 1226: Checking existence of Detector process failed [説明] 内部異常が発生しました。(ディテクタプロセスの存在チェックに失敗) [処置] システム管理者に連絡してください。 ERROR: 1227: Invalid setting in hvgdconfig : AttributeName [説明] RMS 定義ファイル (hvgdconfig) の設定項目 AttributeName に不備があります。 [処置] RMS 定義ファイルを手動で修正した場合は、設定を見直してください。 ERROR: 1299: ORA-xxxxx [説明] 検出した Oracle のエラー ORA-xxxxx を出力しています。 [処置] Oracle のアラート・ログなどを確認し、Oracle が正常に動作しているかを確認してください。 WARNING: 1302: Action error detected: Warning [説明] リソースのWarning を通知します。 [処置] Oracle のアラート・ログなどを確認し、Oracle が正常に動作しているかを確認してください。 ERROR: 3402: clorainstance detected Oracle error! (ORA-xxxxx: ) - 76 - [説明] svrmgrl による Oracle の起動・停止処理中に、Oracle のエラーが発生しました。 [処置] Oracle のアラート・ログなどを確認し、Oracle が正常に動作しているかを確認してください。 ERROR: 3403: clorainstance detected Oracle error! (ORA-xxxxx: ) ERROR: 7301: clasminstance detected Oracle error! (ORA-xxxxx: ) [説明] sqlplus による Oracle の起動・停止処理中に、Oracle のエラーが発生しました。 [処置] Oracle のアラート・ログなどを確認し、Oracle が正常に動作しているかを確認してください。 Oracle リスナーリソースに関するメッセージ ERROR: 2202: Cannot map shared memory or get semaphore [説明] システム異常が発生しました。(共有メモリまたは、セマフォの獲得に失敗) [処置] システム資源が不足している可能性があります。システム環境を見直してください。 ERROR: 2203: Cannot get ORACLE_HOME [説明] ORACLE_HOME が取得できません。 [処置] Oracle ユーザーの環境変数に ORACLE_HOME が正しく設定されているか、環境を見直してください。 ERROR: 2204: Cannot read hvgdconfig [説明] RMS 定義ファイル (hvgdconfigファイル) が読み込めません。 [処置] RMS の定義ファイルを手動で修正した場合は、設定を見直してください。 ERROR: 2205: Not Found ResourceName setting in hvgdconfig [説明] RMS 定義ファイル (hvgdconfigファイル) の ResourceName の設定が異常です。 [処置] RMS の定義ファイルを手動で修正した場合は、設定を見直してください。 ERROR: 2206: Not Found AttributeName in hvgdconfig [説明] RMS 定義ファイル (hvgdconfigファイル) の AttributeName の設定が異常です。 - 77 - [処置] RMS の定義ファイルを手動で修正した場合は、設定を見直してください。 ERROR: 2210: Tnsping detected the error (detail) [説明] tnsping コマンドを使ったリスナーの監視で異常を検出しました。 [処置] リスナーログなどを確認し、リスナーが正常に動作しているか確認してください。 ERROR: 2211: The listener name is invalid [説明] リスナー名の設定に異常があります。 [処置] listener.ora, tnsnames.ora など、リスナーの設定を見直してください。 ERROR: 2214: The process of the listener does not exist [説明] リスナープロセスの異常を検出しました。 userApplication の停止に伴い出力されます。 [処置] userApplication が起動状態 (Online) 中に出力された場合は、リスナーログなどを確認し、 リスナーが正常に動作しているか確認してください。 ERROR: 2215: Process ID of the listener is not found [説明] リスナープロセスのプロセスIDが不明です。 [処置] リスナーログなどを確認し、リスナーが正常に動作しているか確認してください。 ERROR: 2219: Reporting of monitoring result failed : status [説明] 内部異常が発生しました。(監視結果の通知に失敗) [処置] システム管理者に連絡してください。 ERROR: 2220: System error occurred(detail) [説明] システム異常が発生しました。 [処置] システム資源が不足している可能性があります。システム環境を見直してください。 ERROR: 2221: Receiving of monitoring instruction failed (detail) - 78 - [説明] 内部異常が発生しました。(共有メモリ、またはセマフォの操作に失敗) [処置] システム管理者に連絡してください。 ERROR: 2222: Checking existence of Detector process failed [説明] 内部異常が発生しました。(ディテクタプロセスの存在チェックに失敗) [処置] システム管理者に連絡してください。 共通のメッセージ INFO: 0101: Fault Watching is disabled [説明] リソース監視を中断しました。hvoradisable コマンド実行後に出力されます。 [処置] ありません。リソース監視を再開したい場合には hvoraenable コマンドを実行してください。 参照 コマンドの詳細は、「4.1 hvoradisable - リソース監視の中断」を参照してください。 INFO: 0102: Fault Watching is enabled [説明] リソース監視を再開しました。hvoraenable コマンド実行後に出力されます。 [処置] ありません。 参照 コマンドの詳細は、「4.2 hvoraenable - リソース監視の再開」を参照してください。 ERROR: 0207: Cannot allocate memory for hvgdconfig : AttributeName [説明] システム異常が発生しました。(メモリ獲得に失敗) [処置] システム資源が不足している可能性があります。システム環境を見直してください。 ERROR: 0208: Data init error [説明] システム異常が発生しました。(セマフォ獲得に失敗) - 79 - [処置] システム資源が不足している可能性があります。システム環境を見直してください。 ERROR: 0209: Fork error [説明] システム異常が発生しました。(プロセス生成に失敗) [処置] システム資源が不足している可能性があります。システム環境を見直してください。 ERROR: 0211: User UserName not found. [説明] Oracle ユーザーの設定に異常があります。 [処置] Oracle ユーザー名などに誤りがないか、設定を見直してください。 ERROR: 0212: Cannot create log path_name. [説明] ログファイルが作成できません。 [処置] システム資源 (ディスク不足など) が不足している可能性があります。システム環境を見直してください。 ERROR: 0213: Library init error [説明] システム異常が発生しました。(初期化処理) [処置] システム資源が不足している可能性があります。システム環境を見直してください。 ERROR: 0219: Detector aborted [説明] システム異常が発生しました。ディテクタを終了します。 [処置] システム資源が不足している可能性があります。システム環境を見直してください。 ERROR: 0220: Not found AttributeName in hvgdconfig. [説明] RMS 定義ファイル (hvgdconfig) に AttributeName が設定されていません。 [処置] RMS の定義ファイルを手動で修正した場合は、設定を見直してください。 ERROR: 0221: Invalid setting in hvgdconfig : AttributeName [説明] RMS 定義ファイル (hvgdconfig) の AttributeName の設定に誤りがあります。 - 80 - [処置] RMS の定義ファイルを手動で修正した場合は、設定を見直してください。 ERROR: 0222: Checking permission of resource monitoring failed [説明] 内部異常が発生しました。(監視中断チェックに失敗) [処置] システム管理者に連絡してください。 ERROR: 0223: Checking existence of fault monitor process failed [説明] 内部異常が発生しました。(監視用プロセスの存在チェックに失敗) [処置] システム管理者に連絡してください。 ERROR: 0224: Sending monitoring instruction failed (detail) [説明] 内部異常が発生しました。(共有メモリ、またはセマフォの操作に失敗) [処置] システム管理者に連絡してください。 ERROR: 0225: Receiving of monitoring result failed (detail) [説明] 内部異常が発生しました。(共有メモリ、またはセマフォの操作に失敗) [処置] システム管理者に連絡してください。 ERROR: 0226: Watch Timeout occurred (count) [説明] Oracle または、リスナーからの応答がないため、監視タイムアウトが発生しました。 [処置] Oracle のアラート・ログや リスナーログなどを確認し、Oracle または、リスナーが正常に動作しているかを確認してください。 ERROR: 0227: Receiving of Script notice failed [説明] 内部異常が発生しました。(スクリプトとの通信に失敗) [処置] システム管理者に連絡してください。 ERROR: 0228: Starting fault monitor failed [説明] 監視用プロセスの起動に失敗しました。 - 81 - [処置] システム管理者に連絡してください。 ERROR: 0229: Pipe error [説明] システム異常が発生しました。(パイプ生成に失敗) [処置] システム資源が不足している可能性があります。システム環境を見直してください。 注意 PRIMECLUSTER Wizard for Oracle では上記のメッセージ以外に、Oracle インスタンス 起動時にOracle のエラーが検出された場 合は、エラーメッセージを、コンソールに出力しています。 clgetoralog が出力するメッセージ clgetoralog [ERROR] Creation of temporary directory failed! (directory_name) [説明] 作業用一時ディレクトリの作成に失敗しました。 [処置] /tmp 領域が不足している可能性があります。システム環境を見直してください。 clgetoralog [ERROR] Invalid RMS Configuration name! (RMS_configuration) [説明] 指定された RMS 構成定義 RMS_configuration は存在しません。 [処置] 正しい RMS 構成定義名を指定し、再実行してください。 clgetoralog [ERROR] No space in path_name (details)! [説明] path_name の領域が不足している可能性があります。 [処置] path_name の領域が不足している可能性があります。システム環境を見直してください。 clgetoralog [ERROR] Creation of directory failed! (directory_name) [説明] 採取資料を格納するディレクトリの作成に失敗しました。 [処置] ディスク領域が不足している可能性があります。システム環境を見直してください。 clgetoralog [ERROR] "file_name" already exists! - 82 - [説明] 同名ファイルが存在したため、採取資料のアーカイブ化に失敗しました。 [処置] 続いて出力されるメッセージに、採取資料が格納されたディレクトリ名が表示されます。そのディレクトリを手動にて別名でアーカイ ブ化してください。 clgetoralog [ERROR] Creation of "file_name" failed! [説明] 採取資料のアーカイブ化に失敗しました。 [処置] 続いて出力されるメッセージに、採取資料が格納されたディレクトリ名が表示されます。 そのディレクトリを手動にてアーカイブ化してください。 clgetoralog [WARN] Obtaining local SysNode Name failed! [説明] ローカル SysNode 名の取得に失敗しました。 [処置] ありません。(資料採取は続行されます。) clgetoralog [WARN] Execution of hvw failed! [説明] RMS コマンド hvw(1M) の実行に失敗しました。 [処置] ありません。(資料採取は続行されます。) clgetoralog [WARN] Result of hvw is invalid! [説明] RMS コマンド hvw(1M) の実行結果が得られませんでした。 [処置] ありません。(資料採取は続行されます。) clgetoralog [WARN] Wizard for Oracle resources not found in hvgdconfig! [説明] hvgdconfig ファイルに PRIMECLUSTER Wizard for Oracle のリソースが定義されていませんでした。 [処置] ありません。(資料採取は続行されます。) clgetoralog [WARN] Obtaining RMS Configuration name from CONFIG.rms failed! [説明] RMS 構成定義名を取得できませんでした。 [処置] ありません。(資料採取は続行されます。) - 83 - clgetoralog [WARN] Invalid RMS Configuration name! (RMS_configuration) [説明] CONFIG.rms ファイルから取得した RMS 構成定義名が存在しません。 [処置] ありません。(資料採取は続行されます。) clorainfo が出力するメッセージ clorainfo: ERROR: Obtaining local SysNode Name failed! [説明] ローカル SysNode 名の取得に失敗しました。 [処置] CF (Cluster Foundation) の設定が完了し、かつ起動状態であることを確認してください。 clorainfo: ERROR: Checking RMS running status failed! (details) [説明] RMS の稼動状態取得に失敗しました。 [処置] RMS を含むクラスタのインストール/設定、および userApplication (クラスタアプリケーション) の設定が正しく行われていることを 確認してください。 clorainfo: ERROR: Obtaining RMS configuration name failed! (details) [説明] RMS 構成定義名を取得できませんでした。 [処置] userApplication (クラスタアプリケーション) の設定が完了していることを確認してください。 clorainfo: ERROR: CONFIG.rms does not exist! (details) [説明] CONFIG.rms ファイルが存在しません。 [処置] userApplication (クラスタアプリケーション) の設定が完了していることを確認してください。 clorainfo: ERROR: Wizard for Oracle resources not found [説明] 設定された userApplication (クラスタアプリケーション) には、PRIMECLUSTER Wizard for Oracle が管理するリソースが見つかりま せん。 [処置] userApplication (クラスタアプリケーション) の設定が完了していることを確認してください。また、userApplication に Oracle インスタ ンスリソース、リスナーリソースが含まれていることを確認してください。 clorainfo: ERROR: The specified resource does not exist on this SysNode(SysNode_name), or does not belong to Wizard for Oracle! - resource_name - 84 - [説明] 指定されたリソース resource_name がローカルノード SysNode_name 上に存在しません。 または、resource_name は PRIMECLUSTER Wizard for Oracle が管理するリソースではありません。 [処置] ローカルノードに存在する正しいリソース名を指定し、再度実行してください。 clorainfo: ERROR: Resource does not belong to Wizard for Oracle - resource_name [説明] 指定されたリソース resource_name は PRIMECLUSTER Wizard for Oracle が管理するリソースではありません。 [処置] 正しいリソース名を指定し、再度実行してください。 clorainfo: ERROR: Invalid RMS Configuration. [説明] RMS 構成定義が無効です。 [処置] userApplication (クラスタアプリケーション) の設定が完了していることを確認してください。 clorainfo: ERROR: RMS_configuration does not exist. [説明] 指定された RMS 構成定義 RMS_configuration は存在しません。 [処置] 正しい RMS 構成定義名を指定し、再実行してください。 hvoradisable/hvoraenable が出力するメッセージ command: ERROR: Internal error! (details) [説明] 内部異常が発生しました。 [処置] システム管理者に相談してください。 command: ERROR: Failed to disable/enable resource monitoring - resource_name [説明] リソース resource_name の監視中断、または再開に失敗しました。 [処置] システム管理者に相談してください。 command: ERROR: hvgdconfig does not exist! [説明] hvgdconfig ファイルが存在しません。 - 85 - [処置] userApplication (クラスタアプリケーション) の設定が完了していることを確認してください。 command: ERROR: Obtaining local SysNode Name failed! [説明] ローカル SysNode 名の取得に失敗しました。 [処置] CF (Cluster Foundation) の設定が完了し、かつ起動状態であることを確認してください。 command: ERROR: Obtaining RMS configuration Name failed! [説明] RMS 構成定義名を取得できませんでした。 [処置] userApplication (クラスタアプリケーション) の設定が完了していることを確認してください。 command: ERROR: Execution of hvw failed! [説明] RMS コマンド hvw(1M) の実行に失敗しました。 [処置] userApplication (クラスタアプリケーション) の設定が完了していることを確認してください。 command: ERROR: Result of hvw is invalid! [説明] RMS コマンド hvw(1M) の実行結果が得られませんでした。 [処置] userApplication (クラスタアプリケーション) の設定が完了していることを確認してください。 command: ERROR: Failed to disable/enable resource monitoring! (details) [説明] 監視中断、または再開に失敗しました。 [処置] RMS を含むクラスタのインストール/設定、および userApplication (クラスタアプリケーション) の設定が正しく行われていることを 確認してください。 command: ERROR: No Wizard for Oracle resources belong to specified userApplication! userApplication_name [説明] 指定された userApplication userApplication_name には、PRIMECLUSTER Wizard for Oracle が管理するリソースが存在しませ ん。 [処置] 正しい userApplication 名を指定し、再度実行してください。 command: ERROR: No Wizard for Oracle resources are in the current RMS configuration! - 86 - [説明] 現在有効となっている RMS 構成定義には、PRIMECLUSTER Wizard for Oracle が管理するリソースが存在しません。 [処置] userApplication (クラスタアプリケーション) の設定が完了していることを確認してください。また、userApplication に Oracle インスタ ンス、リスナーリソースが含まれていることを確認してください。 command: ERROR: No Wizard for Oracle resources exist on this node! - SysNode_name [説明] ローカルノード SysNode_name 上には PRIMECLUSTER Wizard for Oracle が管理するリソースが存在しません。 [処置] userApplication (クラスタアプリケーション) の設定が完了していることを確認してください。 また、userApplication に Oracle インスタンス、リスナーリソースが含まれていることを確認してください。 command: ERROR: Invalid userApplication or Resource! [説明] 誤った userApplication 名、またはリソース名が指定されました。 [処置] 正しい userApplication 名、およびリソース名を指定し、再度実行してください。 command: ERROR: The specified resource does not exist on SysNode_name! - resource_name [説明] 指定されたリソース resource_name は、SysNode_name 上に存在しません。 [処置] 正しいリソース名を指定し、再度実行してください。 またはリソースが存在するノード上で実行してください。 command: WARNING: RMS is not running, but the monitoring of resource_name is disabled/enabled. [説明] RMS が起動していませんが、リソースの監視中断、または再開を行いました。 [処置] ありません。 次回の RMS 起動と同時に監視中断、または再開になります。 cloracpy が出力するメッセージ ORACLE_SID not found. [説明] 環境変数 ORACLE_SID が設定されていません。 [処置] 環境変数 ORACLE_SID を設定してください。 ORACLE_HOME not found. [説明] 環境変数 ORACLE_HOME が設定されていません。 - 87 - [処置] 環境変数 ORACLE_HOME を設定してください。 ORACLE_BASE not found. [説明] 環境変数 ORACLE_BASE が設定されていません。 [処置] 環境変数 ORACLE_BASE を設定してください。 ORACLE_HOME/dbs is invalid. [説明] ORACLE_HOME/dbs ディレクトリが存在しません。 [処置] ORACLE_HOME/dbs ディレクトリを確認してください。 ORACLE_HOME/network/admin is invalid. [説明] ORACLE_HOME/network/admin ディレクトリが存在しません。 [処置] ORACLE_HOME/network/admin ディレクトリを確認してください。 cloracpy: ORACLE_BASE/admin/ORACLE_SID is invalid. [説明] ORACLE_BASE/admin/ORACLE_SID ディレクトリが存在しません。 [処置] 本コマンドを使用してバックアップしたファイルを待機ノード側で展開した後、待機ノード側で初期化パラメータAUDIT_FILE_DEST に設定されているディレクトリを作成してください。 作成したディレクトリのアクセス権限は運用ノードと同一にしてください。 cloracpy: ORACLE_BASE/diag is invalid. [説明] ORACLE_BASE/diag ディレクトリが存在しません。 [処置] 本コマンドを使用してバックアップしたファイルを待機ノード側で展開した後、待機ノード側で初期化パラメータDIAGNOSTIC_DEST に設定されているディレクトリを作成してください。 作成したディレクトリのアクセス権限は運用ノードと同一にしてください。 cloracpy: tar is error.(EXIT_CODE). [説明] tar コマンドがエラーになりました。 [処置] /tmp ディレクトリの空き容量や権限を確認してください。 - 88 - clorapass が出力するメッセージ Cannot read password_file. [説明] パスワードファイルが読み込みできません。 [処置] パスワードファイルを確認してください。 File format error password_file. [説明] パスワードファイルのフォーマットエラーです。 [処置] パスワードファイルを削除して、再度パスワードの設定をしてください。ただし、パスワードが複数設定されている場合は全て設定し 直す必要があります。 Cannot allocate memory. [説明] システム異常が発生しました(メモリの獲得に失敗)。 [処置] システム資源が不足している可能性があります。システム環境を見直してください。 Cannot write password_file. [説明] パスワードファイルに書き込みできません。 [処置] パスワードファイルを確認してください。 Password not match. [説明] 再入力されたパスワードが一致しませんでした。 [処置] パスワードを正しく入力してください。 - 89 - 付録A トラブル事例集 Oracle インスタンスの起動失敗やクラスタのフェイルオーバなどのトラブルは、多くの場合 Oracle インスタンスのダウンや障害が原因で 発生します。しかし、設定ミスや見積もりミスでも同じようにトラブルが発生する場合があります。 ここでは、設定ミスや見積もりミスによるトラブル事例について、原因と対処を説明しています。 Oracle インスタンスに関するトラブル リスナーに関するトラブル 起動・停止に失敗した。 A.1.1 AutoRecoverやフェイルオーバが発生した。 A.1.2 Warning 状態となった。 A.1.3 起動・停止に失敗した。 A.2.1 AutoRecoverやフェイルオーバが発生した。 A.2.2 A.1 Oracle インスタンスに関するトラブル A.1.1 起動・停止に失敗 Oracle インスタンスの起動・停止に失敗した場合のトラブル事例です。 [ケース1] PRIMECLUSTER RMS のリソース設定が誤っている場合に発生します。 clorainfo -c コマンドを実行してリソース設定情報を確認できます。次に示す設定情報が実際の環境と一致していることを確認してくだ さい。(参考「4.6 clorainfo - 設定情報や監視状態の表示」) ・ Oracle ユーザー名 ・ OracleSID ・ PreOnlineScript などに設定したスクリプト - パスが正しいこと - 実行権限があること - 単体で正しく動作すること 一致していなかった場合、正しい設定に変更してください。(参考「第2章 環境設定」) [ケース2] /opt/FJSVclora/usr 配下に配置したユーザースクリプトが誤っている場合に発生します。 (スタンバイ運用の場合のみ) これらのユーザースクリプトが正しく動作することを確認してください。 [ケース3] Oracle の設定が誤っている場合に発生します。 - 90 - Oracle のアラート・ログなどを確認し、起動・停止に失敗した原因が記録されていないか確認してください。 また、Oracle 単体で起動・停止が正しく行えることを確認してください。 Oracle インスタンスリソースの監視を中断させると、手動による単体操作が可能になります。 (参考「3.2.4.1 Oracle を停止させる必要がある場合」) A.1.2 AutoRecoverやフェイルオーバが発生 Oracleインスタンスリソース異常によるリソースのAutoRecoverやuserApplicationのフェイルオーバが発生した場合のトラブル事例です。 [ケース1] アーカイブ REDO ログ領域不足のため、監視用 SQL によるデータ更新処理がハングアップした場合に、リソース異常となる場合があります。 その後 userApplication がフェイルオーバしてもフェイルオーバ先の待機ノードでも共用ディスク上の領域不足により Oracle データベー スの起動に失敗するため、最終的に両系停止となり業務が停止する場合があります。 Oracle のアラート・ログなどを確認し、参考となる情報が記録されていないか確認してください。 アーカイブ REDO ログをバックアップするなどしてディスク容量を確保してください。 [ケース2] 監視タイムアウトが2回連続して発生した場合にリソース異常となります。 syslog に以下のメッセージが出力されていれば該当します。 ERROR: 0226: Watch Timeout occurred Oracle 側からの調査・対処を行ってください。 PRIMECLUSTER Wizard for Oracle による Oracle インスタンスの監視では、Oracle から一定時間応答がなかった場合は「監視タイム アウト」と判断します。1回目の監視タイムアウトでは、Warning 状態となるだけでリソース異常にはなりませんが、これが2回連続して発 生した場合、リソース異常と判断します。 A.1.3 Warning 状態に遷移 Oracle は起動しているが、Oracle インスタンスリソースが Warning 状態となった場合のトラブル事例です。 [ケース1] Oracle SYSTEM ユーザーのパスワードが PRIMECLUSTER Wizard for Oracle に登録されていない場合や、登録されているが誤って いる場合、または正しく登録されているが有効になっていない場合に発生します。 syslog に ORA-01017 が出力されていれば本ケースに該当します。 SYSTEM ユーザーのパスワードを正しく登録し直してください。(参考「3.3 クラスタ運用中の Oracle SYSTEM ユーザーパスワード変 更手順」) [ケース2] Oracle SYSTEM ユーザーのアカウントがロックされているため、Oracle に接続できない場合に発生します。 syslog に ORA-28000 が出力されていれば本ケースに該当します。また、以下の SQL 文で SYSTEM ユーザーのアカウントの状態を 参照することでも確認できます。(account_status 列が “LOCKED(TIMED)” や “LOCKED” になっていれば該当します。) - 91 - # su - <Oracle ユーザー> $ sqlplus /nolog SQL> connect / as sysdba SQL> select username, account_status from dba_users; Oracle に sysdba 権限で接続し、SYSTEM ユーザーのアカウントロックを解除してください。 # su - <Oracle ユーザー> $ sqlplus /nolog SQL> connect / as sysdba SQL> alter user system account unlock; syslog に ORA-01017 も出力されていた場合、誤ったパスワードが登録されていたために ORA-28000 が発生した可能性があります。 その場合、まず SYSTEM ユーザーのパスワードを正しく登録し直してください。(参考「3.3 クラスタ運用中の Oracle SYSTEM ユーザー パスワード変更手順」) 次に上記の手順でアカウントロックを解除してください。 [ケース3] 監視が中断されている場合に発生します。 clorainfo -m コマンドで監視中断中かどうかを確認できます。(参考「4.6 clorainfo - 設定情報や監視状態の表示」) 監視中断状態だった場合、対象の Oracle インスタンスが OPEN ステータスで起動していることを確認し、監視を再開してください。(参 考「4.2 hvoraenable - リソース監視の再開」) [ケース4] Oracle インスタンスの監視において、監視の SQL 文(INSERT・UPDATE など) が一定時間応答しないが、Oracle に接続ができ、ス テータスは OPEN である場合に発生します。 (監視タイムアウト) syslog に以下のメッセージが出力されていれば該当します。 ERROR: 0226: Watch Timeout occurred Oracle 側からの調査・対処を行ってください。 PRIMECLUSTER Wizard for Oracle による Oracle インスタンスの監視では、Oracle から一定時間応答がなかった場合は「監視タイム アウト」と判断します。1回目の監視タイムアウトでは、Warning 状態となるだけでリソース異常にはなりませんが、これが2回連続して発 生した場合、リソース異常と判断します。 [ケース5] Oracle インスタンスの監視において、max session エラー、max process エラーにより Oracle へ接続できない場合に発生します。 syslog に ORA-00018、ORA-00020 が出力されていれば該当します。 Oracle の SESSIONS 初期化パラメータに設定する最大セッション数や、PROCESSES 初期化パラメータに設定する最大プロセス数に は、PRIMECLUSTER Wizard for Oracle の監視用セッション分を考慮し、余裕を持った値を設定してください。詳しくは、Oracle のマ ニュアルを参照してください。 [ケース6] Oracle SYSTEM ユーザーのパスワードが期限切れとなり、監視機能が Oracle に接続できない場合に発生します。 syslog に ORA-28001 が出力されていれば本ケースに該当します。また sqlplus コマンドで SYSTEM ユーザーとして Oracle に接続す る際に、ORA-28001 が発生すれば該当します。 # su - <Oracle ユーザー> $ sqlplus /nolog SQL> connect system/password ERROR: - 92 - ORA-28001: the password has expired systemに対するパスワードを変更しています。 新規パスワード: この場合、Oracle SYSTEM ユーザーのパスワードを変更してください。 変更後、clorapass コマンドを使って PRIMECLUSTER Wizard for Oracle への再登録を行ってください。(参考「3.3 クラスタ運用中の Oracle SYSTEM ユーザーパスワード変更手順」) A.2 リスナーに関するトラブル A.2.1 起動・停止に失敗 リスナーの起動・停止に失敗した場合のトラブル事例です。 [ケース1] PRIMECLUSTER RMS のリソース設定が誤っている場合に発生します。 clorainfo -c コマンドを実行してリソース設定情報を確認できます。次に示す設定情報が実際の環境と一致していることを確認してくだ さい。(参考「4.6 clorainfo - 設定情報や監視状態の表示」) ・ Oracle ユーザー名 ・ リスナー名 ・ OracleTNS名(TNSName) (ネット・サービス名) ・ PreOnlineScript などに設定したスクリプト - パスが正しいこと - 実行権限があること - 単体で正しく動作すること 一致していなかった場合、正しい設定に変更してください。(参考「第2章 環境設定」) [ケース2] リスナーの設定が誤っており起動・停止できない場合に発生します(リスニングするIPアドレスやポートなどの設定ミス)。 リスナーログなどを確認し、起動・停止に失敗した原因が記録されていないか確認してください。 listener.ora の設定が正しいことを確認してください。 また、リスナー単体で起動・停止が正しく行えることを確認してください。リスナーリソースの監視を中断させると、手動による単体操作 が可能になります。(参考「3.2.4.1 Oracle を停止させる必要がある場合」) A.2.2 AutoRecoverやフェイルオーバが発生 リスナーリソース異常によるリソースのAutoRecoverやuserApplicationのフェイルオーバが発生した場合のトラブル事例です。 - 93 - [ケース1] PRIMECLUSTER RMS のリソース設定 (特に 「OracleTNS名(TNSName)」) が誤っている場合にリソース異常となります。 clorainfo -c コマンドを実行してリソース設定情報を確認できます。次に示す設定情報が実際の環境と一致していることを確認してくだ さい。(参考「4.6 clorainfo - 設定情報や監視状態の表示」) ・ Oracle ユーザー名 ・ リスナー名 ・ OracleTNS名(TNSName) (ネット・サービス名) 一致していなかった場合、正しい設定に変更してください。(参考「第2章 環境設定」) [ケース2] tnsnames.ora のネット・サービス名の設定(接続先リスナーの情報など)が誤っている場合に発生します。 tnsnames.ora を確認し、ネット・サービス名が誤っていないか確認してください。 A.2.3 Warning 状態に遷移 リスナーリソースが Warning 状態となった場合のトラブル事例です。 [ケース1] 監視を中断した場合に発生します。 clorainfo -m コマンドで監視中断中かどうかを確認できます(参考 “4.6 clorainfo - 設定情報や監視状態の表示”)。 監視中断状態だった場合、対象のリスナーリソースが起動していることを確認し、監視を再開してください(参考 “4.2 hvoraenable - リ ソース監視の再開”)。 [ケース2] Oracle の tnsping コマンドを使ったリスナーの監視において、tnsping コマンドの応答が一定時間なかった場合に発生することがありま す(監視タイムアウト)。 syslog に “ERROR: 0226: Watch Timeout occurred” が出力されていれば該当します。 リスナーログ等を確認し、調査・対処を行ってください。 PRIMECLUSTER Wizard for Oracle によるリスナーの監視では、tnsping コマンドの応答が一定時間なかった場合は「監視タイムアウ ト」と判断します。1回目の監視タイムアウトでは、Warning 状態となるだけでリソース異常にはなりませんが、これが2回連続して発生し た場合、リソース異常と判断します。 - 94 - 付録B Oracle リソースの追加作成/設定変更/削除 ここでは、作成済みの userApplication に含まれる Oracle リソースの設定変更などを行う場合の手順について説明します。 B.1 リソースの追加作成 B.1.1 個々のリソースを追加作成する場合 Oracle リソースを既に含んでいる userApplication に対し、新たにリソースを作成して登録する場合の手順です。 例 Oracle インスタンスとリスナー "LISTENER" を含むスタンバイ運用の userApplication に、新たにリスナー "LISTENER_2" を作成し、 登録するような場合です。 1. 全ノードの RMS を停止します。 2. 任意のノード (通常は運用ノード) 上で、"hvw -n <RMS 構成定義名>" を実行し、RMS Wizard を起動します。 3. 「Main configuration menu」画面にて Application-Edit を選択します。 4. 「Application selection menu」画面にて、リソースを追加する userApplication 名(すべて大文字 例:"APP1")を選択します。 5. 「Settings of turnkey wizard "WIZSTANDBY"」画面にて、Oracle(Ora_xxx) を選択します。 6. 「Oracle (Ora_xxx:consistent)」画面にて、Additionalxxx を選択します。 例 Oracle インスタンス、または ASM インスタンスをリソース登録する場合、AdditionalInstance を選択し、さらに「2.2.7.1 Oracle リソー スの作成と userApplication への登録」の手順“7”~“8”を参考に、詳細設定を行ってください。 リスナーをリソース登録する場合、AdditionalListener を選択し、さらに「2.2.7.1 Oracle リソースの作成と userApplication への登 録」の手順“10”~“11”を参考に、詳細設定を行ってください。 シングルノードクラスタ運用の場合、Oracleインスタンスリソース、Oracleリスナーリソースのフラグ設定値ではAutoRecover属性を 有効にすることを推奨します。AutoRecover属性を有効にしたリソースで故障が発生した場合、自動的に再起動して復旧を試み ることで、可用性を向上させることができます。 - 95 - 設定項目 フラグ設定値 (Flags) 説明 AutoRecover(A) 7. 他にリソースを登録する場合、“6”を繰り返します。 8. リソース登録が完了したら、「Oracle (Ora_xxx:consistent)」画面にて SAVE+EXIT を選択します。 9. 「Settings of turnkey wizard "WIZSTANDBY"」画面にて、SAVE+EXIT を選択します。 10. 「Application selection menu」画面にて、RETURN を選択します。 11. 「Main configuration menu」画面にて、Configuration-Generate と Configuration-Activate を続けて実行します。 12. 「Main configuration menu」画面にて QUIT を選択し、RMS Wizard を終了します。 B.1.2 Oracle リソースを追加作成する場合 Oracle リソースを一切含んでいない userApplication に対し、新たにリソースを作成して登録する場合の手順です。 例 GDS、LFS (マウントポイント制御)、および GLS のみを含んでいるスタンバイ運用の userApplication に、新たに Oracle インスタンス、 リスナーを登録するような場合です。 スタンバイ運用の場合、「2.2.7 userApplication の編集」と同様の手順です。 1. 全ノードの RMS を停止します。 2. 任意のノード上で、"hvw -n <RMS 構成定義名>" を実行し、RMS Wizard を起動します。 3. 「Main configuration menu」画面にて Application-Edit を選択します。 4. 「Application selection menu」画面にて、リソースを追加する userApplication 名(すべて大文字 例:"APP1")を選択します。 5. 「Settings of turnkey wizard "WIZSTANDBY"」画面にて、Oracle(-) を選択します。 6. 「Oracle (Ora_xxx: not yet consistent) 」画面にて、Additionalxxx を選択します。 例 Oracle インスタンス、または ASM インスタンスをリソース登録する場合、AdditionalInstance を選択し、さらに「2.2.7.1 Oracle リソー スの作成と userApplication への登録」の手順“7”~“8”を参考に、詳細設定を行ってください。 リスナーをリソース登録する場合、AdditionalListener を選択し、さらに「2.2.7.1 Oracle リソースの作成と userApplication への登 録」の手順“10”~“11”を参考に、詳細設定を行ってください。 シングルノードクラスタ運用の場合、Oracleインスタンスリソース、Oracleリスナーリソースのフラグ設定値ではAutoRecover属性を 有効にすることを推奨します。AutoRecover属性を有効にしたリソースで故障が発生した場合、自動的に再起動して復旧を試み ることで、可用性を向上させることができます。 - 96 - 設定項目 フラグ設定値 (Flags) 説明 AutoRecover(A) 7. リソース登録が完了したら、「Oracle (Ora_xxx:consistent)」画面にて SAVE+EXIT を選択します。 8. 「Settings of turnkey wizard "WIZSTANDBY"」画面にて、SAVE+EXIT を選択します。 9. 「Application selection menu」画面にて、RETURN を選択します。 10. 「Main configuration menu」画面にて、Configuration-Generate と Configuration-Activate を続けて実行します。 11. 「Main configuration menu」画面にて QUIT を選択し、RMS Wizard を終了します。 B.2 リソースの設定変更 登録済みリソースの設定を変更する場合の手順です。 例 Oracle インスタンスリソースの「監視間隔 (Interval)」 を、デフォルトの30秒から60秒に変更するような場合です。 1. 全ノードの RMS を停止します。 2. 任意のノード上で、"hvw -n <RMS 構成定義名>" を実行し、RMS Wizard を起動します。 3. 「Main configuration menu」画面にて Application-Edit を選択します。 4. 「Application selection menu」画面にて、変更対象のリソースを含む userApplication 名(すべて大文字 例:"APP1")を選択しま す。 5. 「Settings of turnkey wizard "WIZSTANDBY"」画面にて、Oracle(Ora_xxx) を選択します。 6. 「Oracle (Ora_xxx:consistent)」画面にて、設定を変更するリソースを選択します。 例 Oracle イ ン ス タ ン ス リ ソ ー ス の 場 合 は OracleInstanceName[0]='OracleSID' OracleListenerName[0]=LISTENER を選択します。 次の画面で、設定済みの OracleSID またはリスナー名を選択します。 以下は Oracle インスタンスリソースの場合です。 - 97 - を、リスナーリソースの場合は 7. 「Detail setting for xxx」画面にて、設定を変更します。 - Oracle インスタンスリソース、ASM インスタンスリソースの場合 「2.2.7.1 Oracle リソースの作成と userApplication への登録」の手順“7”を参考に、設定変更を行ってください。 - リスナーリソースの場合 「2.2.7.1 Oracle リソースの作成と userApplication への登録」の手順“10”を参考に、設定変更を行ってください。 8. 設定変更が完了したら、「Detail setting for xxx 」画面にて SAVE+RETURN を選択します。 9. 他のリソースで設定変更を行う場合、“6”~“7”を繰り返します。 10. 全てのリソースの設定変更が完了したら、「Oracle (Ora_xxx:consistent)」画面にて SAVE+EXIT を選択します。 11. 「Settings of turnkey wizard "WIZSTANDBY"」画面にて、SAVE+EXIT を選択します。 12. 「Application selection menu」画面にて、RETURN を選択します。 13. 「Main configuration menu」画面にて、Configuration-Generate と Configuration-Activate を続けて実行します。 14. 「Main configuration menu」画面にて QUIT を選択し、RMS Wizard を終了します。 B.3 リソースの削除 B.3.1 個々のリソースを削除する場合 Oracle インスタンスリソースのみ、またはリスナーリソースのみを削除する場合の手順です。 例 Oracle インスタンスとリスナーを含むスタンバイ運用の userApplication から、リスナーのみを削除するような場合です。 1. 全ノードの RMS を停止します。 2. 任意のノード上で、"hvw -n <RMS 構成定義名>" を実行し、RMS Wizard を起動します。 3. 「Main configuration menu」画面にて Application-Edit を選択します。 4. 「Application selection menu」画面にて、削除対象のリソースを含む userApplication 名(すべて大文字 例:"APP1")を選択しま す。 5. 「Settings of turnkey wizard "WIZSTANDBY"」画面にて、Oracle(Ora_xxx) を選択します。 6. 「Oracle (Ora_xxx:consistent)」画面にて削除するリソースを選択し、次の画面で NONE を選択します。 - 98 - 例 Oracleインスタンスリソースを削除する場合 7. 他のリソースも削除する場合、“6”を繰り返します。 8. リソースの削除が完了したら、「Oracle (Ora_xxx:consistent)」画面にて SAVE+EXIT を選択します。 9. 「Settings of turnkey wizard "WIZSTANDBY"」画面にて、SAVE+EXIT を選択します。 10. 「Application selection menu」画面にて、RETURN を選択します。 11. 「Main configuration menu」画面にて、Configuration-Generate と Configuration-Activate を続けて実行します。 12. 「Main configuration menu」画面にて QUIT を選択し、RMS Wizard を終了します。 B.3.2 まとめて削除する場合 Oracle リソースをまとめて削除する場合の手順です。 例 Oracle インスタンスとリスナーを含むスタンバイ運用の userApplication から、Oracle インスタンスとリスナー両方をまとめて削除するよう な場合です。 1. 全ノードの RMS を停止します。 - 99 - 2. 任意のノード上で、"hvw -n <RMS 構成定義名>" を実行し、RMS Wizard を起動します。 3. 「Main configuration menu」画面にて Application-Edit を選択します。 4. 「Application selection menu」画面にて、削除対象のリソースを含む userApplication 名(すべて大文字 例:"APP1")を選択しま す。 5. 「Settings of turnkey wizard "WIZSTANDBY"」画面にて、削除対象の Oracle(Ora_xxx) を選択します。 6. 「Oracle (Ora_xxx:consistent)」画面にて REMOVE+EXIT を選択し、さらに応答メッセージに対し yes を入力します。 7. 「Settings of turnkey wizard "WIZSTANDBY"」画面にて、SAVE+EXIT を選択します。 8. 「Application selection menu」画面にて、RETURN を選択します。 9. 「Main configuration menu」画面にて、Configuration-Generate と Configuration-Activate を続けて実行します。 10. 「Main configuration menu」画面にて QUIT を選択し、RMS Wizard を終了します。 - 100 - 付録C Oracle Grid InfrastructureのインストールとASMインス タンス、データベースの作成 ここではスタンバイ運用において Oracle 11g R2/12c R1で ASM を使用する場合の構築手順について説明します。 ポイント スタンバイ運用において Oracle 11g R2/12c R1 で ASM を使用する場合は Oracle Grid Infrastructure をインストールする必要がありま す。 注意 ・ Oracle Grid Infrastructure をインストールする場合は Oracle Database のインストールユーザーと Oracle Grid Infrastructure のイン ストールユーザーを分割する構成をサポートします。単一インストールユーザーの構成はサポートしません。 また、Oracle Database のインストールユーザーの ORACLE_BASE 環境変数と Oracle Grid Infrastructure のインストールユーザー の ORACLE_BASE 環境変数は、異なるディレクトリを指定してください。 ・ PRIMECLUSTER Wizard for Oracleで、Oracle 11g R2/12c R1のASMをスタンバイ運用で使用する場合、Oracleのサービスリソー スは使用できません。 Oracle Grid Infrastructure および Oracle Database は両ノードのローカルディスクにインストールします。 ASM インスタンスとデータベースは運用ノードで作成し、待機ノードでは運用ノードで作成した ASM インスタンスとデータベースを動 作させるための設定を行います。 以下に、構築手順を示します。 項番 概要 運用ノード 待機ノード 1 カーネルパラメータの設定 カーネルパラメータの設定 2 Grid ユーザー、Oracle ユーザーを作成 Grid ユーザー、Oracle ユーザーを作成 3 共用ディスク装置の設定 4 Oracle リソースを含まない userApplication の 作成 5 userApplication の起動 6 Oracle Grid Infrastructure をインストール 7 Oracle Database をインストール 8 データベースを作成 9 Oracle リスナーのIPアドレスを修正 10 ASM の SPFILE の確認 11 データベースのパラメータ・ファイルの確認 12 データベース、ASM、Oracle リスナーを停止 Oracle リソースを含まない userApplication の 作成 13 userApplication を切替え 14 Oracle Grid Infrastructure をインストール 15 Oracle Database をインストール 16 17 Oracle のディレクトリをコピー Oracle のディレクトリをコピー Oracle リスナーの再起動 - 101 - 概要 項番 運用ノード 待機ノード 18 ASM の SPFILE の変更 19 仮の Diskgroup を停止 20 ASM の再起動 21 仮の Diskgroup を削除 22 データベースリソースの登録 23 データベースリソースの起動 24 データベース、ASM、Oracle リスナーを停止 各手順の詳細は以下の通りです。 1. カーネルパラメータの設定 PRIMECLUSTERで使用する値に、Oracle自身が使用する値を加えたものを/etc/sysctl.confに設定する必要があります。カーネ ルパラメータの設定は使用するOracleのバージョンやデータベースの構成によって異なるため、Oracleのインストールガイドを参 照してください。パラメータの設定は全てのノードで同一になることを推奨します。 カーネルパラメータsemopmには、4以上の値を設定してください。 2. Grid ユーザー、Oracle ユーザーを作成 Oracle Grid Infrastructure のインストールユーザーとして Grid ユーザーを、Oracle Database のインストールユーザーとして Oracle ユーザーを作成してください。単一インストールユーザーの構成はサポートしません。 Grid ユーザーの ORACLE_BASE 環境変数と Oracle ユーザーの ORACLE_BASE 環境変数は、異なるディレクトリを指定して ください。 Grid ユーザーの ORACLE_HOME 環境変数は Oracle Grid Infrastructure の ORACLE_HOME を設定してください。Oracle ユーザーの ORACLE_HOME 環境変数は、Oracle Database の ORACLE_HOME を設定してください。Grid ユーザーの ORACLE_SID 環境変数と Oracle ユーザーの ORACLE_SID 環境変数を設定してください。 ユーザーID、グループID、環境変数は、全ノードで同一にしてください。 例 Oracle ユーザーの環境変数の設定例です。 (.bash_profile) ORACLE_BASE=/u01/app/oracle; export ORACLE_BASE ORACLE_HOME=/u01/app/oracle/product/db; export ORACLE_HOME ORACLE_SID=ora; export ORACLE_SID LD_LIBRARY_PATH=$ORACLE_HOME/lib; export LD_LIBRARY_PATH PATH=$ORACLE_HOME/bin:/usr/bin:/bin:/usr/bin/X11/:/usr/local/bin; export PATH 例 Grid ユーザーの環境変数の設定例です。 (.bash_profile) ORACLE_BASE=/u01/app/grid; export ORACLE_BASE ORACLE_HOME=/u01/app/grid/product/db; export ORACLE_HOME ORACLE_SID=+ASM; export ORACLE_SID PATH=$ORACLE_HOME/bin:/usr/bin:/bin:/usr/bin/X11/:/usr/local/bin; export PATH 3. 共用ディスク装置の設定 ASM で管理する共用ディスク装置を設定してください。このときデータベースを格納するための共用ディスクと、“14.”で仮の Diskgroup を作成するための共用ディスクを作成してください。作成した共用ディスクのデバイスファイルの所有者には Grid ユー ザーを設定してください。 - 102 - 4. Oracle リソースを含まない userApplication の作成 Oracle Grid Infrastructure をインストールする前に Oracle リソースを含まない userApplication を作成してください。以下の章を参 考にして userApplication を作成してください。 - 2.2.3 userApplication およびリソースの構成 - 2.2.4 Oracle リソースを含まない userApplication の作成 - 2.2.5 userApplication の動作確認 5. 運用ノードで userApplication の起動 運用ノードで userApplication を起動し、共用ディスク装置および論理IPアドレスが活性化されたことを確認してください。 6. 運用ノードへ Oracle Grid Infrastructure をインストール Oracle のマニュアルおよびインストールガイドに従って、運用ノードのローカルディスクへ Grid ユーザーで Oracle Grid Infrastructure をインストールしてください。 - Oracle 11g R2の場合 Oracle Grid Infrastructure のインストール時のオプションは“Configure Oracle Grid Infrastructure for a Standalone Server”を 選択し、ASM インスタンスおよびデータベースを格納する Diskgroup を作成してください。 - Oracle 12c R1の場合 Oracle Grid Infrastructureのインストール時のオプションは“Install and Configure Oracle Grid Infrastructure for a Standalone Server”を選択し、ASMインスタンスおよびデータベースを格納するDiskgroupを作成してください。 ASM インスタンス作成時は SID の先頭に「+」がつくように設定してください (デフォルトでは“+ASM”となります) 。 7. 運用ノードへ Oracle Database をインストール Oracle のマニュアルおよびインストールガイドに従って、運用ノードのローカルディスクへ Oracle ユーザーで Oracle Database を インストールしてください。ここでは、Oracle Database ソフトウェアのみをインストールして、データベースの作成は行わないでくだ さい。 8. 運用ノードでデータベースを作成 運用ノードで“6.”で作成した Diskgroup 上にデータベースを作成してください。 9. Oracle リスナーのIPアドレスを修正 論理IPアドレスを使用した Oracle リスナーの切替え運用を行う場合は、以下のファイルを修正して Oracle リスナーの IPアドレス に論理IPアドレスを設定してください。 - <Grid ユーザーの$ORACLE_HOME>/network/admin/listener.ora また、Oracle リスナーの監視において、tnsping による Oracle リスナー動作監視を行う場合は、以下のファイルの設定を行ってく ださい。 - <Oracle ユーザーの$ORACLE_HOME>/network/admin/tnsnames.ora - <Grid ユーザーの$ORACLE_HOME>/network/admin/tnsnames.ora 修正方法については“2.2.6 データベースの作成/設定”を参照してください。 10. ASM の SPFILE の確認 運用ノード上で Grid ユーザーで以下のコマンドを実行し、SPFILE の場所を確認してください。 # su - <Grid ユーザー> $ export ORACLE_SID=+ASM $ asmcmd spget +DATA/asm/asmparameterfile/registry.xxx ←この行を記録する 11. データベースのパラメータ・ファイルの確認 運用ノード上で Grid ユーザーで以下のコマンドを実行し、データベースのパラメータ・ファイルの場所を確認してください。 # su - <Grid ユーザー> $ crsctl status resource <Oracleデータベースリソース名> -p | grep SPFILE SPFILE=+DATA/xxxx/spfilexxxx.ora ←この行の“SPFILE=”から後ろを記録する - 103 - 例 Oracle データベースリソース名は、crsctl status resource -t コマンドで確認可能です。 # su - <Grid ユーザー> $ crsctl status resource -t -------------------------------------------------------------------------------NAME TARGET STATE SERVER STATE_DETAILS -------------------------------------------------------------------------------Local Resources -------------------------------------------------------------------------------ora.DATA.dg ONLINE ONLINE node1 ora.LISTENER.lsnr ONLINE ONLINE node1 ora.asm ONLINE ONLINE node1 Started ora.ons OFFLINE OFFLINE node1 -------------------------------------------------------------------------------Cluster Resources -------------------------------------------------------------------------------ora.orcl.db 1 ONLINE ONLINE node1 Open ora.cssd 1 ONLINE ONLINE node1 ora.diskmon 1 OFFLINE OFFLINE ora.evmd 1 ONLINE ONLINE node1 $ この構成の場合、 "ora.orcl.db" が、Oracle データベースリソース名になります。 12. データベース、ASM、Oracle リスナーを停止 運用ノード上で Grid ユーザーで以下のコマンドを実行し、データベース、ASM、Oracle リスナーを停止してください。<db_name> は“8.”で作成したデータベース名を指定してください。<diskgroup_name>は“6.”で作成した Diskgroup を指定してください。 # $ $ $ $ su - <Grid ユーザー> srvctl stop database -d <db_name> srvctl stop diskgroup -g <diskgroup_name> srvctl stop asm srvctl stop listener 13. 待機ノードへ userApplication を切替え 待機ノードへ userApplication を切替えて、共用ディスク装置および論理IPアドレスが活性化されたことを確認してください。 14. 待機ノードへ Oracle Grid Infrastructure をインストール Oracle のマニュアルおよびインストールガイドに従って、待機ノードのローカルディスクへ Grid ユーザーで Oracle Grid Infrastructure をインストールしてください。 - Oracle 11g R2の場合 Oracle Grid Infrastructure のインストール時のオプションは“Configure Oracle Grid Infrastructure for a Standalone Server”を 選択し、ASM インスタンスおよび仮の Diskgroup を作成してください。 - Oracle 12c R1の場合 Oracle Grid Infrastructureのインストール時のオプションは“Install and Configure Oracle Grid Infrastructure for a Standalone Server”を選択し、ASMインスタンスおよび仮のDiskgroupを作成してください。 ASM インスタンスの SID は“6.”で作成した ASM インスタンスと同じ SID を指定してください。Diskgroup 名は“6.”で作成した Diskgroup と異なる名前で仮の Diskgroup を作成してください。 - 104 - 15. 待機ノードへ Oracle Database をインストール Oracle のマニュアルおよびインストールガイドに従って、待機ノードのローカルディスクへ Oracle ユーザーで Oracle Database を インストールしてください。ここでは、Oracle Database ソフトウェアのみをインストールして、データベースの作成は行わないでくだ さい。 16. Oracle のディレクトリをコピー 運用ノードの以下のディレクトリを、待機ノードへコピーしてください。 - <Oracle ユーザーの$ORACLE_HOME>/dbs 配下 - <$ORACLE_BASE>/admin/$ORACLE_SID 配下 - <$ORACLE_BASE>/diag 配下 - <Grid ユーザーの$ORACLE_HOME>/network/admin 配下 上記でコピーしたディレクトリとファイルのアクセス権限を運用ノードと同一にしてください。 参考 /opt/FJSVclora/sbin/cloracpy コマンドを使って、運用ノードの必要なファイルを tar 形式にバックアップすることができます。「4.4 cloracpy - Oracle 設定ツール(待機ノード用)」を参照してください。 /opt/FJSVclora/sbin/cloracpy コマンドを使用する場合は、Oracle ユーザーと Grid ユーザーでそれぞれ実行してください。 17. Oracle リスナーの再起動 待機ノード上で Grid ユーザーで以下のコマンドを実行し、Oracle リスナーを再起動できることを確認してください。 # su - <Grid ユーザー> $ srvctl stop listener $ srvctl start listener 18. ASM の SPFILE の変更 “10.”で確認した SPFILE の場所を設定します。 - Oracle 11g R2の場合 待機ノード上で Grid ユーザーで以下のコマンドを実行してください。 # su - <Grid ユーザー> $ export ORACLE_SID=<ASMのSID> $ asmcmd spset <SPFILEのパス> - Oracle 12c R1の場合 待機ノード上でGridユーザーで以下のコマンドを実行してください。 <diskgroup_name>は“6.”で作成したDiskgroupを指定してください。 # su - <Gridユーザー> $ export ORACLE_SID=<ASMのSID> $ sqlplus / as sysasm SQL> alter diskgroup <diskgroup_name> mount; SQL> exit $ asmcmd spset <SPFILEのパス> # su - <Gridユーザー> $ srvctl stop diskgroup -g <diskgroup_name> 19. 仮の Diskgroup を停止 待機ノード上で Grid ユーザーで以下のコマンドを実行し、仮の Diskgroup を停止してください。<diskgroup_name>は“14.”で作 成した仮の Diskgroup を指定してください。 # su - <Grid ユーザー> $ srvctl stop diskgroup -g <diskgroup_name> - 105 - 20. ASM の再起動 待機ノード上で Grid ユーザーで以下のコマンドを実行し、ASM を再起動してください。 # su - <Grid ユーザー> $ srvctl stop asm $ srvctl start asm 21. 仮の Diskgroup を削除 待機ノード上で Grid ユーザーで以下のコマンドを実行し、仮の Diskgroup を削除してください。<diskgroup_name>は“14.”で作 成した仮の Diskgroup を指定してください。 # su - <Grid ユーザー> $ srvctl remove diskgroup -g <diskgroup_name> 22. データベースリソースの登録 待機ノードの Oracle Restart に“8.”で作成したデータベースリソースを登録します。待機ノード上でOracle ユーザーで以下のコ マンドを実行してください。<db_unique_name>と<db_name>は“8.”で作成したデータベース名を指定してください。<oracle_home> は Oracle ユーザーの ORACLE_HOME を指定してください。<パラメータ・ファイルのパス>は“11.”で確認したデータベースの パラメータ・ファイルを指定してください。<disk_group_list>は“6.”で作成した Diskgroup を指定してください。 # su - <Oracle ユーザー> $ srvctl add database -d <db_unique_name> -o <oracle_home> -p <パラメータ・ファイルのパス> -n <db_name> -a <disk_group_list> 23. 待機ノードでデータベースリソースの起動 待機ノード上で Grid ユーザーで以下のコマンドを実行し、データベースを起動できることを確認してください。<db_name>は“8.” で作成したデータベース名を指定してください。 # su - <Grid ユーザー> $ srvctl start database -d <db_name> 24. データベース、ASM、Oracle リスナーを停止 待機ノード上で Grid ユーザーで以下のコマンドを実行し、データベース、ASM、Oracle リスナーを停止してください。<db_name> は“8.”で作成したデータベース名を指定してください。<diskgroup_name>は“6.”で作成した Diskgroup を指定してください。 # $ $ $ $ su - <Grid ユーザー> srvctl stop database -d <db_name> srvctl stop diskgroup -g <diskgroup_name> srvctl stop asm srvctl stop listener Oracle Grid Infrastructure および Oracle Database のインストールが完了したら、Oracle Restart の設定変更と userApplication の作成 を行います。これらの手順については、「2.3.2.2 環境構築時の注意(Oracle 11g R2/12c R1の場合)」を参照してください。 - 106 - 付録D Oracle ソフトウェアを共用ディスク上で使用する場合 ここでは、Oracle ソフトウェアを共用ディスク上に配置する場合の構築手順について説明します。 以下に、構築手順を示します。 概要 項番 運用ノード 待機ノード 1 PRIMECLUSTER、およびPRIMECLUSTER Wizard for Oracle のインストール/設定 PRIMECLUSTER、およびPRIMECLUSTER Wizard for Oracle のインストール/設定 2 Oracle リソースを含まないuserApplication の 作成 3 カーネル・パラメータの設定 カーネル・パラメータの設定 4 Oracle ユーザーの設定 Oracleユーザーの設定 5 userApplication の起動 6 共用ディスク領域の設定 7 Oracle インベントリの設定 8 Oracle Universal Installer(OUI)起動前の設定 9 Oracle ソフトウェアのインストール 10 リスナーの作成 11 データベースの作成 12 Oracle データベース、リスナーの動作確認 13 PRIMECLUSTER Wizard for Oracle の設定 14 Oracle リソースを含む userApplication の作成 15 userApplication の動作確認 各手順の詳細は以下の通りです。 1. PRIMECLUSTER、および PRIMECLUSTER Wizard for Oracle のインストール/設定 以下の章を参考にして、PRIMECLUSTER、および PRIMECLUSTER Wizard for Oracle をインストールしてください。 - 2.2.1 PRIMECLUSTER のインストール/設定 2. Oracle リソースを含まない userApplication の作成 Oracle ソフトウェアをインストールする前に Oracle リソースを含まない userApplication を作成してください。以下の章を参考にし て userApplication を作成してください。 - 2.2.3 userApplication およびリソースの構成 - 2.2.4 Oracle リソースを含まない userApplication の作成 - 2.2.5 userApplication の動作確認 3. カーネル・パラメータの設定 以下の章を参考にしてカーネルパラメータの設定をしてください。 - 2.2.2 Oracle ソフトウェアのインストール/設定 4. Oracle ユーザーの設定 以下の章を参考にして Oracle ユーザーの設定をしてください。 - 2.2.2 Oracle ソフトウェアのインストール/設定 - 107 - 注意 Oracleユーザーのログインプロファイルに記載するORACLE_BASE、ORACLE_HOMEには共用ディスク上のパスを設定してく ださい。 5. userApplication の起動 運用ノードで userApplication を起動し、共用ディスク装置および論理IPアドレスが活性化されたことを確認してください。 6. 共用ディスク領域の設定 共用ディスク領域に Oracle ユーザーの書き込み権限を設定してください。 7. Oracle インベントリの設定 Oracle インベントリ・ディレクトリを共用ディスク上の ORACLE_HOME 配下に作成します。 $mkdir -p $ORACLE_BASE/product/11.2.0/db_1/oraInventory oraInst.loc ファイルを共用ディスク上に作成します。 $cat $ORACLE_BASE/etc/oraInst.loc inventory_loc=$ORACLE_BASE/product/11.2.0/db_1/oraInventory inst_group=oinstall 8. Oracle Universal Installer(OUI)起動前の設定 OUI を起動する前に、ターミナル上で、環境変数を設定(無効化と有効化)してください。 $ unset TZ PERL $ export ORACLE_HOSTNAME=<論理IPアドレス> 9. Oracle ソフトウェアのインストール パラメータを指定して OUI を起動し、Oracle ソフトウェアをインストールしてください。 $ runInstaller -invPtrLoc $ORACLE_BASE/etc/oraInst.loc ORACLE_HOSTNAME=<論理IPアドレス>[-debug] “-invPtrLoc”の引数"$ORACLE_BASE/etc/oraInst.loc"には、手順7で作成した oraInst.loc ファイルをフルパスで指定します。 “ORACLE_HOSTNAME”には、論理IPアドレスを指定します。 “-debug”オプションの指定は任意です。 以降、OUI の画面に従ってインストールを進めてください。 OUI の画面では、Oracleのバージョンによって、インストールの指定方法が異なります。Oracleのバージョンに応じて、インストー ルの指定をしてください。 - Oracle 11g R2 の場合 「インストール・オプションの選択」画面では、「データベース・ソフトウェアのみインストール」を選択してください。 - Oracle 11g R1 の場合「インストール方法の選択」画面では、「初期データベースの作成」のチェックをはずしてください。 10. リスナーの作成 Network Configuration Assistant(netca)を使って、リスナー、ネット・サービス名の設定を行ってください。リスニングIPアドレスに は、論理IPアドレスを指定してください。リスナーを起動してください。 各資源の配置先は以下に示します。 - 各資源の配置先 項目 場所 listener.ora 共用 tnsnames.ora 共用 <LISTENER>.log 共用 備考 - 108 - 11. データベースの作成 Database Configuration Assistant(dbca)を使って、データベースの作成を行ってください。 - データベースの配置先 データベースは共用ディスク上に作成します。共用ディスクが参照できる状態で行う必要があります。 各資源の配置先は以下に示します。 項目 場所 初期化パラメータ・ファイル(PFILE) 共用 サーバー・パラメータ・ファイル(SPFILE) 共用 パスワード・ファイル 共用 制御ファイル 共用 データファイル 共用 REDOログファイル 共用 アーカイブREDOログ 任意 フラッシュ・リカバリ領域 共用 ログファイル AUDIT_FILE_DEST 共用 BACKGROUND_DUMP_DEST 共用 CORE_DUMP_DEST 共用 USER_DUMP_DEST 共用 DIAGNOSTIC_DEST (Oracle 11g以降) 共用 備考 共用ディスクとローカルディスクとで 多重化しておくことを推奨します。 注意 アーカイブREDOログを共用ディスクに配置する場合、ディスクの容量の枯渇に注意してください。アーカイブログ領域不足に陥 ると、監視用SQLによるデータ更新処理がハングアップし、リソース異常となる場合があります。 その後、userApplicationがフェイルオーバしてもフェイルオーバ先の待機ノードでも共用ディスク上の領域不足によりOracleデー タベースの起動に失敗するため、最終的に両系停止となり業務が停止する場合があります。 参考 データベース作成前に、共用ディスクにOracleユーザーの書き込み権限があることを確認してください。 - Oracleソフトウェアを共用ディスク上に配置する場合のデータベースの作成 - 運用ノード データベースの作成は運用ノード上から行ってください。 注意 1台のサーバーに複数のORACLE_HOMEを作成している場合(複数のOracleソフトウェアをインストールしている場合)、 Oracleインスタンス名には異なるOracleインスタンス名を設定してください。 参考 データベースの作成は、Oracleのマニュアルを参照してください。 - 109 - - 待機ノード 待機ノードで必要な手順はありません。 注意 Oracleソフトウェアを共用ディスク上で使用する場合、PRIMECLUSTER Wizard for Oracleのcloracpyコマンドは使用し ないでください。 例 相互待機やN:1運用待機構成の場合も、1:1運用待機と同様にデータベースの作成は、それぞれの運用ノードから行います。待 機ノードで必要な手順はありません。その他の運用形態も同様です。 - 相互待機 - 2:1運用待機 12. データベース、リスナーの動作確認 データベース、リスナーが各ノードで動作することを確認します。 1. 全てのノードでRMSが起動していない場合、全ノードの RMS を起動してください。 # /opt/SMAW/SMAWRrms/bin/hvcm -a 運用ノード上で、データベース、リスナーを停止します。 # su - ora11gr1 $ sqlplus / as sysdba SQL> shutdown immediate SQL> exit $ lsnrctl stop LISTENER $ exit # - 110 - 2. userApplication を待機ノードへスイッチします。 # /opt/SMAW/SMAWRrms/bin/hvswitch uap node2 3. 待機ノード上で、リスナー、Oracle データベースを起動します。 # su - ora11gr1 $ lsnrctl start LISTENER $ sqlplus / as sysdba SQL> startup SQL> exit $ exit # 4. 手順2~3を全ての待機ノードで実行してください。 5. Oracle データベース、リスナーを停止します。 6. 全ノードの RMS を停止します。 注意 - OracleのTWO_TASK環境変数は使用しないでください。TWO_TASK環境変数は、Oracleへの接続時に接続識別子を付 加し、自動的にネットワーク接続にて接続するための環境変数です。 PRIMECLUSTER Wizard for Oracleでは、ローカル接続("/ as sysdba")にてOracleに接続する必要があるため、ネットワーク 接続は使用できません。 業務などでネットワーク接続を行う場合は、TWO_TASK環境変数を使用せず、ログイン時に"@接続識別子"を指定してくだ さい。 - Oracleユーザーのlogin.sqlに、システム変数の設定以外の処理を記述しないでください。 PRIMECLUSTER Wizard for Oracleでは、SQL*Plusを使用してOracleを制御しています。そのため、login.sqlにSQL文など が記述されていると、制御時に自動的に実行してしまい誤動作する可能性があります。 ただし、SETコマンドによりシステム変数を設定することはできます。 13. PRIMECLUSTER Wizard for Oracle の設定 以下の章を参考にして、SYSTEM ユーザーのパスワードを登録してください。 - 4.3 clorapass - 監視用パスワードの登録 以下の章を参考にして、PRIMECLUSTER Wizard for Oracleの調査資料採取コマンドで採取するログファイルのフルパスを定 義してください。 - 4.5 clgetoralog - Oracle 調査資料採取 14. Oracle リソースを含む userApplication の作成 以下の章を参考にして Oracle リソースを含む userApplication を作成してください。 - 2.2.7 userApplication の編集 15. userApplication の動作確認 以下の章を参考にして userApplication の動作確認をしてください。 - 2.2.8 userApplication の動作確認 - 111 - 付録E シングルノードクラスタ運用 ここでは、シングルノードクラスタ運用でPRIMECLUSTER Wizard for Oracleを使用する場合の構築手順、保守手順について説明しま す。 構築手順 構築手順は、ASMの使用有無、使用するASMのバージョンで異なります。使用する環境に合わせて以下の手順で構築してください。 ・ ASMを使用しない場合 項番 概要 1 PRIMECLUSTERのインストール・設定 2 PRIMECLUSTER Wizard for Oracleのインストール 3 Oracleソフトウェアのインストール 4 Oracleリソースを含まないuserApplicationの作成 5 データベースの作成・設定 6 userApplicationの編集 7 userApplicationの動作確認 "E.1 ASMを使用しない場合"で、各手順の詳細を説明します。 ・ Oracle 11g R1のASMを使用する場合 項番 概要 1 PRIMECLUSTERのインストール・設定 2 PRIMECLUSTER Wizard for Oracleのインストール 3 Oracleソフトウェアのインストール 4 Oracleリソースを含まないuserApplicationの作成 5 データベースの作成・設定 6 userApplicationの編集 7 userApplicationの動作確認 "E.2 Oracle 11g R1のASMを使用する場合"で、各手順の詳細を説明します。 ・ Oracle 11g R2/12c R1のASMを使用する場合 項番 概要 1 PRIMECLUSTERのインストール・設定 2 PRIMECLUSTER Wizard for Oracleのインストール 3 カーネルパラメータの設定 4 Gridユーザー、Oracleユーザーの作成・設定 5 ディスク装置の設定 6 Oracleリソースを含まないuserApplicationの作成 7 userApplication の起動 8 Oracle Grid Infrastructureのインストール 9 Oracleソフトウェアのインストール 10 データベースの作成・設定 11 userApplicationの編集 - 112 - 項番 12 概要 userApplicationの動作確認 "E.3 Oracle 11g R2/12c R1のASMを使用する場合"で、各手順の詳細を説明します。 注意 ・ Oracle 11g R2/12c R1でASMを使用する場合はOracle Grid Infrastructureをインストールする必要があります。Oracle Grid Infrastructureをインストールする場合はOracle DatabaseのインストールユーザーとOracle Grid Infrastructureのインストールユーザー を分割する構成をサポートします。単一インストールユーザーの構成はサポートしません。 ・ Oracle 11g R2/12c R1でASMを使用する場合、Oracle DatabaseのインストールユーザーのORACLE_BASE環境変数と、 Oracle Grid InfrastructureのインストールユーザーのORACLE_BASE環境変数は異なるディレクトリを指定してください。 ・ PRIMECLUSTER Wizard for Oracleで、Oracle 11g R2/12c R1のASMをシングルノードクラスタ運用で使用する場合、Oracleのサー ビスリソースは使用できません。 保守手順 シングルノードクラスタ運用の保守手順は、"第3章 運用"を参照してください。 E.1 ASMを使用しない場合 1. PRIMECLUSTERのインストール・設定 PRIMECLUSTERのソフトウェア説明書およびPRIMECLUSTERのマニュアルに従って、PRIMECLUSTERのインストール、クラ スタの設定を行ってください。 2. PRIMECLUSTER Wizard for Oracleのインストール PRIMECLUSTER Wizard for Oracleをインストールします。PRIMECLUSTER Wizard for Oracleのソフトウェア説明書に従って、 インストールを行ってください。 3. Oracleソフトウェアのインストール "2.2.2 Oracle ソフトウェアのインストール/設定"を参照して、カーネルパラメータの設定、Oracleユーザーの作成・設定、Oracleソ フトウェアのインストールを行ってください。 4. Oracleリソースを含まないuserApplicationの作成 以下の章を参照して、Oracleリソースを含まないuserApplicationの作成、動作確認を行ってください。 - 2.2.4 Oracle リソースを含まない userApplication の作成 - 2.2.5 userApplication の動作確認 シングルノードクラスタ運用におけるuserApplicationの属性は以下の設定をしてください。下記以外の属性については、 PRIMECLUSTERのマニュアルを確認してください。 属性 説明 AutoSwitchOver 値を設定しないでください。 PersistentFault 1 HaltFlag no ShutdownPriority 値を設定しないでください。 OnlinePriority 値を設定しないでください。 5. データベースの作成・設定 - シングルノードクラスタ運用におけるデータベースの作成と設定 Oracleのマニュアルに従って、データベースとリスナーの作成を行ってください。 - 113 - - SYSTEMユーザーのパスワード "4.3 clorapass - 監視用パスワードの登録"を参照して、SYSTEMユーザーのパスワードを登録してください。 - ログファイルのフルパス定義 "4.5 clgetoralog - Oracle 調査資料採取"を参照して、PRIMECLUSTER Wizard for Oracleの調査資料採取コマンドで採取 するログファイルのフルパスを定義してください。 - Oracleの動作確認 Oracleインスタンス、Oracleリスナーを手動で起動・停止し、正しく動作することを確認してください。 6. userApplicationの編集 手順4.で作成したuserApplicationにOracle関連のリソースを登録します。 "2.2.7 userApplication の編集"を参照してuserApplicationにOracleインスタンスリソース、Oracleリスナーリソースを登録してください。 Oracleインスタンスリソース、Oracleリスナーリソースのフラグ設定値ではAutoRecover属性を有効にすることを推奨します。 AutoRecover属性を有効にしたリソースで故障が発生した場合、自動的に再起動して復旧を試みることで、可用性を向上させる ことができます。 設定項目 フラグ設定値 (Flags) 説明 AutoRecover(A) 7. userApplicationの動作確認 "2.2.8 userApplication の動作確認"を参照して、Oracleリソースを含むuserApplicationの動作確認を行ってください。 E.2 Oracle 11g R1のASMを使用する場合 1. PRIMECLUSTERのインストール・設定 PRIMECLUSTERのソフトウェア説明書およびPRIMECLUSTERのマニュアルに従って、PRIMECLUSTERのインストール、クラ スタの設定を行ってください。 2. PRIMECLUSTER Wizard for Oracleのインストール PRIMECLUSTER Wizard for Oracleをインストールします。PRIMECLUSTER Wizard for Oracleのソフトウェア説明書に従って、 インストールを行ってください。 3. Oracleソフトウェアのインストール "2.2.2 Oracle ソフトウェアのインストール/設定"を参照して、カーネルパラメータの設定、Oracleユーザーの作成・設定、Oracleソ フトウェアのインストールを行ってください。 4. Oracleリソースを含まないuserApplicationの作成 以下の章を参照して、Oracleリソースを含まないuserApplicationの作成、動作確認を行ってください。 - 2.2.4 Oracle リソースを含まない userApplication の作成 - 2.2.5 userApplication の動作確認 シングルノードクラスタ運用におけるuserApplicationの属性は以下の設定をしてください。下記以外の属性については、 PRIMECLUSTERのマニュアルを確認してください。 属性 説明 AutoSwitchOver 値を設定しないでください。 PersistentFault 1 HaltFlag no ShutdownPriority 値を設定しないでください。 OnlinePriority 値を設定しないでください。 5. データベースの作成・設定 - シングルノードクラスタ運用におけるデータベースの作成と設定 Oracleのマニュアルに従って、データベースとリスナーの作成を行ってください。 - 114 - - SYSTEMユーザーのパスワード "4.3 clorapass - 監視用パスワードの登録"を参照して、SYSTEMユーザーのパスワードを登録してください。 - ログファイルのフルパス定義 "4.5 clgetoralog - Oracle 調査資料採取"を参照して、PRIMECLUSTER Wizard for Oracleの調査資料採取コマンドで採取 するログファイルのフルパスを定義してください。 - Oracleの動作確認 Oracleインスタンス、Oracleリスナーを手動で起動・停止し、正しく動作することを確認してください。 6. userApplicationの編集 手順4.で作成したuserApplicationにOracle関連のリソースを登録します。 "2.3.2.1 環境構築時の注意(Oracle 11g R1の場合)"を参照してuserApplicationにOracleインスタンスリソース、ASMインスタンスリ ソース、Oracle リスナーリソースを登録してください。 Oracleインスタンスリソース、Oracleリスナーリソースのフラグ設定値ではAutoRecover属性を有効にすることを推奨します。 AutoRecover属性を有効にしたリソースで故障が発生した場合、自動的に再起動して復旧を試みることで、可用性を向上させる ことができます。 設定項目 フラグ設定値 (Flags) 説明 AutoRecover(A) 7. userApplicationの動作確認 "2.2.8 userApplication の動作確認"を参照して、Oracleリソースを含むuserApplicationの動作確認を行ってください。 E.3 Oracle 11g R2/12c R1のASMを使用する場合 1. PRIMECLUSTERのインストール・設定 PRIMECLUSTERのソフトウェア説明書およびPRIMECLUSTERのマニュアルに従って、PRIMECLUSTERのインストール、クラ スタの設定を行ってください。 2. PRIMECLUSTER Wizard for Oracleのインストール PRIMECLUSTER Wizard for Oracleをインストールします。PRIMECLUSTER Wizard for Oracleのソフトウェア説明書に従って、 インストールを行ってください。 3. カーネルパラメータの設定 "付録C Oracle Grid InfrastructureのインストールとASMインスタンス、データベースの作成"の手順1.を参照して、カーネルパラ メータの設定を行ってください。 4. Gridユーザー、Oracleユーザーの作成・設定 "付録C Oracle Grid InfrastructureのインストールとASMインスタンス、データベースの作成"の手順2.を参照して、Gridユーザー、 Oracleユーザーの作成・設定を行ってください。 5. ディスク装置の設定 ASMで管理するディスク装置の設定をしてください。作成したディスクのデバイスファイルの所有者には Gridユーザーを設定し てください。 6. Oracleリソースを含まないuserApplicationの作成 以下の章を参照して、Oracleリソースを含まないuserApplicationの作成、動作確認を行ってください。 - 2.2.4 Oracle リソースを含まない userApplication の作成 - 2.2.5 userApplication の動作確認 シングルノードクラスタ運用におけるuserApplicationの属性は以下の設定をしてください。下記以外の属性については、 PRIMECLUSTERのマニュアルを確認してください。 属性 説明 AutoSwitchOver 値を設定しないでください。 PersistentFault 1 HaltFlag no - 115 - 属性 説明 ShutdownPriority 値を設定しないでください。 OnlinePriority 値を設定しないでください。 7. userApplicationの起動 userApplicationを起動し、ディスク装置および引継ぎIPアドレスが活性化されたことを確認してください。 8. Oracle Grid Infrastructureのインストール Oracle Grid InfrastructureとOracleソフトウェアをインストールする必要があります。"付録C Oracle Grid Infrastructureのインストー ルとASMインスタンス、データベースの作成"の手順6.を参照してOracle Grid Infrastructureのインストールを行ってください。 9. Oracleソフトウェアのインストール "付録C Oracle Grid InfrastructureのインストールとASMインスタンス、データベースの作成"の手順7.を参照してOracleソフトウェ アのインストールを行ってください。 10. データベースの作成・設定 - シングルノードクラスタ運用におけるデータベースの作成と設定 Oracleのマニュアルに従って、データベースとリスナーの作成を行ってください。 - SYSTEMユーザーのパスワード "4.3 clorapass - 監視用パスワードの登録"を参照して、SYSTEMユーザーのパスワードを登録してください。 - ログファイルのフルパス定義 "4.5 clgetoralog - Oracle 調査資料採取"を参照して、PRIMECLUSTER Wizard for Oracleの調査資料採取コマンドで採取 するログファイルのフルパスを定義してください。 - Oracleの動作確認 Oracleインスタンス、Oracleリスナーを手動で起動・停止し、正しく動作することを確認してください。 11. userApplicationの編集 手順3.で作成したuserApplicationにOracle関連のリソースを登録します。 "2.3.2.2 環境構築時の注意(Oracle 11g R2/12c R1の場合)"を参照して、Oracle Restartの設定を変更し、userApplicationにOracle インスタンスリソース、ASMインスタンスリソース、Oracleリスナーリソースを登録してください。 Oracleインスタンスリソース、Oracleリスナーリソースのフラグ設定値ではAutoRecover属性を有効にすることを推奨します。 AutoRecover属性を有効にしたリソースで故障が発生した場合、自動的に再起動して復旧を試みることで、可用性を向上させる ことができます。 設定項目 フラグ設定値 (Flags) 説明 AutoRecover(A) 12. userApplicationの動作確認 "2.2.8 userApplication の動作確認"を参照して、Oracleリソースを含むuserApplicationの動作確認を行ってください。 - 116 - 付録F (参考)アクション定義ファイル PRIMECLUSTER Wizard for Oracle は、Oracleインスタンスの監視において、Oracleのエラー(ORA-xxxxx)を検出した場合、アクショ ン定義ファイルの定義に従って動作します。 アクション定義ファイルには、Oracle のエラー番号、エラーに対する対処方法、エラー内容が記述されています。 ・ アクション定義ファイルの名前とパス名 /opt/FJSVclora/etc/FJSVclorafm.actionlist ・ ファイルフォーマット errno/Status/Action/Message 18 Cn Wa "maximum number of sessions exceeded" 20 Cn Wa "maximum number of processes (%s) exceeded" 470 All Of "LGWR process terminated with error" 471 All Of "DBWR process terminated with error" 472 All Of "PMON process terminated with error" 942 Ol Np "table or view does not exist" 1012 All Rs "not logged on" 1034 All Of "ORACLE not available" ・・・ - errno Oracle のエラー番号です。(ORA-xxxxx) - Status Oracleインスタンスを監視するディテクタの処理状態を示します。 - Cn Oracle インスタンスに接続時 - Ol Oracle インスタンスに接続中 - Dc Oracle インスタンスから切断時 - All 上記いずれかの状態 - Action Oracleのエラーに対する対処方法を示します。 - Np Oracleのエラーに対して何も対処せず監視を継続します。インスタンスの状態は前回と同じ状態を通知します。 - Of Offline を通知し、監視を停止します。 - Wa Warning を通知し、監視を継続します。 - Rs ディテクタを再起動し、監視をリトライします。 - 117 - - Fa Faulted を通知し、監視を停止します。 - Message エラーコードの内容が記載されています。 注意 ・ アクション定義ファイルに定義されていないOracleのエラーは、Np と同じ扱いになります。 ・ アクション定義ファイルに定義されている動作とは異なるケースがあります。 - 表監視中のUPDATEでOracleのエラー(ORA-xxxxx)を検出した場合 SQLコマンドの処理が継続できず、異常状態が続くことを防ぐために以下の動作となります。 - Np と定義されたOracleのエラーおよび定義されていないOracleのエラーは Rs として処理されます。 - Wa と定義されたOracleのエラーは Warning通知後、Rs として処理されます。 - Oracleインスタンスへの接続時にOracleのエラー(ORA-xxxxx)を検出した場合、Np または定義されていないOracleのエラー は Of として処理されます。 以下のような状況が該当します。 例: アーカイブ領域がフルの状態で監視がタイムアウトし、Oracleインスタンスへの接続時に " ORA-00257 (archiver error. Connect internal only, until freed.)" が発生する場合。 - Oracleインスタンスへの接続時以外でORA-01012, ORA-03113, ORA-03135を検出した場合、Rs の処理を行います。 - 118 -
© Copyright 2024 ExpyDoc