Oracle Direct Seminar 詳解！大規模なストレージ・クラスタを実現するACFS最新機能 日本オラクル株式会社 以下の事項は、弊社の一般的な製品の方向性に関する概要を説明するものです。 また、情報提供を唯一の目的とするものであり、いかなる契約にも組み込むことは できません。以下の事項は、マテリアルやコード、機能を提供することをコミットメン ト（確約）するものではないため、購買決定を行う際の判断材料になさらないで下さ い。オラクル製品に関して記載されている機能の開発、リリースおよび時期につい ては、弊社の裁量により決定されます。 OracleとJavaは、Oracle Corporation 及びその子会社、関連会社の米国及びその他の国における登録商標です。文 中の社名、商品名等は各社の商標または登録商標である場合があります。 Copyright © 2011, Oracle. All rights reserved. Agenda • • • • Storage GRIDとは？ Automatic Storage Managementとは？ ASM Cluster File System (ACFS) とは？ ACFS最新機能ご紹介 3 仮想化/統合環境への対応 大規模ストレージによるアプローチ • システム集積率を向上するためには？ • ストレージI/Oボトルネックに陥りやすい • 単体のストレージで性能を出すためには必然的に高額な機材が必要 ハイエンド機 集積率上昇 導入 ボトルネック 発生 4 仮想化/統合環境への対応 Storage GRIDのアプローチ • 小型ストレージをソフトウェア側で連結し、並列読み取り・書き込みを可能 にする • コモディティで小型な機材は低コストなため、並べることで高性能、大容量 を安価に実現 • 負荷状態に合わせて拡張が順次可能であるためスモールスタートが可能 Storage GRID 5 Storage GRIDの実現に向けて • 複数台を束ねて使用する場合考慮すべきポイント • どうやってバックアップを取得するのか？ • 複数筺体に跨るデータの災害対策をどうするか？ ？ 6 Storage GRIDの実現 Storage GRIDのバックアップ • Oracleソフトウェアの機能でバックアップを取得 • ストレージ機種に依存しないバックアップ・リストア、スケジューリング、レ ポーティング手法を適用可能 • 障害ファイル、ブロック単位でピンポイントでオンライン高速復旧 リストア中はシステムを 使用できない 正常部分には アクセス可能 restore 過去イメージ （backup） 最新イメージ 障害部分のみを復旧 Backup data Storage GRID 大型ストレージ 7 Storage GRIDの実現 Storage GRIDの災害対策 • 複数のストレージ筺体で構成することにより可用性担保 ストレージ筐体の障害がシステム停止 の要因になっている ストレージ筐体の障害がシステム停止 の要因にならない Storage GRID High-end Storage High-end Storage 本番サイト バックアップサイト 1台のストレージ筐体での 冗長性しか担保されておら ず、筐体障害に耐えられな い 高価なネットワーク （帯域）が必要 バックアップサイトにも高価な ストレージが必要 Storage GRID Middle or Middle or Middle or Middle or Small Range Storage Small Range Storage Small Range Storage Small Range Storage 本番サイト 安価なネットワーク バッッアップサイト （帯域）でリアルタイム コピーを実現 複数台のストレージ筐 体で可用性が担保さ バックアップサイトも安価な れいる ストレージで構築可能 8 Storage GRIDの全体像 小型ストレージを連結してElasticなストレージを構築 •サーバ群にはStorage GRIDを制 御するソフトウェア「ASM」をインス トール •サーバとの接続はFC, 1GbE・10GbE(iSCSI, NFS), Infiniband等自由に選択可能 •ファイルシステム、データベース を高速・安全に共有し、ボリューム の拡張・縮退を自動的に認識 •リモートのStorage GRID にデータをリアルタイム バックアップ可能 •ストレージ装置障害時 は自動的に故障機を切 り離して運転を継続 Server Server Server ASM ASM ASM •オンラインのままス トレージ装置を追加 し、Storage GRIDを 拡張可能 •データの暗号化 が可能 LUN •小型ストレージの採 用によりストレージ全 体のコストを下げる •拡張性、データ配置 などの処理はすべて ソフトウェア側で制御 する データ LUN LUN Storage GRID 小型ストレージ 小型ストレージ •オンラインのまま取 り外し・交換も可能 小型ストレージ 小型ストレージ •クラスターファイルシステムま たはデータベース領域として利 用可能 •データは常に物理的なストレージ 構成に合わせて均等に分散 •構成（ストレージ台数）変更時は動 的にデータの再配置が行われる 9 Storage GRIDを実現するテクノロジー • キーワードはElastic • オンライン • 拡張性 • 柔軟性 • 可用性 • 複数筺体の一元的な管理 ..... • ベーステクノロジーとなるのが、 Automatic Storage Management ( ASM ) 10 Agenda • • • • Storage GRIDとは？ Automatic Storage Managementとは？ ASM Cluster File System (ACFS) とは？ ACFS最新機能ご紹介 11 DB ストレージ仮想化による運用管理の効率化 ファイル操作の大部分を隠蔽し、ディスク管理工数を大幅に削減 従来のDB設計 論理 設計 Automatic Storage Management 表、索引 表領域 データファイル 物理 設計 ファイルシステム 表、索引 表領域 論理 設計 物理 設計 ASMによる ストレージ仮想化 ディスク グループ Volume Manager ディスク・ドライブ 複雑な物理設計、ディスクレイアウト設計 ディスク追加時の手作業のパフォーマンス 最適化 （高度なスキルが必要) ストレージ技術によるミラーリング、 ストライピング （ハイエンド・ストレージの機能) ディスク・ドライブ 物理構造をOracle Databaseに最適化 自動的にリバランシング実施 自動的にミラーリング、ストライピングを 行いDBパフォーマンスの最適化 12 ASM による全体最適化機能 • ストライピング • ディスク・グループ ディスク・グループ内の全てのディスクで ストライピング(ホットスポットが発生しない) ファイル1 ファイル2 ファイル3 性能 • ミラーリング • ファイルの種類に応じてOracleレベルで ミラーリング(なし・二重化・三重化) 1 ファイル 2 3 4 ディスク・グループ 可用性 1 2 3 4 4 （ミラー） 1（ミラー） 2 （ミラー） 3 （ミラー） • 動的リバランシング • ディスクの追加・削除時に自動的に 1 ファイルを再配置 3 （ミラー） 拡張性 再配置 ２ 1（ミラー） 3 ディスク削除 2 （ミラー） ディスク追加 1´ 1´ 2´ 2´ （ミラー） １´（ミラー） 再配置 2´ 3´ 4´ 4´ （ミラー） 1´ （ミラー） 2 ´（ミラー） 3´ （ミラー） 13 Agenda • • • • Storage GRIDとは？ Automatic Storage Managementとは？ ASM Cluster File System (ACFS) とは？ ACFS最新機能ご紹介 14 ASM クラスタ・ファイルシステム概要 ASMの機能 + クラスタ・ファイルシステム • • • • 拡張性に優れた汎用ファイルシステム NASプロトコル (NFS, CIFS)でアクセス可能 マルチOSプラットフォーム 動的なボリューム管理をサポート • スナップショット、レプリケーションなどの付加価値を提供 11g R2 11g R1 まで ACFS に配置可能なファイル (ASM に配置不可の ファイル) •アプリケーション •DB のアラートログ、トレースファイル •DB Home •テキストおよび、バイナリファイル (映像、音声など) ASM に配置可能なファイル •データベースのデータファイル •アーカイブ REDO ログファイル •RMAN バックアップファイル •Data Pump ダンプファイル 全てのデータ(構造化データ・非構造化データ) を ASM で管理可能に 15 15 ACFS におけるファイルデータ・バックアップ ACFS スナップショット • ACFSのポイント・イン・タイム・コピー • ASMファイルシステムの更新のあったファイルブロックとエクステントのデータ のみキャプチャ(Copy-On-Write) • ディスクスペースの効率的な使用と、すばやい複製(コピー)が可能 • オンラインバックアップツールとして活用可能 • ファイル単位でのリカバリ手段を提供 スナップショット取得時(ポインタのみ) ファイルA ファイルA’(スナップショット) データ更新時 (実データのコピー) ファイルA ファイルA’(スナップショット) A BD C A B C /dev/asm/vol1 /dev/asm/vol1 16 Agenda • • • • Storage GRIDとは？ Automatic Storage Managementとは？ ASM Cluster File System (ACFS) とは？ ACFS最新機能ご紹介 17 Cloud FSによるデータ統合管理 Oracle データベース関連 ファイル ログデータ、アプリケー ション関連ファイル ログデータ、アプリケー ション関連ファイル Oracle Cluster File System Cloud Edition スナップショット レプリケーション タギング セキュリティ 暗号化 3rdPartyFS ACFS ADVM ASMに直接配置 ASMからボリュームを切り出す(ボリュームファイル) ASM 18 Oracle Cluster File System Cloud Edition • クラウド環境におけるデータベース、ミドルウェア、アプリケーション に横断的なストレージプールの提供 • データベースやファイルに対して統合的なストレージへの ネットワークアクセスを提供 • 迅速で柔軟なオンライン・ストレージ・プロビジョニングをサポート Application Oracle Cluster File System Cloud Edition Oracle VM (optional) Enterprise Manager Middleware Database 19 Oracle Cluster File System Cloud Edition • 含まれる機能 • Automatic Storage Management (ASM) • ASM Dynamic Volume Manager (ADVM) • ASM Cluster File System (ACFS) • ACFS Data Services • • • • • ACFSスナップショット ACFSレプリケーション ACFSタギング ACFSセキュリティ ACFS暗号化 11.2.0.2 NEW!! 11.2.0.2 NEW!! 11.2.0.2 NEW!! 11.2.0.2 NEW!! 20 <Insert Picture Here> 11.2.0.2 ASM Cluster File System新機能 • レプリケーション 21 ACFS レプリケーション 概要 • ACFSのネットワーク経由のレプリケーションが可能 • レプリケーションのログを取得/転送/適用し、レプリケーションを実現 • レプリケーション・ログの圧縮を提供 • ‘acfsutil repl’ コマンドでレプリケーションを構成 Database Database Application ASM Data Guard ASM データベース・ファイル データベース・ファイル ファイル・システム（ACFS） Application ACFS レプリケーション ファイル・システム（ACFS） 22 ACFS レプリケーション アーキテクチャ •転送データ：レプリケーション・ログ （VFS操作についてログを取得（論理的なログ）） •転送方法：Oracle Net経由 （非同期のみ） •転送のタイミング •自動転送：データの更新頻度により不定期(目安：レプリケーション・ログが500MB を超えた場合) •手動転送：syncコマンドを発行したとき Primary ACFS ④すべての変更を適用すると両 サイトのRelplication Logを削除 ①ACFS上での 変更点を記録 ③変更を適用 Standby ACFS Replication Log Replication Log ②Replication Logの転送 23 ACFS レプリケーション関連リソース OHAS エージェント init Oracle Clusterware Oracle Clusterware プロセス CRS エージェント DISKMON Network CTSS VIP SCAN VIP Oracle ACFS drivers orarootagent リソース Oracle ACFS registry CRS OHAS orarootagent プライマリ側 Oracle ACFS init Oracle ACFS main Oracle ACFS transport oraagent oraagent スタンバイ側 Oracle ACFS apply Oracle ACFS main cssdagent Oracle ACFS transport cssdmonitor 24 ACFS レプリケーション プライマリサイト関連プロセス • • プライマリサイトの構成が完了すると下記プロセスが起動 各プロセスはクラスタ内で１つ(フェイルオーバー可能) • acfsutil_transport : • プライマリからスタンバイへのファイルを転送 • Oracle Net Network File Transfer(NFT)メカニズムを使用 • acfsutil_monitor : • レプリケーションの初期化と連動 • レプリケーションのステータス確認 • 異常がある場合はClusterwareのアラートログを通じてユーザに通知 • acfsutil_initializer : • レプリケーション初期化時の既存ファイルに対するrlogの作成などを行う • タグ単位でのレプリケーションの場合は初期化後に変更のあったファイル をレプリケーション対象とするかどうか判断 25 ACFS レプリケーション スタンバイサイト関連プロセス • • スタンバイの構成が完了すると下記プロセスが起動 各プロセスはクラスタ内で１つ(フェイルオーバー可能) • acfsutil_preapply : • プライマリサイトから転送されたレプリケーション・ログの整合性を 検証 • レプリケーション・ログのエントリを適用しやすいようにリスト化 • acfsutil_apply : • スタンバイサイトでの実際の書き込みや操作を行う • • acfsutil_transport : プライマリサイトと同様の役割 acfsutil_monitor : プライマリサイトと同様の役割 26 ACFS レプリケーション リソース管理 • レプリケーション関連のリソースは専用コマンドで一括管理 • acfsutil repl bgコマンド • • • Stop : 他のノードにリソースを再配置 Start : 起動していないリソースを全て起動 info : リソースのステータスを表示 • プライマリサイトでの実行例 # /sbin/acfsutil repl bg info /mnt/primary/ リソース: ora.repl.transport.primary.vol1.acfs ターゲットの状態: ONLINE 現在の状態: ONLINE on node03 リソース: ora.repl.main.primary.vol1.acfs ターゲットの状態: ONLINE 現在の状態: ONLINE on node03 リソース: ora.repl.init.primary.vol1.acfs ターゲットの状態: ONLINE 現在の状態: ONLINE on node03 27 ACFS レプリケーション リスナー • Oracle Net経由での接続のため、必ずリスナーにレプリケーション用のサ ービス名を登録されていることを確認 $ lsnrctl status サービスのサマリー... サービス"+ASM"には、1件のインスタンスがあります。 インスタンス"+ASM1"、状態READYには、このサービスに対する1件のハンドラがあります... サービス"acfs_primary"には、1件のインスタンスがあります。 インスタンス"+ASM1"、状態READYには、このサービスに対する1件のハンドラがあります... • 転送先のサイトのリスナーが停止している場合はレプリケーション・ログ転 送できず溜まっていくためリスナーの状態に注意 28 ACFS レプリケーション サイト障害時 • プライマリサイトの障害時はスタンバイ側からterminateコマンドを実行 することでスタンバイサイトを読み書き可能ファイルシステムとして利用 $ /sbin/acfsutil repl terminate standby /mnt/standby Primary ACFS terminate !! Standby ACFS 読み書き可能 Replication Log Replication Log 29 ACFS レプリケーション 監視 • ACFSレプリケーションを行う場合、ACFSの容量監視を行うことを推奨 • • スタンバイサイトが停止した場合、ログを記録することができても転送、適 用ができないためプライマリサイトに溜まる レプリケーション・ログを記録することができなくなるとレプリケーション自体 が停止する(アプリケーションは書き込みエラー) • Enterprise Manager を利用した容量監視を推奨 30 ACFS レプリケーション タギングの活用 • ACFSのファイルにタグを付与 • ディレクトリにまたがってファイルのグルーピングが可能 • タグを指定したファイル操作が可能 • タグ名は最大32文字まで指定可能 (a-z,A-Z,0-9,スペース、ハイフン、アンダースコア) ACFS タグでグループ化 （ディレクトリをまたがってグループ化） 31 ACFS タギング 設定方法 • タグ設定例 • ディレクトリをまたがり’BDB’というタグを設定 $/sbin/acfsutil tag set -r BDB /mnt/primary/oracrfdb $ /sbin/acfsutil tag set -r BDB /mnt/primary/file1 • マウントポイントに対してどのタグが設定されているか確認 $ /sbin/acfsutil tag info -r /mnt/primary/ /mnt/primary//oracrfdb タグ: BDB /mnt/primary//oracrfdb/__db.001 タグ: BDB /mnt/primary//oracrfdb/__db.002 タグ: BDB /mnt/primary//oracrfdb/crfhosts.bdb タグ: BDB /mnt/primary//file1 タグ: BDB 32 ユースケース-災害対策全データレプリケーション 本番サイト Data Guardによるデータファイル の災害対策 スタンバイサイト Sales Back Offikce Sales Back Offikce Sales App Pool Back Office App Pool Sales App Pool Back Office App Pool Sales DB Pool Back Office DB Pool Sales DB Pool Back Office DB Pool ACFSレプリケーションによるファイル システムデータの災害対策 33 ユースケース-オフロードバックアップ、レポーティング業務のオフロード Sales更新処理 Sales 読み込み処理 Data Guard (フィジカルスタンバイなど) Sales App Pool Sales App Pool Sales DB Pool ACFSレプリケーション サイト内でのフィジカルスタンバ イとACFSレプリケーション使用 により、プライマリデータベース に影響を与えずレポーティング やバックアップ処理が可能 Sales DB Pool バックアップ取得 34 <Insert Picture Here> 11.2.0.2 ASM Cluster File System新機能 • セキュリティ 35 ACFS セキュリティの担保 • OS管理ユーザー（root）が、全てのファイルの操作が可能 • サーバーに侵入された場合に全てのファイルが危険になる • OSのユーザー/グループでしかアクセス管理できない （必要以上の権限を付与しがち） アクセス・コントロールの強化 • 物理的（ディスク）な盗難があった場合に、データにアクセスされてしまう 暗号化 36 ACFS セキュリティ 概要 • Oracle Database Vault の枠組みに基づいた設定 • OSのアクセス・コントロールに加え、レルムベースのよりきめ細かいア クセアクセス・コントロールの設定が可能 • 例：ファイル操作の制限 • ファイルのオープン、作成、削除などの操作毎に設定可能 • 例：時間帯でのアクセス制御 • 9:00～17:00までのみアクセス可能 • OSの特権ユーザーとファイルシステム(ACFS)管理者の権限分離 • ‘acfsutil sec’コマンドでアクセス・コントロールを実施 37 ACFS セキュリティ 詳細 • レルム • • • レルム ルールセット: ALLOW, DENY ルール：TRUE, FALSE ファイルシステム操作 ファイルやディレクトリの仮想的な入れ物 セキュリティ・フィルター(コマンドルール及びルールセット)を使用してアクセス 定義を行う レルムで定義されているユーザやグループに対してアクセス権が付与される • ルールセット • 1つ以上のルールの集まり • ルール • システムパラメータに基づいて下記を指定 • 時間、ユーザー、ホスト名、アプリケーションルール • コマンドルール • • ファイルシステム上の各オペレーション：open, create, read, write など コマンドルールを設定することでより細かいアクセス制御が可能 38 ACFS セキュリティ アーキテクチャ • レルムによって保護されているファイルへのアクセスであっても必ず OS認証の後、レルム認証を行う アプリケーション I/O • OS認証 + レルム認証 ユーザー領域 カーネル領域 ACFS カーネルモジュール レルム認証 OS 認証 レルム管理ファイル 非保護ファイル 39 ACFS 暗号化 概要 • アプリケーションから透過的 • 暗号化ファイル、非暗号化ファイルは共存可能 • 暗号化方式 • Advanced Encryption Standard (AES)をサポート • ファイル単位、ボリューム単位での暗号化をサポート • 各単位毎に暗号化キーを保持 • ‘acfsutil encr’ コマンドで暗号化を操作 • アクセス制御機能はACFS セキュリティで提供 40 ACFS 暗号化 アーキテクチャ • アプリケーションから透過的な暗号化、復号化 • カーネル部分で処理 • 暗号化のタイミング アプリケーション I/O • ディスクに書き込まれる前 書き込み 読み込み • 復号化のタイミング • ユーザにデータに返す前 読み書き ユーザー領域 カーネル領域 ACFS カーネルモジュール 暗号化 暗号化ファイル 復号化 非暗号化ファイル 41 ACFS 暗号化 暗号化キー • 2種類の暗号化キーを持つ • Volume Encryption Key (VEK) • ファイルシステム単位 • File Encryption Key(FEK) • ファイル単位 • VEKはOCR内のOracle Walletに格納される ファイルシステム1 Oracle Wallet ファイルシステム1 ファイルシステム2 ファイルシステム2 暗号化ファイル1 暗号化ファイル1 暗号化ファイル2 暗号化ファイル2 42 まとめ 大規模なストレージ・クラスタを実現するACFS最新機能 • ASM クラスタファイルシステム （ＡＳＭ ／ ＡＣＦＳ） Oracle VM (optional) Enterprise Manager • ASM をベーステクノロジーとするクラスタ・ファイルシステム • ミラーリング、ストライピング、リバランシング etc • マルチ OS プラットフォーム (11.2.0.2時点) • Linux, Windows, Solaris , AIX • 付加価値として下記の機能を提供 • スナップショット Application Middleware • レプリケーション Database Oracle Cluster File System Cloud Edition • セキュリティ 43 Storage GRIDの全体像 小型ストレージを連結してElasticなストレージを構築 •サーバ群にはStorage GRIDを制 御するソフトウェア「ASM」をインス トール •サーバとの接続はFC, 1GbE・10GbE(iSCSI, NFS), Infiniband等自由に選択可能 •ファイルシステム、データベース を高速・安全に共有し、ボリューム の拡張・縮退を自動的に認識 •リモートのStorage GRID にデータをリアルタイム バックアップ可能 •ストレージ装置障害時 は自動的に故障機を切 り離して運転を継続 Server Server Server ASM ASM ASM •オンラインのままス トレージ装置を追加 し、Storage GRIDを 拡張可能 •データの暗号化 が可能 LUN •小型ストレージの採 用によりストレージ全 体のコストを下げる •拡張性、データ配置 などの処理はすべて ソフトウェア側で制御 する データ LUN LUN Storage GRID 小型ストレージ 小型ストレージ •オンラインのまま取 り外し・交換も可能 小型ストレージ 小型ストレージ •クラスターファイルシステムま たはデータベース領域として利 用可能 •データは常に物理的なストレージ 構成に合わせて均等に分散 •構成（ストレージ台数）変更時は動 的にデータの再配置が行われる 44 Copyright © 2011, Oracle. All rights reserved. 45 Copyright © 2011, Oracle. All rights reserved. 46 Copyright © 2011, Oracle. All rights reserved. 47 Copyright © 2011, Oracle. All rights reserved. 48 Copyright © 2011, Oracle. All rights reserved. 49 Copyright © 2011, Oracle. All rights reserved. 50
© Copyright 2024 ExpyDoc
