ホワイトペーパー FUJITSU Managed Infrastructure Service パブリッククラウド導入・運用サービス ホワイトペーパー ニフティクラウド東西リージョン間における LifeKeeper for Linux/DataKeeper for Linux 動作検証レポート 初版 株式会社富士通エフサス/サイオステクノロジー株式会社 page 1 of 27 www.fujitsu.com/jp/fsas/services/infrastructure/data-center-services/public/ ホワイトペーパー FUJITSU Managed Infrastructure Service パブリッククラウド導入・運用サービス 目次 1 本書の内容 3 1.1 将来における互換性 3 1.2 設定値の取り扱い 3 2 ニフティクラウドの概要 4 3 構成情報 5 4 ニフティクラウドの構築、設定 6 4.1 プライベートLANの作成 6 4.2 サーバーの新規作成 7 4.3 ディスクの作成 8 4.4 リージョン間VPN接続 10 4.5 OSの設定 12 4.6 MySQLの設定 13 5 LifeKeeper/DataKeeperによるHAクラスターの構築 15 5.1 LifeKeeperのインストール 15 5.2 コミュニケーションパスの作成 16 5.3 Broadcast Pingの無効化 16 5.4 IPリソースの作成 17 5.5 Data Replicationリソース階層の作成 18 5.6 MySQLリソース階層の作成 20 5.7 IPリソースとMySQLリソース間の依存関係の構築 21 6 LifeKeeper/DataKeeperの機能確認 22 7 参考資料 23 8 謝辞 24 9 お問い合わせ 25 10 免責事項 26 改訂履歴 2015年4月20日 page 2 of 27 初版 www.fujitsu.com/jp/fsas/services/infrastructure/data-center-services/public/ ホワイトペーパー FUJITSU Managed Infrastructure Service パブリッククラウド導入・運用サービス 1 本書の内容 本書は、実際に行った検証作業の構成をベースとして記述したものです。LifeKeeper for Linux(以下、 LifeKeeper)/DataKeeper for Linux(以下、DataKeeper)をニフティクラウドの東西リージョン間で稼働させ、 HAクラスターシステムを構築する方法について、ご説明します。 1.1 将来における互換性 本書に記載されております内容は、2015年3月20日時点のニフティクラウド上で実施した検証結果に基づいてい ます。将来におけるニフティクラウド及びLifeKeeper/DataKeeperの仕様変更について保証するものではありま せん。必要に応じて最新のドキュメンテーションを参照し、適切な設定を行ってください。 1.2 設定値の取り扱い 本文書に記載されております設定値は、株式会社富士通エフサス及び、サイオステクノロジー株式会社にて行っ た検証における設定値を記載したものです。本設定値での製品動作を保証するものではありません。システム環 境に合わせて、適切な設定を行ってください。 page 3 of 27 www.fujitsu.com/jp/fsas/services/infrastructure/data-center-services/public/ ホワイトペーパー FUJITSU Managed Infrastructure Service パブリッククラウド導入・運用サービス 2 ニフティクラウドの概要 ニフティクラウドは、仮想化されたサーバーリソースを必要なときに必要な分だけ、オンデマンドで借りられる、 純国産の「パブリック型クラウドコンピューティングサービス」です。お客様が提供されるサービスのサーバー環 境として「ニフティクラウド」をご利用いただけば、サービス稼働後の負荷状況に応じて、サーバーの台数やス ペックを増やしたり減らしたりできるので、過剰投資のリスクを最小限に抑えられます。 ニフティクラウドとLifeKeeper/DataKeeperを組み合わせることで、HAクラスターを容易に構築でき、クラウド環 境におけるアプリケーション、サービスの高可用性が実現できます。 page 4 of 27 www.fujitsu.com/jp/fsas/services/infrastructure/data-center-services/public/ ホワイトペーパー FUJITSU Managed Infrastructure Service パブリッククラウド導入・運用サービス 3 構成情報 本構成ではLifeKeeper/DataKeeperを使って以下のような2ノード構成のActive/Standbyクラスターを構築します。 仮想サーバー構成 タイプ:mini CPU:1vCPU Memory:512MB OS:Red Hat Enterprise Linux 6.3(64bit) IPアドレス グローバルIP×1 任意のプライベートIP×1 増設ディスク 100GB データベース MySQL v5.1.73 クラスタソフト 監視対象 LifeKeeper/DataKeeper v8.4 mysql_30-Apr-2015.lic 仮想IPアドレス ファイルシステム MySQL 全体の構成図 page 5 of 27 www.fujitsu.com/jp/fsas/services/infrastructure/data-center-services/public/ ホワイトペーパー FUJITSU Managed Infrastructure Service パブリッククラウド導入・運用サービス 4 ニフティクラウドの構築、設定 ニフティクラウド上に環境を構築する手順をご案内致します。 4.1 プライベートLANの作成 東西の両リージョンでプライベートLANの作成を実施します。プライベートLANの作成手順についてはニフティク ラウドのヘルプページをご参照ください。 ◆プライベートLAN作成 http://cloud.nifty.com/help/netsec/plan_new.htm プライベートLAN作成手順で設定する項目は以下の通りです。 【東日本リージョン】 設定項目 設定値(例) プライベートLAN名 PVLANEast ゾーン east-14 IPアドレス帯 192.168.1.0/24 料金コース 従量 【西日本リージョン】 page 6 of 27 設定項目 設定値(例) プライベートLAN名 PVLANWest ゾーン west-12 IPアドレス帯 192.168.1.0/24 料金コース 従量 www.fujitsu.com/jp/fsas/services/infrastructure/data-center-services/public/ ホワイトペーパー FUJITSU Managed Infrastructure Service パブリッククラウド導入・運用サービス 4.2 サーバーの新規作成 東西の両リージョンでサーバーの作成を実施します。サーバーの作成手順についてはニフティクラウドのヘルプ ページをご参照ください。 ◆サーバーの作成 http://cloud.nifty.com/help/basic/server_new.htm サーバー作成手順で設定する項目は以下の通りです。 【東日本リージョン】 page 7 of 27 設定項目 設定値(例) ゾーン east-14 イメージ名 Red Hat Enterprise Linux 6.3(64bit) サーバー名 DBSVEast グローバルIPアドレス IPアドレスを利用しない プライベートLAN PVLANEast IPアドレス 192.168.1.0/24 選択タイプ mini 料金コース 従量 SSHキー 新規に作成したSSHキー ファイアウォール FWEast www.fujitsu.com/jp/fsas/services/infrastructure/data-center-services/public/ ホワイトペーパー FUJITSU Managed Infrastructure Service パブリッククラウド導入・運用サービス 【西日本リージョン】 設定項目 設定値(例) ゾーン west-12 イメージ名 Red Hat Enterprise Linux 6.3(64bit) サーバー名 DBSVWest グローバルIPアドレス IPアドレスを利用しない プライベートLAN PVLANWest IPアドレス 192.168.1.0/24 選択タイプ mini 料金コース 従量 SSHキー 新規に作成したSSHキー ファイアウォール FWWest 4.3 ディスクの作成 4.2で作成したサーバーに対してディスクを追加します。作成手順についてはニフティクラウドのヘルプページを ご参照ください。 ◆ディスクの作成 http://cloud.nifty.com/help/basic/disk_new.htm ディスク作成手順で設定する項目は以下の通りです。 【東日本リージョン】 page 8 of 27 設定項目 設定値(例) ディスク名 DBDISKEast ゾーン east-14 タイプ Disk200A:オンライン向け 容量 100 サーバー DBSVEast 料金 従量 www.fujitsu.com/jp/fsas/services/infrastructure/data-center-services/public/ ホワイトペーパー FUJITSU Managed Infrastructure Service パブリッククラウド導入・運用サービス 【西日本リージョン】 page 9 of 27 設定項目 設定値(例) ディスク名 DBDISKWest ゾーン west-12 タイプ Disk200A:オンライン向け 容量 100 サーバー DBSVWest 料金 従量 www.fujitsu.com/jp/fsas/services/infrastructure/data-center-services/public/ ホワイトペーパー FUJITSU Managed Infrastructure Service パブリッククラウド導入・運用サービス 4.4 リージョン間VPN接続 東西リージョン間をVPNで接続します。 (1)VPNゲートウェイの作成 VPNゲートウェイの作成手順についてはニフティクラウドのヘルプページをご参照ください。 ◆VPNゲートウェイ作成 http://cloud.nifty.com/help/netsec/vpngw_new.htm VPNゲートウェイ作成手順で設定する項目は以下の通りです。 【東日本リージョン】 設定項目 設定値(例) VPNゲートウェイ名 VPNGWEast ゾーン east-14 タイプ vpngw.small(1拠点) 料金コース 従量 ネットワーク 192.168.1.0/24 【西日本リージョン】 page 10 of 27 設定項目 設定値(例) VPNゲートウェイ名 VPNGWWest ゾーン west-12 タイプ vpngw.small(1拠点) 料金コース 従量 ネットワーク 192.168.1.0/24 www.fujitsu.com/jp/fsas/services/infrastructure/data-center-services/public/ ホワイトペーパー FUJITSU Managed Infrastructure Service パブリッククラウド導入・運用サービス (2)VPNコネクションの作成 VPNコネクションの作成手順についてはニフティクラウドのヘルプページをご参照ください。 ◆作成(L2TPv3/IPsec VPN(L2VPN)で接続する場合) http://cloud.nifty.com/help/netsec/vpncn_new_l2.htm page 11 of 27 www.fujitsu.com/jp/fsas/services/infrastructure/data-center-services/public/ ホワイトペーパー FUJITSU Managed Infrastructure Service パブリッククラウド導入・運用サービス 4.5 OSの設定 4.2で作成したサーバーのOSの設定を行います。 (1)日本語環境を利用するためにyumコマンドを利用して関連するrpmパッケージをサーバーにインストールし ます。 #yum groupinstall "Japanese Support" (2)LifeKeeper GUIを利用するために、yumコマンドを利用してX Window Systemに関連するrpmパッケージを サーバーにインストールします。 #yum groupinstall "X Window System" Desktop (3)ファイアウォール設定を変更します。 LifeKeeperは特定のポートを使用するため、下記の資料を参考にOSのファイアウォール設定を変更します。 ◆ファイアウォールを使用した状態でのLifeKeeperの実行 http://jpdocs.us.sios.com/Linux/8.4.0/LK4L/TechDoc/index.htm#user_guide/using_lifekeeper_linux/ maintenance_tasks/running_lifekeeper_firewall.htm#kanchor183 page 12 of 27 www.fujitsu.com/jp/fsas/services/infrastructure/data-center-services/public/ ホワイトペーパー FUJITSU Managed Infrastructure Service パブリッククラウド導入・運用サービス 4.6 MySQLの設定 4.3で追加した増設ディスクをMySQLのデータ格納場所としてMySQL設定を行います。 合わせて以下のドキュメントもご参照ください。 ◆設定上の考慮事項 http://jpdocs.us.sios.com/Linux/8.4.0/LK4L/MySQL/index.htm#recovery_kits/mysql_recovery_kit_docum entation/configuration_considerations.htm%3FTocPath%3D%E8%A8%AD%E5%AE%9A%E4%B8%8A%E 3%81%AE%E8%80%83%E6%85%AE%E4%BA%8B%E9%A0%85%7C_____0 (1)yumコマンドを利用し“mysql-server”と”mysql”に関連するrpmパッケージをサーバーにインストール します。 #yum install mysql mysql-server (2)4.3で追加したディスクにMySQLをインストールするための準備を行います。 追加したディスクをフォーマットしてから、ファイルシステムを作成しマウントしてください。 #fdisk /dev/sdb #mkfs.ext4 /dev/sdb1 #mount –t ext4 /dev/sdb1 /var/lib/mysql (3)MySQLのデータディレクトリ(/var/lib/mysql)に存在するすべてのファイル権限と所有者を適切に 設定します。 #chown –R MySQLUser:MySQLGroup /var/lib/mysql #chmod 755 /var/lib/mysql page 13 of 27 www.fujitsu.com/jp/fsas/services/infrastructure/data-center-services/public/ ホワイトペーパー FUJITSU Managed Infrastructure Service パブリッククラウド導入・運用サービス (4)MySQLを新規にインストールする場合は、サンプルMySQLデータベースを初期化してください。 #mysql_install_db (5)コマンドラインから、MySQLを起動させます。 #su – MySQLUser $/etc/rc.d/init.d/mysqld start (6)mysqlクライアントで接続して、MySQLが実行中であることを確認してください。 $mysql -u MySQLUser データベースサーバー2(Standby)で、以下の(7)から(9)を実施します。 (7)yumコマンドを利用し“mysql-server”と”mysql”に関連するrpmパッケージをサーバーにインストール します。 $yum install mysql mysql-server (8)4.3で追加したディスクにMySQLをインストールするための準備を行います。 追加したディスクをフォーマットしてください。 #fdisk /dev/sdb (9)MySQLのデータディレクトリ(/var/lib/mysql)に存在するすべてのファイル権限と所有者を適切に設定しま す。 #chown –R MySQLUser:MySQLGroup /var/lib/mysql #chmod 755 /var/lib/mysql page 14 of 27 www.fujitsu.com/jp/fsas/services/infrastructure/data-center-services/public/ ホワイトペーパー FUJITSU Managed Infrastructure Service パブリッククラウド導入・運用サービス 5 LifeKeeper/DataKeeperによるHAクラスターの構築 作成した仮想サーバーにLifeKeeperをインストールし、HAクラスターを構築します。 5.1 LifeKeeperのインストール (1)各仮想サーバーに、LifeKeeperをインストールします。 インストールの手順についてはLifeKeeper for Linuxスタートアップガイド(v8.4用)をご参照ください。 ◆LifeKeeper for Linuxスタートアップガイド(v8.4用)の「3 LifeKeeper for Linux v8.4のインストール」 http://lk.sios.com/?p=3371 (2)セットアップが完了しましたら、LifeKeeperを起動します。 #lkstart (3)LifeKeeper GUI管理画面を開きます。 #lkGUIapp page 15 of 27 www.fujitsu.com/jp/fsas/services/infrastructure/data-center-services/public/ ホワイトペーパー FUJITSU Managed Infrastructure Service パブリッククラウド導入・運用サービス 5.2 コミュニケーションパスの作成 (1)コミュニケーションパスを作成します。 コミュニケーションパスの作成手順についてはLifeKeeper for Linuxスタートアップガイド(v8.4用)をご 参照ください。 ◆LifeKeeper for Linuxスタートアップガイド(v8.4用)の「5 クラスタシステムの作成」 http://lk.sios.com/?p=3371 5.3 Broadcast Pingの無効化 (1)Broadcast Pingの無効化の設定をします。 #vi /etc/default/LifeKeeper 変更内容 変更前 NOBCASTPING=0 変更後 NOCCASTPING=1 page 16 of 27 www.fujitsu.com/jp/fsas/services/infrastructure/data-center-services/public/ ホワイトペーパー FUJITSU Managed Infrastructure Service パブリッククラウド導入・運用サービス 5.4 IPリソースの作成 LifeKeeper GUI管理画面より、IPリソースを作成します。IPリソースの作成手順についてはLifeKeeper for Linux スタートアップガイド(v8.4用)をご参照ください。 ◆LifeKeeper for Linuxスタートアップガイド(v8.4用)の「5 クラスタシステムの作成」 http://lk.sios.com/?p=3371 リソース作成ウィザードで設定する項目は以下の通りです。 設定項目 設定値(例) Please Select Recovery Kits IP Switchback Type Intelligent IP Resource 192.168.1.20 Netmask 255.255.255.0 Network Interface eth1 IP Resource Tag ip-192.168.1.20 ターゲット(セカンダリ)ノードへのExtend時に設定する項目は以下の通りです。 page 17 of 27 設定項目 設定値(例) Target Server DBSVEast Switchback Type Intelligent Template Priority 1 Target Priority 10 IP Resource 192.168.1.20 Netmask 255.255.255.0 Network Interface eth1 IP Resource Tag ip-192.168.1.20 www.fujitsu.com/jp/fsas/services/infrastructure/data-center-services/public/ ホワイトペーパー FUJITSU Managed Infrastructure Service パブリッククラウド導入・運用サービス 5.5 Data Replicationリソース階層の作成 LifeKeeper GUI管理画面より、Create Resource Hierarchyを選択し、Data Replicationリソースを作成します。 Data Replication作成手順についてはSIOS Protection Suite for Linux 8.4.0 テクニカルドキュメンテーションをご 参照ください。 ◆インストールと設定 http://jpdocs.us.sios.com/Linux/8.4.0/LK4L/TechDoc/index.htm#datakeeper/installation_configuration. htm%3FTocPath%3DDataKeeper%7C%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC %E3%83%AB%E3%81%8A%E3%82%88%E3%81%B3%E6%A7%8B%E6%88%90%7C_____0 リソース作成ウィザードで設定する項目は以下の通りです。 page 18 of 27 設定項目 設定値(例) Please Select Recovery Kits Data Replication Switchback Type Intelligent Server DBSVEast Hierarchy Type Replicate Existing Filesystem Existing Mount Point /dev/lib/mysql Data Replication Resource Tag datarep-mysql File System Resource Tag /dev/lib/mysql Bitmap File /opt/LifeKeeper/bitmap__var_lib_mysql Enable Asynchronous Replication No www.fujitsu.com/jp/fsas/services/infrastructure/data-center-services/public/ ホワイトペーパー FUJITSU Managed Infrastructure Service パブリッククラウド導入・運用サービス ターゲット(スタンバイ)ノードへのExtend時に設定する項目は以下の通りです。 page 19 of 27 設定項目 設定値(例) Target Server DBSVWest Switchback Type Intelligent Template Priority 1 Target Priority 10 Target Disk /dev/sdb1 Data Replication Resource Tag datarep-mysql Bitmap File /opt/LifeKeeper/bitmap__var_lib_mysql Replication Path 192.168.1.14 - 192.168.1.17 Mount Point /dev/lib/mysql Root Tag /dev/lib/mysql www.fujitsu.com/jp/fsas/services/infrastructure/data-center-services/public/ ホワイトペーパー FUJITSU Managed Infrastructure Service パブリッククラウド導入・運用サービス 5.6 MySQLリソース階層の作成 LifeKeeper GUI管理画面より、MySQLリソースを作成します。MySQLリソースの作成手順についてはMySQL Recovery Kit のドキュメンテーションをご参照ください。 ◆MySQL Recovery Kit のドキュメンテーション http://jpdocs.us.sios.com/Linux/8.4.0/LK4L/MySQL/index.htm#recovery_kits/mysql_recovery_kit_docum entation/installation.htm%3FTocPath%3D%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%8 3%BC%E3%83%AB%7C_____0 リソース作成ウィザードで設定する項目は以下の通りです。 Please Select Recovery Kits MySQL Database Switchback Type Intelligent Server DBSVEast MySQL Excutable Location /etc MySQL Data Directory /usr/bin Database tag mysql ターゲット(セカンダリ)ノードへのExtend時に設定する項目は以下の通りです。 page 20 of 27 Target Server DBSVWest Switchback Type Intelligent Template Priority 1 Target Priority 10 Location of my.cnf /etc Location of MySQL executables /usr/bin Database tag mysql www.fujitsu.com/jp/fsas/services/infrastructure/data-center-services/public/ ホワイトペーパー FUJITSU Managed Infrastructure Service パブリッククラウド導入・運用サービス 5.7 IPリソースとMySQLリソース間の依存関係の構築 LifeKeeper GUI管理画面より、Create Dependencyを選択し、IPリソース(ip-192.168.1.20)とMySQLリソース (mysql)との間に依存関係を作成します。 この設定により、リソースが一緒に移動し、適切な順序で起動/停止することが保証されます。 依存関係の作成方法については、以下のURLをご参照ください。 ◆リソース依存関係の作成 http://jpdocs.us.sios.com/Linux/8.4.0/LK4L/TechDoc/index.htm#administration/administrator_tasks/cre ating_resource_dependency.htm page 21 of 27 www.fujitsu.com/jp/fsas/services/infrastructure/data-center-services/public/ ホワイトペーパー FUJITSU Managed Infrastructure Service パブリッククラウド導入・運用サービス 6 LifeKeeper/DataKeeperの機能確認 本構成で、LifeKeeper/DataKeeperの以下の機能について、正常動作を確認しました。 (1)データベースサーバー1(Active)で指定しているNICを停止させた場合に、自身の復旧動作が行われること (2)データベースサーバー1(Active)で起動しているMySQLのプロセスが停止した場合に、自身の復旧動作が 行われること (3)(1)、(2)の復旧に失敗した場合に、データベースサーバー2(Stadby)へリソースのフェイルオーバー が行われること (4)データベースサーバー1(Active)が異常終了した場合に、データベースサーバー2(Stadby)へリソース のフェイルオーバーが行われること (5)コミュニケーションパスが切断された場合に、フェイルオーバーが行われないこと page 22 of 27 www.fujitsu.com/jp/fsas/services/infrastructure/data-center-services/public/ ホワイトペーパー FUJITSU Managed Infrastructure Service パブリッククラウド導入・運用サービス 7 参考資料 LifeKeeper UserSite http://lk.sios.com/ LifeKeeper for Linuxスタートアップガイド(v8.4用) http://lk.sios.com/?p=3371 SIOS Technical Documentation http://jpdocs.us.sios.com/ LifeKeeper・DataKeeper http://jpdocs.us.sios.com/Linux/8.4.0/LK4L/TechDoc/index.htm Documentation for Linux Recovery Kits for v8.4.0 http://jpdocs.us.sios.com/linuxarks.php?ver=8.4.0 MySQL Recovery Kit管理ガイド http://jpdocs.us.sios.com/Linux/8.4.0/LK4L/MySQL/index.htm ニフティクラウド http://cloud.nifty.com ニフティクラウド ドキュメント http://cloud.nifty.com/doc/ page 23 of 27 www.fujitsu.com/jp/fsas/services/infrastructure/data-center-services/public/ ホワイトペーパー FUJITSU Managed Infrastructure Service パブリッククラウド導入・運用サービス 8 謝辞 検証に際して、ニフティ様よりニフティクラウドの利用をご承認いただき、また環境構築や設定、テストケースの作 成に際して多大なるご支援をいただきました。御礼を申し上げます。 ニフティクラウド http://cloud.nifty.com/ page 24 of 27 www.fujitsu.com/jp/fsas/services/infrastructure/data-center-services/public/ ホワイトペーパー FUJITSU Managed Infrastructure Service パブリッククラウド導入・運用サービス 9 お問い合わせ 本書の記載内容についてのお問い合わせ先 ■LifeKeeper製品の導入を検討中のお客様 弊社パートナー営業部までお問い合わせください。 お問い合わせメールフォーム https://www.sios.com/products/bcp/lkdk/contact/ ■LifeKeeper製品をご購入済みのお客様 弊社LifeKeeper製品サポート窓口までお問い合わせください。 購入後のお問い合わせ https://www.sios.com/products/bcp/lkdk/contact/support_lk.html page 25 of 27 www.fujitsu.com/jp/fsas/services/infrastructure/data-center-services/public/ ホワイトペーパー FUJITSU Managed Infrastructure Service パブリッククラウド導入・運用サービス 10 免責事項 • 本書に記載された情報は予告なしに変更、削除される場合があります。最新のものをご確認ください。 • 本書に記載された情報は、全て慎重に作成され、記載されていますが、本書をもって、その妥当性や正確性につ いていかなる種類の保証もするものではありません。 • 本書に含まれた誤りに起因して、本書の利用者に生じた損害については、株式会社富士通エフサスおよびサイオ ステクノロジー株式会社は一切の責任を負うものではありません。 • 第三者による本書の記載事項の変更、削除、ホームページ及び本書等に対する不正なアクセス、その他第三者の 行為により本書の利用者に生じた一切の損害について、株式会社富士通エフサスおよびサイオステクノロジー株 式会社は一切の責任を負うものではありません。 • システム障害などの原因によりメールフォームからのお問い合せが届かず、または延着する場合がありますので、 あらかじめご了承ください。お問い合せの不着及び延着に関し、株式会社富士通エフサスおよびサイオステクノ ロジー株式会社は一切の責任を負うものではありません。 page 26 of 27 www.fujitsu.com/jp/fsas/services/infrastructure/data-center-services/public/ ホワイトペーパー FUJITSU Managed Infrastructure Service パブリッククラウド導入・運用サービス 【著作権】 本書に記載されているコンテンツ(情報・資料・画像等種類を問わず)に関する知的財産権は、株式会社富士通エフ サスに帰属します。その全部、一部を問わず、株式会社富士通エフサスの許可なく本書を複製、転用、転載、引用、 公衆への送信、販売、翻案その他の二次利用をすることはいずれも禁止されます。またコンテンツの改変、削除につ いても一切認められません。 本書では、製品名、ロゴなど、他社が保有する商標もしくは登録商標を使用しています。 サイオステクノロジー株式会社 〒106-0047 東京都港区南麻布 2-12-3 サイオスビル 電話: 03-6401-5111 FAX: 03-6401-5112 URL: http://www.sios.com 株式会社富士通エフサス 〒211-0012神奈川県川崎市中原区中丸子13-2 野村不動産武蔵小杉ビル N棟 フリーコール: 0120-860-242 URL: http://www.fujitsu.com/jp/fsas/ page 27 of 27 www.fujitsu.com/jp/fsas/services/infrastructure/data-center-services/public/
© Copyright 2024 ExpyDoc