Distribution Monitor

Distribution Monitor
Distributing R3load Processes
among multiple application Servers
TD Core AS&VM I18N & Printing
November 2009
Motivation
Unicode conversion causes high CPU load especially for cluster tables.
One application server is typically not sufficient to use full capacity of the source
DB host.
As a rule of thumb, you need about 1 GHz CPU speed per 1 MByte/sec source DB
speed.
© SAP 2009 / NW AS Internationalization Page 2
Overview
Run R3load processes on multiple machines in parallel.
R3load-Export
AppServer
&
Import
R3load-Export
AppServer
&
Import
R3load-Export
AppServer
&
Import
R3load-Export
AppServer
&
DB server
UC
DB server
NUC
© SAP 2009 / NW AS Internationalization Page 3
Import
Distribution Monitor + Migration Monitor
Migration Monitor
Distributes tasks between multiple R3load processes on one machine
Synchronizes Export and Import
Controls package order
Time Analyzer
Collects start and end time of tasks from R3load logs
Distribution Monitor
Distributes R3load tasks between multiple machines
Controls package order
Constantly starts time analyzer
Collects time analyzer results and log files from multiple machines
© SAP 2009 / NW AS Internationalization Page 4
Communication Directory
The central communication directory contains control information for each machine
(*.properties, *.STR).
For monitoring purpose log and status information is copied from each machine to
the communication directory.
The transferred data are stored in local data dirs on each machine.
AppServer1
Export
Data
Dir
Import
commDir
Source
DB
Target
DB
AppServer2
Export
© SAP 2009 / NW AS Internationalization Page 5
Data
Dir
Import
Distribution Process
Status Monitor
Preparation Phase
Export Phase
Import Phase
The preparation phase creates control information and Migration Monitor is
performed only on one designated machine.
The export and import is started on each machine. The export and import can run
in parallel.
Monitoring is possible at any time.
© SAP 2009 / NW AS Internationalization Page 6
Phases
Central preparation (-p)
Create and distribute STR files
Create Migration Monitor command files
Run as <sid>adm
Local execution of Export/Import (-e/-i)
Fetch STR files to local data dir
Start Migration Monitor locally
Continuously copy status file to communication directory
Run as <sid>adm
Central monitoring (-d)
Preparation status per machine
Package distribution
Package status
© SAP 2009 / NW AS Internationalization Page 7
Preparation Overview
SourceDB
R3ldctl
DDL*.TPL
*.STR
*.EXT
Package
Splitter
*.STR
© SAP 2009 / NW AS Internationalization Page 8
R3szchk
R3load
R3ta
*.WHR
Where
Splitter
*.WHR
IDX*.CMD
IDX*.TSK
Preparation Overview
SourceDB
R3ldctl
DDL*.TPL
*.STR
R3szchk
*.EXT
Package
Splitter
R3load
R3ta
*.WHR
Where
Splitter
*.WHR
*.STR
Distribution
Monitor
<commDir>/<machine>/*.STR;*.WHR
© SAP 2009 / NW AS Internationalization Page 9
IDX*.CMD
IDX*.TSK
Preparation Overview
Create control files for R3load
DDL<DBTYPE>.TPL – database command files
*.STR – R3load package with description of all contained tables
Cut R3load packages ( *.STR) into suitable pieces
R3szchk (optional)
package splitter
table splitter
Distribute resulting packages ( *.STR, *.WHR) between machines
© SAP 2009 / NW AS Internationalization Page 10
Export overview
DDL*.TPL
*.STR
R3load
task and cmd
file creation
*.CMD
*.TSK
R3load
export
export_time.*
© SAP 2009 / NW AS Internationalization Page 11
TimeAnalyzer
*.TOC *.XML
*.00? *.LOG
SourceDB
Export overview
DDL*.TPL
Distribution
Monitor
*.STR
R3load
task and cmd
file creation
*.CMD
*.TSK
<commDir/machine>
R3load
export
Distribution
Monitor
export_time.*
© SAP 2009 / NW AS Internationalization Page 12
TimeAnalyzer
*.TOC *.XML
*.00? *.LOG
SourceDB
Export Overview
Copy R3load control files (DDL*.TPL, *.STR, *.WHR) to local data dump directory
Create R3load command and task files (*.CMD, *.TSK) for each package
Export each package (*.00?, *.TOC, *.XML)
Monitor state (*.TSK, export_state.properties)
Run time analyzer to collect package runtime (export_time.txt,
export_time.html)
Copy monitoring information to communication directory
© SAP 2009 / NW AS Internationalization Page 13
Import Overview
DDL*.TPL
TargetDB
*.STR
R3load
task and cmd
file creation
R3load
import
*.CMD
*.TSK
*.TOC
*.00?
© SAP 2009 / NW AS Internationalization Page 14
Import Overview
DDL*.TPL
TargetDB
*.STR
R3load
task and cmd
file creation
*.CMD
*.TSK
R3load
import
<commDir/machine>
Distribution
Monitor
import_time.*
© SAP 2009 / NW AS Internationalization Page 15
TimeAnalyzer
*.TOC
*.00?
*.LOG
Import Overview
Create R3load command and task files (*.CMD, *.TSK) for each package
Import each package
Monitor state (*.TSK, export_state.properties)
Run time analyzer to collect package runtime
(import_time.txt, import_time.html)
Copy monitoring information to communication directory
© SAP 2009 / NW AS Internationalization Page 16
Status Monitor
Displays overall status
Displays preparation phase status per machine
Displays export/import progress and package status per machine
Displays package distribution
© SAP 2009 / NW AS Internationalization Page 17
Distribution Monitor - Display
© SAP 2009 / NW AS Internationalization Page 18
Distribution Monitor - Display
Trouble Shooting
Check distribution_monitor_<mode>.log
From log file:
Determine step that failed
Determine further log files to check for that step
Check error messages and warnings in these log files
If failing step is calling another tool and no log file for this tool is available: check
availability of called tool
Check database connection (with –test option)
In case of Import/Export problems check overview page and <machine> page of status
monitor
© SAP 2009 / NW AS Internationalization Page 20
Copyright 2009 SAP AG
All Rights Reserved
No part of this publication may be reproduced or transmitted in any form or for any purpose without the express permission of SAP AG. The information contained herein may be changed
without prior notice.
Some software products marketed by SAP AG and its distributors contain proprietary software components of other software vendors.
SAP, R/3, xApps, xApp, SAP NetWeaver, Duet, SAP Business ByDesign, ByDesign, PartnerEdge and other SAP products and services mentioned herein as well as their respective logos are
trademarks or registered trademarks of SAP AG in Germany and in several other countries all over the world. All other product and service names mentioned and associated logos displayed are
the trademarks of their respective companies. Data contained in this document serves informational purposes only. National product specifications may vary.
The information in this document is proprietary to SAP. No part of this document may be reproduced, copied, or transmitted in any form or for any purpose without the express prior written
permission of SAP AG. This document is a preliminary version and not subject to your license agreement or any other agreement with SAP. This document contains only intended strategies,
developments, and functionalities of the SAP® product and is not intended to be binding upon SAP to any particular course of business, product strategy, and/or development. Please note that
this document is subject to change and may be changed by SAP at any time without notice. SAP assumes no responsibility for errors or omissions in this document. SAP does not warrant the
accuracy or completeness of the information, text, graphics, links, or other items contained within this material. This document is provided without a warranty of any kind, either express or
implied, including but not limited to the implied warranties of merchantability, fitness for a particular purpose, or non-infringement.
SAP shall have no liability for damages of any kind including without limitation direct, special, indirect, or consequential damages that may result from the use of these materials. This limitation
shall not apply in cases of intent or gross negligence.
The statutory liability for personal injury and defective products is not affected. SAP has no control over the information that you may access through the use of hot links contained in these
materials and does not endorse your use of third-party Web pages nor provide any warranty whatsoever relating to third-party Web pages.
Weitergabe und Vervielfältigung dieser Publikation oder von Teilen daraus sind, zu welchem Zweck und in welcher Form auch immer, ohne die ausdrückliche schriftliche Genehmigung durch
SAP AG nicht gestattet. In dieser Publikation enthaltene Informationen können ohne vorherige Ankündigung geändert werden.
Einige von der SAP AG und deren Vertriebspartnern vertriebene Softwareprodukte können Softwarekomponenten umfassen, die Eigentum anderer Softwarehersteller sind.
SAP, R/3, xApps, xApp, SAP NetWeaver, Duet, SAP Business ByDesign, ByDesign, PartnerEdge und andere in diesem Dokument erwähnte SAP-Produkte und Services sowie die
dazugehörigen Logos sind Marken oder eingetragene Marken der SAP AG in Deutschland und in mehreren anderen Ländern weltweit. Alle anderen in diesem Dokument erwähnten Namen von
Produkten und Services sowie die damit verbundenen Firmenlogos sind Marken der jeweiligen Unternehmen. Die Angaben im Text sind unverbindlich und dienen lediglich zu
Informationszwecken. Produkte können länderspezifische Unterschiede aufweisen.
Die in dieser Publikation enthaltene Information ist Eigentum der SAP. Weitergabe und Vervielfältigung dieser Publikation oder von Teilen daraus sind, zu welchem Zweck und in welcher Form
auch immer, nur mit ausdrücklicher schriftlicher Genehmigung durch SAP AG gestattet. Bei dieser Publikation handelt es sich um eine vorläufige Version, die nicht Ihrem gültigen Lizenzvertrag
oder anderen Vereinbarungen mit SAP unterliegt. Diese Publikation enthält nur vorgesehene Strategien, Entwicklungen und Funktionen des SAP®-Produkts. SAP entsteht aus dieser
Publikation keine Verpflichtung zu einer bestimmten Geschäfts- oder Produktstrategie und/oder bestimmten Entwicklungen. Diese Publikation kann von SAP jederzeit ohne vorherige
Ankündigung geändert werden.
SAP übernimmt keine Haftung für Fehler oder Auslassungen in dieser Publikation. Des Weiteren übernimmt SAP keine Garantie für die Exaktheit oder Vollständigkeit der Informationen, Texte,
Grafiken, Links und sonstigen in dieser Publikation enthaltenen Elementen. Diese Publikation wird ohne jegliche Gewähr, weder ausdrücklich noch stillschweigend, bereitgestellt. Dies gilt u. a.,
aber nicht ausschließlich, hinsichtlich der Gewährleistung der Marktgängigkeit und der Eignung für einen bestimmten Zweck sowie für die Gewährleistung der Nichtverletzung geltenden Rechts.
SAP haftet nicht für entstandene Schäden. Dies gilt u. a. und uneingeschränkt für konkrete, besondere und mittelbare Schäden oder Folgeschäden, die aus der Nutzung dieser Materialien
entstehen können. Diese Einschränkung gilt nicht bei Vorsatz oder grober Fahrlässigkeit.
Die gesetzliche Haftung bei Personenschäden oder Produkthaftung bleibt unberührt. Die Informationen, auf die Sie möglicherweise über die in diesem Material enthaltenen Hotlinks zugreifen,
unterliegen nicht dem Einfluss von SAP, und SAP unterstützt nicht die Nutzung von Internetseiten Dritter durch Sie und gibt keinerlei Gewährleistungen oder Zusagen über Internetseiten
Dritter ab.
Alle Rechte vorbehalten.
© SAP 2009 / NW AS Internationalization Page 21

Download Report