Integrated Replicat - Amazon Web Services

Новые возможности
ODI и GG
Рындин Александр
Beer and Lobsters
Engineered
To Work
Together
Новости платформы интеграции данных Oracle
 GoldenGate 12.1.2 (ожидаем 12.1.2.1)
 Платформа Fusion Middleware 12.1.3
– ODI (ETL), ODSI (LDW), Veridata, GoldenGate Monitor,
– EDQ (Data Quality)
 ODI – большая поддержка Big Data (Hbase, Sqoop)
– Integrated Replicat
 BI Applications 11.1.1.8 (+ODI, +OGG, +Endeca)
 Инструменты миграции
– OWB2ODI
– Stream2OGG (ожидаем)
2
Copyright © 2014, Oracle and/or its affiliates. All rights reserved.
Integrated vs Classic Extract Real time mode
Source database and Integrated Capture process are in the same machine
User/Application changes
Record
changes
Capture
changes
Redo Logs
Oracle Database
LCR1
LCR2
LCR3
….
….
….
Capture
Logical Change
Records
Trail
File
…..
Integrated
Extract
Source Machine
+ Real-Time доставка
+ Больше типов данных
- Нагрузка на источник
3
Copyright © 2014, Oracle and/or its affiliates. All rights reserved.
+ Прозрачная поддержка RAC, TDE
- Сложнее управление
Integrated Extract – Real Time Downstream mode
Source database and Integrated Capture process are in different machine
User/Application changes
Record
changes
Continuous REDO
Shipping
Redo Logs
Oracle Database
Source Machine
+ Real-Time доставка
+ Больше типов данных
+ Нет Нагрузки на источник
4
Copyright © 2014, Oracle and/or its affiliates. All rights reserved.
Capture
changes
LCR1
LCR2
LCR3
….
….
….
Ca
Standby
ptu
Logical Change
Redo Logs
Records
Oracle Database
re
Capture
Integrated
Extract
Downstream Machine
+ Прозрачная поддержка RAC, TDE
- Сложнее управление
Trail
File
…..
Integrated Extract – Real Time “Cloud” mode
Source database and Integrated Capture process are in different machine
User/Application changes
Record
changes
Capture
changes
Redo Logs
Oracle Database
LCR1
LCR2
LCR3
….
….
….
Logical Change
Records
Trail
File
Integrated
Extract
On-Premise Server
Cloud Server
+ Уникальный режим
5
Capture
Copyright © 2014, Oracle and/or its affiliates. All rights reserved.
…..
Текущий подход для репликации больших объемов
Специалист
определяет
распределение
нагрузки
 При высокой нагрузке
транзакция разбивается
 Сложно реплицировать
SQL
Replicat
– DDL
SQL
Trail
Files
Replicat
– Зависимые таблицы с
Replicat
Replicat
внешними ключами
SQL
 Сложно
SQL
Целевая
база данных
6
Copyright © 2014, Oracle and/or its affiliates. All rights reserved.
конфигурировать и
поддерживать
Integrated Replicat
Oracle Database
Inbound Server
Applier N
Trail
Files
Replicat
Lightweight
Streaming
API
Replicat
7
Receiver
Preparer
Coordinator
Applier 2
Applier 1
Inbound Server (Database Apply Process)
•
Читает trail file
•
Receiver: Читает LCRs
•
Создает logical change records
(LCRs)
•
•
Передает LCRs в Oracle Database
через Lightweight Streaming API
Preparer: Вычисляет зависимости между транзакциями (первичный ключ,
уникальный индекс, внешний ключ) , группирует транзакции, сортирует с учетом
зависимости
•
Coordinator: Координирует транзакции, управляет порядком работы applier
•
Applier: Применяет назначенные транзакции, включая разрешение конфликтов и
обработку ошибок.
Copyright © 2014, Oracle and/or its affiliates. All rights reserved.
Parallel Integrated Replicat
 Зависимости между транзакциями вычисляются на основе Primary
Key, Unique Index и Foreign Key на целевой базе
– Supplemental logging требуется для этих столбцов
– Trail file должен переносить эти столбцы
 Порядок commit при применении конфигурируем
 COMMIT_SERIALIZATION
– FULL: в порядке commit на источнике
– DEPENDENT_TRANSACTIONS : commit зависимых транзакций в
правильном порядке
8
Copyright © 2014, Oracle and/or its affiliates. All rights reserved.
Enable_goldengate_replication
 Требуется для Oracle DB 11.2.0.4 и 12.1.0.2+
– Должен быть установлен в TRUE
– Динамический
 Classic и Integrated Extract
 Integrated, nonIntegrated, Coordinated Replicat
 Enterprise и/или Standard Edition database
 DB Error ORA-26947 если не настроен
– MOS 1568417.1
 Уведомляет DBA об использовании OGG
9
Copyright © 2014, Oracle and/or its affiliates. All rights reserved.
Support for DDL and DML handlers
 Adds support for DDL and DML handlers in direct (fallback) mode
execution
 If a handler is configured in database then execute the handler instead
of using normal replicat apply code path
– DDL LCR is constructed and PL/SQL DDL handler is called
– DML LCR is constructed and sent to the inbound server with a direct
execution flag
– Only tables supported by the inbound server can support DML handlers
 Consider replacing map level SQLEXEC with DML statement handlers
10
Copyright © 2014, Oracle and/or its affiliates. All rights reserved.
Повышенная доступность
Интеграция с Data Guard и FSFO
Source Oracle Database
Capture
Trail
Files
Trail
Files
Pump
LAN / WAN / Internet
Over TCP/IP
Data Guard
Continuous Log
shipping
• Нормальная работа
Delivery
Target
Oracle / Non-Oracle
Database
o С источника на Standby с помощью
Oracle Data Guard
o С источника на целевую систему в реальном
времени с помощью Oracle GoldenGate
Data Guard Standby Oracle Database
11
Copyright © 2014, Oracle and/or its affiliates. All rights reserved.
Повышенная доступность
Интеграция с Data Guard и FSFO
Бывшая Source Oracle Database
X
• Интеграция с ASYNC FSFO
• Интеграция с Oracle’s XAG
• Broker Integration для GoldenGate
Trail
Files
Delivery
Target
Oracle / Non-Oracle
Database
Capture
Trail
Files
Source Oracle Database
12
Copyright © 2014, Oracle and/or its affiliates. All rights reserved.
Pump
LAN / WAN / Internet
Over TCP/IP
Тесная интеграция с Oracle Coherence
Обзор
• Зафиксированные изменения
реплицируются в реальном
времени из источника в
Coherence через адаптер
• Интеграция с Coherence
обеспечивается с помощью
TopLink extensions
Oracle Coherence Grid Edition 12.1.2
Oracle TopLink
Reads/Writes Initiated
By Coherence
Third Party
DML Operations
Coherence
Adapter
• GoldenGate Coherence Adapter
запускает на базе данных
источника
Capture
Oracle & Non-Oracle Database(s)
14
Copyright © 2014, Oracle and/or its affiliates. All rights reserved.
Trail
Files
Oracle GoldenGate 12c Supported Databases
Databases
Oracle GoldenGate Capture:
New
 Oracle 12c
New
 IBM DB2 LUW 10.1 & 10.5
 IBM DB2 for z/OS
 IBM DB2 for i/Series
 Microsoft SQL Server 2008, 2012
 Sybase ASE 15.7
New
 Teradata
New
 Oracle MySQL 5.6
 Oracle MySQL Cluster 7.1,7.2, 7.3
 Enscribe
 SQL/MP
 SQL/MX
 JMS message queues
15
Copyright © 2014, Oracle and/or its affiliates. All rights reserved.
Oracle GoldenGate Integrated Capture &
Delivery:
Improved
 Integrated Capture
 For Oracle Database 10.2+
New
Integrated
Dynamic Delivery
 Oracle 11.2.0.4, 12.1.0.1
Coordinated
New
Deliver
All databases
New
New
Oracle GoldenGate Delivery:
 All listed, plus:
 TimesTen, PostgreSQL, Netezza &
Greenplum
15
Oracle Veridata
Что делает хорошие данные плохими?
Исходные данные изначально плохие (#1 Reason)
1.
–
Data Gaps или Overlaps во время инициации
2.
–
16
Напутали с NLS, плохо импортировали данные
Открытые транзакции (data gap) или дубликаты (overlap) в таблицах без
уникального ключа
3.
User/App случайно изменил данные на приемнике
4.
“Nologging” операции
5.
Отчеты “Read Only” изменили таблицы
Copyright © 2014, Oracle and/or its affiliates. All rights reserved.
Oracle GoldenGate Veridata 11.2/12c Components & Flow
Communications and Startup
Web
Client
HTTP
JDBC
Veridata
Agent
TCP/IIP
Veridata
Web Server
JDBC
Source
Database
Agent Hashes
Row & Sends PK
+ Hash
OGG
JDBC
Veridata
Agent
TCP/IIP
TCP/IIP
Command Line
(Vericom)
Target
Database
Сравнение меняющихся данных происходит в два этапа:
1. Начальное сравнение
2. Подтверждение расхождения
17
Server Sorts Rows,
Compares Hash,
Generates COOS
Copyright © 2014, Oracle and/or its affiliates. All rights reserved.
Veridata
Repository
Oracle Veridata - Now & Later
Veridata Today
• Высокоскоростное, гетерогенное сравнение
• Низкое влияние: не блокирует; хэширование и сортировка не в базе
• Подмножество строк/столбцов; хранит историю аудита; визуализирует
New for Veridata 12.1.3
• Восстановление гетерогенныхданных
• WLS 12.1.3 / Single Sign on
• SSL and IPv6 for Agents
• Шифрование отчетов (.rpt, .oos, .oosxml)
• Удаление старых отчетов
• Инструмент для скриптования (Load config API)
18
Copyright © 2014, Oracle and/or its affiliates. All rights reserved.
Monitor 12.1.3 & EM Plug-in 12.1.0.2
Securely Manage GoldenGate Processes
• Запуск, остановка и прерывание процессов
• Редактирование конфигурационных файлов
• Управление доступном пользователей
Уведомление & устранение проблем
• Просмотр Report и Discard files
• Просмотр и реакция на сообщения в ggserr.log
• Реакция на более чем 20 метрик (SNMP, Email, external programs)
Визуализация
• Вывод в виде графика любой метрики
• Просмотр всего или частичного решения (Monitor)
19
Copyright © 2014, Oracle and/or its affiliates. All rights reserved.
Цели ODI 12c Mapping
Комбинация декларативного и потокового подхода
 Простота
 Абстракция физической
реализации от логического
маппинга
 Расширяемая модель для
любых интеграционных
механизмов
 Показывает связи таблиц-
источников
 Универсальный для больших и
сложных примеров
 Быстрое создается и легко
рефакторится
20
Copyright © 2014, Oracle and/or its affiliates. All rights reserved.
Management Pack for Oracle Data Integrator
Ключевые возможности
 Обнаружение компонент ODI
 Агентов: Standalone и JEE
 Репозиториев
 Баз источников и приемников
 Мониторинг
 Доступности
– ODI homepage для быстрой
оценки статуса
 Производительности
– Производительность ODI компонент
21
Copyright © 2014, Oracle and/or its affiliates. All rights reserved.
Интеграция между GoldenGate и ODI 12c
 Включаем GoldenGate Journalizing на
интерфейсы без реструктуризации
 Управляем GoldenGate
экземплярами Capture/Delivery в
ODI Topology
Bulk Load Scenario
Real Time Scenario
 Устанавливаем основные параметры
GoldenGate графически
 Развертывание процессов
GoldenGate Processes via ODI
Extract
22
Copyright © 2014, Oracle and/or its affiliates. All rights reserved.
Replicat
 Поддержка Real-Time и Bulk режима
из одного интерфейса
Oracle Data Integrator for Big Data
Heterogeneous Integration with Hadoop Environments
Oracle Data Integrator
Transforms
Loads
IKM File To Hive
(Load Data)
IKM SQL to HiveHBase-File (SQOOP)
IKM Hive Transform
IKM Hive Control Append
CKM Hive
RKM Hive
LKM HBase to Hive
IKM Hive to HBase
RKM Hbase
Loads
IKM File-Hive To Oracle
(OLH, OSCH)
IKM File-Hive to SQL
(SQOOP)
Red KMs: ODI 12.1.3
23
Copyright © 2014, Oracle and/or its affiliates. All rights reserved.
Запуск OWB 11.2 процессов из ODI 12c
 Новый технология ‘OWB Runtime
Repository’ доступна в Topology
 OWB процессы могут быть вызваны
с помощью инструмента
OdiStartOwbJob
 Информация аудита OWB доступна
в Operator, ODI Console и Enterprise
Manager
 Начато бета-тестирование утилиты
миграции OWB в ODI
24
Copyright © 2014, Oracle and/or its affiliates. All rights reserved.
OWB to ODI Migration Utility
Overview
 Versions supported
 OWB 11.2.0.4 to ODI 12c
 Design-time metadata migration only
 Data Objects
 Mappings
 Separate command line utility
 uses OWB SDK and ODI SDK
 3 different running modes: Run/Dry Run/Fast Check
 log and report files are available
25
Copyright © 2014, Oracle and/or its affiliates. All rights reserved.
26
Copyright © 2014, Oracle and/or its affiliates. All rights reserved.

Download Report