X5 – die fünfte Generation Engineered Systems

X5 – die fünfte Generation
Engineered Systems
Ingo Frobenius
Systems Consultant
Tech Data Azlan
•  Gegründet 1990 als Workstation 2000
•  2000 Umbenennung von Workstation 2000 in TD Midrange
•  2006 Zusammenführung TD Midrange und Azlan in den
Value Added Geschäftsbereich Azlan
•  Firmensitz D: München
Firmensitz Tech Data, München
•  Teil des finanzstarken Tech Data Konzerns (Fortune 500: Rang 109)
•  Umsatz TechData weltweit: ca. 27,7 Milliarden US $ FY 2015
•  Anzahl Mitarbeiter in Deutschland: 150
•  Kunden: >3800 Vertriebspartner (D/A/CH)
•  Produktportfolio der weltweit führenden Hersteller im Midrange und Enterprise Solution Umfeld
Sprichst Du über Engineered Systems....
.... sprichst Du über den Red Stack
3
Google
4
Oracle Red Stack
Software und Hardware aus einer Hand
5
Oracle Engineered Systems
Big
Data
Appliance
Exalytics
SPARC
Supercluster
Virtual
Compute
Appliance
Exalogic
ZDLRA
ZFS
Filer
Exadata
Oracle
Database
Appliance
6
Oracle Engineered Systems
Big
Data
Appliance
Exalytics
SPARC
Supercluster
Virtual
Compute
Appliance
Exalogic
ZDLRA
ZFS
Filer
Exadata
Oracle
Database
Appliance
7
Oracle Engineered Systems
Big
Data
Appliance
Exalytics
SPARC
Supercluster
Virtual
Compute
Appliance
Exalogic
ZDLRA
ZFS
Filer
Exadata
Oracle
Database
Appliance
8
Oracle Engineered Systems
Big
Data
Appliance
Exalytics
SPARC
Supercluster
Virtual
Compute
Appliance
Exalogic
ZDLRA
ZFS
Filer
Exadata
Oracle
Database
Appliance
9
X5 Server
Fünfte X86 Servergeneration seit der Übernahme von Sun durch Oracle
Die Building-Blocks für Oracles Engineered Systems
Quelle: Wikimedia Commons, Allgemeinfrei
10
Oracle folgt der Intel Roadmap
Tack = Neuer Core
Tick = Kleinere Struktur
EP 2 Sockel (E5-2600)
Sandy Bridge
Ivy Bridge
Haswell
Broadwell
Skylake
Tack
Tick
Tack
Tick
Tack
Sun Server X3-2
Sun Server X4-2
Oracle Server X5-2
Oracle Server X6-2
X5-2
X5-2L
11
Oracle Server X7-2
Oracle‘s x86 Fokus
•  Nur Server mit Enterprise Features
–  Maximale RAS Features
–  Sehr großer Hauptspeicherausbau
•  Formfaktor:
–  2 Sockel, 1 RU und 2 RU
–  4 Sockel, 3 RU
–  8 Sockel, 5 RU
12
Oracle Server X5-2 / X5-2L
Haswell CPU
Compute
• 1 oder 2 E5-2600 v3 Prozessoren
mit 8, 10, 12 oder 18 Cores
• 24 DDR4-2133 Dimms
768 GB RAM mit 32GB LR DDR4-2133 DIMMs
I/O
• PCIe Gen3 Slots
• Kombination aus HDD, SSD und NVMe SSD
Verfügbarkeit
• HDD, SSD und NVMe sind hot-swappable
• Hardware RAID 0, 1, 5, 6, 10, 50, 60
• Redundante Netzteile
• Hot-swappable Lüfter
Management
• Oracle Integrated Lights Out Manager (Oracle ILOM)
• Dediziertes oder Sideband Management Netzwerk
13
NVMe
•  Non Volatile Memory Express
•  Neuer Standard zum Anschluss von
Flash PCI-Karten und SSDs
14
NVMe im Unterschied zu SAS
Herkömmliche SSD
Memory
PCIe
Root
Complex
PCIe
SAS
12 Gb/sec
SAS3
SAS3
to Flash
Controller
Controller
Oracle Server X5-2 or X5-2L
Flash
Flash
Flash
Flash
Flash
Flash
Flash
Flash
Standard SSD
NVMe SSD
32 Gb/sec
PCIe Gen3
(4 lanes)
Memory
PCIe
Root
Complex
Oracle Server X5-2 or X5-2L
Bis zu 2.6 mal mehr Durchsatz bei der NVMe Lösung
15
PCIe
to Flash
Controller
Flash
Flash
Flash
Flash
Flash
Flash
Flash
Flash
NVM Express SSD
NVMe in Oracle Produkten
•  PCIe Karten
–  F160 Karten
• 
1.6TB Flash
–  1.6TB NVMe SSDs
• 
1.6TB Flash im 2.5‘‘ SSD Format
•  Support
–  Oracle Linux
–  Oracle Solaris
•  Derzeit kein Support mit OVM
•  Falls NVMe SSDs in einem X5-Server eingesetzt werden sollen, so
ist dies bei Neubeschaffung anzugeben!
–  Einbau einer Adapterkarte
16
NVMe Steckplätze X5-2 und 8-bay X5-2L
17
Vorsicht bei der X5-2L mit 24 Steckplätzen
SLOT%22%
%
SLOT%23%
%
SLOT 21
SLOT%17%
%
SLOT%18%
%
SLOT%19%
%
SLOT 20
SLOT 16
SLOT 15
SLOT 14
SLOT 13
SLOT 12
SLOT 11
SLOT 10
SLOT 9
SLOT 8
SLOT 7
SLOT 6
SLOT 5
SLOT 4
SLOT 3
SLOT 2
SLOT 1
SLOT 0
Standard X5-2L mit 24 + 2 Steckplätzen
NVMe Slots
Für die Exadata gibt es eine spezielle modifizierte Variante mit 8 NVMe Steckplätzen
18
Exadata X5-2
19
Neue Building Blocks
•  X5-2 als Compute Nodes mit
je 2 x 18 Core CPUs
•  256 GB aufrüstbar auf 768GB
(pro Knoten)
•  X5-2L mit 8 x 1.6TB NVMe
SSDs für die EF-Variante
(Extreme Flash)
•  Keine PCIe Flash Karten
•  X5-2L mit 12 x 4TB Disks für
die HC-Variante (High
Capacity)
•  4 x PCIe NVMe Flash Karten
mit je 1.6TB
20
Freie Konfigurationen
•  Start mit ¼ Exadata
X5-2 Quarter Rack
X5-2 Databank Server
–  2 DB-Server
–  3 Storage Knoten
X5-2 Storage Server
Extreme Flash
Extreme Flash
• 
High Capacity
•  Beliebiges Hinzufügen
von Datenbank oder
Storage Servern
EF
High Capacity
HC
• 
•  Weiterhin fixe
Konfigurationen verfügbar
•  Capacity-on-Demand für
Maximal 22 Server oder 38U Servers
21
alle fixen Konfigurationen
Workload optimierte Exadata Konfigurationen
Data Warehousing
Machine
Extreme Flash
OLTP Machine
DB In-Memory
Machine
288 DB Cores
13.3 TB RAM
2 TB RAM
224 Storage
Cores
32 TB Flash
102 TB Flash
90 TB Flash
240 TB Disk
16 Datenbank Server +
5 High Capacity Storage
Server
22
288 DB Cores
576 DB Cores
672 TB Disk
8 Datenbank Server +
8 Extreme Flash Storage
Server
8 Datenbank Server +
14 High Capacity Storage
Server
Weitere Verbesserungen
•  Alle Festplattencontroller in den Knoten sind nicht mehr
Batterie-abgesichert
–  Absicherung ab sofort durch wartungsfreien Super Cap
•  Infinibandkarten laufen im Active-Active Modus
–  Bei den Dual-Port Karten ist eine (theoretische)
Bandbreite von 80GB möglich
–  Doppelte Anzahl privater IP Adressen notwendig
–  Bei Ausfall eines Ports läuft alles über den verbliebenen Port
–  Nur supported in neuen X5-2 Exadatas
23
Ebenfalls verbessert mit X5-Storage Servern
Exadata Storage Expansion
–  Spezielles Rack nur mit
Exadata Storage Servern
–  4 to 19 X5-2 Storage Server
24
– 
– 
– 
– 
X4-8 Database Machine
2 to 4 8-Sockel Xeon DB Server
DB Server mit 2TB bis 6TB RAM
3 bis 14 X5-2 Storage Server
High End In-Memory DB
SuperCluster
–  2 8-Sockel Sparc T-5 DB Server
–  4 bis 8 X5-2 Storage Server
–  ZFS Storage und Solaris
Virtualisierung zur Applikations
Konsolidierung
ZDLRA
•  Zero Data Loss Recovery Appliance
•  Redo Transport in Echtzeit
–  Redo Logs werden aus dem Hauptspeicher
der Produktiv DB gelesen (geringer Overhead)
•  Online Inkrement Backups
•  Schutz vor Bedienfehlern
•  Anschluss von Tapelibraries möglich
•  Positioniert für Oracle DB Installationen
25
ZDLRA
ZDLRA
•  Basiert auf Exadata HC Komponenten
–  Compute Server X5-2
• 
2 x 18 Core E5-2699v3
• 
256 GB DDR4 Speicher
–  Storage Server X5-2L
26
• 
2 x 8 Core E5-2630v3
• 
12 x 4TB Festplatten
Virtual Compute Appliance
27
Virtual Compute Appliance
•  General Purpose Maschine für den Betrieb von
Applikationen in virtuellen Maschinen
•  Fertiges System
•  Einfache Bedienoberfläche
•  Minimaler Setup Aufwand
•  Reduziert Risiken bei der Einführung neuer
Infrastruktur
•  Bereitstellung von Anwendungen mit vorgefertigten
Templates
•  Vollständige Virtualisierung inklusive SDN
http://www.oracle.com/technetwork/server-storage/vm/overview/templates-101937.html
28
Virtual Compute Appliance
•  Neue X5-2 Compute Server
–  Voraussichtlich mit je 2 CPU a 18 Cores und 256GB RAM
•  Derzeit kein NVMe Support
–  NVMe werden vom Oracle Hypervisor nicht supported
•  Ideale Plattform für virtualiserte Umgebungen
–  Kunde möchte viele kleine Oracle Datenbanken in VMs betreiben
–  Applikationsserver
–  vorgefertigte Images von Oracle vorhanden
•  Interne Infinibandverbindung
29
30
Exalogic Elastic Cloud
Exalogic Elastic Cloud
•  Hochperformante Plattform für Middleware und Applikationen in
einer Privat-Cloud-Umgebung
•  Integrierter NAS-Filer
–  ZS3-2
•  Neue Compute-Nodes in der Maschine
–  Je 2 mal 18 Core Haswell Prozessoren
–  256 GB DDR4 RAM
–  400 GB SAS-3 SSDs
31
Big Data Appliance
Big Data Appliance
•  Vorgefertigtes System für Big Data Anwendungen
•  Hardware:
–  Bis zu 18 X5-2L Server
–  12 x 4TB Festplatten
–  128GB RAM, erweiterbar auf 768GB pro Knoten
•  Betriebssystem: Oracle Linux
•  Oracle Java JDK
•  Cloudera Softwarestack:
–  Hadoop (verteilte, parallele Java Applikationen)
–  Impala (Parallele SQL Engine für Hadoop)
–  HBase (Verteilter Storage)
–  .....
33
Oracle Database Appliance
34
Was ist die Oracle Database Appliance?
•  Engineered System
–  Oracle Datenbank
–  Applikationen, die auf Oracle DB aufbauen
•  Einfachste Bereitstellung und Administration
•  Hochverfügbar
•  Capacity On Demand
–  Man kauft nur die Lizenzen, die man wirklich braucht
35
Oracle Database Appliance X5-2
•  2 Server jeweils mit
–  2 Intel E5-2699 CPUs mit je 18 Cores (2.3GHz)
–  Je Server 256GB Hauptspeicher
• 
Erweiterbar auf 768GB (je Server)
–  Redundanter Infiniband Interconnect
–  10 GbE Netzwerk (Kupfer)
•  Neuer Storage Shelf
–  800GB Flash für Log-Dateien
• 
4 x 200GB schreiboptimierte SSD
–  1,6TB Flash als Flash-Cache
• 
4 x 400GB leseoptimierte SSD
–  64TB Festplattenkapazität
• 
36
16 x 4 TB Disks
Kein Single Point of Failure
Infiniband
Node 0
•  Jeder Knoten mit
2 HBAs
•  Zwei IO Module
im Storage
•  Redundante Netzteile
in den Systemen
37
HBA
Node 1
HBA
HBA
HBA
IO Module
IO Module
P0
P1
Slot 20
Slot 21
Slot 22
Slot 23
Slot 16
Slot 17
Slot 18
Slot 19
Slot 12
Slot 13
Slot 14
Slot 15
Slot 8
Slot 9
Slot 10
Slot 11
Slot 4
Slot 5
Slot 6
Slot 7
Slot 0
Slot 1
Slot 2
Slot 3
Verkabelung
38
Darf‘s a bisserl mehr sein?
•  Zweiter Storage Shelf ebenfalls mit
–  800 GB SSD Log File
–  1.6 TB SSD Flash Cache
–  64 TB Festplatte
•  Administrationsfreier Anschluss
–  Automatische Integration
–  Daten werden automatisch
zwischen den Shelfs verteilt
–  Hot-plug Anschluss
–  Ohne Datenbank Downtime
39
Verkabelung
40
Besonderheiten
•  Kein NVMe Support in der Oracle Database Appliance
–  NVMe ist mit OVM nicht supported
–  OVM ist die Virtualisierungssoftware für die ODA
•  10 GbE standardmäßig nur über Kupferkabel (Cat 6)
–  10 GbE optisch möglich
–  Verlust der Infinibandverbindung der Server
–  Infinibandkabel gut für In-Memory-Option
•  Die Infinibandkabel nicht scharf knicken!!!!!!
41
Netzwerkanschlüsse
External 10GBase-T net 3 (bond1)
External 10GBase-T net 2 (bond1)
Interconnect Port IB 1 (ibbond0)
Interconnect Port IB 2 (ibbond0)
42
External 10GBase-T net 1 (bond0)
External 10GBase-T net 0 (bond0)
Processor
Node
Sockets/node
Cores / node (total)
ODA V1 – Oct 2011
ODA X3-2 – Mar 2013
ODA X4-2 – Dec 2013
ODA X5-2 – Feb 2015
Intel X5675
Intel E5-2690
Intel E5-2697 V2
Intel Xeon E5-2699 V3
processors
Built-in (X4370 M2)
X3-2
X4-2
X5-2
2
2
2
2
12(24)
16(32)
24(48)
36(72)
Max Memory / node
(total)
96GB (192GB)
256GB (512GB)
256GB (512GB)
256GB, upgradeable to
768
Boot disks (Free space)
500GB (250GB)
600GB (350GB)
600GB (350GB)
600GB (350GB)
Networking
6 x 1GbE NICs
2 x 10GbE fiber
NICs
4 x 10GbE Copper NICs
4 x 10GbE Copper NICs
(opt public fiber interface)
4 x 10GbE Copper NICs
(opt public fiber interface)
2 x 1RU servers &
1 x 2RU disk shelf
2 x 1RU servers &
1 x 2RU disk shelf
2 x 1RU servers &
1 x 4RU disk shelf
Form Factor/RU
Shared Storage
43
Storage Expansion
Single 4U chassis
292GB SSDs
12TB SAS raw
800GB SSDs
18TB SAS raw
800GB SSDs
18TB SAS raw
800GB SSD – REDO
1.6TB SSD – ODA Cache
64TB SAS raw
N/A
Additional Storage Shelf
Additional Storage Shelf
Additional Storage Shelf
Preisvergleich ODA X4-2 versus X5-2
•  ODA X4-2
•  ODA X5-2
–  52.158,00€ Liste
–  59.104,00€ Liste
–  48 Cores
–  72 Cores
–  2 x 256GB RAM
–  18 TB Storage
–  2 x 256GB RAM (aufrüstbar
auf 768GB)
–  800 GB Log Flash
–  64 TB Storage
–  800 GB Log Flash
–  1.6 TB ODA Flash Cache
–  Infiniband Interconnect
44
ODA als Datenbankplattform
•  Einfachste Installation
•  Betrieb als Single Node, RAC oder RAC One-Node
–  11gR2 und 12.1.0.2 (In-Memory Option)
•  Inbetriebnahme in ca 1 – 2 Stunden
•  „One-Button“ – Patch
einfach
genial
–  Über CLI des Appliance Managers
–  Ein Kommando für alles
• 
oakcli
•  Ideal für alle Kunden, die keine dedizierte IT Abteilung besitzen
•  Für Aussenstandorte / Filialen
•  Die ODA ist optimiert für einfachste Administration
•  Für maximale Performance nimmt man die Exadata
45
Betriebsmodus „Bare Metal“ (Factory Default)
Optimiert für reinen Datenbankbetrieb
Knoten 0
Oracle Datenbank
Grid Infrastructure
•  Clusterware
•  ASM
•  ACFS
•  Oracle Linux
•  Appliance Manager
46
Knoten 1
Oracle Datenbank
Grid Infrastructure
•  Clusterware
•  ASM
•  ACFS
•  Oracle Linux
•  Appliance Manager
Betriebsmodus „Virtualisiert“ (Reimage notwendig)
Optimiert für den Betrieb von Datenbank UND Applikationen
Knoten 0
Knoten 1
Gast Domain
Gast Domain
Gast Domain
Gast Domain
ODA Base
DOM0
VM Storage
Repository
47
Oracle DB
Grid Infrastructure
•  Clusterware
•  ASM
•  ACFS
Appliance Manager
ODA Base
DOM0
VM Storage
Repository
Oracle DB
Grid Infrastructure
•  Clusterware
•  ASM
•  ACFS
Appliance Manager
Virtualisierte Plattform Spezifika
•  Dom0
–  Default Domain nach Reimaging
–  Zum Bootstrappen des gesamten Systems
•  ODA Base
–  Privilligierte VM für die Datenbank
–  Fast gleich Geschwindigkeit wie bei einer Bare-Metal Installation
–  Aufsetzen als Single-Instance, RAC oder RAC One-Node
•  Gast Domains
–  VM für Applikationen, Middle Tier Frameworks etc.
–  Unterstützt Oracle VM Templates
–  Support für VM Auto-Restart und Failover
48
ODA als Applikations Plattform
•  Alle Tiers auf einer Plattform
•  Solution-in-a-box
–  Oracle Applications
• 
JD Edwards, E-Business Suite,
PeopleSoft, Weblogic....
–  ISV Applications
• 
O-Box, Temenos
–  Selbstentwickelte Applikationen
49
EBusiness
JD
Edwards
People
Soft
Enterprise
Manager
ISV
Apps
Lizensierung
•  Capacity-on-Demand
–  Lizensiere nur das, was Du brauchst
–  Kleinste Datenbank mit 2 Cores pro Knoten
• 
2 x Oracle DB Enterprise Edition
• 
2 x Oracle RAC
•  Geht auch Standard Edition?
–  Im Prinzip ja, aber
50
• 
man verliert die einfache Administration
• 
man verliert den Support
Blickwinkel
Was der Buchhalter sieht
Enterprise Edition
Standard Edition
Lizenzen bei der ODA
36 CPU Lizenzen DB EE = 1.484.640€
36 CPU Lizenzen RAC = 718.884€
Lizenzen bei der ODA
4 CPU Lizenzen DB SE = 60.776€
Total = 2.203.524€
2 Server, 2 Sockets pro Server, 18 Cores pro Socket
Oracle DB EE: 41.240€ Prozessor Lizenz
Oracle RAC:
19.969€ Prozessor Lizenz
Oracle DB SE: 15.194€ Prozessor Lizenz
51
Testszenario
•  2 DB Server mit je 2 x 6 CPU Cores aktiv
•  DW Star Schema mit zentraler ordersfact-Tabelle
departments
departmentid
departmentname
middepartmentid
middepartmentname
subdepartmentid
subdepartmentname
salespersonid
salespersonname
supervisorid
regionid
regionname
time
timeid
year
quarter
month
day
weekday
weekno
timeid2
52
varchar2(20)
varchar2(80)
varchar2(20)
varchar2(80)
varchar2(20)
varchar2(80)
varchar2(20)
varchar2(80)
varchar2(20)
varchar2(6)
varchar2(30)
varchar2(8)
number
varchar2(2)
number
number
number
number
date
ordersfact
orderid
departmentid
department_regionid
buyerid
buyer_regionid
salespersonid
productid
timeid
amount
units
costs
planamount
planunits
varchar2(8)
varchar2(20)
number
varchar2(20)
varchar2(20)
varchar2(20)
varchar2(8)
varchar2(20)
varchar2(8)
number
number
varchar2(20)
varchar2(6)
buyers
buyerid
buyername
regionid
regionname
salespersonid
salespersonname
offrate
varchar2(20)
varchar2(20)
varchar2(8)
number
number
varchar2(20)
varchar2(20)
products
productid
productname
categoryid
categoryname
midcatagoryid
midcategoryname
subcategoryid
subcategoryname
listprice
varchar2(8)
number
number
varchar2(80)
varchar2(20)
varchar2(80)
varchar2(20)
varchar2(80)
number
Testszenario - Datenvolumen
Departments
11.220 Zeilen
Buyers
500.000
Ordersfact
1.000.000.000 Zeilen
(1M Zeilen x 28 Tage x 36 Monate)
108 GB
Time
1095 Zeilen
(365 Tage x 3 Jahre)
53
(3GB / Monat)
Products
10.000.000
Query
Die Performance wurde gemessen durch eine Abfrage, die die
„Top 10“ eines Monat der Tabelle „ordersfact“ und „buyers“
ermittelte.
select D1.c1 as c1, D1.c2 as c2
from (select D1.c2 as c1, D1.c1 as c2, case when D1.c2 is not null then Rank() OVER(
ORDER BY D1.c2 DESC NULLS LAST) end as c3
from (
select sum (T862.AMOUNT) as c1, T812.BUYERNAME as c2
from TIME T898, BUYERS T812, ORDERSFACT T892
where (T812.BUYERID = T862.BUYERID
and T862.TIMEID = T898.TIMEID
and T898.MONTH=? and T898.YEAR=? )
group by T812.BUYERNAME
where (D1.c3 <= 10)
oder by c2 desc;
http://www.oracle.com/partners/secure/engage-with-oracle/fwsd-oda-ee-vs-se-1888182.pdf
54
Testergebnis
Oracle Database Standard Edition (2 Server, je 6 Cores, RAC)
•  Nutzt nur 1 CPU pro Query
•  Keine Parallelisierung einer einzelnen Query
•  Antwortzeit: 208 Sekunden
55
Testergebnis
Oracle Database Enterprise Edition (1 Server, 2 Cores)
•  Oracle Database Enterprise Edition parallelisiert auch Queries
•  Antwortzeit: 87 Sekunden
•  Die Enterprise Edition ist hier 2,3 mal schneller
56
Testergebnis
Oracle Database Enterprise Edition (2 Server, je 2 Cores, RAC)
•  Oracle Database Enterprise Edition parallelisiert auch Queries
•  Antwortzeit: 53 Sekunden
•  Die Enterprise Edition ist hier 3,9 mal schneller als die Standard Edition
57
Vergleich
60.776€
250
208s
200
49.922€
150
122.418€
100
87s
53s
50
0
SE 72 Cores RAC (2 Server)
58
EE 2 Cores RAC One Node
EE RAC 4 Cores
Abschluss / Summary
•  ODA Deep-Dive:
https://apex.oracle.com/pls/apex/f?p=9520:32:::::P32_EVENT_ID:101380
•  Inspire IT Veranstaltung
http://www.inspireitcon.de
•  Fridays with Sohan Webcasts
http://www.oracle.com/partners/en/most-popular-resources/nadatabaseappliance-fridaysessions-1522340.html
• Azlan Webseite
http://go-and-grow.de
59
Fragen?
[email protected]