Managen von OVM Server SPARC mit dem VM Manager

Managen von OVM Server SPARC mit dem
VM Manager, OpsCenter oder VDCF?
DOAG Jahrestagung 18. November 2015
Roman Gächter
BASEL BERN BRUGG DÜSSELDORF
HAMBURG KOPENHAGEN LAUSANNE
FRANKFURT A.M. FREIBURG I.BR. GENF
MÜNCHEN STUTTGART WIEN ZÜRICH
Unser Unternehmen.
Trivadis ist führend bei der IT-Beratung, der Systemintegration, dem Solution
Engineering und der Erbringung von IT-Services mit Fokussierung auf
und
-Technologien in der Schweiz, Deutschland, Österreich und
Dänemark. Trivadis erbringt ihre Leistungen aus den strategischen Geschäftsfeldern:
Das Bild kann nicht angezeigt
werden. Dieser Computer verfügt
möglicherweise über zu wenig
Das Bild kann nicht angezeigt werden.
Dieser Computer verfügt
möglicherweise über zu wenig
Arbeitsspeicher, um das Bild zu
öffnen, oder das Bild ist beschädigt.
Starten Sie den Computer neu, und
öffnen Sie dann erneut die Datei.
Wenn weiterhin das rote x angezeigt
wird, müssen Sie das Bild
möglicherweise löschen und dann
erneut einfügen.
Das Bild kann nicht angezeigt werden.
Dieser Computer verfügt
möglicherweise über zu wenig
Arbeitsspeicher, um das Bild zu
öffnen, oder das Bild ist beschädigt.
Starten Sie den Computer neu, und
öffnen Sie dann erneut die Datei. Wenn
weiterhin das rote x angezeigt wird,
müssen Sie das Bild möglicherweise
löschen und dann erneut einfügen.
Das Bild kann nicht angezeigt werden.
Dieser Computer verfügt
möglicherweise über zu wenig
Arbeitsspeicher, um das Bild zu
öffnen, oder das Bild ist beschädigt.
Starten Sie den Computer neu, und
öffnen Sie dann erneut die Datei.
Wenn weiterhin das rote x angezeigt
wird, müssen Sie das Bild
möglicherweise löschen und dann
erneut einfügen.
BETRIEB
Trivadis Services übernimmt den korrespondierenden Betrieb Ihrer IT Systeme.
2
17/11/15
© Trivadis – Das Unternehmen
Das Bild kann nicht angezeigt werden. Dieser Computer verfügt möglicherweise über zu wenig Arbeitsspeicher, um das Bild zu
öffnen, oder das Bild ist beschädigt. Starten Sie den Computer neu, und öffnen Sie dann erneut die Datei. Wenn weiterhin das rote x
angezeigt wird, müssen Sie das Bild möglicherweise löschen und dann erneut einfügen.
Mit über 600 IT- und Fachexperten bei Ihnen vor Ort.
KOPENHAGEN
14 Trivadis Niederlassungen mit
über 600 Mitarbeitenden.
HAMBURG
Über 200 Service Level Agreements.
Mehr als 4'000 Trainingsteilnehmer.
Forschungs- und Entwicklungsbudget:
CHF 5.0 Mio.
DÜSSELDORF
FRANKFURT
Finanziell unabhängig und
nachhaltig profitabel.
STUTTGART
FREIBURG
GENF
3
BRUGG
BASEL ZÜRICH
BERN
LAUSANNE
17/11/15
MÜNCHEN
© Trivadis – Das Unternehmen
WIEN
Erfahrung aus mehr als 1'900 Projekten
pro Jahr bei über 800 Kunden.
Agenda
1. 
2. 
3. 
4. 
5. 
6. 
7. 
8. 
17/
11/
15
Ausgangslage
Bewertungskriterien
Test Scenario
Oracle VM Manager
1. Erster Eindruck
2. Setup
3. Tests
4. Zusammenfassung
Oracle Enterprise Manager OpsCenter
VDCF
Solaris Bordmittel
Fazit
4
Managen des SPARC Hypervisors
Ausgangslage
5
17/11/15
Managen des SPARC Hypervisors
Ausgangslage
Neue HW für Test- und Entwicklungs-Umgebung
6
17/11/15
Managen des SPARC Hypervisors
Ausgangslage
Kriterien zu Bewertung I
  Support unserer Architektur
–  mit aktuellen Versionen von Solaris und VM-Server
–  Support von aktuellem VM Manager in Kombination mit VM-Server X86
  Schmerzfreie Übernahme unserer bestehenden Konfiguration
  HW Monitoring der SPARC T4 Systeme
  Konfigurationsmanagement des SPARC Hypervisors
  Konfigurationsmanagement von Solaris Zonen
  Optimale Unterstützung des Netzwerkstacks im Hypervisor und in Solaris
7
17/11/15
Managen des SPARC Hypervisors
Ausgangslage
Kriterien zu Bewertung II
Provisioning von Solaris und Solaris Zonen
  Solaris Updates / Patching
  Unterstützung unseres Betriebskonzeptes
–  Migration von Zonen / LDoms von einer HW auf die andere
  Monitoring von LDoms, Zonen und Solaris
  Einfaches Setup und Bedienbarkeit der Tools
  Die Installation und das Setup dürfen nicht zu viel Zeit in Anspruch nehmen
8
17/11/15
Managen des SPARC Hypervisors
Trivadis Technology Center
Test Scenario
9
17/11/15
Managen des SPARC Hypervisors
Oracle VM Manager
10
17/11/15
Managen des SPARC Hypervisors
VM Manager
11
17/11/15
Managen des SPARC Hypervisors
VM Manager
Erster Eindruck
  Start mit „factory default“ LDom Konfiguration
  OVM Server Cluster
–  Repository nur auf NFS Share
–  OCFS2 nur auf Oracle Linux
12
17/11/15
Managen des SPARC Hypervisors
VM Manager
Setup
  Controller Domain
–  OVM Server SPARC ist Bestandteil von Solaris 11
•  Agent für VM Manager notwendig
–  Start mit „factory default“ LDom Konfiguration
–  Start mit „DefaultFixed network configuration profile“
  VM Manager
–  Installation auf Oracle Linux 6.6
# ./runInstaller.sh
13
17/11/15
Managen des SPARC Hypervisors
VM Manager
Konfiguration
  Ablauf der Konfiguration
14
17/11/15
Managen des SPARC Hypervisors
VM Manager
Konfiguration
  Beispiel Link Aggregation
–  Aggregate
•  Trunk
–  Active Passive
•  Datalink Multipathing
root@germany:~# dladm show-aggr
LINK
MODE POLICY
bond2
trunk L4
15
17/11/15
Managen des SPARC Hypervisors
bond2
ADDRPOLICY
auto
LACPACTIVITY LACPTIMER
off
short
VM Manager
Konfiguration
  Netz auf Hypervisor
16
17/11/15
Managen des SPARC Hypervisors
VM Manager
Konfiguration
  Aggregate auf „primary“ und Vnic auf „guest“ LDom
VSW
NAME
MAC
NET-DEV
DEFAULT-VLAN-ID PVID VID
MTU
109d7b930a
00:14:4f:fa:04:65 bond2
3
NETWORK
NAME
MODE
PVID VID
net1
17
17/11/15
SERVICE
MTU
109d7b930a@primary
Managen des SPARC Hypervisors
MAXBW
1
ID
DEVICE
LINKPROP
MODE
INTER-VNET-LINK
switch@3
ID
DEVICE
MAC
LINKPROP
network@1 00:21:f6:35:c7:d2
VM Manager
Konfiguration
  OVM und ldm gleichzeitig Nutzen?
root@germany:~# ldm ls
NAME
STATE
FLAGS
CONS
UPTIME
primary
active
-n-cv- UART
178d 16h
0004fb0000060000197290a3cbf76ceb bound
0004fb0000060000884c234f09cbd28a active
4.2% 4.2% 65d 23h 32m
0004fb0000060000d9c14aa91a80264a active
1.6% 1.6% 9d 23h 25m
18
17/11/15
Managen des SPARC Hypervisors
VCPU
MEMORY
UTIL
NORM
8
8G
1.3%
1.3%
------n----
5005
5000
2
2
8G
12G
-n----
5002
3
16G
VM Manager
Getestet
  Repository auf NFS Share
–  „live migration“ geht
  Disks hinzufügen (vdisk, lokal)
  Netzwerk
–  Bond Ports
•  „link aggregation“
Install Guest LDom mit Template
  Klonen von LDoms
19
17/11/15
Managen des SPARC Hypervisors
VM Manager
Bemerkungen
  Solaris Zonen
–  Kennt er nicht
  SAN LUN‘s für Cluster
–  Nicht unterstützt
  Klonen
–  Guest Domain muss runtergefahren werden
20
17/11/15
Managen des SPARC Hypervisors
VM Manager
Bemerkungen
Vnics über Vnet für Zonen
–  Wie mit VM Manager?
21
17/11/15
Managen des SPARC Hypervisors
VM Manager
Bemerkungen
  Keine alternativen mac‘s über VM Manager?
–  Achtung, nicht von Hand mit ldm machen!!!
•  (ldm set-vnet alt-mac-addrs=auto,auto,auto,auto,auto vnet0 bern)
NETWORK
NAME
MODE
PVID VID
vnet0
1
SERVICE
ID
DEVICE
MTU
MAXBW
LINKPROP
management-vsw0@primary
0
network@0
1500
phys-state
MAC
00:14:4f:fb:e0:6e
00:14:4f:f8:22:5a
00:14:4f:f8:c3:c0
00:14:4f:fb:41:42
00:14:4f:f9:46:b3
00:14:4f:f8:6b:a8
22
17/11/15
Managen des SPARC Hypervisors
VM Manager
Bemerkungen
  Keine manuellen Änderungen in der Ldom Konfiguration
rga@MacBook:~$ ssh -l root germany.ttc.trivadis.com
Last login: Sun Nov 15 19:28:31 2015 from 172.16.134.3
Oracle Corporation
SunOS 5.11
11.2
June 2014
This server is configured with the Oracle VM Agent. It has a specific
configuration where LDoms virtual I/Os are disabled while Oracle VM
Agent services have not been online.
To unconfigure the Oracle VM Agent and restore the regular behavior of
LDoms virtual I/Os, refer to the Oracle VM Installation and Upgrade
Guide, or read the /README.OVM_UNINSTALL file
Warning: making manual modifications in the management domain
might cause inconsistencies between Oracle VM Manager and the server.
23
17/11/15
Managen des SPARC Hypervisors
VM Manager
Resultate VM Manger
24
17/11/15
Managen des SPARC Hypervisors
Oracle Enterprise Manager
OpsCenter
25
17/11/15
Managen des SPARC Hypervisors
OpsCenter
Übersicht
26
17/11/15
Managen des SPARC Hypervisors
OpsCenter
Architektur
27
17/11/15
Managen des SPARC Hypervisors
OpsCenter
Erster Eindruck
  Aktuelle Versionen?
–  OpsCenter 12c Release 3 (12.3)
–  OVM 3.3 nicht unterstützt gemäss Support Matrix
–  Oracle VM Server SPARC 3.2
–  Oracle Virtual Machine X86 v3.0.x, 3.1.x and 3.2.x
28
17/11/15
Managen des SPARC Hypervisors
OpsCenter
Setup
  Setup im Prinzip ok
–  Script für prüfen der Requirements
–  Script für Setup
  Installation
–  „discovery“ über bestehenden VM Manager
–  Zusätzliche Agenten auf „guest domains“
  Fehlermeldungen
–  Schwierig zu verstehen
29
17/11/15
Managen des SPARC Hypervisors
OpsCenter
Was ging schief?
30
17/11/15
Managen des SPARC Hypervisors
OpsCenter
Zu wenig Rechte vergeben
31
17/11/15
Managen des SPARC Hypervisors
OpsCenter
HW Monitoring
32
17/11/15
Managen des SPARC Hypervisors
OpsCenter
HW Monitoring
33
17/11/15
Managen des SPARC Hypervisors
OpsCenter
HW Monitoring
34
17/11/15
Managen des SPARC Hypervisors
OpsCenter
Monitoring
Viele Policies vorhanden
35
17/11/15
Managen des SPARC Hypervisors
OpsCenter
Provisioning
  Solaris Zonen
–  kryptische Namen
root@opsvm1:~# zoneadm list -cv
ID NAME
STATUS
PATH
BRAND
IP
0 global
running
/
solaris
shared
- opsZ2-migrated
unavailable /var/mnt/oc-zpools/a205877f-59e4-47f3-8b39ee1c3bc14608/3e52240f-df9a-4035-903b-0c334cb8e110 solaris
excl
LDoms
–  Nicht durchgeführt weil inkompatibel mit neuster OVM Server SPARC Version
36
17/11/15
Managen des SPARC Hypervisors
OpsCenter
Zonen Migration
  Server Pool mit shared Storage
09/28/2015 03:26:12 PM CEST INFO Waiting for opsZ2 to complete shutdown (72063)
09/28/2015 03:37:42 PM CEST INFO Zone opsZ2 forcibly shutdown (72065)
37
17/11/15
Managen des SPARC Hypervisors
OpsCenter
Update
Schönes GUI
  Nachher Probleme
38
17/11/15
Managen des SPARC Hypervisors
OpsCenter
Zusammenarbeit mit VM Manager
  Kann in Kombination verwendet werden
  Konfiguration wird übernommen
Locking Mechanismus
39
17/11/15
Managen des SPARC Hypervisors
OpsCenter
Resultate
40
17/11/15
Managen des SPARC Hypervisors
VDCF
41
17/11/15
Managen des SPARC Hypervisors
VDCF
Übersicht
42
17/11/15
Managen des SPARC Hypervisors
VDCF
Erster Eindruck
  Kommerzielles Produkt
  Free Version
–  Anzahl Nodes beschränkt auf 5
  Kein GUI aber top Command Line Interface
  Einfache Architektur
–  Management Server
–  Client SW, SSH Schnittstellen
–  Proxy Server bei Bedarf
43
17/11/15
Managen des SPARC Hypervisors
VDCF
Installation
  Einfach
–  SW Komponenten als Solaris Pakete installieren
  Zentrale Konfigurationsdatei für den Start
  User mit SSH Keys sowie RBAC Konfiguration
  Command Line Interface
–  Jedes Command hat gute Hilfe Funktion
44
17/11/15
Managen des SPARC Hypervisors
VDCF
Übernahme unserer Umgebung
  „discover“ der bestehenden Umgebung
nodecfg -c discover nonroot hostname=germany.ttc.trivadis.com
name=germany add
Exclude SAN LUN‘s
diskadm -c show
diskadm -c mark name=60002AC0000000000000006B0000D140 foreign
45
17/11/15
Managen des SPARC Hypervisors
VDCF
Deployment
  Setup von AI und Repositories mit ipsadm
ipsadm -c show_repo
ipsadm -c show_build
ipsadm -c create_service patchlevel=2.14 platform=sparc name=sparc_214
ipsadm -c create_build name=sparc_214 patchlevel=2.14 service=sparc_214
46
17/11/15
Managen des SPARC Hypervisors
VDCF
Deployment
LDoms
gdom -c
diskadm
gdom -c
gdom -c
gdom -c
node -c
47
create name=davos cdom=switzerland cores=2 ram=4G comment="Davos LDOM“
-c mark name=60002AC0000000000000006E0000D140 useable
adddisk name=davos type=root guids=60002AC0000000000000006E0000d140
addnet name=davos ipaddr=davos.ttc.trivadis.com netmask=255.255.254.0
commit name=davos
enable_install name=davos build=sparc_t4_21
17/11/15
Managen des SPARC Hypervisors
VDCF
Deployment
  Zonen
vserver -c create name=owl node=davos
vserver -c addnet name=owl type=managment ipaddr=owl.ttc.trivadis.com \
stack=exclusive
dataset -c create name=rpool vserver=owl \
layout=60002AC0000000000000006C0000D140d0
vserver -c addfs type=root name=owl
vserver -c commit name=owl
server -c boot name=owl
48
17/11/15
Managen des SPARC Hypervisors
VDCF
Migration von LDoms und Zonen
LDoms
cdom
gdom
gdom
gdom
-c
-c
-c
-c
show
show
show name=davos candidates
migrate name=davos cdom=germany
  Zonen
49
node -c
gdom -c
vserver
vserver
show
show
-c show name=raven candidates
-c migrate name=raven node=bonn
17/11/15
Managen des SPARC Hypervisors
VDCF
Monitoring
  HW
hwmon -c show
Current Hardware State
Node Model
State Last Change
Last Update
germany ORCL,SPARC-T4-1
2015-10-21 15:03:39 2015-10-21 15:03:39
switzerland ORCL,SPARC-T4-1
2015-10-21 15:03:39 2015-10-21 15:03:39
osmon
osmon -c show
No critical osmon data found
50
17/11/15
Managen des SPARC Hypervisors
Console
Monitoring
ILOM
Soft State
HW
OS-RUN
OK
OS-RUN
OK
ON
ILOM
ON
VDCF
Monitoring
osmon
osmon -c show_fs
[ over=<percent> ]
[ summary ]
[ root ]
osmon -c show_smf
[ state="state1,state2,state3" ]
[ search=<smf name> ]
[ server=<server name> ]
osmon -c show_dataset [ over=<percent> ]
[ summary ]
[ root | dataset ]
osmon -c show_server
server=<server name>
[ all ]
osmon -c summary
[ server=<server name> ]
51
17/11/15
Managen des SPARC Hypervisors
VDCF
Monitoring
  Ressourcen
rcmon
rcmon
rcmon
rcmon
52
17/11/15
-c
-c
-c
-c
show server=bern cpu hourly
show server=davos memory daily
summary node=davos
summary vserver=raven
Managen des SPARC Hypervisors
VDCF
Resultate
53
17/11/15
Managen des SPARC Hypervisors
Solaris Bordmittel
Eigene Tools bilden
  Solaris Bordmitteln
–  „ldm commands“
–  „zonecfg commands“
–  „zoneadm commands“
–  Eigene Scripts
  Puppet Ressource
–  Zonen
54
17/11/15
Managen des SPARC Hypervisors
Fazit
55
17/11/15
Managen des SPARC Hypervisors
Fazit
Gegenüberstellung der Tools
  VM Manager
–  Noch nicht ausgereift
–  Limitationen
OpsCenter
–  Top für Monitoring
–  Kompliziertes Setup für Virtualisierungs- und Solaris Komponenten
–  Oracle Support einplanen
–  Unterstützt aktuelle Version VM Manager nicht
56
17/11/15
Managen des SPARC Hypervisors
Fazit
Gegenüberstellung der Tools
  VDCF
–  Kommerzielles Tool
–  Free Version mit limitierten Nodes
–  Setup sehr einfach
–  Kein GUI
–  Top Command Line Interface
–  Erfüllt alle unsere Anforderungen
57
17/11/15
Managen des SPARC Hypervisors
Roman Gächter
Principal Consultant
[email protected]
58
17/11/15
Managen des SPARC Hypervisors
Trivadis an der DOAG 2015
Ebene 3 - gleich neben der Rolltreppe
Wir freuen uns auf Ihren Besuch.
Denn mit Trivadis gewinnen Sie immer.
59
17/11/15
Managen des SPARC Hypervisors