Qualitätssicherung im BI Lifecycle [Session D1] Uetliberg, 15.09.2015 www.boak.ch Das erwartet Sie in den kommenden 45 Minuten: AGENDA Warum Testing? Wo stehen wir heute? Arten von Tests Testing im BI/DWH Bereich Testing in Real Life Vorstellung TOSCA Testsuite TOSCA Commander Oberfläche/Bereiche Frontend-Testing mit TOSCA Ausblick Testing DWH / DB / ETL mit TOSCA 15.09.2015 Slide 2 Qualitätssicherung im BI Lifecycle 15.09.2015 Slide 3 Qualitätssicherung im BI Lifecycle WARUM TESTING? Wenn man einer Software zu 100% vertraut, gibt es zwei Ausgänge: 1. Man bekommt einen Freund fürs Leben 2. Man bekommt eine Lektion fürs Leben 15.09.2015 Slide 5 Qualitätssicherung im BI Lifecycle Integriertes Testing führt zu schnellerer Time-To-Production. MOVE TO PRODUCTION Entwicklung Abnahme Getestet? Getestet? 15.09.2015 Slide 6 Produktion Getestet? Qualitätssicherung im BI Lifecycle Integriertes Testing führt zu vollständiger Compliance. AUDIT / LEGAL / COMPLIANCE Entwicklung Abnahme Getestet? Getestet? 15.09.2015 Slide 7 Produktion Getestet? Qualitätssicherung im BI Lifecycle Integriertes Testing erhöht die Sicherheit. DATENSICHERHEIT / DATENSCHUTZ Entwicklung Abnahme Getestet? Getestet? 15.09.2015 Slide 8 Produktion Getestet? Qualitätssicherung im BI Lifecycle 15.09.2015 Slide 9 Qualitätssicherung im BI Lifecycle Würden Sie eine Software ungetestet in die Produktion lassen? MOVE TO PRODUCTION Entwicklung Produktion Systemverwendung Rückmeldung Analyse Fix Getestet? Systemverwendung Getestet? 15.09.2015 Slide 10 Qualitätssicherung im BI Lifecycle Produktion Getestet? Wird die Einhaltung von Richtlinien nicht gewährleistet, folgen Konsequenzen! AUDIT / LEGAL / COMPLIANCE Entwicklung Produktion Systemverwendung Rückmeldung Analyse Fix Getestet? Systemverwendung Getestet? 15.09.2015 Slide 11 Qualitätssicherung im BI Lifecycle Produktion Getestet? Datensicherheit und Datenschutz sind kritische Bereiche welche nicht ungetestet bleiben dürfen! DATENSICHERHEIT / DATENSCHUTZ Entwicklung Produktion Systemverwendung Rückmeldung Analyse Fix Getestet? Systemverwendung Getestet? 15.09.2015 Slide 12 Qualitätssicherung im BI Lifecycle Produktion Getestet? 15.09.2015 Slide 13 Qualitätssicherung im BI Lifecycle WO STEHEN WIR HEUTE? Softwaredevelopement kennt Testing als fixen Bestandteil schon länger. SOFTWAREDEVELOPEMENT Tests als integrativer (Qualitäts-)Bestandteil der Softwareentwicklung Entwicklung von Tests analog/bevor der zu testenden Komponente (Test Driven Developement) Wasserfall-Modell seit 1956, V-Modell seit 1979, Spiralmodell seit 1986 15.09.2015 Slide 15 Qualitätssicherung im BI Lifecycle Testing und SCRUM gehören einfach zusammen. SCRUM Testing als wichtiger Bestandteil jeder Phase/Sprint Entwicklung und Abgrenzung Testfälle je Sprint Konstante Regressionstests für alle Sprints Testcases Testcases 15.09.2015 Slide 16 Testing Qualitätssicherung im BI Lifecycle (Integrierte) Testing-Prozesse und Test-Automatisierung tragen zur Agilität bei. WAS KÖNNEN WIR VON AGILEM VORGEHEN LERNEN? Testing als integrativer Bestandteil eines Projekts, nicht in erster Linie nur als eigene Phase oder Teilschritt Rolle «Tester» vs. «Testing» als Aufgabe für jedes Projektmitglied «GETESTET» soll nicht einfach ein abschliessendes «OK» sein, sondern ein Gütesigel für die Qualität des Projekt-Outcomes Eine Vielzahl von Tests bedingt einen hohen Automatisierungsgrad. 15.09.2015 Slide 17 Qualitätssicherung im BI Lifecycle Manuelles Testing ist oft mit hohem Zeit-, Kosten- und Personalaufwand verbunden. TESTER TESTEN 15.09.2015 Slide 18 Qualitätssicherung im BI Lifecycle Toolunterstützung und ein hohes Mass an Automatisierungsmöglichkeiten sparen Zeit, Geld und die Bindung von Personal-Ressourcen. TESTER DEFINIEREN TESTFÄLLE 15.09.2015 Slide 19 Qualitätssicherung im BI Lifecycle ARTEN VON TESTS Je nach Bereich ist das Testing schwieriger vorzunehmen – jedoch nicht weniger wichtig! NACH FUNKTIONS-BEREICHEN Funktional spezifische Softwarefunktionen Login BI System Report editieren Client-Software starten Nicht-Funktional nicht direkt zuordenbare Funktionen Performance Usability (Security) 15.09.2015 Slide 21 Qualitätssicherung im BI Lifecycle Viele Testingprozesse sind in Stufen aufgebaut – einzelne Stufen werden nach Bedarf vorgezogen oder übersprungen. NACH STUFEN UND ZEITPUNKT Modul-Test/ Unit-Test Test einer einzelnen Funktion / eines Moduls / einer “Unit” Z.B. Test einer Formel in einer Variable im Report Integration-Tests / System-Test Test einer Gruppe von Modulen Test von ETL-Ladeprozess in Kombination mit aufgerufenem Report (Login & DB-Abfrage) UserAcceptance-Tests / Abnahme-Tests Test der von den End-Benutzern erwarteten Anforderungen an die BI-Lösung 15.09.2015 Slide 23 Erstmalige Tests Testen “neuer” oder “explizit geänderter” Funktionalitäten Funktioniert die Weiterleitung auf HTTPS? Regressionstests Funktionalität des Systems aufgrund einer oder mehrere Änderungen Funktioniert SSO nach einem Patch-Update weiterhin für alle User? Können “alle” Reports aktualisiert werden? Qualitätssicherung im BI Lifecycle Nicht immer ist sichtbar, was im Hintergrund passiert, wenn getestet wird. NACH SICHTBARKEIT Whitebox-Tests: input internal system output Testen eines Reports im Entwurfsmodus Blackbox-Tests: input “Blackbox” output Testen eines Reports im Ansichtsmodus 15.09.2015 Slide 24 Qualitätssicherung im BI Lifecycle TESTING IM BI / DWH BEREICH Qualität in allen Bereichen des BI-Lifecycle bedeutet auch Testing in allen Bereichen. TESTING IM BI / DWH BEREICH Quellsystem Marts Cubes Semantic Layer Staging ETL Testing Testing Reports Data Warehouse Testing Testing Intra-System-Tests Testing 15.09.2015 Slide 26 Qualitätssicherung im BI Lifecycle Testing Ein toter Mann schreit nicht – externe Testing-Tools können unabhängig vom System (und dessen Eigenheiten/Fehlern) agieren. TESTING IM BI / DWH BEREICH Quellsystem Marts Cubes Semantic Layer Staging ETL Data Warehouse Inter-System-Tests Testing 15.09.2015 Slide 27 Qualitätssicherung im BI Lifecycle Reports Backend-Tests sind meist einfacher zu automatisieren – jedoch zT. schwerer wartbar. TESTING IM BI / DWH BEREICH - BACKEND (Quellsystem) Test im Rahmen der Quellsystem-Entwicklung Staging Test der bezogenen Daten / Files aus dem Quell-System ETL Meist direkt im ETL-Workflow, evtl. Funktionstest ETL-Tool Core DataWarehouse Datenbankperformance, DatenSzenarios(Queries), Datawarehouse-Tool-Funktionen Plattform Funktionstests, End-To-End-Testing / Probes (BO Plattform) 15.09.2015 Slide 28 Qualitätssicherung im BI Lifecycle Frontend-Tests sind oft schwieriger zu automatisieren, jedoch einfacher zu warten und durchzuführen. TESTING IM BI / DWH BEREICH - FRONTEND Universen Strukturtests auf Basis der Metadaten Datentests auf Basis von Testdaten & Reports Reports Strukturtests auf Basis der Metadaten Datentests auf Basis von Testdaten & Reports Layoutvergleich Frontend-Tools Funktionstest der Benutzeroberfläche 15.09.2015 Slide 29 Qualitätssicherung im BI Lifecycle Ein Testfall ist ein greifbares Konstrukt. TESTCASE DESIGN Testfälle sind logisch, “nachvollziehbar”, eindeutig, strukturiert, haben ein Resultat und sind dokumentiert Testfälle besitzen ein oder mehrere Testobjekte Jedes Testobjekt benötigt ein Referenzobjekt Datengrundlagen für Referenz- und Testobjekte müssen kongurent sein, d.h. entweder stabil oder sich gleichartig weiterentwickeln Beispiel Report Testing: Gleiche Datenbank und / oder gleicher Ladestand, Gleiches Set an Parameter-Infos etc. 15.09.2015 Slide 30 Qualitätssicherung im BI Lifecycle Testdaten geben den Tesfällen die notwendigen Inhalte. TESTEN MIT TESTDATEN – ABER WOHER? Variante 1: Es gibt ein Testquellsystem, auf welchem im Idealfall beliebige Testfälle simuliert werden können Variante 2: Fiktive Quelldaten werden im DWH generiert, z.B. auf dem Staging-Layer Testdaten müssen stabil sein: Während der Entwicklung: Eigenes Testsystem, wo immer das gleiche Set an Referenz-Quelldaten geladen wird Während Produktion: Bestimmen eines Datensets, welches nicht mehr oder nur noch sehr selten ändert, z.B. abgeschlossene Zeitperiode Während der Tests: Testdaten verbrauchen sich nicht – d.h. sie verändern sich nicht durch die Tests 15.09.2015 Slide 31 Qualitätssicherung im BI Lifecycle TESTING IN REAL LIFE Wo begonnen wird ist weniger prioritär – wichtig ist, dass überhaupt begonnen wird! TESTING IN REAL LIFE – WO / WIE BEGINNE ICH? Quellsystem Marts Cubes Semantic Layer Staging ETL Data Warehouse Top down Testing Buttom up Testing 15.09.2015 Slide 33 Qualitätssicherung im BI Lifecycle Reports Korrekte Daten sind die Grundlage der Qualität im BI-System – von der Entstehung bis zur Auswertung. TESTING IN REAL LIFE – BOTTOM-UP Vorteile: Data Quality ab Datengrundlage Integration im ETL-Prozess Testdriven Developement / (Whitebox-Tests) Nachteile: Manuelles Testing schwierig Hoher Wartungsaufwand DWH / ETL-Experten 15.09.2015 Slide 34 Qualitätssicherung im BI Lifecycle Durch schnellere und einfachere Einführung von Tests können Fehler schneller gefunden und behoben werden. TESTING IN REAL LIFE – TOP-DOWN Vorteile: Testing durch Business / IT / unabhängig Implementierung Testing Manuelles Testing Nachteile: Fehler bereits im Endprodukt / in der Produktion(?) Rückverfolgung entlang DWH-Lifecycle Blackbox-Tests 15.09.2015 Slide 35 Qualitätssicherung im BI Lifecycle Komplexe und dynamische Systeme können eine große Empfindlichkeit auf kleine Abweichungen in den Anfangsbedingungen zeigen (Butterfly-Effect). TESTING IN REAL LIFE – WANN TESTE ICH? Testdriven Developement Report-Developement Universe-Developement DB/DWH/ETL-Developement Tool Migration / Patching 15.09.2015 Slide 36 Qualitätssicherung im BI Lifecycle TOSCA TESTSUITE < > BUSINESS INTELLIGENCE TOSCA Testsuite zur effektiven Umsetzung von End-To-End Testing-Vorhaben. TOSCA TESTSUITE Software für Testautomatisierung und Testmanagement Zahlreiche Adaptoren / Engines (.NET, HTML, Java, VB, SAP, Siebel, Excel,….) GUI- und non-GUI-Tests Intuitive Grafikoberfläche - kein Scripten oder Coden Flexible API 15.09.2015 Slide 38 Qualitätssicherung im BI Lifecycle Erfolgreich automatisiert testen im BI/DWH Bereich mit TOSCA Testsuite. BI-SPEZIFISCH TESTEN MIT TOSCA 15.09.2015 Slide 39 Qualitätssicherung im BI Lifecycle Erfolgreich automatisiert testen im BI/DWH Bereich mit TOSCA Testsuite. TRICENTIS TRICENTIS Technology & Consulting GmbH mit Sitz in Wien Softwareunternehmen mit Hauptprodukt TOSCA Testsuite Ca. 180 Mitarbeiter mit Standorten in EMEA, APAC, Australien, USA Ca. 400 Kunden weltweit 2014: Visionary Leader in Gartners Magic Quadrant for Integrated Software Quality Suites Report 15.09.2015 Slide 40 Qualitätssicherung im BI Lifecycle TRICENTIS KUNDEN 15.09.2015 Slide 41 Qualitätssicherung im BI Lifecycle TOSCA COMMANDER OBERFLÄCHE / BEREICHE Die TOSCA-Commander-Oberfläche ist strukturiert und intuitiv bedienbar. ÜBERSICHT 15.09.2015 Slide 43 Qualitätssicherung im BI Lifecycle Anforderungen werden zu Beginn eines jeden Testingprojekts angelegt. GELBER BEREICH - REQUIREMENTS Organisation, Aufbau, Verwaltung und Visualisierung verschiedener funktionaler Bereiche und Anforderungen von Softwaretestprojekten. 15.09.2015 Slide 44 Qualitätssicherung im BI Lifecycle Ein Testfall kann je nach Anzahl von Attributen und Daten viele Kombinationsmöglichkeiten haben – grundsätzlich gilt: Minimale Testfall-Anzahl bei maximaler Testabdeckung. ROTER BEREICH - DESIGN Testdaten getrennt von den Testfällen festlegen und alle benötigten Kombinationen möglicher Testfälle zur Erreichung der Testabdeckung festlegen 15.09.2015 Slide 45 Qualitätssicherung im BI Lifecycle Testfälle sollten stets strukturiert und geordnet angelegt werden – für verschiedene Testfallkombinationen gibt es Templates. BLAUER BEREICH - TESTCASES Strukturierung von Testfällen und Testschritten, Zuordnung von Daten und TestCaseDesign 15.09.2015 Slide 46 Qualitätssicherung im BI Lifecycle Strukturierter Überblick über ausgeführte Testfälle und den Ergebnissen. GRÜNER BEREICH - EXECUTION Ausführungslisten strukturieren die Testfälle und zeigen die Ergebnisse an 15.09.2015 Slide 47 Qualitätssicherung im BI Lifecycle FRONTEND-TESTING MIT TOSCA Vor der Migration ist nach der Migration – oder etwa doch nicht? SZENARIO1: REPORT-VERGLEICH Plattform Migration BO 3.1 auf BO 4.1 DB Migration Oracle auf Teradata 1. Export Dokumente Reference 2. Export Dokumente Current 3. Testfälle in TOSCA erstellen 4. Testfälle mit TOSCA ausführen 5. Ergebnis-Analyse 15.09.2015 Slide 49 Qualitätssicherung im BI Lifecycle Funktioniert noch alles? SZENARIO2: FUNKTIONALITÄTSTEST BI-LAUNCHPAD Plattform Migration BO 4.1 SP 5 auf BO 4.1 SP6 1. Testfälle in TOSCA erstellen 2. Testfälle mit TOSCA ausführen 3. Ergebnis-Analyse 15.09.2015 Slide 50 Qualitätssicherung im BI Lifecycle Der Server läuft – wie steht es mit den Clients? SZENARIO3: FUNKTIONALITÄTSTEST CLIENTTOOLS Plattform Migration BO 4.1 SP 5 auf BO 4.1 SP 6 Clienttools Migration 4.1 SP 5 auf 4.1 SP 6 1. Testfälle in TOSCA erstellen 2. Testfälle mit TOSCA ausführen 3. Ergebnis-Analyse 15.09.2015 Slide 51 Qualitätssicherung im BI Lifecycle AUSBLICK TESTING DWH / DB / ETL MIT TOSCA Backend-Testing at it’s best – mit TOSCA VITAL-CHECKS. TESTING ETL – TOSCA VITAL-CHECKS ©TRICENTIS GmbH 15.09.2015 Slide 53 Qualitätssicherung im BI Lifecycle Bekannte Tests zusammengefasst in einem Add-In. TESTING ETL – TOSCA VITAL-CHECKS Infrastructure & Delivery Alle Tabellen sind vorhanden und vollsändig geladen Record & Relation profiling Completeness (C), Uniqueness (U), Referential Integrity (R), DataType(D) Single column profiling KPI checks (Summe, Durchschnitt, …) Spalten-Analyse (Feld-Länge, max, min, …) Zahlenverteilung innerhalb der Spalte 15.09.2015 Slide 54 Qualitätssicherung im BI Lifecycle Multicolumn-Testing – mittels Szenarien und Profilen den Fehlern im DWH auf der Spur. TESTING CORE DATA WAREHOUSE– TOSCA-IQ ©TRICENTIS GmbH 15.09.2015 Slide 55 Qualitätssicherung im BI Lifecycle Erfolgreich automatisiert testen im BI/DWH Bereich mit TOSCA Testsuite. TESTING CORE DATA WAREHOUSE – TOSCA-IQ Abweichungs-Tests zur Überprüfung von «Ausreissern» Datenprofile zur Überprüfung der Businesslogik oder dessen Änderung(en) ©TRICENTIS GmbH 15.09.2015 Slide 56 Qualitätssicherung im BI Lifecycle Die Vorteile von integriertem, umfassenden und toolgestütztem Testing liegen auf der Hand. ZUM MITNEHMEN… Testing ist ein wichtiger Faktor für die Qualität jedes BI/DWH-Systems Testing ist stets als integrierter Bestandteil jeder DWH-Architektur zu verstehen Testing dient zur Vermeidung von unnötiger Zeit- und Geldverschwendung Testautomatisierung spart Zeit, Geld und die Bindung von Personal Agilität TOSCA Testsuite ist DIE umfassende & einfache Lösung um in allen Bereichen des BI-Lifecycle Testing durchzuführen 15.09.2015 Slide 57 Qualitätssicherung im BI Lifecycle 15.09.2015 Slide 58 Qualitätssicherung im BI Lifecycle Wir freuen uns auf angeregte Gespräche mit Ihnen Alexander Pröm BI Consultant Follow me: @apro_itx Follow us: @itlogixag http://blog.it-logix.ch
© Copyright 2024 ExpyDoc
