Testen, een vak voor het leven! Gastcollege UU, 3 december 2012 Egbert Bouman, [email protected] 1 Even testen … Wat is jullie beeld van softwaretesten? 2 Testanekdotes uit ‘mijn’ praktijk • • • • • • • • Walrus OZB vaart met testparameters Test haalt telefooncentrale down Testteam Transavia annuleert echte vluchten Geslacht = Ja Project Schadeverzekeraar: 15 mln weg 6 pallets polisprints Heathrow terminal 5 Security 4 We do have a reputation … Ron Tolido over IT types 5 1 Even testen… 2 An excellent tester’s attitude. Constructive maliciousness: Make things fail… …to make things better What’s the difference? The developer … The user … The tester … Testers zijn ook maar mensen… 8 Walrus class submarines Testing: a matter of survival Traffic Aid Control Room System First release: - Way too slow. - Total crash upon heavy load. Bad Test? “Wegenwacht out of business” Performance tests: - 7 bottlenecks - Repaired and now OK ING Bank datawarehouse Testing: strategic importance Insurance companies Testing for survival CRISC certified ‘risk controller’ Business-IT Risk management in all it’s respects 13 Over Valori Proces Tools Proces Tools Syner gie People Business IT optimization People • Test & Acceptatie • Business Architecture & Requirements • IT mgt & Value Chain Improvement 120+ top professionals > 23 jaar in business Top-200 klanten • RABO, Achmea, Interpolis, ING, NIBC, ASR, SNS, Menzis, KPN, Randstad, Tweede Kamer, Prov. Utrecht, etc. Training partner (Valori Academy) www.valori.nl , www.smartest.nl SmarTEST aanpak, EXIN-preferred Complexiteit 15 Einstein maakte het simpel 16 Make it as simple as possible, but not simpler (Einstein) 17 Make IT as simple as possible, but not simpler (Valori) 18 Wat kun je testen aan een pen? 19 Wat is kwaliteit? Een relatie attribuut? Objectiveerbaar? 20 Verandering Kwaliteit is meer dan een mooi systeem Kwaliteit Het resultaat voor de business, als het project er niet meer is. I P 360º kwaliteits perspectief S Informatie Processen Systemen Gegevens in en naar het systeem Organisatie en Processen Het opgeleverde informatiesysteem Een SmarTEST model. Zie boek en www.smartest.nl voor definities Extended ISO-Model Functionality Reliability Usability Suitability Accuracy Interoperability Compliance Security Traceability Maturity Fault tolerance Recoverability Availability Degrability Understandability Learnability Operability Explicitness Customisability Attractivity Clarity Helpfulness User-friendliness Efficiency Maintainability Portability Time behaviour Resource behaviour Analysability Changeability Stability Testability Manageability Reusability Adaptability Installability Conformance Replaceability 24 FURPS Functionality • Features, Mogelijkheden, Beveiliging Usability • Human factors, Esthetische eigenschappen, Consistentie, Documentatie Reliability • Faalfrequentie, Faalimpact, Recoverability, Predictability, Accuracy, Mean time to failure Performance • Snelheid, Efficiëntie, Resourceverbruik, Throughput, Responsetijd Supportability • Testbaarheid, Uitbreidbaarheid, Aanpasbaarheid, Onderhoudbaarheid, Compatibility, Configurability, Serviceability, Installeerbaarheid, Localizability, Portability 25 IT Governance en testen Veel IT-projecten falen Grip en inzicht essentieel: feitelijke stuurinformatie In control zijn vergt risicobeheersing Testen = strategisch instrument voor risicobeheersing Gebruikt zoals geleverd Gebruikt na wijziging 29% fundamenteel gewijzigd Nooit gebruikt 2% 3% 19% 47% Nooit afgemaakt Bron: ButlerBloor Computer Research 26 Met testen verdien je geld. Hoeveel? Veel, blijkbaar !! Zie www.nist.gov voor het volledige NIST rapport (pas op: 500 bldz.) In Europa vergelijkbaar 27 De “Kromme van Boehm” Voorkomen is beter dan genezen 28 Een goede testaanpak …. 1/10 Planned: Plan Analyse Realisatie Test Dead line Actual: Plan Analyse Realisatie Te st … houdt testen uit de kreukelzone 29 Een goede testaanpak ….. WAT testen? Vandaag HOE testen? testobject, kwaliteitsaspecten, testbasis, acceptatiecriteria, risico’s teststrategie, testscenario’s testtechnieken WIE test? testers, materiedeskundigen, ICT'ers, beheerders, leveranciers, .. WANNEER testen? planning, testfasering WAAR testen ? testomgevingen, werkplekken WAARMEE testen ? testtools, rekentools … geeft antwoord op o.a. deze vragen 30 Lots of books on testing Methods for structured testing You need a “handy” approach The 5 conditions for smart testing 1. Think strategic Strategic 2. Make people important Men over Machine 3. Be adaptive Adaptive 4. Target on risks Risk based 5. Create transparancy Transparent Thats why: SmarTEST 2004: SmarTEST gelanceerd ! ! ! ! ! ! ! ! No risk, No test Geen risico, geen test 39 Testsoorten Ketentesten Gebaseerd op te onderzoeken aspecten Gebaseerd op fasen 40 Het W-model, het testmodel Requirements , acceptatiecriteria en risico’s Exploitatietest Bedrijfseisen, gebruikerseisen Acceptatie test Systeem eisen Systeem- en ketentest Ontwerp, bouw en ontwikkeltesten Onderkant : ontwerp, bouw en test gecombineerd. Past bij moderne, ‘agile’ ontwikkelmethoden zoals RUP, DSDM en SCRUM. De oerversie: het V-model definitie studie accept. test functioneel ontwerp systeem test technisch ontwerp integratie test constructie unit test unit test Maar het Waterval tijdperk is voorbij integratie test systeem test accept. test 42 RAR en Scrum product backlog Daily scrum Business reqts Product owner Sprint = 30 dagen 43 Geautomatiseerd testen HP Quick Test Pro HP Loadrunner Rational FT Tosca Citratest Parasoft Selenium Fitnesse Jmeter SoapUI 44 Geautomatiseerd testen: twee werelden! Requirements , acceptatiecriteria en risico’s Testtools voor eindgebruikers HP-QTP, Citratest ?! Gebruikers testen Never the twain shall meet? Testtools voor techies Selenium, JMeter, TFS-tooling?! Ontwikkel testen 45 46 Ontwerpen van testen: vak apart 60 verschillende testontwerptechnieken Structuur van een testgeval 47 Hoe ziet een goede test eruit? Structuur van een goed testgeval: • Uitgangssituatie • Actie • Resultaat Voorbeeld: grenswaarde test 18 jaar 48 Eyewitness How test parameters can sneak into life environment Was testing forgotten here ? Bevindingen Acceptatietest met testinspanning in FTE 's 70 totaal lopende bevindingen deze week nieuw geconstateerd 10 Testinspanning 9 60 8 47 7 44 42 42 43 41 41 39 40 6 38 37 36 35 34 32 32 32 5 31 30 4 24 20 19 20 19 14 13 12 10 8 8 6 4 9 3 13 12 8 2 Gewogen totalen per week 11 10 7 5 9 9 8 7 5 5 3 0 1 14 2 3 4 120 5 6 7 8 9 Testinspanning in FTE Aantal bevindingen 50 10 11 12 13 14 15 1 Getallen zeggen weinig, het gaat om de trend. Status 4/9 16:00 Normal=1, Minor=0,5 Weging: Block=4, Major=2, 0 16 17 18 19 20 21 22 Week 100 80 Nieuw deze week Gesloten deze week 60 Totaal nog open 40 Trendlijn 3e orde 20 Acceptatiegrens 0 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 51 Iedereen kan testen? Professionaliteit Communicatie Spelbreker durven zijn Kritisch vermogen 52 Het karakter van de tester Constructieve kwaadaardigheid: Make things fail… …to make things better Wat is het verschil? The developer … The user … The tester … Een goede tester: vier competenties Iedereen kan testen, hetzelfde geldt voor klompenmaken Takt, sensitiviteit, overtuigen, analyseren, presenteren, rapporteren Verzekeren, banken, telecom, overheid, zorg, omroepen, industrie, media, software engineering, … Architectuur, programmeren, (internet)technologie, ontwikkelmethodieken, Spin in web TestOrganisatie TestManagement TestInfrastructuur Voorbereiding Beheer Testware Afronding Specificatie Uitvoering Valori thema avonden Een begrip in Grip op IT! Depersonaliseren productiedata Creëren Maskeren Migreren Beheren Converteren Integreren Tools en toolsupport Geweest, o.a.: Grip op MicroSoft Dynamics De nieuwe generatie testtools Test Data Management Getting Things Done Solvency II Scrum en onafhankelijk testen Tools voor Test Management Stretch & Move (met KPN) Moderne systeemontwikkeling: RUP, agile Risicomanagement in de echte wereld Model Based Testen Politiek op de werkvloer Testen en auditing SOA en ketentesten Bevindingenbeheer en SmarTRACK Zorg en ICT Performance testen Usability revisited SEPA Datawarehousing en BI De Vrijgavekaart Datakwaliteit Wat bracht Eurostar Zorgverzekeraars Etcetera… ?? Requirements = Product Backlog ?? Bedrijfseisen, gebruikerseisen Acceptatie test Systeem eisen Keten test ?? SCRUM ?? A great test support site with free tools www.smartest.nl Conferenties EuroSTAR TestNet Nederlandse Testdag Dutch Testing Conference Belgium Testing Days Test Automation Day Agile Testing Days 58 Waarom testen zo leuk is Alle aspecten van IT komen aan bod • People • Process • Tools Je mag overal wat van vinden Je ontwikkelt een breed perspectief Je zit snel op een goed niveau • Junior testers voor de Raad van Bestuur! Het is de beste start in IT land • Maar “tester van wieg tot graf” is geen probleem! Het is recessiebestendig 59 Wees slim, word een slimme tester! 60 61 62 Bedankt voor uw aandacht! BEDANKT VOOR UW AANDACHT [email protected] www.valori.nl www.smartest.nl www.echtewereld.nl Met dank aan verschillende vakbroeders en vooral aan alle bevlogen Valori consultants en test managers in de echte wereld 64
© Copyright 2024 ExpyDoc
