Teststrategie met behulp van heuristieken

Workshop TestNet
Teststrategie met behulp van heuristieken
www.improveqs.nl
([email protected])
Versie 2.0
1
Acknowledgements
Met dank aan:
•  Ruud Cox voor de vele discussies over dit onderwerp
•  Fiona Charles en Rikard Edgren voor inspiratie
•  Manon Penning voor de kritische & didactische review
•  Uiteraard James Bach en Michael Bolton voor het delen van hun
kennis over Rapid Software Testing en het Heuristic Test
Strategie Model.
Sommige slides zijn met toestemming overgenomen uit Rapid
Software Testing (http://www.satisfice.com/info_rst.shtml).
Rapid Software Testing is ontwikkeld door James Bach en Michael
Bolton.
Improve Quality Services B.V.
2
Introductie
•  Wie ben ik?
•  Wat gaan we doen?
•  Wat verwachten jullie?
Improve Quality Services B.V.
3
Definitie ISTQB Glossary
Test Strategy:
A high-level description of the test levels to be
performed and the testing within those levels for an
organization or programme (one or more projects).
Improve Quality Services B.V.
4
Wat is een test strategie?
Maak groepen van 4 personen en bespreek de
volgende vragen.
1.  Wat versta jij onder een test strategie?
2.  Waarom maak je een test strategie?
3.  Hoe ziet jouw test strategie eruit?
Zet je antwoorden op een flipchart.
Improve Quality Services B.V.
5
Test Strategie
Source: EuroStar Webinar Thinking Strategically About Testing by Fiona Charles
Improve Quality Services B.V.
6
Test strategie
Strategie: ideeën die het test ontwerp vormen
Logistiek: ideeën over de noodzakelijke middelen
Plan: ideeën die het testproject vormgeven
plan = strategie + logistiek
Improve Quality Services B.V.
Source: Rapid Software Testing James Bach & Michael Bolton
Oefening: hoe test je dit?
Maak in 15 minuten een test strategie voor deze
elektrische fiets!
Improve Quality Services B.V.
8
Gazelle Orange Xtra Innergy 2013
Specificaties
●  http://www.elektrischefietsen.com/merken/gazelle/gazelleorange-xtra-innergy-2013
●  http://www.gazelle.nl/collectie/elektrische-fietsen/2014/
orange-xtra-innergy#advantages
Handleiding
●  http://www.gazelle.nl/~/media/Files/Handleidingen/
Handleiding_Gazelle_Xtra-Excellent_Innergy.ashx
Improve Quality Services B.V.
9
Debrief Test Strategie
Maak in 15 minuten een test strategie voor deze
elektrische fiets!
Improve Quality Services B.V.
10
Strategie – Uitvoering - Rapportage
Improve Quality Services B.V.
11
Strategie – Uitvoering - Rapportage
Improve Quality Services B.V.
12
Een test strategie maken
1.  Definieer het probleem dat de test strategie gaat
oplossen
2.  Definieer een oplossing voor het probleem
3.  Leg je oplossing vast
Een test strategie is een oplossing voor een complex probleem:
Hoe voldoen we aan de informatiebehoefte van de stakeholders
op een zo efficiënt mogelijke manier?
Improve Quality Services B.V.
13
Heuristic Test Strategy Model
Project Omgeving Tests Kwaliteits Criteria Product Elements Waargenomen Kwaliteit Improve Quality Services B.V.
Source: Rapid Software Testing James Bach & Michael Bolton
Risk-Based Testen Analyseer Poten-ële Risico’s Nieuw Project Lange Lus Voer passende testen uit Korte Lus Gevonden
Problemen &
mogelijkheden
Gevonden
problemen
In het veld Release
Improve Quality Services B.V.
Analyseer
daadwerkelijke
risico's Testen is ook
risico analyse!
Source: Rapid Software Testing James Bach & Michael Bolton
Heuristic Test Strategy Model
Project Omgeving Tests Kwaliteits Criteria Product Elements Waargenomen Kwaliteit Improve Quality Services B.V.
Source: Rapid Software Testing James Bach & Michael Bolton
Heuristic Test Strategy Model
Project Omgeving Tests Kwaliteits Criteria Product Elements Waargenomen Kwaliteit Improve Quality Services B.V.
Source: Rapid Software Testing James Bach & Michael Bolton
Heuristic Test Strategy Model
Improve Quality Services B.V.
Source: Rapid Software Testing James Bach & Michael Bolton
Project elementen / context factoren
•  Missie
•  Informatie
•  Relatie met teamgenoten
•  Test Team
•  Apparatuur en tooling
•  Planning
•  Test Items
•  Deliverables
Improve Quality Services B.V.
Source: Rapid Software Testing James Bach & Michael Bolton
Context Model
Source: http://www.satisfice.com/tools/satisfice-cm.pdf
Improve Quality Services B.V.
20
“Algemene Test Technieken”
•  Functie Testen
•  Domein Testen
•  Stress Testen
•  Flow Testen
•  Scenario Testen
•  Claims Testen
•  Gebruikers Testen
•  Risico Testen
•  Automatisch Testen
Improve Quality Services B.V.
Source: Rapid Software Testing James Bach & Michael Bolton
Test Technieken
http://www.satisfice.com/presentations/etta.pdf
Improve Quality Services B.V.
22
Kwaliteitskenmerken
•  Geschiktheid
•  Betrouwbaarheid
•  Bruikbaarheid
•  Charisma
•  Veiligheid
•  Schaalbaarheid
•  Compatibiliteit
•  Prestaties
•  Installeerbaarheid
•  Ontwikkeling
Improve Quality Services B.V.
Source: Rapid Software Testing James Bach & Michael Bolton
Alternatieve kwaliteitskenmerken
Improve Quality Services B.V.
24
Coverage
____ coverage is hoe grondig het product onderzocht is
met betrekking tot een bepaald model van de____. Interessante coverage: −  Product coverage
−  Risico coverage
−  Requirements coverage
25 Source: Rapid Software Testing James Bach & Michael Bolton
Product coverage
T
O
P
I
D
F
S
§  Structuur §  Func-es §  Data §  Interfaces 26 §  PlaCorm §  Opera-e §  Tijd Source: Rapid Software Testing James Bach & Michael Bolton
Oefening: hoe test je dit? Part 2
Maak nog een keer een teststrategie. Voeg een test aanpak
toe met behulp van het HTSM. Begin met de product
elementen.
Improve Quality Services B.V.
27
Debrief Test Strategie – Part 2
Maak nog een keer een teststrategie. Voeg een test aanpak
toe met behulp van het HTSM. Begin met de product
elementen.
Improve Quality Services B.V.
28
Een afgewogen test strategie
Algemene Te
st
Technieken
Product
n
e
t
n
e
m
e
l
e
s
t
i
e
t
i
l
a
w
K
attributen
Improve Quality Services B.V.
29
Test Strategie
Een goede test strategie is:
• 
• 
• 
• 
• 
• 
• 
• 
Context relateerd
Specifiek
Risico-gebaseerd
Afwisselend & divers
Praktisch
Gedragen
Gerechtvaardigd
Flexibel
En je bouwt hem “langzaam” op
Improve Quality Services B.V.
30
Test Ideeën
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
Heuristic test strategy model
ET dynamics
The Little Black Book on Test Design
Software Quality Characteristics
Test Heuristics Cheat Sheet
10 sources of Testing Ideas
Several Checklists
Touring Heuristic
You Are Not Done Yet
8-layer testing model
36 days of web testing
Source: http://www.huibschoots.nl/wordpress/?page_id=441
Improve Quality Services B.V.
31
Soms is het moeilijk om alles te testen…
Vraag om testbaarheid! •  Controleerbaarheid
•  Observeerbaarheid
•  Beschikbaarheid
•  Simpel
•  Stabiel
•  Informatie Parameters in te stellen via een Interface! Log files! Testen is vééél sneller als het product ook goed testbaar is! Improve Quality Services B.V.
Source: Rapid Software Testing James Bach & Michael Bolton
Vragen?
Improve Quality Services B.V.
Contacts
Huib Schoots
[email protected]
@huibschoots
www.huibschoots.nl/blog
Laan van Diepenvoorde 1
5582 LA Waalre
The Netherlands
Tel: +31 40 2021803
Improve Quality Services B.V.
References
●  Teststrategie met behulp van heuristieken: een praktische aanpak voor iedereen – Huib Schoots
https://www.testnet.org/testnet-nieuws/testnet-nieuws.html (TestNet Nieuws Voorjaar 2014)
●  Rapid Software Testing – James Bach & Michael Bolton
http://www.satisfice.com/info_rst.shtml
●  Heuristic Test Strategy Model – Designed by James Bach
http://www.satisfice.com/tools/htsm.pdf
●  Heuristic Test Planning – James Bach
http://www.satisfice.com/tools/satisfice-cm.pdf
●  Heuristic Risk-Based Testing – James Bach
http://www.satisfice.com/articles/hrbt.pdf
●  Basics Revisited: Test Strategy - Fiona Charles
http://www.quality-intelligence.com/articles/BasicsRevisited-TestStrategy.pdf
●  Webinar: Thinking Strategically About Testing - Fiona Charles
http://www.eurostarconferences.com/community/member/webinar-archive/webinar-76-thinkingstrategically-about-testing
●  What is a good test strategy – Rikard Edgren
http://thetesteye.com/blog/2013/09/what-is-a-good-test-strategy
●  Kwaliteitskenmerken in het Nederlands
http://dewt.files.wordpress.com/2013/03/thetesteye_softwarekwaliteitkenmerken1.pdf
Improve Quality Services B.V.