Lab-testing e crowd-testing: una proposta per l'inclusione e il bilanciamento di approcci (apparentemente) agli antipodi Agostino Peloso Direttore Tecnico Responsabile QA & Testing Lab 24 giugno 2014 PUBBLICO Agenda Trend del mercato della QA Crowd-testing vs lab-testing Casi d’uso e risultati Il valore delle anomalie «fuori contesto» Soggettivazione, oggettivazione, correlazione e tecnologie a supporto • Prossimi step • • • • • Trend di mercato della QA % budget IT destinato alla QA 2012 2013 2015 (E) 18% 23% 28% Si diffondono MTS (Managed Testing Service), un modello di outsourcing dei servizi di QA & Testing rivisitato, basato sulla condivisione delle responsabilità e dei risultati [Rif. World Quality Report 2013-2014] QA per il mobile Attenzione Nel 2012 il mobile testing era una priorità solo per il 31% delle organizzazioni IT; nel 2013 questa platea si è estesa fino al 55%. Problemi Per gli addetti ai lavori, i problemi principali sono (in ordine di importanza) 1. 2. 3. 4. 5. 6. assenza di appropriati processi/metodi di mobile testing difficoltà nel reperire i device difficoltà nel reperire esperti di mobile testing assenza di ambiente di testing in azienda mancanza di tools appropriati mancanza di tempo per eseguire il mobile testing [Rif. World Quality Report 2013-2014] QA per il mobile Per ciò che riguarda le priorità assegnata alle diverse tipologie di test, il mercato dei produttori di applicazioni e servizi mobili indicano nell’ordine: 1. 2. 3. 4. 5. 6. 7. Performance Security (in forte crescita rispetto al 2012) Functional Portability Usability Certification Compatibility/regression [Rif. World Quality Report 2013-2014] Possibile risposta Crowd + outsourcing = Crowdsourcing Crowdtesting Il crowdtesting consiste nel demandare le attività test, o parte di esse, ad una comunità (community) esterna, che opera in autonomia, sulla base di accordi di scopo e obiettivi predefiniti, e secondo i modelli che si sono affermati nei social network (facebook, twitter, ecc.): condivisione, collaborazione, partecipazione, competitività, trasparenza, ecc. Crowd* Il «crowd» aggiunge varietà di sguardi e di teste, una diversità di pensiero e di sensi, oltre che di device, feconda e necessaria a qualunque tipo di problem solving come la biodiversità è feconda e necessaria nel dominio naturale Agisce alle condizioni del «mondo reale» (può rispecchiare la base dei propri consumer) – Tecnologicamente: OS, browser, device, carrier, ecc. – Geograficamente: Continente, paese, città, lingua, ecc. – Demograficamente: Età, genere, cultura/istruzione, professione, interessi, ecc. Disponibilità continua, imparzialità, eterogeneità Riduce i costi – Tempi brevi, feedback immediati – BYOD – Impegno flessibile – Remunerazioni in base ai risultati Identikit del «crowd-tester» • • • • • • • • • Tester inter-company inter/intra-projects tester in un’azienda Partner strategici Esperti di dominio Esperti di tecnologia Esperti di prodotti Network di persone Utenti di social network Consumers/Prosumers Certified Specialist Recreational Multidimensionalità della suite IQzone • Tester professionale • Utente reale (soggettività) + Agent (oggettività) • Tester professionale Lab Mondo reale Mondo reale Mondo reale • Utente reale (consumer/pr osumer) Processi tipici a confronto Lab-testing Pianificazione • Strategie • Piano Progettazione Predisposizion e ambienti • Verifica e predisposizione ambienti • Predisposizione e caricamento dati • Installazione • Accettazione documentazione • Verifica copertura system test • Progettazione Esecuzione e Report • Verifica system test • Esecuzione test • Gestione delle anomalie • Report di chiusura Crowd-testing Preparazione • Identificazio ne requisiti • Definizione del prezzo Staffing • Definizione template • Lancio della campagna e staffing • Preparazion e ambienti Esecuzione • Avvio campagna • Supervisione e monitoring Validazione • Validazione anomalie • Preparazion e deliverable • Riconoscime nto remunerazio ni Chiusura • Presentazio ne risultati • Rating dei crowd-tester Crowd-testing staffing ed esecuzione Criteri di valutazione delle performance dei crowdtester Ci muoviamo in un ambito di elevata competitività e orientamento al risultati Particolare significatività ha l’Approval Rate che permette di misurare il rapporto tra le anomalie segnalate e quelle accettate. Inoltre, il rendimento del tester viene misurato attraverso l’Approval Rate personale e lo Sviluppo della propria carriera, attraverso un modello di «gamification». Case study risultati Bassa Media Grave Bloccante Anomalie validate 28,61% 19,30% 24,70% 27,39% Global Approval Rate pari al 74%. Densità di anomalie intercettate di circa il 157% rispetto alla densità di anomalie che si intercettano con il solo modello tradizionale in Lab. Individuazione anomalie extra-confine: agendo nel «mondo reale» si intercettano anche anomalie al di fuori del perimetro applicativo (processi di billing, servizi attivazione, ecc.) Una storia Soggettivazione e oggettivazione Con il crowd-test ci si pone ancora di più nella prospettiva consumer. Come controbilanciare e moderare la soggettività? Un agent a bordo del device del crowd-tester è in grado di acquisire dati oggettivi che correlati con quelli soggettivi permettono di creare un nesso tra quanto rilevato dal crowdtester e il QoS (Quality of service). Caratteristiche del Mobile agent Grazie alla partnership importanti solution provider, Clariter adotta una piattaforma di test automation per device mobili che permette di monitorare il QoS e di • Raccogliere informazioni utili per l’analisi dei problemi con particolare focus su – – – – – Sicurezza del dispositivo Profilazione delle applicazioni e del sistema operativo Corretta esecuzione di specifiche applicazioni. Produrre Crash report preziosi per gli sviluppatori di app. Produrre report funzionali per individuare il corretto funzionamento Inoltre di • Testare i sistemi operativi dei device mobili. • Eseguire in automatico e in modo ripetitivo set di test. Le sfide nel crowdtesting Carenza di standard metodologici Coverage (come garantire la copertura funzionale) Metriche e KPI Dinamiche remunerative e motivazionali Prossimi step • Fase 1: analisi del mercato - conclusa a maggio • Fase 2: survey (committenti, aziende di testing, tester professionali) – in corso • Fase 3: realizzazione di una matrice di relazione tra le i modelli di test e dei costi/benefici nel condurre tali test in Lab o in Crowd, pubblicazione dei risultati – entro settembre 2014 In collaborazione con l’Università degli Studi dell’Aquila Partecipate alla Survey! • Se sei un Test Engineer affiliato ad una community di crowd-test, vai qui: http://goo.gl/2mkDeR • Se sei un’azienda che eroga Crowd-testing, vai qui: http://goo.gl/LtUsyq • Se sei un produttore di software, vai qui: http://goo.gl/Zyd3AM
© Copyright 2024 ExpyDoc
