materiali/13.25.12_ISPRA 2 Fattori di validita

Il metodo sperimentale nelle scienze sociali I metodi sono macroregole di argomentazione scien1ﬁca. In base al principio di massima razionalità nella scienza, la scelta del metodo deve basarsi sull'argomentazione agibile pù forte, cioè dotata dell'evidenza più ricca e probante. Dis1nguiamo i metodi in: ●  Metodi di controllo: riguardan1 il dominio esercitabile dal ricercatore nella situazione di ricerca al ﬁne di
estrarne la maggiore e più genuina evidenza. ●  Metodi inferenziali: riguardan1 la strategia di formulazione delle ipotesi (deduzione, induzione,
abduzione) I metodi di controllo si dis1nguono in: ●  Sperimentali, a loro volta dis1nguibili in quasi-‐sperimentali e sperimentali ●  Sistema1ci, a loro volta dis1nguibili in sta1s1ci e logici. Le conoscenze giovanili sulle radiazioni ionizzan1 Esame dei fa5ori di validità del disegno d'indagine Corso di Teorie e pra1che della valutazione – AA 2012-‐2013 Il metodo sperimentale nelle scienze sociali I metodi possono essere ordina1 lungo un con1nuum di forza probante: METODI SPERIMENTALI METODI SISTEMATICI METODO SPERIMENTALE METODO QUASI-‐SPERIMENTALE METODO STATISTICO METODO LOGICO Dunque, l'esperimento può essere in prima baSuta deﬁnito come quel disegno di indagine in cui la logica del controllo empirico delle relazioni causali viene soddisfa5a con la migliore approssimazione Le conoscenze giovanili sulle radiazioni ionizzan1 Esame dei fa5ori di validità del disegno d'indagine Corso di Teorie e pra1che della valutazione – AA 2012-‐2013 Il metodo sperimentale nelle scienze sociali Dal punto di vista empirico, quindi, possiamo deﬁnire l'esperimento come speciﬁca strategia di indagine con la quale si manipolano alcune variabili per studiare gli eﬀeJ di queste su altre, al ﬁne di imputare causalmente ad X, e proprio ad X, le diﬀerenze riscontrate. Gli elemen1 che favoriscono il controllo delle evidenze empiriche e che caraSerizzano il metodo sperimentale sono allora: ●  Il numero dei gruppi ●  L'equivalenza dei gruppi ●  Il numero di osservazioni ●  Il grado di manipolazione esercitabile Le conoscenze giovanili sulle radiazioni ionizzan1 Esame dei fa5ori di validità del disegno d'indagine Corso di Teorie e pra1che della valutazione – AA 2012-‐2013 Il metodo sperimentale nelle scienze sociali Nelle scienze naturali si oUene il massimo livello di controllo della situazione tramite l'isolamento sperimentale e grazie sia all'uniformità degli oggeJ che al grande potere manipola1vo che si ha su di essi. Nelle scienze sociali la situazione è ovviamente molto diversa, per cui il controllo si oUene per analogia sulla base del canone dei residui: Stuart Mill: “Se si so+rae da un fenomeno la parte che si sa, dalle induzioni preceden8, essere l'eﬀe+o di cer8 anteceden8, il residuo del fenomeno è l'eﬀe+o degli anteceden8 restan8” Le conoscenze giovanili sulle radiazioni ionizzan1 Esame dei fa5ori di validità del disegno d'indagine Corso di Teorie e pra1che della valutazione – AA 2012-‐2013 Il metodo sperimentale nelle scienze sociali Nelle scienze sociali l'esperimento deve fare i con1 coi seguen1 problemi: ●  Scarsa manipolabità dell'ogge5o, sia per ques1oni tecniche che e1che ●  Assenza del requisito di omogeneità ●  ReaJvità dei soggeJ coivol1 negli esperimen1 Quindi ●  Abbiamo bisogno di più soggeJ e più gruppi su cui condurre le osservazioni ●  Si deve ricercare la massima equivalenza fra i gruppi ●  Si devono condurre numerose osservazioni Sulla base di quanto appena deSo, ogni esperimento de1ene un grado diﬀerente di VALIDITA'. Le conoscenze giovanili sulle radiazioni ionizzan1 Esame dei fa5ori di validità del disegno d'indagine Corso di Teorie e pra1che della valutazione – AA 2012-‐2013 I fa5ori di validità dell'esperimento Una ricerca si dice valida quando le sue argomentazioni sono correSe e appropriate al ﬁne. In ambito sperimentale la validità comprende due declinazioni: ●  VALIDITA' INTERNA: controllo di tu5e le possibili perturbazioni i cui disturbi possono essere scambia1
a torto per eﬀeJ del tra5amento sperimentale; possibilità di difendere l'imputazione di causalità verso la variabile sperimentale X ●  VALIDITA' ESTERNA: generalizzabilità dei risulta1 A Campbell e Stanley va riconosciuto il merito di aver dato forma alla situazione di complessità caraSerizzante l'esperimento nelle scienze sociali aSraverso la precisa formulazione di 12 FATTORI DI INVALIDITÀ/IPOTESI RIVALI di cui tener conto nella conduzione di un esperimento. Le conoscenze giovanili sulle radiazioni ionizzan1 Esame dei fa5ori di validità del disegno d'indagine Corso di Teorie e pra1che della valutazione – AA 2012-‐2013 I fa5ori di validità dell'esperimento VALIDITA' INTERNA: 1 Storia ● 2 Maturazione ● 3 Tes1ng ● 4 Strumentazione ● 5 Regressione ● 6 Selezione ● 7 Mortalità ● 8 Interazione Selezione-‐Altri fa5ori ● 
VALIDITA' ESTERNA: 1 Interazione Tes1ng-‐X ● 2 Interazione Selezione-‐X ● 3 Reazione alle condizioni sperimentali ● 4 Interferenza da tra5amen1 mul1pli ● 
Le conoscenze giovanili sulle radiazioni ionizzan1 Esame dei fa5ori di validità del disegno d'indagine Corso di Teorie e pra1che della valutazione – AA 2012-‐2013 I fa5ori di validità interna 1) FATTORE SELEZIONE: tu5o ciò che inﬁci l'equivalenza dei gruppi in fase di pre-‐
tra5amento, ossia, per usare le parole di Campbell e Stanley (2004, pag. 44), le "distorsioni risultan1 dall'a5ribuzione diﬀerenziale dei soggeJ ai gruppi di comparazione". Come sarebbe possibile, infaJ, imputare ad X una variazione qualora non si possa essere sicuri della comparabilità dei gruppi precedentemente ad X? Le conoscenze giovanili sulle radiazioni ionizzan1 Esame dei fa5ori di validità del disegno d'indagine Corso di Teorie e pra1che della valutazione – AA 2012-‐2013 I fa5ori di validità interna CONTROLLI PER IL FATTORE SELEZIONE: ●  campioni molto ampi
X procedure di randomizzazione X ●  pretest √ ●  trascurabili diﬀerenze iniziali sulla proprietà inves1gata √ ●  non sorgono dubbi circa le assegnazioni all'uno o all'altro gruppo
√ ●  il criterio di selezione non crea discriminazioni su variabili teoricamente rilevan1 soSoposte a
pretest √ ● 
Le conoscenze giovanili sulle radiazioni ionizzan1 Esame dei fa5ori di validità del disegno d'indagine Corso di Teorie e pra1che della valutazione – AA 2012-‐2013 I fa5ori di validità interna 2) FATTORE STORIA: fra la prima e la seconda misurazione, o fra le misurazione preceden1 all'intervento sperimentale e quelle successive, o, ancora, nel caso di assenza di pretest, fra la somministrazione della variabile sperimentale e pos5est, può veriﬁcarsi un qualsivoglia evento in grado di produrre un'inﬂuenza sui soggeJ tale da essere a torto scambiata per l'azione della variabile X. ● 2.1 STORIA INTERNA: episodi interni alle stesse sessioni sperimentali, speciﬁci
accadimen1 veriﬁca1si nel corso delle due sessioni e non aven1 alcuna per1nenza con l'esperimento stesso Le conoscenze giovanili sulle radiazioni ionizzan1 Esame dei fa5ori di validità del disegno d'indagine Corso di Teorie e pra1che della valutazione – AA 2012-‐2013 I fa5ori di validità interna CONTROLLI PER IL FATTORE STORIA: ●  isolamento sperimentale
X teoria perfeSamente speciﬁcata X ●  gruppo di controllo √ ●  registrazione da parte del ricercatore degli speciﬁci even1 veriﬁca1si nel corso di una sessione
e dell'andamento generale della stessa √ STORIA INTERNA: ●  le sessioni sperimentali non hanno né potuto svolgersi in assoluta contemporaneità, né, tanto
meno, traSando insieme, ciascuno nel suo gruppo, tuU i soggeU del gruppo sperimentale e di quello di controllo; diventa allora molto diﬃcile pensare al veriﬁcarsi di una serie sistema1ca di avvenimen1 che abbia avuto una forza tale da esercitare un consistente eﬀeSo di distorsione √ ●  lo stesso oggeSo porta ad escludere l'azione distorsiva messa in aSo da episodi speciﬁci
interni all'esperimento, non essendo la conoscenza circa il rischio legato alle radiazioni propriamente un tema sensibile nella ricerca sociale √ ● 
Le conoscenze giovanili sulle radiazioni ionizzan1 Esame dei fa5ori di validità del disegno d'indagine Corso di Teorie e pra1che della valutazione – AA 2012-‐2013 I fa5ori di validità interna 3) FATTORE MATURAZIONE: variazioni nel corso dell'esperimento dovute a processi interni ai soggeJ che hanno poco o nulla a che fare con l'azione della variabile sperimentale Le conoscenze giovanili sulle radiazioni ionizzan1 Esame dei fa5ori di validità del disegno d'indagine Corso di Teorie e pra1che della valutazione – AA 2012-‐2013 I fa5ori di validità interna CONTROLLI PER IL FATTORE MATURAZIONE: ●  misurazioni ripetute X gruppo di controllo √ ●  scarsa plausibilità di un intervento del faSore visto l'oggeSo d'indagine √ ● 
Le conoscenze giovanili sulle radiazioni ionizzan1 Esame dei fa5ori di validità del disegno d'indagine Corso di Teorie e pra1che della valutazione – AA 2012-‐2013 I fa5ori di validità interna 4) FATTORE TESTING: possibilità che le prove preceden1 producano delle inﬂuenze su quelle successive, sopra5u5o come eﬀeJ di acquisizione di una pra1ca Le conoscenze giovanili sulle radiazioni ionizzan1 Esame dei fa5ori di validità del disegno d'indagine Corso di Teorie e pra1che della valutazione – AA 2012-‐2013 I fa5ori di validità interna CONTROLLI PER IL FATTORE TESTING: assenza del pretest ●  misurazioni ripetute ●  gruppo di controllo ● 
X X √ Le conoscenze giovanili sulle radiazioni ionizzan1 Esame dei fa5ori di validità del disegno d'indagine Corso di Teorie e pra1che della valutazione – AA 2012-‐2013 I fa5ori di validità interna 5) FATTORE STRUMENTAZIONE: variazioni nel corso dell'esperimento possono essere dovute non ai soggeJ stessi, bensì ad alterazioni degli strumen1 di misurazione Le conoscenze giovanili sulle radiazioni ionizzan1 Esame dei fa5ori di validità del disegno d'indagine Corso di Teorie e pra1che della valutazione – AA 2012-‐2013 I fa5ori di validità interna CONTROLLI PER IL FATTORE STRUMENTAZIONE: controllo della storia interna della sessione
●  adozione d'uno strumento standardizzato ●  gruppo di controllo √ ● 
√ √ Le conoscenze giovanili sulle radiazioni ionizzan1 Esame dei fa5ori di validità del disegno d'indagine Corso di Teorie e pra1che della valutazione – AA 2012-‐2013 I fa5ori di validità interna 6) FATTORE REGRESSIONE STATISTICA: soggeJ seleziona1 sulla base di punteggi estremi ad un primo test tendono a “regredire” verso la media generale del gruppo nelle prove successive (registrando quindi un peggioramento per i punteggi estremamente al1 e, specularmente, un miglioramento per quelli estremamente bassi), e tale spostamento viene spesso erroneamente ritenuto eﬀe5o della variabile sperimentale Le conoscenze giovanili sulle radiazioni ionizzan1 Esame dei fa5ori di validità del disegno d'indagine Corso di Teorie e pra1che della valutazione – AA 2012-‐2013 I fa5ori di validità interna CONTROLLI PER IL FATTORE REGRESSIONE STATISTICA: scelta dei soggeU sulla base di criteri indipenden1 ●  pretest √ ●  gruppo di controllo √ ● 
√ Le conoscenze giovanili sulle radiazioni ionizzan1 Esame dei fa5ori di validità del disegno d'indagine Corso di Teorie e pra1che della valutazione – AA 2012-‐2013 I fa5ori di validità interna 7) FATTORE MORTALITA' SPERIMENTALE: possibilità (pra1camente una certezza quando si hanno popolazioni molto ampie) che non tuJ i soggeJ partecipino a tu5e le fasI per loro previste dell'esperimento; la perdita di unità nei diversi gruppi potrebbe creare delle diﬀerenze fra gli stessi a torto scambiate per l'eﬀe5o della variabile sperimentale Le conoscenze giovanili sulle radiazioni ionizzan1 Esame dei fa5ori di validità del disegno d'indagine Corso di Teorie e pra1che della valutazione – AA 2012-‐2013 I fa5ori di validità interna CONTROLLI PER IL FATTORE MORTALITA' SPERIMENTALE: gruppi randomizza1 √ X ●  pretest √ ●  monitoraggio delle presenze √ ● 
Le conoscenze giovanili sulle radiazioni ionizzan1 Esame dei fa5ori di validità del disegno d'indagine Corso di Teorie e pra1che della valutazione – AA 2012-‐2013 I fa5ori di validità interna 7) FATTORE INTERAZIONE SELEZIONE -‐ ALTRI FATTORI: ciascuno di ques1 ul1mi può aver esercitato la sua inﬂuenza su uno solo dei due gruppi, oppure su entrambi ma in maniera diversa Le conoscenze giovanili sulle radiazioni ionizzan1 Esame dei fa5ori di validità del disegno d'indagine Corso di Teorie e pra1che della valutazione – AA 2012-‐2013 I fa5ori di validità interna CONTROLLI PER IL FATTORE SELEZIONE-‐ALTRI FATTORI: non pare plausibile che possano essersi veriﬁca1 even1 tali da inﬂuenzare i gruppi in maniera sistema1camente diversa (selezione-‐storia) √ ●  né che il ques1onario impiegato possa aver sor1to eﬀeU diﬀerenziali (selezione-‐tes8ng e
selezione-‐strumentazione) √ ●  le modalità di coinvolgimento dei soggeU da intervistare e dei casi da analizzare,
congiuntamente alla impossibilità dei ragazzi di conoscere le date di svolgimento delle sessioni dell'esperimento ci portano ad escludere anche le ul1me due ipotesi di interazione (selezione-‐
regressione e selezione-‐mortalità) √ ●  la natura dell'oggeSo di indagine, il pretest, la convergenza nei risulta1 di tecniche diverse di
analisi, la procedura di reclutamento dei soggeU e l'assegnazione casuale da parte del ricercatore e non autoseleUva da parte dei ragazzi e il 1po di outcome dell'esperimento rendono improbabile l'imputazione di tale esito alla corrispondenza a due modelli evolu1vi diﬀeren1 per ciascun gruppo √ ● 
Le conoscenze giovanili sulle radiazioni ionizzan1 Esame dei fa5ori di validità del disegno d'indagine Corso di Teorie e pra1che della valutazione – AA 2012-‐2013 I fa5ori di validità esterna 1) FATTORE INTERAZIONE SELEZIONE-‐X: non è lecito estendere le conclusioni tra5e alla popolazione di riferimento, poiché rispe5o ad essa il campione può non essere rappresenta1vo CONTROLLI PER IL FATTORE INTERAZIONE SELEZIONE-‐X: ●  campioni casuali rappresenta1vi X scarsa discriminazione dei punteggi iniziali rispeSo al criterio di campionamento adoSato √ ●  è diﬃcile richiamare alla mente altri faSori contestuali che possano signiﬁca1vamente
incidere sul livello di preparazione dei ragazzi √ ●  massima varietà possibile delle condizioni √ ● 
Al di là delle regole canoniche della sta8s8ca, nella concreta pra8ca di ricerca è sopra+u+o tramite l'apprendimento “graduale, a+raverso prove ed errori” che si riescono a valutare le possibilità di generalizzazione (Campbell e Stanley 2004, pag. 73) Le conoscenze giovanili sulle radiazioni ionizzan1 Esame dei fa5ori di validità del disegno d'indagine Corso di Teorie e pra1che della valutazione – AA 2012-‐2013 I fa5ori di validità esterna 2) FATTORE EFFETTO REATTIVO DEL TESTING: la somministrazione d'un pretest può inﬂuenzare, posi1vamente o nega1vamente, la ricezione della variabile sperimentale; se, allora, vi è un'interazione tes.ng-‐X, com'è possibile generalizzare gli eﬀeJ d'una determinata variabile sperimentale a coloro i quali non sono so5opos1 a pretest? CONTROLLI PER IL FATTORE EFFETTO REATTIVO DEL TESTING: eliminare il pretest X ●  quando le osservazioni sperimentali sono simili a quelle di norma eﬀeSuate non sarà presente alcuna sgradita interazione fra il tes8ng ed X √ ●  estensione del disegno √ ● 
Le conoscenze giovanili sulle radiazioni ionizzan1 Esame dei fa5ori di validità del disegno d'indagine Corso di Teorie e pra1che della valutazione – AA 2012-‐2013 I fa5ori di validità esterna 3) FATTORE REATTIVITÀ DELLE CONDIZIONI SPERIMENTALI: la consapevolezza da parte dei soggeJ di essere studia1, congiuntamente a cara5eris1che palesemente ar1ﬁciose delle procedure di ricerca, può produrre alterazioni tali da annullare la generalizzabilità delle conclusioni CONTROLLI PER IL FATTORE REATTIVITÀ DELLE CONDIZIONI SPERIMENTALI: limitato intervento degli osservatori √ ●  ques1onario standardizzato √ ●  scelta di intere scuole, senza dividisione dei ragazzi all'interno della propria classe √ ●  ai ragazzi non è stato comunicato che avrebbero compilato un secondo test, ed i soggeU del
gruppo sperimentale hanno assis1to all'intervento forma1vo senza sapere prima quando questo si sarebbe svolto √ ●  somiglianza dell'intervento forma1vo alle normali lezioni
√ ● 
Le conoscenze giovanili sulle radiazioni ionizzan1 Esame dei fa5ori di validità del disegno d'indagine Corso di Teorie e pra1che della valutazione – AA 2012-‐2013 I fa5ori di validità esterna 4) FATTORE INTERFERENZA DOVUTA A TRATTAMENTI MULTIPLI: pone ostacoli alla generalizzazione poiché è diﬃcile cancellare gli eﬀeJ di tra5amen1 preceden1 CONTROLLI PER IL FATTORE TRATTAMENTI MULTIPLI: c'è un solo traSamento √ ●  gruppo di controllo √ ● 
Le conoscenze giovanili sulle radiazioni ionizzan1 Esame dei fa5ori di validità del disegno d'indagine Corso di Teorie e pra1che della valutazione – AA 2012-‐2013 Giudizio di validità Sembra correSo conferire all'indagine condoSa lo status di esperimento vero e proprio. La conduzione della campagna realizzata, nonostante sia classiﬁcabile come disegno di indagine quasi-‐sperimentale, si è mostrata addiriSura in grado di fornire maggiori garanzie sulla correSezza delle procedure che se ci si fosse os1na1, in nome di qualche preceSo teorico tanto limpido e rassicurante in astraSo quanto problema1co e irto d'insidie nella pra1ca, a perseguirne la sua matrice di provenienza sperimentale vera e propria. Anche sul versante dell'esportabilità dei risulta1 il disegno di ricerca fornisce oUme garanzie. Ad ogni modo, è inu1le proporre graduatorie astraSe di validità dei diversi disegni sperimentali, e, tanto più, cercare di predisporre indagini perfeSe dal punto di vista metodologico e formale, senza rendersi conto che è il contesto concreto nel quale si svolge la ricerca a doverci indirizzare verso certe procedure anziché verso altre. Le conoscenze giovanili sulle radiazioni ionizzan1 Esame dei fa5ori di validità del disegno d'indagine Corso di Teorie e pra1che della valutazione – AA 2012-‐2013

Download Report