th4+fr4

Experimentelle und quasiexperimentelle Designs
Barbara Werewka
Christian Barnet
Varianzkontrolle (Kerlinger 1976)

Bestimmung von Vergleichsgruppen

Modus der Aufteilung von
Untersuchungspersonen auf die
Vergleichsgruppen
Designklassen



Vor-experimentelle Designs
Experimentelle Designs
Quasi-experimentelle Designs
Grundproblematik bei allen Designs:

Neutralisierung eventuell verzerrender Effekte
von Drittvariablen
Vorexperimentelle Designs



Begriff geschaffen von Campbell und Stanley
(1963)
Vorexperimentelle Designs genügen nicht
wissenschaftlichen Anforderungen an die Methodik
der Hypothesenprüfung
Dieser unzureichende Designtyp lässt mehrere
Fehlerquellen gut erkennen



Fehlen von Vergleichsmöglichkeiten
Unvollständige Tabelleninformationen
Keine Vergleichs- und Kontrollgruppen
Prototyp eines vorexperimentellen
Designs - XO Design

X – experimenteller Stimulus
O – Beobachtung: Messung einer abhängigen
Variable
Die Unabhängige Variable besteht nur aus einer Kategorie.
Damit sind die Vergleiche nicht möglich, da die
Auswirkungen einer zweiten Kategorie nicht beobachtet
werden.
Es werden scheinbar Vergleiche suggeriert, die Angaben
sind jedoch unvollständig.
Beispiele von XO - Designs

ADAC glaubt – schnelles Autofahren ist nicht gefährlich, denn
die meisten Autounfälle ereignen sich bei moderaten
Geschwindigkeiten.

Ein Reisemagazin rät, sich bei Autofahrten kurz vor dem Ziel
besonders zu konzentrieren. Empfehlung basiert auf Statistik,
wonach die meisten Unfälle im Umkreis von 30 Km vom
Wohnort passieren.

„Spiegel“ berichtet, 50% der verunglückten Skifahrer, die im
Kantonspital Chur behandelt werden, sind Deutsche.
Beispiele von XO - Designs

Alle drei Beispiele beruhen auf einem
gravierendem Denkfehler
Beim XO - Design ist die Varianz der
unabhängigen Variable 0.
Damit lassen sich keine Zusammenhangshypothesen
überprüfen und keine Effekte abschätzen.
Beispiele von XO - Designs

Autounfälle
ohne Unfall
mit Unfall
100
?
100
Tempo
200
?
10
Frage: Ist die Unfallwahrscheinlichkeit bei Tempo 200 tatsächlich
gering?
Beispiele von XO - Designs

Skiunfälle
Deutschland
Lichtenstein
Andere
nein
4950
40
3960
8950
ja
550
10
440
1000
5500
50
4440
9950
Frage: Ist die Unfallwahrscheinlichkeit bei der Deutschen
Skiurlauber tatsächlich so hoch?
9
Experimentelle Designs
Nutzen von Experimenten


Experimente sind der einzige sichere Weg zur Überprüfung
(Falsifikation) von Hypothesen. Sie ermöglichen die
Untersuchung von Kausalität. (Prinzip von
Ursache/Wirkung)
Charakteristisch für ein Experiment ist





Es gibt mindestens 2 Gruppen (Versuchs- und
Kontrollgruppe)
Zuordnung zu den Gruppen geschieht durch Zufall
(Randomisierung)
Aktive Variation der UV durch den Versuchsleiter und
Registrierung des Effektes der Veränderung
Ausschalten von Wirkungen anderer Variablen
(Störvariablen)
Experimente sollten replizierbar sein (wiederholbar mit
gleichem Ergebnis) => Reliabilität
Experimentelle Designs
Bestandteile



Versuchsperson / Teilnehmer
Versuchsleiter / Experimentator
Unabhängige Variable (Faktor, Bedingung):


Abhängige Variable:


Dies ist die Variable die vom Forscher aktiv verändert wird.
Sie hat mindestens 2 Ausprägungen (Vorhanden sein / nicht
Vorhanden sein)
Bei dieser Variable soll der Effekt der Veränderung der UV
beobachtet werden. Die Reaktion der AV (Messung der
Veränderung) ist also das zu beobachtende Ereignis.
Störvariable:

Dies ist eine Variable die ebenfalls die AV beeinflusst, deren
Auswirkung aber im derzeitigen Experiment nicht erforscht
wird und daher neutralisiert werden muss.
Experimentelle Designs
Ausprägungen


Blindversuch
Den Versuchspersonen (Probanden) ist nicht
bekannt, ob sie in der Versuchs- oder in der
Kontrollgruppe sind bzw. die Probanden sind über
die zu prüfende Hypothese nicht informiert
Doppelblindversuch
Zusätzlich zu den Probanden ist auch dem
Versuchsleiter die zu prüfende Hypothese nicht
bekannt bzw. auch er weiß nicht, ob er eine
Versuchs- oder eine Kontrollgruppe leitet.
Experimentelle Designs

Mehrere Versuchsgruppen
Es gibt auch Experimente mit mehreren Versuchsgruppen.
In diesen Fällen ist jede einzelne Gruppe zugleich
Versuchsgruppe betreffend einen experimentellen Stimulus
(X1,X2,..,Xn) und Kontrollgruppe im Verhältnis zu der
anderen Versuchungsgruppen.
R
R
.
.
R
X1
X2
.
.
Xm
O1
O2
.
.
Om
Versuchsgruppe 1
Versuchsgruppe 2
Versuchsgruppe n
Experimentelle Designs
Mehrere Versuchsgruppen
Beispiel :

Überprüfung zweier oder mehrer unterschiedlichen
Unterrichtsmethoden auf die Lernleistung von Schülern.
R-
Zufallsverfahren bei der Zuweisung der Schülerinnen
und Schüler (Probanden) auf die Versuchsgruppen
X1,X2,Xm –
die unterschiedlichen Unterrichtsmethoden
(experimentelles Stimulus)
O1,O2,Om –
die unterschiedlichen Lernergebnisse der Schülerinnen
und Schüler (Beobachtungen)
Problem der Scheinkorrelation

Die Beobachtung (O) ist nur scheinbar Ergebnis
bzw. Auswirkung des experimentellen Stimulus X.
Tatsächlich hat der unbekannte Drittfaktor Z das
Ergebnis (die Beobachtung) herbeigeführt.
+
X
(experimentelle Stimulus)
Z
(Unbekannte Drittfaktor)
+
O
(Beobachtung)
Scheinkorrelation
Beispiel:

Berufsfortbildungsprogramm für Arbeitslose
(ohne Randomisierung)
Zu überprüfende Hypothese:
Auswirkungen von Berufsfortbildungsprogrammen
auf Wiederbeschäftigungschance.
X 1 – Teilnahme an Berufsfortbildungsprogramm
X 2 – keine Teilnahme
O - Wiedereinstellung
Scheinkorrelation: Beispiel
X
x1 (Versuchsgruppe) Arbeitslose mit Berufsfortbildungskurs
x2 (Kontrollgruppe) Arbeitslose ohne Berufsfortbildungskurs
Z
(unbekannter Drittfaktor) : unterschiedliche Vor-Qualifikationen
bzw. unterschiedliche Motivation der Probanden.
+
X
Kursteilnahme
Z
+
O
Beschäftigungschance
Scheinkorrelation: Beispiel
Beispiel: Berufsfortbildungsprogramm für Arbeitslose
(mit Randomisierung)
R
R
X
x1 (Versuchsgruppe mit Kurs, Beschäftigungschance)
x2 (Versuchsgruppe ohne Kurs, Beschäftigungschance)
Durch die Randomisierung bei der Ziehung von Versuchs- und
Kontrollgruppen wird der unbekannte Drittfaktor Z
ausgeschlossen. Nunmehr lässt sich eine Korrelation
zwischen Fortbildungskurs und Beschäftigungschance
herstellen. Weiteres besteht die Möglichkeit die Störvariable
mitzuerheben oder konstant zu halten um Effekte damit zu
eliminieren.
Weitere Fehlerquellen und deren
Ausschluss

Variable Z, die trotz Randomisierung nicht neutralisiert werden
kann


Hawthorne – Effekt, Verzerrung durch Reaktivität


Ende der 20er Jahre in den Hawthorne Werken der Western Electric
Company entdeckt. Sagt aus, dass Versuchspersonen ihr Verhalten
verändern können, sobald sie merken, dass es sich um ein Experiment
handelt.
Randomisierung verzerrt das Ergebnis


z. B.: Die Entmutigung der Arbeitslosen fällt durch regelmäßige
Kursbesuche nicht so stark aus, wie wenn sie „sich selbst überlassen“
sind
Z. B.: Diejenigen die nicht am Kurs teilnehmen dürfen, fühlen sich als
Verlierer
Bei geringen Fallzahlen kann die Randomisierung missglücken

D. h. wenn die Gruppengrößen nicht groß genug sind
Strategien zur Problemlösung

Variable Z :
Weitere Experimente durchführen

Hawthorne – Effekt:

Verzerrung durch Randomisierung: eher Ausnahme

Missglückte Randomisierung:
Kombination von
Randomisierung und Matching (z. B.: Bei Verteilung auf
Gleichmäßigkeit des Geschlechts achten)
Blind- und Doppelblindversuche
Interne und externe Validität

Interne Validität:
Ausblendung von Störvariablen.
ist hoch, wenn es gelingt alles, außer der unabhängigen Variable, in
den verschiedenen Versuchsanordnungen/ Versuchsgruppen gleich
zu lassen. => Der Schlüssel eines „guten“ Experimentes.

Externe Validität:
Generalisierbarkeit experimenteller
Effekte. D. h. Inwieweit ist die Experimentsituation auf natürliche
Situationen und andere Menschen anwendbar.
Vor- und Nachteile der experimentellen
Designs
Vorteile:

Die Möglichkeit selbst aktiv eine Ursache (unabhängige
Variable) zu gestalten und die Wirkung genau dieser einen
Variable zu erforschen. => Kausalitätsforschung

Neutralisierung von Drittvariablen.
Nachteile:

Das Problem der externen Validität

Das Problem der Reaktivität (Hawthorne)

Hoher Aufwand bei simultaner Prüfung

praktische oder ethische Gründen als Hindernisse bei
Durchführung.
Experimentelle Spieltheorie
„mamihlapinatapai“
(„Jeder erwartet von jemand
anderem, dass dieser etwas tut, was alle wünschen,
aber keiner bereit ist zu tun“)
Verantwortungsdiffusion/Freiwilligendilemma
Experiment
S. 304ff)
von Darley und Latané (1968) (Diekmann,
Versuchsanordnung






Hypothese: „Je größer die Zahl der Zuschauer in einer
Hilfeleistungssituation, desto geringer die (individuelle)
Wahrscheinlichkeit dass eine bestimmte Person Hilfe leistet“
Vorgespieltes Experiment „Diskussion über das CollegeLeben“
2er, 3er, 6er Gruppen von Studenten (wobei immer nur 1
Versuchsperson war, die Anderen eingeweihte Mitarbeiter)
Diskussion über Mikrofone in getrennten Räumen
Notsituation wurde vorgetäuscht (epileptischer Anfall)
Aufzeichnung der Reaktionen der Versuchspersonen
Hilfeleistungen



2er Gruppe (85 %)
3er Gruppe (62 %)
6er Gruppe (31 %)
Quasi-Experimente

Definition: „Versuchsanordnungen die dem
Vorbild des Experimentes nahe kommen und der
experimentellen Logik folgen, jedoch nicht die
strengen Anforderungen an das experimentelle
Design erfüllen.“ (Diekmann, S.309)
Quasi-Experimente

Unterschied zum Experiment



Es wird auf die Randomisierung (d. h. die zufällige Zuteilung
von Versuchspersonen in Versuchs- oder Kontrollgruppe)
verzichtet.
Grund: die Zufallszuteilung ist in vielen Fällen (vor allem in
Feldforschung, z. B. Aufteilung der Schüler in Schulklassen
nicht beeinflussbar) nicht möglich. Die Gruppenaufteilung
erfolgt nach natürlich vorhandenen Eigenschaften bzw.
Selbstselektion
2 Hauptvertreter


Vorher-Nachher-Messung mit Versuchs- und Kontrollgruppe
ohne Zufallsaufteilung („Förderunterricht“)
Zeitreihen-Experiment („Schwarzfahrer“)
Zeitreihenanalyse



Die abhängige Variable wird zu mehr als 2
Zeitpunkten gemessen. (z. B. 7 Messungen und in
der 4en wird die unabhängige Variable eingeführt)
Es wird der Trend vor und nach der Maßnahme
gemessen
Probleme bei der Resultatsinterpretation (Diekmann, S.
316ff)
Vorteile von Quasi-Experimenten


Eignet sich besonders für Untersuchungen im
natürlichen Umfeld (besser als Experimente) da
dort die Zufallszuteilung oft nicht gemacht werden
kann
Hohe externe Validität
Nachteile und Probleme von QU-E

Verzerrungseffekte durch Drittvariablen

Selbstselektion


Systematische Ausfälle


Z. B.: Melden sich nur fleißige Schüler freiwillig zum
Förderunterricht
Z. B.: schwächere Schüler brechen den Förderunterricht
ab (dadurch würde sich Erfolgsquote „verbessern“)
Regressionseffekte

„statistische Tendenz zur Mitte“

Z. B.: Eine Abweichung von Extremwerten ist leichter
möglich als von mittleren Werten. Ein 1er Schüler kann
sich eigentlich nicht mehr verbessern, ein 5er Schüler
nicht mehr verschlechtern.
Lösungsversuche

Gruppen-Matching / Paarweises Matching


Nachträgliche Kontrolle von Drittvariablen durch multivariate
statistische Verfahren





Es wird versucht die Gruppen bezüglich bestimmter
Störvariablen möglichst gleichartig aufzubauen
Die verzerrenden Merkmale müssen bekannt sein
Es müssen bereits Messungen für diese Merkmale vorliegen
Zeitreihen-Experimente (je längerfristiger desto genauer)
Aktive Überwachung der nicht kontrollierten Störfaktoren (z. B.
Beobachtung vom Eintritt punktueller unerwarteter Ereignisse)
Formulierung möglichst klarer Erwartungen an die Daten
Prüfungsfragen



Erklären sie die Begriffe der internen und
externen Validität.
Unterscheiden Sie das Konzept des Experiments
von nicht-experimentellen Methoden
Zeigen sie die Vor- und Nachteile der QuasiExperimente auf, sowie Möglichkeiten deren
Schwächen zu vermindern.

Download Report