Pretest des Fragebogens

Issues in Environmental Economics
Forschungsstelle für Nachhaltige Umweltentwicklung
Seminar zur Contingent Valuation Method
Dr. Richard Tol
Pretest des Fragebogens
von
Moritz Dammas, Sven Kohlmann, Roman Negle, Jörg Siebahn,
Niels Thiermann
Issues in Environmental Economics - Pretest des Fragebogens
Folie 1
Gliederung
1
2
3
4
5
Einleitung
Methoden
Anwendung auf den Fragebogen
Ergebnisse und Änderungen
Neuer Fragebogen
Issues in Environmental Economics - Pretest des Fragebogens
Folie 2
Pretest – Warum?
• Fragebogen ist Messinstrument!
• Qualität des Messinstruments?
o Qualität überprüfen!
o Pretest durchführen!
In der Praxis oft zu wenig Finanzmittel
Issues in Environmental Economics - Pretest des Fragebogens
Folie 3
Testziele
Tests zu den Fragen
•
•
•
•
Verständlichkeit
Vollständigkeit der Antwortmöglichkeiten
Bedeutung der Fragen
Fragen sensibel, heikel, provokant?
Issues in Environmental Economics - Pretest des Fragebogens
Folie 4
Testziele
Tests zum Fragebogen
• Kontexteffekte (Situation der Befragung)
• Handhabbarkeit für den Interviewer
• Dauer der Befragung
Issues in Environmental Economics - Pretest des Fragebogens
Folie 5
Methoden
• Expertentests
• Labortests
• Feldtests
Issues in Environmental Economics - Pretest des Fragebogens
Folie 6
Methoden
• Expertentests
o Expertenurteile
o Fragebogenkonferenz
o Focus-Gruppe
• Labortests
• Feldtests
Issues in Environmental Economics - Pretest des Fragebogens
Folie 7
Methoden
• Expertentests
• Labortests
o Think-Aloud
o Probing
o Confidence-Rating
o Paraphrasing
o Response-Latency
• Feldtests
Issues in Environmental Economics - Pretest des Fragebogens
Folie 8
Methoden
• Expertentests
• Labortests
• Feldtests
o Standard-Pretest
o Nachfragetechniken
o Analyse der Antwortverteilung
o Split-Ballots
Issues in Environmental Economics - Pretest des Fragebogens
Folie 9
Anwendung auf den Fragebogen - Datengrundlage
• Verschiedene Varianten getestet
• Stichprobenumfang: 70 Fragebögen
o Darunter vom Aktuellen: 11
Issues in Environmental Economics - Pretest des Fragebogens
Folie 10
Anwendung auf den Fragebogen
Fragestellungen
• Art der Befragung?
o Interviewer oder Abgabe an den Probanden
• Verständnisprobleme?
o Interviewer (Routing, Nachfragen)
o Proband (SC/MC, Routing, Antwort „keine
Ahnung“)
• Reaktion auf sensible Fragen
Issues in Environmental Economics - Pretest des Fragebogens
Folie 11
Art der Befragung
Testsituationen
• Interviewer trägt Antworten ein
und leitet Gespräch
• Proband füllt Fragebogen aus,
Interviewer für Rückfragen anwesend
Issues in Environmental Economics - Pretest des Fragebogens
Folie 12
Ergebnisse – Art der Befragung
Selbst ausfüllen
Befragung
•Vorteile
•Vorteile
o Schneller
o Verständnis (?)
o
o
o
o
•Nachteile
o Unvollständig
o Antwort entsprechend
Routing-Fragen
o Falsche Angaben
Validere Ergebnisse
Vollständigkeit
Motivation der Probanden
Kontrolle durch
Gesprächsleitung
•Nachteile
⇒ Qualitatives Problem
o Zeitaufwendiger
o Viele Nachfragen und
Irritation bei Multiple
Choice
Issues in Environmental Economics - Pretest des Fragebogens
Folie 13
Ergebnisse – Art der Befragung
Folgen
• Nur Befragung durch Interviewer möglich
• Dafür nötig
o Deutliche Vereinfachung der
Fragestellungen und Antwortmöglichkeiten
o 10er-Skalierung nach Likert
• Außerdem
o Weniger Multiple Choice
Issues in Environmental Economics - Pretest des Fragebogens
Folie 14
Ergebnisse - Verständnisprobleme
• Lange Fragen und Antworten:
o Nachfragen im Interview
o Nicht verstehen oder ignorieren bei selbst
ausfüllen
• Routing:
o Routing vereinfachen
Issues in Environmental Economics - Pretest des Fragebogens
Folie 15
Ergebnisse – Reaktion auf sensible Fragen
• Vereinzelte Weigerung (aus Prinzip)
• Überwiegend unproblematisch
• Einkommensfrage
o Gesamthaushalts… erleichtert die
Bereitschaft
o Vermutete Auswertungsprobleme bei WGs
Issues in Environmental Economics - Pretest des Fragebogens
Folie 16
Issues in Environmental Economics - Pretest des Fragebogens
Folie 17
Issues in Environmental Economics - Pretest des Fragebogens
Folie 18
Fragebogen
Änderungen
• 2 Szenarien (Freibad, Natursee)
• Modifikation des Themas
o Von Umweltschutz zu Tourismus
o Wasserqualitätsverbesserung weniger
gewichtet
• Interviewerfreundlichere Fragen
Issues in Environmental Economics - Pretest des Fragebogens
Folie 19
Frage 1
Wie wichtig sind Ihnen Naherholungsgebiete
in Hamburg?
Bewerten Sie auf einer Skala von 1
unwichtig bis 10 sehr wichtig .
1
2
3
4
5
6
7
8
9
10
• Intuitiv, Keine Nachfragen, neutrales und
präzises Bewertungsschema
Issues in Environmental Economics - Pretest des Fragebogens
Folie 20
Frage 2
Wer sollte sich hauptsächlich für die Bereitstellung
der Naherholungsgebiete verantwortlich zeigen?
□
□
□
□
Die Stadt Hamburg
Umweltschutzorganisationen
Die Nutzer
Weiß nicht
• Single Choice!
Issues in Environmental Economics - Pretest des Fragebogens
Folie 21
Frage 3
Welcher Aussage zu bestehenden
Naherholungsgebieten in Hamburg stimmen Sie
zu?
Die Ausgaben für Naherholungsgebiete sollten
□ erhöht werden
□ so bleiben wie sie sind
□ verringert werden
Issues in Environmental Economics - Pretest des Fragebogens
Folie 22
Frage 4
Wie wichtig ist es Ihnen, dass Hamburger
Gewässer Badewasserqualität haben?
Bewerten Sie auf einer Skala von 1
unwichtig bis 10 sehr wichtig.
1
2
3
4
5
6
7
8
9
10
• Intuitiv, Keine Nachfragen, neutrales und
präzises Bewertungsschema
Issues in Environmental Economics - Pretest des Fragebogens
Folie 23
Frage 5
Wie schätzen Sie die Wasserqualität der
Alster ein?
Bewerten Sie auf einer Skala von 1 sehr
schlecht bis 10 sehr gut.
1
2
3
4
5
6
7
8
9
10
• Intuitiv, Keine Nachfragen, neutrales und
präzises Bewertungsschema
Issues in Environmental Economics - Pretest des Fragebogens
Folie 24
Frage 6
Wofür ist ihnen die Wasserqualität der Alster am
wichtigsten?
… Freizeitaktivitäten
(Rudern, Segeln, Joggen etc.)
… Tourismus
(guter Ruf im Um -und Ausland)
… Ungestörte Entwicklung von Natur und Tieren
… Nicht wichtig
… Sonstiges ________________________
• Single Choice!
Issues in Environmental Economics - Pretest des Fragebogens
Folie 25
Frage 7
Haben Sie schon einmal von den
Maßnahmen der Hamburger
Stadtentwässerung zur Verbesserung der
Wasserqualität gehört?
□ Ja
(□ Bestätigt)
□ Nein
• Kontrollfrage zum Wissensstand für
Auswertung
Issues in Environmental Economics - Pretest des Fragebogens
Folie 26
Frage 8
Stellen Sie sich vor Sie könnten in der
Außenalster baden! Über welchen Zugang
würden Sie dies am liebsten tun?
□ Strand
□ Liegewiese
□ Badesteg
□ Ich möchte nicht in der Alster baden
□ Sonstiger Zugang __________________
Issues in Environmental Economics - Pretest des Fragebogens
Folie 27
Frage 9
Welche Alternative gefällt Ihnen besser?
□ Ein Freibad an der Alster,
bei dem man Eintritt zahlt.
(weiter mit Frage 10)
□ Einen freien Zugang zum Wasser,
der über Steuern unterhalten wird.
(weiter mit Frage 11)
□ weder noch
(weiter mit Frage 12)
Issues in Environmental Economics - Pretest des Fragebogens
Folie 28
Frage 10
Was wären Sie bereit für einen
Freibadbesuch an der Alster zu zahlen?
_________ € /Besuch (weiter mit Frage 12)
Issues in Environmental Economics - Pretest des Fragebogens
Folie 29
Frage 11
Was wären Sie bereit zusätzlich an Steuern
(Wassergeld) für einen freien Badezugang
an der Alster zu bezahlen?
_________ € /Monat
Issues in Environmental Economics - Pretest des Fragebogens
Folie 30
Frage 12
Wie oft besuchen Sie durchschnittlich im
Sommer Freibäder oder Naturseen?
□ 1-4 mal
□ 5-9 mal
□ 10 mal oder mehr
□ Gar nicht
Issues in Environmental Economics - Pretest des Fragebogens
Folie 31
Frage 13
Welche Finanzierungsmöglichkeit zur
Reinigung von Stränden ziehen Sie vor?
□ Kurtaxe
□ Steuern
Issues in Environmental Economics - Pretest des Fragebogens
Folie 32
Frage 14
Wer sollte Ihrer Meinung nach für
Umweltschutzmaßnahmen, von denen Sie
persönlich profitieren aufkommen? (MC)
□ Staat
□ Private Investoren
□ Spendenorganisationen
□ Nutzer
□ Sonstige _____________
Issues in Environmental Economics - Pretest des Fragebogens
Folie 33
Neu im Fragebogen
Vom Interviewer auszufüllen:
Interviewer:
______________________
Ort:
______________________
Datum:
______________________
Uhrzeit der Befragung (Stunde):
______
Fragebogennummer:
______________
Interviewernummer:
______________
Issues in Environmental Economics - Pretest des Fragebogens
Folie 34
Vielen Dank
für Eure Aufmerksamkeit.
Issues in Environmental Economics - Pretest des Fragebogens
Folie 35