Pretest: Warum Sie Ihre Umfrage vorher testen sollten

Online-Fragebögen haben die Marktforschung für Unternehmen enorm erleichtert, da Umfragen schneller umgesetzt werden können. Das birgt jedoch auch die Gefahr, dass diese nicht ausreichend geprüft und überhastet durchgeführt werden. Weshalb Sie daher immer einen Pretest einplanen sollten und welche quantitativen und qualitativen Möglichkeiten sich für die Testbefragung anbieten, erfahren Sie in diesem Artikel.

Warum ist ein Pretest wichtig?

Umfragen sind in der Marktforschung das effektivste Mittel, um herauszufinden, was die Zielgruppe denkt und möchte. Wenn der Fragebogen allerdings unverständlich oder zu kompliziert ist, können Ergebnisse verfälscht sein und die Arbeit war umsonst. Ein Pretest hilft dabei, dieses Problem zu umgehen. Die Testbefragung klärt die Reliabilität (Zuverlässigkeit) sowie die Validität (Gültigkeit) der Umfrage.

Sie ist wichtig, um Stolpersteine für die spätere Umfrage aus dem Weg zu räumen. So können Fachbegriffe oder Fragestellungen zu kompliziert sein und es kommt zu Verständnis- und Logikproblemen. Die Teilnehmer sind gegebenenfalls nicht in der Lage, bestimmte Fragen zu beantworten. Wenn Fragestellungen zu lang oder irrelevant für die Zielgruppe sind, treten womöglich Motivationsprobleme auf. Auch Technikprobleme können dafür sorgen, dass die Umfrage nicht einwandfrei durchgeführt werden kann.

Um solche Situationen von vornherein auszuschließen und am Ende nicht ohne gültiges Ergebnis dazustehen, sollten Sie in keinem Fall auf einen Pretest verzichten.

Diese Erkenntnisse bringt Ihnen der Pretest-Fragebogen

Obwohl die Generalprobe Ihrer Umfrage Sie mehr Zeit und Geld kosten wird, lohnt sie sich. Der Pretest gibt Ihnen nicht nur wichtige Optimierungshinweise, sondern untermauert darüber hinaus Ihre professionelle Herangehensweise. Relevante Erkenntnisse, die Sie durch den Pretest erhalten, sind beispielsweise:

• Schwieriges (Fach-)Vokabular: Lassen sich Fragen einfacher formulieren?
• Umfang: Sollten Fragen weggelassen, ergänzt oder zusammengefasst werden?
• Roter Faden: Ist die Reihenfolge der Fragen stimmig?
• Auswahl: Fehlen Antwortoptionen?
• Verständlichkeit: Gibt es Fragen, die weitere Erklärungen benötigen?
• Rechtschreibung: Enthält die Umfrage Rechtschreib- oder Grammatikfehler?
• Qualität: Stimmt das Verhältnis von quantitativen zu qualitativen Fragestellungen?
• Zweckmäßigkeit: Liefert der Fragebogen Antworten zur gesetzten Forschungsfrage?

Ein Pretest zeigt also mögliche Schwachstellen Ihrer Umfrage auf. Damit Sie ein aussagekräftiges Ergebnis erhalten, sollten die Testpersonen denen der eigentlichen Zielgruppe ähnlich sein. Achten Sie darauf, dass demografische Merkmale und Interessen übereinstimmen. Ansonsten laufen Sie Gefahr, dass das Feedback der Testgruppe unbrauchbar ist.

Wie führt man einen Pretest durch?

Ein Pretest wird in der Regel auf dem gleichen Weg durchgeführt, auf dem auch die eigentliche Umfrage stattfindet. Für das Verfahren stehen drei verschiedene Möglichkeiten zur Verfügung: ein Pretest im Feld, kognitive Pretests und Fokus- oder Expertengruppen.

• Pretest im Feld: Standardverfahren, bei dem der Test als Simulation der Hauptumfrage mit einer Stichprobe durchgeführt wird
• Kognitive Pretests: Interviews, bei denen das Vorgehen der Probanden und Probandinnen aktiv hinterfragt wird
• Fokus- oder Expertengruppen: Vorlauf, der die Befragung gezielt unter Fachleuten testet

Es ist außerdem üblich, dass der Pretest mehrmals durchgeführt wird, um das bestmögliche Ergebnis zu erhalten. Achten Sie jedoch darauf, dass Sie für jeden Durchlauf eine neue Testgruppe bestimmen.

Quantitative vs. qualitative Pretests: Wann eignet sich was?

Wenn Sie einen Pretest durchführen, dann müssen Sie sich nicht zwangsläufig zwischen quantitativer Forschung oder qualitativer Forschung entscheiden. Die beste Lösung ist es, beides miteinander zu kombinieren.

Quantitative Pretests geben Ihnen einen breiten Einblick in die Erhebung. Die Stichprobe sollte hier unbedingt die gleichen Merkmale aufweisen wie die späteren Teilnehmerinnen. Nur so können Sie sicherstellen, dass Ihre Ergebnisse reliabel und valide sind.

Die Durchführung quantitativer Pretests kann sowohl händisch als auch mithilfe von einem Online-Fragebogen stattfinden. Der Nachteil quantitativer Tests ist jedoch, dass sie kein direktes Feedback aufnehmen können. Daher werden sie idealerweise mit qualitativen Auswertungen angereichert.

Qualitative Pretests gehen ins Detail und befassen sich konkret mit möglichen Schwachstellen und Optimierungspotenzial des Erhebungsinstrumentes. Dazu werden die Probanden nach Kritik und Herausforderungen gefragt, die ihnen während der Umfrage aufgefallen sind. Die Durchführung kann auf verschiedene Art und Weise stattfinden. Denkbar sind:

• Die Think-Aloud-Technik, bei der Teilnehmende während der Umfrage laut ihre Meinung äußern
• Qualitative Interviews
• Gruppendiskussionen
• Der teilnehmende Pretest, bei dem die Testpersonen aktiv in die Entwicklung des Fragebogens miteinbezogen werden

Führen Sie die unterschiedlichen Pretests so häufig durch, bis Ihr Fragebogen allen Ihren Anforderungen entspricht. Stellen Sie sich jedoch darauf ein, dass Einzelpersonen vermutlich immer Schwierigkeiten haben oder Kritik äußern. Orientieren Sie sich deshalb immer an Ihrer Zielsetzung: Sobald Sie mit der Durchführung und dem vorläufigen Ergebnis Ihrer Umfrage zufrieden sind, können Sie den Testlauf beenden und zur eigentlichen Befragung übergehen.

Pretest: Wie viele Personen sollten befragt werden?

Wie viele Personen an einem Pretest teilnehmen sollten, hängt davon ab, ob es sich um einen qualitativen oder einen quantitativen Konzepttest handelt. Während sich qualitative Tests auf eine kleinere Gruppe von zehn bis 20 Probanden beschränken, werden quantitative Tests mit mehr als 100 Teilnehmerinnen durchgeführt.

Fazit: Jede Marktforschung braucht einen Pretest

Pretests bewahren Datenerhebungen vor unbrauchbaren Ergebnissen, die weder valide noch reliabel sind. Sichern Sie Ihre Umfrage deshalb immer durch quantitative und qualitative Voruntersuchungen ab, um Problematiken frühzeitig aus dem Weg zu räumen. Sehen Sie die Testbefragung nicht als Last, sondern als erfolgversprechendes Mittel für Ihre eigentliche Untersuchung.

Titelbild: Morsa Images / iStock / Getty Images Plus