Die Knacknuss einer Studie ist kaum bekannt und doch regelmässig umstritten. Das Feld der Methodik (Material & Methods) ist riesig und eigentlich hochspannend – darum möchte ich hier einen Einblick liefern.

In der Methodik geht es um die Frage: WIE wollen wir die vorhandene Frage beantworten? Denn eine gestellte Frage kann auf viele verschiedene Arten beantwortet werden. So geht es in diesem Thema um die Auswahl der Testindividuen, sowie um die Messmethodik. Auch in diesem Bereich möchte ich dies gerne mit einem Beispiel veranschaulichen.

Auswahl der Testindividuen

Wir möchten folgende Frage klären: Wie gross sind die Schweizerinnen und Schweizer im Durchschnitt? Um die Frage definitiv klären zu können müsste man sämtliche Einwohner der Schweiz vermessen, doch dies ist komplett unrealistisch. Daher versucht man, einen bestimmten Teil der Gesamtmenge auszuwählen. Doch es stellen sich mehrere Schwierigkeiten:

• Wie viele Personen soll man vermessen? Reichen 10 Personen, oder müssen es 1’000’000 sein? Grundsätzlich gilt: Je mehr, um so besser – man sollte diesen Wert also tendenziell maximieren.
• Wo findet man die Personen? Ich könnte auf die Strasse stehen und die ersten X Personen vermessen, die mir begegnen. Doch ich würde nur die Personen einer Region vermessen – im Kanton Appenzell Innerrhoden würden somit andere Ergebnisse resultieren, als im Kanton Zürich.
• Wer darf mitmachen? Dürfen alle mitmachen, die wollen? Überlasse ich es den Personen, ob sie mitmachen wollen? Dann nehmen eventuell nur Personen teil, die eine bestimmte Grösse haben, so wird das Resultat verfälscht. Es stellt sich auch die Frage, ob alle Altersgruppen teilnehmen dürfen – oder ob man erst nach der Pubertät in der Studie teilnehmen darf.

Wie man sieht, ist die Auswahl der Personen nicht so trivial, wie es auf den ersten Moment scheint. Es gibt hier kein richtig oder falsch – es sind vielmehr manche Einschränkungen sinnvoller für gewisse Fragestellungen. Ich würde aktuell also eine repräsentative Stichprobe aus allen Kantonen vorschlagen – verteilt über sämtliche Altersstufen ab 18 Jahren.

Art des Tests

Wie soll nun getestet werden? Es stehen mehrere Optionen zur Auswahl:

• Selbstdeklaration
  Die Testpersonen dürfen selbst angeben, wie gross sie sind. Diese Methode würde wahrscheinlich zu Verfälschungen führen, da sich die Personen eventuell eher zu gross angeben würden.
• Grobe Messung
  Man hängt eine Messlatte auf 2.0m, 1.8m und 1.6 auf. Wer unter der 1.6m durchpasst, gilt als 1.60 gross, wer unter der 1.80 durchpasst, als 1.80m, usw…! Auch diese Methodik ist nicht grundsätzlich falsch – sondern einfach ungeeignet, bzw. ungenügend präzise.
• Mittlere Messung
  Man misst auf einen Zentimeter genau mit einem Massstab. Auch hier hat man noch eine eine unpräzise Angabe, je nach Betrachtungswinkel.
• Genaue Messung
  Man misst auf den hundertstel Zentimeter genau – dies wäre natürlich eigentlich ideal, aber eventuell extrem teuer. Daher sollten die anderen Methoden geprüft werden, ob sie eventuell ebenfalls zum Ziel führen.

Fazit

Selbst bei einer einfachen Frage wird die Methodik erstaunlich kompliziert. Die sinnvollen und korrekten Vereinfachungen sind die grosse Kunst der Wissenschaft. Entsprechend wird dieser Bereich auch oft hinterfragt und Einschränkungen oder Methodiken werden angezweifelt. Dieser Bereich hat natürlich auch riesige Auswirkungen auf die Interpretation (wenn man z.B. die Personen unter 18 Jahren ausschliesst, darf man die Interpretation auch nur auf die Personen über 18 anwenden).