Im Folgenden geht es darum, wie man einen wissenschaftlichen Test (z.B. Intelligenztest) konstruiert, seine Tauglichkeit prüft und was die wichtigsten Gütekriterien sind.
Testkonstruktion
Unter einem Test versteht man eine in Form und Umfang festgelegte Anzahl von Aufgaben oder Fragen, bei dem quantitative Aussagen über den Ausprägungsgrad individueller Merkmale (Leistungs- oder Persönlichkeitsmerkmale) gemacht werden können.
Zunächst werden einzelne Items (=Testaufgaben) ausgewählt, die das zu messende Konstrukt abbilden. Anschließend wird mittels einer Itemanalyse entschieden, welche Items in die Testendform aufgenommen werden (Itemselektion). Auswahlkriterien hierbei sind:
- Schwierigkeitsindex, d.h. zu leichte und/oder schwere Items werden ausselektiert.
- Der Trennschärfekoeffizient beurteilt, wie stark die Beantwortung eines Items mit dem Gesamtergebnis aller Antworten zusammenhängt (korreliert).
Anschließend wird der Test an einer repräsentativen Stichprobe normiert (geeicht) und auf seine Qualität (Güte) geprüft.
Gütekriterien
Die Hauptgütekriterien sind Objektivität, Reliabilität und Validität.
Objektivität: Unter Objektivität versteht man die Unabhängigkeit des Untersuchungsergebnisses vom Untersucher, Auswerter und Interpreten. Erreicht wird Objektivität durch eine hohe Standardisierung. Es lassen sich drei Aspekte unterscheiden:
- Durchführungsobjektivität: Unabhängigkeit des Testergebnisses von der Person, die den Test mit der Testperson durchführt
- Auswertungsobjektivität: Unabhängigkeit des Testergebnisses von der Person, die den Test auswertet
- Interpretationsobjektivität: Unabhängigkeit des Testergebnisses von der Person, die den Testwert interpretiert
Reliabilität: Unter Reliabilität versteht man die Genauigkeit, Zuverlässigkeit und Reproduzierbarkeit, mit dem ein Forschungsinstrument ein bestimmtes Merkmal misst. Möglichkeiten der Reliabilitätsprüfung:
- Test-Retest-Methode = Testwiederholungsmethode, Hohe positive Korrelation des Testwertes mit einem zeitversetzt mit demselben Test an denselben Testpersonen gemessenen zweiten Testwert
- Paralleltestmethode = Vergleich zweier paralleler, sehr ähnlicher Tests; Hohe positive Korrelation des Testwertes mit einem zum gleichen Zeitpunkt mit einem inhaltsähnlichen (parallelen) Test gemessenen Testwert
- Methode der Testhalbierung (Split-Half-Reliabilität) = Vergleich zweier Testhälften; Hohe positive Korrelation der einen Testhälfte mit der zum gleichen Zeitpunkt erhobenen anderen Testhälfte (z. B. erste versus zweite Testhälfte, gerade versus ungerade Items)
- Interne Konsistenz = Hohe positive durchschnittliche Korrelation jedes einzelnen Testitems mit jedem anderen, zum selben Zeitpunkt gemessenen Item (korrigiert um die Testlänge) (Wird mit dem Kennwert Cronbachs α bestimmt, wobei gilt: je höher α, desto homogener die Items des Test.)
Validität: Unter Validität versteht man die Gültigkeit, inhaltliche Bedeutung eines Messinstrumentes, d.h. wie gut ein Instrument in der Lage ist, das zu messen, was es messen soll. Die Validität kann über verschiedene Möglichkeiten ermittelt werden:
- Inhaltsvalidität = Die einzelnen Testitems spiegeln das Zielkonstrukt in seinen inhaltlichen Bedeutungsaspekten vollständig und sinngemäß wider.
- Kriteriumsvalidität = Vergleich des Testergebnisses mit einem Referenzstandard (z.B. Ergebnis einer Mammographie mit dem pathologischen Befund der Biopsie)
- Übereinstimmungsvalidität [konkurrente] Validität bei zeitgleicher Messung
- prognostische Validität bei Vorhersage eines Kriteriums zu einem späteren Zeitpunkt
- Konstruktvalidität = Überprüfung der Übereinstimmung verschiedener Merkmale eines Konstrukts