Een onderzoek kritisch beoordelen
In opgaven over echte onderzoeken komen alle technieken van dit hoofdstuk door elkaar terug. Daarnaast moet je de onderzoeksopzet kritisch beoordelen: mag de onderzoeker de conclusie wel trekken? Daarvoor gebruik je een vaste checklist.
Na deze les kun je
- bij een onderzoek de populatie en de steekproef benoemen
- de onderzoeksopzet beoordelen met een checklist
- uitleggen waarom een conclusie te algemeen is
- kiezen welke techniek uit het hoofdstuk bij een vraag hoort
Dit weet je al
Alle lessen van dit hoofdstuk: variabelen en diagrammen, causaliteit, groepen vergelijken, steekproeven en betrouwbaarheidsintervallen.
De checklist
- Populatie en steekproef. Over welke groep wil de onderzoeker iets zeggen? Wie is er werkelijk onderzocht?
- Aselect? Heeft elk element van de populatie dezelfde kans om in de steekproef te komen? Zelf aanmelden, één plaats of één soort is niet aselect.
- Groot genoeg? Bij een kleine steekproef is het betrouwbaarheidsinterval breed. Bij max Vcp moeten beide groepen groter zijn dan 100.
- Controlegroep en aselecte indeling. Is er een groep zonder behandeling? Zijn de groepen door loting ingedeeld? Is er een "nepbehandeling" (placebo of dummy) om uit te sluiten dat de behandeling zelf iets anders doet dan bedoeld?
- Hoe groot is het verschil? Gebruik de juiste methode van het examenformuleblad.
- Gaat de conclusie niet te ver? Een samenhang is nog geen oorzaak, en een resultaat bij één soort, één land of één leeftijdsgroep geldt niet automatisch voor iedereen.
Een school laat 40 leerlingen die zich zelf aanmeldden, een maand lang leren met rustige muziek. Ze halen gemiddeld een 7,1. De rest van de school haalt gemiddeld een 6,4. De school concludeert: "Muziek bij het leren zorgt voor hogere cijfers bij alle scholieren."
- Populatie: alle scholieren. Steekproef: 40 leerlingen van één school.
- Niet aselect: de leerlingen meldden zich zelf aan, en ze komen van één school.
- De groepen zijn niet aselect ingedeeld. Leerlingen die zich aanmelden, zijn misschien al gemotiveerder. Motivatie kan dan het verschil verklaren, dus aan de tweede voorwaarde voor causaliteit is niet voldaan.
- De conclusie gaat over "alle scholieren", maar er is maar één school onderzocht.
- Een betere opzet: deel aselect gekozen leerlingen door loting in twee groepen in, één met en één zonder muziek, en vergelijk de groepen met de effectgrootte.
"Gestreepte koeien worden minder vaak gestoken" is te algemeen als er zes koeien van één ras in één land zijn onderzocht. Noem bij kritiek steeds een concreet aspect van de opzet: welke groep, welke plaats, welk aantal.
"Hoe groot is het verschil?" vraagt om het examenformuleblad. "Wat zegt dit over de populatie?" vraagt om een betrouwbaarheidsinterval. "Is dit een oorzaak?" vraagt om de twee voorwaarden voor causaliteit. "Welk diagram?" vraagt om het doel en het meetniveau. Lees de vraag dus eerst goed voordat je gaat rekenen.
Snap je het?
Een tijdschrift houdt een enquête onder zijn eigen lezers en concludeert iets over alle studenten. Wat is het probleem?
Waarom krijgt een groep in een proef soms een nepbehandeling (placebo of dummy)?
Een onderzoeker deelt 200 proefpersonen door loting in twee groepen in en vindt een groot verschil. Mag hij concluderen dat de behandeling de oorzaak is?
Hiermee is hoofdstuk 10 rond. In de Kennis- en vaardighedentest en de gemengde opgaven gebruik je alle technieken door elkaar. Begin steeds met de vraag: welke gegevens heb ik, en wat wordt er gevraagd?
Klaar met deze les? Zet hem op gelezen; je voortgang staat rechtsboven.