Vragenlijsten zijn geen neutraal meetinstrument

In de psychologie worden veel vragenlijsten gebruikt. Om te meten hoe depressief iemand is, bijvoorbeeld. ‘Maar het is de vraag of een vragenlijst iets meet, zoals een thermometer dat doet,’ schrijft Tom Grosfeld. ‘Klachten worden, afhankelijk van het doel, afgezwakt, vervormd of aangedikt.’

Tijdens mijn tijd op de universiteit hoorde ik studenten regelmatig klagen dat hun opleiding psychologie ‘wel heel veel statistiek was’. Dat is niet vreemd, kijkend naar de praktijk: iemand die een psycholoog bezoekt, is vooral veel tijd kwijt aan vragenlijsten invullen. Er moet een diagnose worden vastgesteld, er moeten pre- en postmetingen worden verricht om te beoordelen of de klachten afnemen en ja, ook universiteiten kunnen die data goed gebruiken voor onderzoek. 

Opvallend is dat de vragenlijst onder wetenschappers nauwelijks ter discussie staat. En ook weer niet, want het verhaal van de psychologie en psychiatrie is bekend: het veld wil zo graag wetenschappelijk zijn, een natuurwetenschappelijke fundering aan haar handelen geven, dat het zich blind heeft gestaard op statistiek, op methode, op kwantificeren. 

Maar een vragenlijst is allerminst een neutraal instrument, leerde ik van Femke Truijens (Erasmus Universiteit), die als een van de weinige psychologen onderzoek doet naar kwalitatieve meetmethodes. Een vragenlijst is gebouwd op basis van aannames, assumpties en theoretische uitgangspunten. Dat beïnvloedt wat een patiënt kan zeggen. Zijn uitspraken worden gevormd door wat de vragenlijst mogelijk maakt. Wat buiten de vragenlijst valt, en wat vaak minder goed meetbaar is, verdwijnt. Zodoende luistert de psycholoog, via de vragenlijst, naar de patiënt. 

De patiënt weet daarnaast dat de vragenlijst gelezen zal worden. Op basis van de cijfers wordt besloten wat zijn diagnose is, of hij wel of niet behandeld mag worden in de kliniek, enzovoorts. Het is daarom de vraag of een vragenlijst iets meet, zoals een thermometer dat doet, of misschien eerder een instrument is om iets mee te communiceren. Klachten worden, afhankelijk van het doel, afgezwakt, vervormd of aangedikt. 

Zo zijn er meer bezwaren. Al zijn die tegelijk te overzien: wanneer de afnemende behandelaar de ingevulde vragenlijst voorziet van context en duiding, de cijfers op zorgvuldige wijze weet te interpreteren, zijn ze nog altijd onderdeel van een narratieve uitwisseling, zijn het in wezen woorden. 

Maar helaas blijft het daar niet bij. Individuele data wordt namelijk geaggregeerd, het wordt groepsdata, een dataset, wat betekent dat de cijfers worden losgetrokken uit hun contextuele verhaal. Wanneer iemand bijvoorbeeld een vier scoort op de vraag of hij weleens depressieve gevoelens heeft, zou een behandelaar kunnen denken: dat komt omdat hij slecht heeft geslapen.

Of: we weten inmiddels dat hij hier langzaam anders over aan het denken is. In de dataset verdwijnt die duiding. De cijfers moeten ineens voor zich spreken. Want als niet alle gescoorde vieren hetzelfde betekenen, kun je de data net zo goed weggooien. 

Mar toch: hoe betrouwbaar en valide is zo’n dataset uiteindelijk? En moeten we daar niet meer vragen over stellen? Want op basis van zulke data worden papers geschreven, wordt vastgesteld hoeveel sessies er nodig zijn voor een bepaalde diagnose, wat de beste therapie is, welke instelling het beste presteert, enzovoorts. 

Volgens Truijens is de oplossing betrekkelijk eenvoudig. Het veld moet een denkstap maken. De cijfers niet voor lief nemen, maar meten zien als iets narratiefs. Volgens mij kom je dan dichter bij de patiënt. En dat is toch waar wetenschap om draait.