Hoe een schrijfonderzoek de gemoederen bezig hield

On this blog I try to primarily write in English. However, in this case it makes more sense to write this lengthy post in Dutch, as it concerns a Dutch thesis (written in Dutch) that has caused a stir in the Netherlands.

Deze blogpost zou eigenlijk helemaal niet geschreven worden. Na talloze reacties van een van de auteurs van het proefschrift -niet altijd naar tevredenheid maar het waren antwoorden- plus diverse stukjes in de media vond ik het eigenlijk wel best. Maar het bleef maar doorgaan, dat volharden in stellige uitspraken. Maar vooral ook: een opzienbarend proces. Dus toch maar twee blogposts. Deze gaat over het proces, een ander over het proefschrift zelf (en inhoudelijke antwoorden op die punten).

Eerst het proefschrift. Dat is hier te vinden. Het persbericht van 28 april 2014 hier. Wat opvalt in het persbericht, veelal de eerste kennismaking van de buitenwereld met een stuk schrijven, Twee zaken -waarvan later gezegd lijkt te worden dat de buitenwacht daar zich te veel op richtte- vielen meteen op: (i) het is slecht gesteld met de schrijfvaardigheid van eerstejaars hbostudenten en universitaire docenten, (ii) er is een softwareprogramma die schrijfvaardigheid verbetert. Er is door sommigen geopperd dat je ook niet op persberichten af moet gaan; het gaat immers om de inhoud, het proefschrift. Daarin staan echter even stellige uitspraken. Neem pagina 113:

Het is heel redelijk om je bij een dergelijke tekst of  persbericht af te vragen of een proefschrift voldoende basis biedt voor die conclusies. natuurlijk kun je simpelweg zeggen ‘anders had het nooit zijn geaccepteerd’ (dat zou later ook genoemd worden) maar gezien het grote aantal werken dat wel degelijk geaccepteerd wordt maar waar wel wat kanttekeningen bij te maken valt, is dat een weinig wetenschappelijke houding. Wat in ieder geval meteen in het oog springt is de relatief lage N. Iets wat de auteurs blijkbaar ook zien als iets wat bekritiseerd kan worden, anders neem je niet in een persbericht op dat “‘Het zijn kleine steekproeven, maar wel aselect getrokken. Voor ons doel zijn ze voldoende nauwkeurig.“.

Op 29 april 2014 las ik zelf voor het eerst over het onderzoek. Ondertussen begon de tamtam te lopen met meer berichten. De teneur steeds hetzelfde: schrijvaardigheid studenten slecht, en er is een tool die harstikke goed werkt. Dat laatste vond ik interessant omdat ik zelf gewerkt heb aan programma’s voor algebra en zelfs binnen die omgeving wat met schrijfopdrachten gewerkt heb. Aangezien ik enkele delen van het proefschrift ondertussen al had gelezen wees ik enkelen op de precieze formulering. Ik vroeg me af hoe de auteurs zo makkelijk generaliseerden.

Op 30 april twitterde ik het volkskrant artikel, en liet dat wederom gepaard gaan met opmerkingen over de steekproef. Er waren natuurlijk meer reacties dus ik weet niet in hoeverre het stuk dat vervolgens verscheen, op mij sloeg. Vast niet veel, want ik moet me niets verbeelden en de kritiek op de lage N klonk veelvuldig. Deze blogpost van een van de auteurs verscheen op 1 mei 2014. De strekking is helder: kritiek op de N komt neer op statistiek niet begrijpen. Nou staat er wel terecht in dat de steekproefgrootte niet per se zegt wat zegt over representativiteit. Klopt, ze hebben echter wel met elkaar te maken. Het stuk is ook wat tegenstrijdig, aangezien tegen het einde gezegd wordt dat studierichting, plaats enzovoorts wel degelijk een invloed *kunnen* hebben. Het wordt ietwat gebagatelliseerd door woordjes als “net ietsjes anders”. Naar mijn mening is het de taak van de schrijver om duidelijk te maken waarom de steekproef representatief is. Dat is, behalve een beroep op ‘aselect’ (dat dit niet zo is, zie de andere blogpost met inhoudelijke punten), niet gebeurd. Helder was de boodschap: ‘jullie begrijpen statistiek niet en ik kan best generaliseren naar Nederlandse eerstejaars studenten’ (dat staat in het proefschrift namelijk).

Het moge duidelijk zijn dat ik kritisch bleef. De eerste aanvaring op twitter was met een bekende van een van de auteurs. Ik had al eens zijdelings opgemerkt-na eerste lezing van de eerste hoofdstukken van het proefschrift- dat deze hoofdstuk twee wel zou kunnen waarderen.

Dat bleek ook het geval te zijn want deze zag hierin bevestiging van een eigen project op het vlak van rekenen (later zal blijken dat de auteur van het proefschrift dankbaar gebruik zal maken van die observatie om kritiek weg te verklaren). Ik zie OOK parallellen, bijvoorbeeld in onderscheid proces-product, maar dat betekent niet dat je andere punten niet meer kunt benoemen. Op twitter escaleerde het en ook op andere manieren is mij te verstaan gegeven dat “Pseudokritiek in de trant van belachelijk maken van n=30 zonder enig benul waar het eigenlijk over gaat, tast dat vertrouwen aan, is buitengewoon schadelijk, en moet bestreden worden.”. Alsjeblieft, en dat allemaal in 1 zin. Hier wordt getapt uit een vaatje dat later ook door een van de auteurs vaker gebruikt gaat worden: je hebt het niet gelezen of je snapt er gewoon niets van. Een van de auteurs van het proefschrift reageerde overigens zeer goed via twitter; het leek alleen alsof mijn punten niet aankwamen. Ook de positieve punten niet trouwens. Dat kan natuurlijk, niets aan de hand hoor.

En het ging door… in de Volkskrant verscheen een artikel WAAR/NIET WAAR. Er staan uitspraken in die best hard zijn. Die zijn voor rekening van diegenen die ze deden. Maar ook inhoudelijke punten ten aanzien van de steekproef en tekstlengte. Uiteraard weer een blogpost als reactie. Maar deze post is anders dan de eerder geposte. Daar heb ik nog een kopie van maar ik houd me aan de auteurswet 😉 De originele post bevatte een merkwaardige introductie over Galilei, Einstein en Hitler. Op mij kwam het over als een typering van twee soorten culturen waarbij sommige (briljante) mensen gekruisigd worden en op de brandstapel eindigen omdat anderen in hun absolute waarheid geloven. Ik kan alleen maar gissen hoe de schrijver dat bedoelde maar kies is anders. Gelukkig is een deel van die post nu verwijderd, en de rest (Galilei) naar het einde verplaatst. De teneur blijft dat deze empirische aanpak op basis van waarneming al eeuwen lang onder vuur ligt. Bij de wijzigingen in de post verdwenen ook de commentaren, van ondergetekende, maar ook van Carel Jansen over ter beschikking stellen van de data. Ondertussen zie ik dat heel veel van de post veranderd is. Soepel gaan weerleggingen van (mijn parafrasering) ‘niet gelezen’, ‘je bent baas van een instituut dat rekenen vernielde’, ‘onbenulligheid’ naar Galilei.

Laat ik duidelijk over de Volkskrant zijn: zoals later zal blijken valt er wel degelijk veel aan te merken over het proces dat de Volkskrant volgde in haar publicaties. Het persbericht had serieuzer bekeken moeten worden, wellicht was de rubriek WAAR/NIET WAAR er dan niet geweest en de hele circus er om heen ook niet. Maar daarom terug naar de inhoud: in het laatste stuk stelt zelfs de promotor dat generaliseren misschien wel lastig is. Zie:

Nou, daar ging het commentaar toch ook vooral over!

Ik snap werkelijk niet waarom de taal in het proefschrift dan niet wat ‘voorzichtiger’ was en al helemaal niet dat in de weken erna niemand heeft willen aangeven dat dit misschien wel verstandig zou zijn geweest. Hoe een simpele vraag leidt tot een waterval van reacties. Ja, inclusief deze blogpost. Terug naar het begin: ik heb me afgevraagd of het slim was om deze twee posts te schrijven; het kan immers olie op het vuur zijn. Ik deed het toch. Heb ik in ieder geval ‘closure’ 😉