De 1% beste wetenschap volgens AI

In de film “The Devil Wears Prada 2” is er sprake van dat de redactie van het prominente modetijdschrift uit de film vervangen wordt door AI. Kunstmatige intelligentie kan het allemaal een stuk beter dan mensen, en is nog veel goedkoper ook, aldus de beoogde nieuwe eigenaar. Gelukkig loopt het allemaal goed af, en gaat de overname niet door.

In de wetenschap is er nu ook zoiets aan de hand. Een AI-programma van het bedrijf QED Science heeft alle 57,455 wetenschappelijke artikelen die tussen mei 2025 en 2026 op bioRxiv verschenen zijn gelezen, en heeft ze allemaal beoordeeld. Van de beste 1% heeft de robot vervolgens een overzicht gemaakt en online gezet. Tada! Een AI-aangedreven-tijdschrift dat zelfs nog selectiever is dan het prestigieuze tijdschrijft Nature, die immers de beste 8% van de inzendingen publiceert.

Het resultaat mag er zijn. QED Science claimt dat hun robotbeoordelingen objectiever en betrouwbaarder zijn dan die van menselijke beoordelaars. Mensen zijn immers snel bevooroordeeld, en het is bewezen dat de bekende namen in de wetenschap sneller het voordeel van de twijfel krijgen [A, B]. De robot krijgt daarentegen de namen van de auteurs niet eens te zien, en zou de tekst dus alleen op z’n merites kunnen beoordelen.

Op basis van de eerste alinea zou je misschien kunnen concluderen dat ik tegen dit soort AI-beoordelingen ben. Dat is zeker niet waar. Sterker nog, ik ben juist enthousiast over dit soort automatische beoordelingen.

De rest van het internet, het niet-wetenschappelijke stuk met onder andere kattenfilmpjes, nieuwsartikelen en taartrecepten, gebruikt allang een AI-beoordeling. Google’s algoritme rankschikt webpagina’s immers al een kwart eeuw volledig automatisch. Er komt geen mens aan te pas.

Het huidige systeem in de wetenschap werkt nogal matig. Nog afgezien van allemaal tekortkomingen in menselijke beoordelingen, is er ook nog een geldkwestie. Voor hun carrière moeten wetenschappers in toptijdschrijften publiceren, want dit is hoe wetenschappelijk werk beoordeeld wordt. De uitgevers van die tijdschriften, veelal commerciële bedrijven, worden slapend rijk. Wetenschappers moeten er toch wel publiceren, dus ze kunnen vragen wat ze willen. € 10 850 voor het uploaden van een PDF, en daarbij de beoordelaars letterlijk geen cent betalen? Tuurlijk joh!

(Dit bedrag komt trouwens van het tijdschrift Nature. Andere tijdschriften rekenen vergelijkbare tarieven.)

Het lijkt me dus logisch dat we naar een model gaan zonder deze tijdschriften. Je uploadt je artikel in een of andere databank, en vervolgens komen er allemaal robots van bedrijven in actie om je artikel te beoordelen. Eigenlijk dus net zoals met webpagina’s en zoekmachines. In dit model houd je vast ook nog wel menselijke tijdschriften, net zoals er ook nu nog genoeg handgeschreven recensies zijn.

Maar waar zit dan mijn bezwaar?

Wat je gaat krijgen, is dat wetenschappers hun paper gaan optimaliseren voor het algoritme, zoals websitebouwers dat nu al doen voor zoekmachines (search engine optimization). En optimaliseren voor het algoritme is zeker niet hetzelfde als de wetenschappelijke kwaliteit verhogen. Bij Google staan tegenwoordig de meest geoptimaliseerde pagina’s bovenaan, niet de beste pagina’s. Als ik zoek hoe ik bijvoorbeeld een vlek op het tapijt schoon moet maken, krijg ik allemaal geoptimaliseerde webpagina’s van schoonmaakmiddel-bedrijven. Een informatieve, maar niet geoptimaliseerde blogpost van iemand is bijna niet meer te vinden.

Het wordt zelfs nog mooier. Zoals een hoogleraar op LinkedIn al opmerkte, biedt het bedrijf zelf zo’n optimalisatie-tool aan (vooralsnog wel gratis). Krijg je van hun robots allemaal tips om je score te verhogen.

Het kan nog alle kanten op gaan. Misschien blijven we toch vasthouden aan de menselijke beoordelingen van de commerciële uitgevers. Misschien zitten we straks in een AI-monopolie. Of misschien ontstaat er wel een prachtig ecosysteem met beoordelingen van mensen én robots. Voor nu zou ik zeker even een kijkje nemen bij de 1% van QED Science, nu die ranglijst er nog aardig uitziet.