Hans Schepers, Hands on GEO. Hypothese: de opbouw van de vraag die je aan AI stelt, heeft meetbaar invloed op het antwoord dat je krijgt. Gemeten: WK-finale, 19 juli 2026.
Kerncijfers
- 5 vragen, elke tien minuten, aan 4 AI-systemen: ChatGPT, Gemini, Perplexity en Gemini.
- 1.860 antwoorden, van een half uur voor de aftrap tot een kwartier na middernacht.
- Elke vraag in twee volgordes (“Wie gaat de WK finale winnen: Spanje of Argentinië”, en Wie gaat de WK finale winnen: Argentinië of Spanje”).
- Bij 9 van de 12 combinaties van vraag en AI-systeem was er geen verschil met het toeval.
- Spanje-Argentinië stond 105 van de 106 minuten op 0-0.
Wat de meting laat zien
De volgorde in de vraag deed er meestal niet toe. Bij drie van de vier systemen bleef het antwoord op de meeste vragen gelijk, ook als ik de landen omdraaide.
Perplexity is uitzondering. Noemde ik Spanje eerst, dan koos Perplexity in 89% va de antwoorden Spanje. Noemde ik Argentinië eerst, dan koos Perplexity in 62% van de gevallen Argentinië. Dat is 27 procentpunt verschil, alleen door de volgorde van twee woorden (p<0,001). Bij Perplexity had de volgorde van de landen in de vraag dus wel invloed.
Of de antwoorden meebewegen met de stand, kon ik niet toetsen. Ik wilde ook meten of de voorkeur van AI voor een mogelijke winnaar samenhing met een veranderende stand, maar dat was tijdens de wedstrijd niet te meten omdat het 0 – 0 bleef.
Verschil door de volgorde van de landen
| Vraag | ChatGPT | Gemini | Perplexity | Gemini, geen live web |
|---|---|---|---|---|
| Welke selectie is beter? | 22 | 44 | 27 (p<0,001) | 13 (p=0,002) |
| Wie speelt aantrekkelijker voetbal? | 58 | 29 | 39 (p=0,044) | 93 |
| Wie heeft de sterkste voetbalcultuur? | 52 | 15 | 50 | 28 |
De methode in het kort
- Vooraf vastgelegd: het plan stond met tijdstempel opgeslagen vóór de aftrap. Latere wijzigingen heb ik apart opgeslagen, ook met tijdstempel.
- Belangrijkste maat: het aandeel antwoorden dat het eerstgenoemde land als winnaar voorspelde in het antwoord, per combinatie van vraag en AI-systeem.
- Eigen fout: een script telde geweigerde antwoorden als “oneens” in plaats van ze uit te sluiten. Dat heb ik vóór publicatie gevonden en verbeterd.
Wat ik niet heb gemeten
“Geen significant verschil” is niet hetzelfde als bewijs dat AI onpartijdig is. De groepen zijn klein (rond de 90 antwoorden per combinatie), daardoor zijn verschillen onder ongeveer twintig procentpunt niet te onderscheiden van toeval.
Veelgestelde vragen
Veranderde het oordeel van AI als ik de landen in de vraag omdraaide?
Meestal niet. Bij 9 van de 12 combinaties van vraag en AI-systeem was het verschil niet te onderscheiden van toeval.
Waar wel?
Bij Perplexity, op de vraag welke selectie beter is: 89% koos Spanje als Spanje eerst werd genoemd, 62% koos Argentinië als Argentinië eerst werd genoemd (p < 0,001).
Betekent geen verschil dat AI onpartijdig is?
Nee. De groepen zijn klein, daardoor zijn verschillen onder ongeveer twintig procentpunt niet te onderscheiden van toeval.
Data
Op aanvraag beschikbaar. Mail naar [email protected].
Alle edities
| Meting | Gemeten | Opmerking |
|---|---|---|
| Juli 2026 | WK-finale, 19 juli 2026 | Eenmalig onderzoek. |
Fouten melden en wijzigingen
Klopt er iets niet, mail dan naar [email protected]. Ik pas de pagina aan en zet de wijziging met datum hieronder.
- 20 juli 2026: eerste versie.
Meer onderzoek: alle onderzoeken van Hands on GEO.