Kun je Google AI Overviews vertrouwen?

AI Overviews, de door AI gegenereerde samenvattingen bovenaan Google Search, lijken handig. Maar kun je ze vertrouwen? Het korte antwoord: nee, niet zonder meer.

Als AI-trainer en eigenaar van Aigenwijs test Luke Andries, AI-expert bij Aigenwijs, dit soort systemen voortdurend. De kern van het probleem is tweeledig: taalmodellen zijn statistische gokmachines én ze zijn overdreven meegaand.

1. Statistische kansberekening: Ze zijn ontworpen om met overtuiging gaten op te vullen als data ontbreekt of een vraag onduidelijk is. Recent onderzoek van OpenAI toont aan dat de huidige trainingsmethoden modellen eerder belonen voor een zelfverzekerde gok dan voor een eerlijk "ik weet het niet".

2. Sycofantie/meegaandheid: Taalmodellen praten je graag naar de mond. Ze zijn getraind om behulpzaam te zijn en bevestigen vaak wat jij als gebruiker lijkt te willen horen.

Die combinatie leidt tot een gevaarlijke echokamer, waar de ene AI de onzin van de andere bevestigt. En als die bevestiging onder het Google-logo verschijnt, voelt het als een autoriteit. Dat is het echte risico.

De valkuil in de praktijk: het Cruijff-citaat dat niet bestond

Een eigen ervaring illustreert dit risico perfect. Voor een experiment vroeg ik ChatGPT om een citaat van Johan Cruijff dat zowel over economie als over voetbal ging. Ik kreeg een quote terug die geloofwaardig klonk. Om dit ‘feit’ te factchecken, gebruikte ik Google. Bovenaan de resultaten verscheen een AI Overview die het citaat vol vertrouwen bevestigde.

Pas toen ik alle onderliggende bronnen naploeg, bleek de herkomst nergens te vinden. Het citaat was nooit door Cruijff uitgesproken.

Dit is de valkuil die ik wil blootleggen: model A hallucineert, model B bevestigt. Niet uit kwade wil… AI heeft GEEN intentie.. maar omdat de systemen geprogrammeerd zijn om jou als gebruiker te helpen en met je mee te denken.

De chat in ChatGPT waarin de gehallucineerde quote werd genoemd:

De Google AI Overview waarin de gehallucineerde quote werd bevestigd:

Hoe AI-bedrijven dit proberen op te lossen

Dit gedrag is een bekend probleem in de sector. Zo was er recent een ChatGPT-update die een AI-model té meegaand maakte, waardoor het gebruikers te snel naar de mond praatte. Die update is teruggedraaid. Nu wordt er gewerkt aan trainingstechnieken die "zeg het als je het niet weet" zwaarder belonen. Dat is goed nieuws, want juist dat eerlijke/twijfelende gedrag is belangrijk voor betrouwbaarheid.

Hoe je hier als professional slim mee omgaat

Mijn advies is simpel en in lijn met wat Aigenwijs in onze trainingen leert:

• Gebruik het als startpunt, nooit als eindpunt. Zie AI Overviews als een eerste verkenning. Klik altijd door naar de onderliggende bronnen en controleer of er een primaire herkomst is (de oorspronkelijke publicatie, een archief, een wetenschappelijke paper of een officiële bron).

• Verifieer de bronnen. Een citaat zonder betrouwbare herkomst is geen feit, maar een internetgerucht in een nette verpakking.

• Ken de valkuilen van de technologie. Als je snapt waarom taalmodellen fouten maken – gokken bij onzekerheid en meebewegen met je vraag – kun je de ruis er veel makkelijker uit filteren.

• 
  

Zijn AI Overviews dan nutteloos?

Zeker niet. Ze kunnen erg handig zijn voor een snelle oriëntatie. De kunst is om te weten wanneer je fouten kunt verwachten en wanneer dat risico kleiner is. Zie AI Overviews als een slimme, maar soms iets te enthousiaste assistent. Vertrouw, maar verifieer altijd. Ze zijn een startpunt, niet het einde van je zoektocht.

Wil jij of je team meer hierover leren? Bij Aigenwijs leren we je precies hoe je AI effectief inzet zónder je kritische kompas te verliezen. Check onze trainingen en tot snel :-)