KPMG publiceert rapport over AI met AI-verzonnen voorbeelden: wat kun jij hiervan leren?

Eén van de grootste adviesbureaus ter wereld schreef een rapport over hoe AI bedrijven gaat transformeren. Dat rapport bleek zelf vol te staan met door AI verzonnen voorbeelden. Als KPMG-consultants hier niet doorheen prikken, hoe zit dat dan met jouw collega die ChatGPT gebruikt voor een presentatie?

Wat er precies is gebeurd

KPMG, een van de Big Four accountancy- en adviesbureaus, publiceerde onlangs een rapport getiteld 'Redefining excellence in the age of agentic AI'. Het rapport beschreef hoe autonome AI-agenten bedrijven en overheden al ingrijpend veranderen, onderbouwd met concrete voorbeelden van gerenommeerde organisaties.

Eén probleem: die voorbeelden waren verzonnen.

De Financial Times bracht het verhaal naar buiten nadat het vier organisaties die in het rapport werden opgevoerd om een reactie had gevraagd. Het resultaat was vernietigend. De Zwitserse spoorwegen (SBB) zouden via AI-agenten reizigers helpen plannen op basis van CO2-impact en persoonlijke voorkeuren; de woordvoerder bevestigde aan de FT dat dit gewoon niet klopt. Transport for London zou AI gebruiken om congestie te voorspellen en vervoer te personaliseren; een TfL-woordvoerder noemde de beschrijving "misleidend". Ziekenhuizen in Manchester werden opgevoerd als voorbeeld van AI-gestuurde triage en opnameplanning; de woordvoerder stelde dat de claim "niet overeenkomt met het persbericht waarop deze informatie gebaseerd zou zijn." En aannames over AI-gebruik bij de Zwitserse bank UBS zijn, aldus een UBS-woordvoerder, "feitelijk onjuist".

KPMG haalde het rapport offline nadat de onjuistheden aan het licht kwamen.

Wat is een AI-hallucinatie?

Als een AI-model geen correct antwoord kan formuleren maar toch een overtuigende, feitelijk onjuiste reactie genereert, noemen we dat een hallucinatie. Het model verzint geen antwoord uit kwade wil; het produceert gewoon de meest plausibel klinkende tekst op basis van patronen in zijn trainingsdata. Dat klinkt abstract, maar het KPMG-rapport maakt het concreet: de gegenereerde tekst was specifiek genoeg om geloofwaardig te lijken, maar niemand had gecontroleerd of de genoemde organisaties de beschreven systemen ook echt gebruikten.

De ironie zit hem in het onderwerp. Het rapport gaat over "agentic AI": autonome AI-agenten die zelfstandig taken uitvoeren en beslissingen nemen. Juist op dat terrein is betrouwbaarheid cruciaal. En juist dáár bleek het rapport gebouwd op luchtkastelen.

KPMG is niet het eerste en zal niet het laatste zijn. Eerder kwamen advocaten in opspraak die in rechtbankstukken verwezen naar uitspraken die ChatGPT simpelweg had verzonnen. Studenten werden betrapt op geciteerde bronnen die niet bestaan. Journalisten publiceerden quotes van mensen die nooit iets hadden gezegd. Het patroon is telkens hetzelfde: de output klinkt goed, niemand controleert het, en pas later blijkt de feitelijke basis te ontbreken.

Wat kun jij doen?

Als young professional gebruik je waarschijnlijk al AI-tools, of je collega's doen dat. De KPMG-casus is geen reden om AI te verbannen van de werkvloer, maar wel een herinnering aan een paar basisregels.

Controleer namen, organisaties en cijfers altijd aan de bron. Als een AI-tool claimt dat bedrijf X een bepaald systeem gebruikt, zoek dan zelf de bevestiging op. Een zoekopdracht kost dertig seconden; een beschadigde geloofwaardigheid herstel je niet zo snel.

Wees extra alert op output die te precies klinkt. AI-hallucinaties zijn gevaarlijk omdat ze overtuigend zijn. Vage claims vallen op; specifieke maar verzonnen details veel minder. Juist als een rapport of tekst vol staat met concrete voorbeelden en statistieken, is verificatie extra belangrijk.

Gebruik AI voor structuur en taal, niet voor feiten. AI is goed in samenvatten, herschrijven en structureren. Het is slecht in het reproduceren van feiten die het niet zeker weet, maar toch met vertrouwen presenteert.

Zeg het door als je het ziet. Als een collega een rapport instuurt met claims die je niet kunt verifiëren, vraag dan naar de bron. Niet als aanklacht, maar als standaardprocedure.

Wat volgt

KPMG zal naar verwachting reageren op de FT-publicatie, mogelijk met een verklaring of een herziene versie van het rapport. Bredere aandacht voor interne controleprocessen bij adviesbureaus die AI gebruiken in hun rapporten en publicaties ligt voor de hand. Die discussie raakt iedereen die professionele adviesteksten op gezag aanneemt, van consultant tot bestuurder.

Bronnen: Financial Times, KPMG

Dit artikel is uitsluitend bedoeld ter informatie en vormt geen financieel, beleggings- of fiscaal advies. Today in Finance is geen beleggingsonderneming en beschikt niet over een vergunning als bedoeld in de Wet op het financieel toezicht (Wft). Raadpleeg altijd een gekwalificeerd financieel adviseur voordat je financiele beslissingen neemt. Today in Finance is niet aansprakelijk voor beslissingen genomen op basis van deze informatie.