AI modus valt nog tegen voor accurate productinformatie

AI-modus maakt het mogelijk om langere, complexere vragen aan Google's zoekmachine te stellen. Feitelijk wat al lange tijd een wens is van veel mensen: "waarom kan ik niet gewoon een vraag stellen?". Met het eerder deze week in het Nederlands geïntroduceerde AI-modus van Google kan dat. Je kan ook vervolgvragen stellen, en je krijgt antwoorden overzichtelijk gestructureerd, inclusief lijstjes, tabellen en met samenvattingen voor complexere vragen. Dat kan natuurlijk over van alles gaan, maar aangezien TechFi.nl zich bezighoudt met producten, reviews en advies aan wie wat nieuws zoekt, wilden we daarmee eens de proef op de som nemen.

Google AI-modus voor productinformatie: een niet-representatieve, totaal willekeurige steekproef

Dit artikel is louter gebaseerd op een aantal vragen die we eerder vandaag aan Google AI-modus stelden. Er zit geen proces of systematiek achter, we wilden gewoon eens kijken waar het ons zou brengen. Soms bleef het bij een enkele vraag, soms stelden we vervolgvragen. De uitkomsten zijn op het eerste gezicht indrukwekkend, maar dat ligt ook aan de presentatie. Een nadere blik laat zien dat er ook veel onvolkomenheden zijn.

AI-modus vraag 1: een all-round monitor of een gaming monitor voor thuiswerken en gamen?

Nu veel mensen in elk geval een paar dagen in de week thuiswerken, is het geen gekke vraag: welke monitor op mijn thuiswerkplek? Ook om na werktijd te gebruiken voor gamen? De beeldsnelheid van kantoorschermen gaat richting 120 Hz, wat de vraag oproept: een all-round kantoorscherm met usb-c en 120Hz, of toch een gaming monitor met een hogere snelheid? Om het Google makkelijk te maken, beperkten we de keuze tussen twee modellen van iiyama die we beide getest hebben, met eenzelfde paneeltechniek. 

AI-modus leverde een keurig gestructureerd overzicht aan, compleet met tabel en afzonderlijke analyse voor de thuiswerk- en gamescenario's, plus een samenvatting. Op het eerste gezicht heel netjes, al zien we wat gekke dingen ('Ruimtelijk' als kopje voor het wijzen op de usb hub die kabelrommel beperkt - dat is een wat gekke woordkeuze, net als 'minimalistisch' voor de één-kabel-voor-alles aansluiting, maar soit). Zeker als je alles doorlees, krijg je best een goede afweging.

Alleen: bovenin staat vet gedrukt en gearceerd dat de all-round monitor de betere keuze is, en in de tabel wordt klakkeloos fabrikantinformatie overgenomen dat de 120Hz-snelheid van dat model zorgt voor 'vloeiende beelden'. Veel mensen zullen niet verder lezen dan daar. De paragraaf wordt ondersteund met een link naar een Engelstalige review, waarin wel beeldkwaliteit is getest, maar niet de snelheid van het scherm.

De samenvatting heeft het over een 'uitstekende game-ervaring die voor de meeste gebruikers mere dan genoeg is. Maar is dat ook zo? Om dat uit te vlassen stellen we een vervolgvraag: kan de all-round monitor écht 120 beelden per seconde tonen zonder vertraging? Is de reactietijd voldoende? 

AI modus antwoordt zonder meer: 'Ja'. Als je verder leest, is dat antwoord eigenlijk raar: het stelt dat het scherm 'in theorie 120 beelden per seconde kan weergeven' en dat de 'reactietijd voldoende is voor de meeste toepassingen'. Bij het antwoord staat een link-icoontje en ernaast twee bronnen. Klik je op het link-icoontje, dan worden 3 bronnen getoond, met erboven dat er in totaal 8 zijn. Dan moet je nog eens klikken om die alle 8 te zien.

Dan is er het kopje '120Hz-weergave'. Eronder staat wederom dat het scherm echt 120 Hz kan leveren via meerdere aansluitingen, en dat dat beter is dan 60 Hz. Ook hier staat een link-icoon bij. Klik je daarop, dan komt de review van TechFi.nl in beeld. (Klik je nog eens, dan worden weer alle 8 de reviews getoond - het lijkt erop dat aanvankelijk alleen de onderbouwing voor de paragraaf zichtbaar is, met klikken krijg je de bronnen die AI-modus heeft gebruik voor het hele antwoord.)

Klikken we echter naar die review, dan zie je de bevindingen op basis van onze test. Google linkt rechtstreeks naar een passage over de snelheid - maar dat is een stuk dat de specificatie behandelt, niet de testresultaten. Die staan een stuk verderop, met een kopje dat weinig aan de verbeelding overlaat.

Op basis van onze testresultaten blijkt namelijk dat het scherm, dat volgens Google prima geschikt is om op te gamen, in de praktijk nauwelijks sneller is dan een 60Hz-exemplaar. Net zoals we bij andere 120Hz-kantoormonitoren hebben gezien, zeker met een va-paneel, is die 120Hz pure marketing. Niets ten nadelen van een verder hele nette monitor, maar als de gebruiker echt wil gamen, is dit gewoon geen goede keuze.

We zien hier twee problemen: in de eerste plaats geeft Google een onjuist antwoord, waarbij denkelijk de op veel meer plekken vermelde kale specificaties zwaarder wegen dan het testresultaat van een enkele site (voor zover het al gevonden is door AI-modus). Daarnaast, en dat vinden we minstens zo problematisch, verwijst Google naar een bron voor de onderbouwing van de foutieve stelling, in dit geval TechFi.nl. Wie niet doorklikt denkt 'de bron zegt het, dus het zal zo zijn' - en eventuele teleurstelling na aankoop reflecteert dan ook op die bron. Zo doet AI-modus afbreuk aan het vertrouwen.

Tegelijkertijd moeten we ook eerlijk zijn: voor wie hooguit casual een spelletje speelt en niet beter weet, is het geen slecht advies. Het alternatief is weliswaar sneller, maar door zijn paneeltechniek ook enigszins belemmerd, terwijl het usb-c mist voor eenvoudig aansluiten. Op naar de volgende vraag!

AI-modus vraag 2: het verschil tussen twee gaming PC's

Recent testten we twee gaming pc's van MSI en FlowUp, die ze in samenwerking met influencer Don Kaaklijn op de markt brachten. Dus we vroegen AI-modus eerst heel eenvoudig: wat is het verschil tussen die twee? Daar kwam weer een overzichtelijk antwoord op: de ene is krachtiger dan de andere. Een tabelletje zet de voornaamste verschillen naast elkaar. Eronder staan thematisch een aantal verschillen uitgewerkt. Daarbij valt op dat de goedkopere pc specifieke wordt aanbevolen; de duurdere biedt 'hogere grafische instellingen, hogere resoltuies en framerates', maar de andere is heel concreet 'een uitstekende keuze voor (...) gamen in 1080p (...)'. 

Waar het antwoord niet op ingaat is het prijsverschil, afgezien van 'hoger geprijsd' en 'lager geprijsd'. Je kan dus denken, waarom zou ik niet voor de goedkopere gaan. Maar dan wil je wellicht wel weten wat dan de voornaamste keerzijdes zijn. Zo gezegd, zo gevraagd.

Dat antwoord is best gek, vooral omdat het geen onderbouwing geeft. Daarnaast zijn de nadelen in het lijstje eigenlijk drie manieren om hetzelfde te zeggen: de hardware is niet het beste, dus de prestaties zijn dat ook niet. Zonder bron vinden we dit als kenners geen bevredigend antwoord. Dat goedkoper minder snel betekent, hadden we wel begrepen, maar waar moeten we nog meer aan denken? Om dat te achterhalen dus een vervolgvraag: op basis van welke bronnen stelt Google AI-modus dit?

Google lepelt nu wel bronnen op. Het blijken dezelfde te zijn als die van het eerdere antwoord. Het heeft zich gebaseerd op de specificaties bij de winkel, reviews van TechFi.nl en een gesponsord artikel bij een andere publicatie. De conclusie is puur gebaseerd op de specificaties, zo meldt het ook nog. Kennelijk is de review - die toch meer informatie zou kunnen bieden (en dat ook doet) inhoudelijk verder niet geanalyseerd. Was dat wel gebeurd, dan had AI-modus kunnen vertellen dat het systeem relatief veel lawaai maakt (net als het duurdere, overigens) en bovenal niet echt te upgraden is door de gekozen componenten. Dat is bij aanschaf van een gaming toch iets wat je vooraf wilt weten. 

Probleem één is hier dat bij een vervolgvraag niet duidelijk is dat dezelfde bronnen gebruikt worden als bij de eerste vraag. Probleem twee is dat ook hier de specificaties doorslag geven; Google 'weet' dat er aanzienlijk meer informatie is, maar benoemt die gewoon niet. Waarom is voor ons niet duidelijk - als een publicatie wel wordt getoond als bron, zou je verwachten dat er ook gebruik van is gemaakt.

AI-modus vraag 3: is dit een goede gaming monitor?

Voor de volgende vraag gaan we toch nog even terug naar monitoren. Sorry, het is een stokpaardje van uw schrijver. Is een bepaald model van een grote Japanse fabrikant een goed scherm? Sony is bekender om zijn PlayStations, televisies en soundbars, dus die dure gaming monitor, is dat ook wat? 

Google AI-modus antwoordt volmondig 'ja' en geeft een hele trits bronnen. Tien stuks, waaronder vier winkels, twee artikelen van dezelfde site en uiteraard Reddit. Prima antwoord ook, overwegend, al leunt het wederom zwaar op specificaties in plaats van op metingen - terwijl de bronnen ook hier die echt wel bieden. Eén 'nadeel' is zwak (kan geen 4K-signalen downscalen - wat geen probleem is, omdat consoles ook de native resolutie kunnen aanleveren), maar goed. Er staat geen grote onzin in, alleen: we stellen de vraag in het Nederlands, maar krijgen als bronnen voornamelijk Amerikaanse sites (en één Nederlandse winkel). Zijn er ook Nederlandse bronnen, zo vragen we.

Die zijn er zeker (wisten we ook, aangezien we deze monitor als een van de eersten wereldwijd testten). De samenvatting van de TechFi.nl review is eh, enigszins vreemd. Het komt doordat Google hier de inhoud van het nieuwsbericht samenvat, en de review wel toont in de links, maar daar verder niets uithaalt. Daar kwamen we overigens pas achter toen we op het 'Alles tonen' knopje drukten.

Wat ook apart is: AI-modus stelt dat de informatie uit het eerdere antwoord afkomstig was van 'zowel Engelstalige als Nederlandstalige bronnen' - maar zoals gezegd, dat was alleen een Nederlandse online winkel. Google refereert er echter aan alsof het een review was.

Deze uitkomst is voor ons vooral opmerkelijk omdat Google deze week nadrukkelijk de Nederlandstaligheid van AI-modus onderstreepte. Het systeem begrijpt dus wel Nederlands, maar let bij de bronselectie (nog) niet erg op de gebruikte taal. Terwijl dat wel voor de hand zou liggen, als de bedoeling tenminste is dat mensen doorklikken naar die bron voor meer informatie.

AI-modus vraag 4: is de duurdere televisie beter dan de goedkopere?

Onze tv-reviews krijgen altijd veel bekijks, wat niet zo gek is: meer mensen kopen televisies dan bijvoorbeeld laptops. Nu toestellen steeds beter worden, nemen de verschillen tussen middenklassers en luxemodellen verder af. Zo ziet onze tv-redacteur ook in zijn resultaten. We vroegen AI-modus of twee modellen van een grote Chinese fabrikant, die qua prijs best verschillen en qua beeldscherm-specificaties ook wel - maar ondertussen best dicht bij elkaar liggen qua kijkervaring - zo weten we uit onze tests, maar weet Google het ook?

Google is toch wat stelliger: het duurdere toestel is absoluut de betere keuze, vooral voor hdr-materiaal en in heldere kamers. Het goedkopere toestel (met bijna 2000 nits gemeten piekhelderheid) zou voornamelijk voor donkere kamers geschikt zijn. Het antwoord gaat weer vergezeld van een indrukwekkende tabel, maar als je echt leest komt het neer op 'meer dim(ming)zones en meer helderheid is beter, dus het duurdere toestel is beter'. De aanbeveling onderin stelt dan weer verrassend dat het goedkopere toestel 'voor de meeste gebruikers (...) ruim voldoende geboden kwaliteit biedt'. 

Kijken we naar de bronnen, dan zien we drie reviews van het duurdere model, geen van het goedkopere model, maar wel twee artikelen over de complete line-up van de fabrikant. Die zouden wellicht ook wat over positionering kunnen vertellen, maar niet over testresultaten. Daarnaast is er een link naar een Reddit discussie over... verschillen tussen Android TV versies. 

Gezien de manier waarop onze vraag geformuleerd was, is het antwoord enigszins te begrijpen, maar het mist de nodige nuance. Het lijkt grotendeels aangezet om de bevestiging te onderbouwen - tot aan het eind blijkt dat de twee opties eigenlijk best dicht bij elkaar liggen.

Het voornaamste probleem hier lijkt te zijn dat AI-modus bijna vooringenomen is, wat vermoedelijk komt door de vraagstelling. Een beter 'prompt' zou denkelijk een gebalanceerder resultaat bieden, maar dit is AI-modus, niet de Gemini-app. Los van het feit dat de meeste mensen zich niet verdiepen in hoe je een effectieve prompt bouwt, is dit een andere context, waarin natuurlijke vraagstelling zonder mitsen en maren wordt gepropageerd.

AI-modus vraag 5: welke OLED TV is de beste?

We blijven maar even bij het tv thema, met een vraag die veel mensen zal bezighouden: welke oled tv is de beste? We beginnen simpel, met een vraag over de keuze tussen de twee bekendste opties, beide van Koreaanse herkomst. Dit is een vraag die bijna niet eenduidig te beantwoorden is: beide toestellen zijn alom geprezen en hebben specifieke sterkere en (weinig) zwakkere punten. AI-modus komt met een redelijk accurate, zij het weer wat zwaar aangezette, uiteenzetting.

De stelling dat een van de opties geschikter is voor donkerde kamers is tamelijk kort door de bocht. Qua helderheid zijn de twee toestellen namelijk aan elkaar gewaagd. AI-modus focust heel sterk op het (nog) minder weerspiegelende scherm van een toestel, en omschrijft dat van het andere toestel als 'glanzend'. Daar valt echt wel het een en ander op af te dingen. Tegelijkertijd zou het 'glanzende' toestel geschikter zijn voor thuisbioscoopgebruik, wat AI-modus volledig onderbouwt met een verwijzing naar Dolby Vision-ondersteuning. Ook daar valt veel op af te dingen.

Opvallend: in dit geval zijn de samenvatting bovenin en de conclusie onderin vrijwel identiek. Heel goed is dat het antwoord benadrukt dat beide opties 'fantastische keuzes' zijn en dat persoonlijke voorkeur eigenlijk de doorslag moet geven.  Wat ons betreft was dat een beter antwoord geweest om mee te beginnen, maar goed, we vroegen welke beter was - en AI moet en zal dan kiezen. De meeste wenselijke informatie staat er echt wel in.

Maar dan, toch even doorvragen. Nu de voor- en nadelen van deze opties helder zijn, vragen we ons af: is er nog een derde model dat geschikt zou kunnen zijn? Daarbij hebben we natuurlijk al een antwoord in het hoofd, maar we zijn benieuwd waar Google mee komt.

Die zijn... opmerkelijk. De eerste optie is nog te volgen, evenals de laatste. Beide zijn topmodellen in hun klasse van de respectieve fabrikanten. De middelste twee opties zijn vreemder, want die zijn lager gepositioneerd. Met name de genoemde Philips tv is gek, want Google laat de logische keuze van die fabrikant (de OLED+950) onvermeld. De OLED810 is een prima tv, maar kan qua helderheid niet tippen aan de duurdere topmodellen. De reden is vermoedelijk, dat de OLED+950 nog maar net op de markt is, in Nederland sinds eind september. Toch maar even doorvragen: wat als ik net zo'n helder oled-paneel wil (als van de eerste twee opties)?

Nu komt AI-modus nog steeds niet met het antwoord dat we zoeken, maar het brengt het eerdere antwoord wel terug tot de meest relevante twee keuzes (opties 1 en 4). Wel maakt het een flagrante fout, door te stellen dat een van de twee toestellen uit de oorspronkelijke vraag een MLA-OLED paneel heeft (dat was bij de eerdere generaties zo, maar dit jaar is dat een Tandem OLED, ook wel META 3). Terwijl het die techniek wél correct vermeldt bij een van de nu genoemde alternatieven.

Ook in de 'overwegingen bij het kiezen' rept het weer over MLA, maar dat is dus oude informatie over een toestel van vorig jaar. Hier zal de betreffende fabrikant vermoedelijk niet blij mee zijn. Afijn, nog maar eens doorvragen: heeft Philips dan niet ook een toestel met zo'n helder paneel?

Dan krijgen we eindelijk het antwoord dat we zochten. AI-modus meldt dat zowel de OLED+950 als de OLED+910 een 'nieuwste generaties OLED-paneel' hebben. In het antwoord staat ook dat de OLED+950 een helderheid van 3700 nits zou moeten kunnen bereiken. Verder toont een tabel behulpzaam de verschillen tussen de 950, 910 en 810 toestellen. Onderin staan zelfs Philips' eigen pluspunten vermeld.

Nu we toch bezig zijn, toch eens kijken of Google onze review heeft gelezen. We vragen of de OLED+950 écht 3700 nits kan tonen...

AI-modus komt met een vrij kritisch antwoord over geadverteerde versus daadwerkelijke helderheden. De review van TechFi wordt genoemd, met vermelding dat wij 'slechts' 2241 nits maten. Inclusief link naar de betreffende passage. Twee andere reviews worden wel geciteerd met metingen van 3700 nits, zij het met kanttekeningen. Heel vreemd, want ook onze review noemt duidelijk dat de 3700 nits (ruimschoots) behaald wordt, zij het na activeren van een bepaalde instelling. Dat stond een paar zinnen verderop, een alinea eronder.

In dit voorbeeld begint AI-modus best aardig, al missen we de nodige nuance. Vervolgvragen leggen wel zwaktes bloot, zoals het geheel niet noemen van een gelijkwaardig alternatief, en vermelding van incorrecte techniek bij een product. Ook het selectief citeren en negeren van aanwezige informatie uit een bron is problematisch. Al deze zaken zouden niet optreden als een lezer gewoon naar bronnen zou doorklikken. We hebben nog even alle bronnen doorzocht, maar geen enkele meldt dat de OLED G5 gebruikmaakt van MLA - dat is een mooi staaltje van AI-hallucinatie.

AI-modus vraag 6: wat vindt TechFi.nl van een product?

Als laatste nog een voorbeeld van hoe AI-modus de mist in kan gaan. We vroegen 'wat is het voornaamste nadeel van de Logitech MX Master 4 volgens TechFi.nl'? 

Google geeft een antwoord waar we ons enigszins in kunnen herkennen, maar dat doen we dan weer niet in de aangehaalde bronnen. Hoewel het antwoord lijkt te linken naar de review op deze site, is dat een link naar een van de twee getoonde bronnen op YouTube - beide van dezelfde grote Nederlandse techpublicatie die geen TechFi heet'; één naar een 'short' en de ander een complete review. 

Het probleem hier is evident: we vragen specifiek naar een publicatie, maar AI-modus baseert het antwoord op een geheel andere. 

Conclusie

Uiteraard is al het bovenstaande een momentopname. En zoals gezegd, geheel willekeurig gekozen en met duidelijke sporen van de interesse van uw auteur. We waren benieuwd naar hoe AI-modus publicaties van TechFi zou gebruiken - of niet. Doorgaans is zoekmachine optimalisatie een black box, maar AI-modus geeft door de antwoorden op natuurlijke vragen en de selectie van bronnen erbij op een andere manier van beeld hoe Google je als publicatie inschat. 

Daarnaast waren we gewoon geïnteresseerd in hoe de dienst het er in onze 'tak van sport' - informatievoorziening over producten - vanaf zou brengen. Dat levert een interessant beeld op. Vanaf een afstandje lijkt het heel wat, waar de fraai gestructureerde en vormgegeven antwoorden aan bijdragen. Het komt allemaal best overtuigend over. Daardoor lijkt er weinig noodzaak om verder te klikken, wat uiteindelijk problematisch is. Niet alleen voor publicaties als wij die daardoor verkeer mislopen, maar ook door dat er inhoudelijke onjuistheden in staan. Die soms ook met een link geatrribueerd worden aan een publicatie. In die zin is het exemplarisch voor generatieve AI - net als bij door AI gemaakte afbeeldingen ben je eerst onder de indruk, maar hoe meer je inzoomt, hoe meer de foutjes opvallen. 

Heel hoog over zijn de antwoorden zeker niet compleet waardeloos, maar voor wie gedegen informatie zoekt om een aankoop op te baseren is het eigenlijk niet toereikend. Daarmee zijn de resultaten vergelijkbaar met het 'oude' Google: een startpunt voor verder, eigen onderzoek. Alleen zetten de AI-modus antwoorden daar eigenlijk niet toe aan.

De komende tijd zullen we de dienst nog wel een paar keer bevragen. Mocht er aanleiding toe zijn, dan volgen we dit artikel nog eens op. Voor nu is ons advies: lees heel goed, en vertrouw niet blind op wat met AI-modus - en Google - met zoveel stelligheid beweren.