Google Gemini en de vrouwelijke paus

Google-CEO Sundar Pichai moest deze week door het stof, nadat op sociale media beelden waren verschenen die het AI-model Gemini had gegenereerd. Beelden van zwarte nazi’s, een Amerikaanse founding father met een sikhtulband of een vrouwelijke paus leidden tot verwijten, onder meer van Tesla-topman Elon Musk, dat Google overdreven woke is.

De Amerikaanse internetreus reageerde door de mogelijkheid om beelden van personen te creëren minstens tijdelijk uit te schakelen. Maar het kwaad was geschied. Het aandeel van het moeder­bedrijf Alphabet daalde maandag liefst
4,4 procent, waardoor 90 miljard dollar aan marktwaarde ­verloren ging.

Gemini is gebouwd op Googles taalmodel Bard, dat net als ChatGPT teksten kan genereren op vraag van de gebruiker. Het model werd onlangs uitgebreid met het genereren van foto’s op basis van een tekstuele omschrijving, waarvoor ook DALL-E bekend staat. Gebruikers gingen er enthousiast mee aan de slag. Maar al gauw bleken de vangrails die de makers hadden ingebouwd zich tegen hen te keren.

Dat bij het lanceren van nieuwe technologie voorzichtigheid geboden is, heeft Google eerder al door scha en schande ondervonden. Een eerste pijnlijk ongeluk gebeurde in 2015, toen Google Photos kiekjes automatisch in categorieën - fotogroepen met titels als ‘katten’ of ‘auto’s’ - stopte, zodat je bibliotheek overzichtelijker werd. Een gebruiker ontdekte toen dat een foto van een bevriend Afro-Amerikaans koppel werd gelabeld als ‘gorilla’s’.

De geschrokken makers beseften dat hun herkenningssoftware onvoldoende werd getraind op mensen met een donkere huid. Toen meer training niet meteen een foolproof oplossing opleverde, besloten ze drie jaar later bruutweg het automatisch herkennen van gorilla’s en chimpansees te verwijderen. Gibbons herkent het systeem wel nog.

Ook Google Translate sloeg de bal mis, toen het bij vertalingen systematisch het geslacht veranderde als het niet paste bij een stereotype. Zo werd het Duitse woord ‘der Krankenpfleger’ (verpleger) in het Nederlands ‘verpleegster’. Terwijl ‘die Präsidentin’ (vrouwelijke president) nog altijd ‘president’ wordt. In 2017 legden de ontwikkelaars uit dat het geslacht vaak verloren gaat, omdat een vertaling niet rechtstreeks van bijvoorbeeld het Duits naar het Nederlands gebeurt, maar via het Engels, waar de meeste voornaamwoorden genderneutraal zijn.

In 2021 was er dan weer verontwaardiging over de zoekresultaten als je naar een zwart of blank koppel googelt. In het eerste geval krijg je wat je vraagt, terwijl de tweede zoekopdracht vooral foto’s van gemengde koppels toont. Ook toen kreeg Google het verwijt woke te zijn.

De ingenieurs verklaarden dat de resultaten het gevolg zijn van hoe foto’s worden geïndexeerd in hun systeem. Om computationele redenen kijkt dat bij het crawlen van het web vooral naar ondertitels of omringende tekst bij foto’s. Bij het posten van foto’s van blanke koppels ontbreken vaak tekstuele verwijzingen naar ‘blank’, terwijl de huidskleur bij foto’s van zwarte koppels vaak wel wordt vermeld. Ook in artikels over gemengde koppels worden de rassen geëxpliciteerd, wat de zoekresultaten verklaart.

Algoritmisch is dat niet zo gemakkelijk bij te sturen zonder de berekeningen danig de hoogte in te jagen. Eén zoekopdracht kostte in 2019 al evenveel energie als nodig om een lamp van 10 watt ongeveer 100 seconden te laten branden.

Bias vermijden

Fast forward naar het tijdperk van generatieve AI. De taalmodellen daarvoor werden getraind op terabytes aan tekstuele onlinedata en hebben dus weet van alle stereotypen tot in de donkerste krochten van het web.

Al die woorden kregen in het interne wiskundig model coördinaten. Zoals op een kaart, maar in plaats van twee coördinaten ongeveer 12.000. Woorden die bijna hetzelfde betekenen, krijgen na het trainen dezelfde plaats in die hoogdimensionale ruimte, terwijl woorden die vaak bij elkaar voorkomen in elkaars buurt komen te liggen. Bij het formuleren van zijn antwoord kiest de bot woorden die in de buurt van de woorden uit de vraag liggen. Daardoor lijkt het dat hij begrijpt waarover hij het heeft.

Omdat de keuze van woorden niet helemaal vrij kan gebeuren, wordt die bijgestuurd of zelfs beperkt. Zo is het onmogelijk racistische of genderstereotype uitspraken uit te lokken.

Net die manueel gecureerde regels om bias te vermijden hebben Google nu de das omgedaan bij zijn beeldgenerator. Gemini maakte beelden van historische gebeurtenissen waarbij het mensen toont met een afkomst die in die historische context niet plausibel was. Bij de vraag naar een afbeelding van een paus maakte hij een vrouwelijke en zwarte versie.

Hoewel je de output automatisch zou kunnen sturen door de realiteit te proberen weerspiegelen, blijft het probleem dat zo’n model in se geen weet heeft van de context van de vraag, omdat het geen kennis vergaart zoals een encyclopedie. Een link met resultaten van Googles eigen zoekmachine kan de nauwkeurigheid en de betrouwbaarheid verbeteren, wordt soms geopperd. Maar dat verhoogt niet alleen de computationele complexiteit, ook de manier van indexeren en de moeilijkheid om geautomatiseerd een onderscheid tussen echt en fake news te maken leveren problemen op.

Benieuwd hoe Google zich daaruit redt.