De technologie achter de digitale big brother

De stemming over het Chat Control-voorstel werd woensdag dan toch van de agenda van de Europese Commissie gehaald, nadat Nederland de dag voordien had gemeld zich te zullen onthouden. Vooral vanuit de academische wereld groeide het protest tegen het voorstel. Maar waarom zou je nu tegen een wet zijn die het verspreiden van kinderporno of Child Sexual Abuse Material (CSAM) een halt wil toeroepen? Een blik op de technologische kant van de zaak.

Nog niet zo lang geleden stuurden we allemaal berichten naar elkaar die de serviceprovider gewoonweg kon inkijken. Dat systeem was natuurlijk niet echt privacyvriendelijk. Het kon ook door dictatoriale regimes worden misbruikt om critici op te sporen. Mede daarom ontstonden communicatiealternatieven zoals WhatsApp en Signal. Die versleutelen de berichten, wat je end-to-endencryptie noemt, zodat zelfs de provider ze niet meer kan lezen. Intussen is dat het geval bij de meeste populaire berichtenapps, zoals ook Messenger.

Die betere privacy heeft een prijs. Toen de Belg Théo Hayez in 2019 in Australië vermist raakte, ontdekte de politie dat een van zijn laatste activiteiten op zijn telefoon een whatsappgesprek was. Hoewel de provider zijn medewerking aan het onderzoek verleende, kon die de verstuurde berichten niet uitlezen.

Dat verklaart ook het succes van versleutelde communicatie in criminele kringen. En zo ontstond het voorstel om bericht- en e-mailproviders te verplichten de communicatie van hun gebruikers te scannen op CSAM.

Intieme privéfoto's

Als je end-to-endencryptie wil behouden, kan dat bijna alleen op het toestel van de gebruikers bij verzending. Client-side scanning heet dat.

Apple wilde dergelijke technologie al in 2021 in gebruik nemen, maar zag daarvan af omdat de kosten niet opwogen tegen de baten. Als je op het toestel van de gebruiker algoritmes wil draaien die op CSAM-beeldmateriaal checken, dan bots je op heel wat technologische uitdagingen. Je kan wel algoritmes maken die automatisch naakte lichamen detecteren, maar die slaan ook alarm slaan bij intieme privéfoto’s.

Daarom wordt de CSAM-detectievraag vaak beperkt tot het opsporen van bestaande content. Dat kan in principe zonder dat men de terabytes aan beeldmateriaal op het toestel moet downloaden om mee te vergelijken. Je kan namelijk werken met perceptuele hashes. Zo’n hash is een compacte code die de visuele informatie als het ware samenvat, zoals een soort ISBN-nummer.

Wiskundige algoritmes kunnen groepjes pixels met een interessante omgeving, zoals objectranden, ontdekken. Die staan evenwel voor een niet te onderschatten technische evenwichtsoefening. Enerzijds wil je dat de code niet verandert als het bestandsformaat wijzigt of verkleint, wat betekent dat je er niet elk detail in moet proberen te representeren. Anderzijds wil je dat het beeld herkenbaar blijft als erin wordt geknipt of geplakt.

Stevige brok wiskunde

Die noodzakelijke afweging maakt dat het perceptueelhashingalgoritme te misleiden is, waardoor bezwarend materiaal door de mazen van het net glipt. Door zeer gedetailleerde objecten op een foto toe te voegen of generatieve artificiële intelligentie getraind op CSAM-materiaal te gebruiken, wijzigt de perceptuele hash van een beeld aanzienlijk, waardoor het niet wordt herkend.

Daarnaast kan je via reverse engineering ook het systeem gaan misleiden. Je kan vrij makkelijk artificiële foto’s genereren met een perceptuele hash gelijk aan die van bekende CSAM-foto’s. Als je zulke beelden op grote schaal begint te versturen, krijgen de providers gigantisch vaak vals alarm, wat hun systemen allicht binnen de kortste keren lamlegt.

Kortom, op dit moment kan geen enkele technologie de scanningplicht sluitend faciliteren. Enkele bekende communicatieproviders overwegen daarom hun diensten niet langer in Europa aan te bieden, mocht het wetsvoorstel erdoor komen. Daarnaast bestaat de vrees dat met een ander, allicht minder klantvriendelijk fotoscanningsysteem de stap naar het controleren op andere zaken snel wordt gezet als minder democratische regimes aan de macht komen.

Uiteraard apprecieer ik de inspanningen van de beleidsmakers om de kinderen te beschermen, maar ik betreur dat ze blijkbaar nog altijd denken dat scanningtechnologie de oplossing is. Is het geen tijd dat we in de opleidingen en nascholingen van juristen en beleidsmakers een stevige brok wiskunde en data science aanbieden? De uitdagingen van morgen zullen almaar meer technologisch zijn. Dat vergt een gedegen kennis en inzicht bij wie afdoend beleid wil maken.