Apple-algoritmen als pseudo-opsporingsdiensten

Share
Share on linkedin
Share on facebook
Share on google
Share on twitter

Apple heeft nieuwe software gecreëerd om kinderpornografisch materiaal op Appletoestellen op te sporen. Hoewel de bestrijding van kindermisbruik hoog op de agenda staat van beleidsmakers en politici, vrezen critici dat de nieuwe software op de lange termijn de deur opent naar totale surveillance. In deze blog zal worden ingegaan op de werking van de software en de mogelijke risico’s.

Apple heeft vorige week bekendgemaakt dat Appleproducten in de VS, met iOS 15 of hoger, standaard uitgerust zullen worden met software om beelden met kinderporno te detecteren. Het doel van de nieuwe filters is om kinderen te beschermen.

Dat doel wil Apple bereiken door enerzijds de beelden die door minderjarigen worden verstuurd en ontvangen via de berichtendienst van Apple te filteren. Wanneer sprake is van verdachte inhoud, krijgen de ouders van minderjarigen onder de 13 een melding hiervan. Anderzijds zullen foto’s die op de clouddienst van Apple worden opgeslagen eerst worden gefilterd op kinderporno. De aangetroffen afbeeldingen worden vervolgens bekeken door een medewerker van Apple die moet te beoordelen of er daadwerkelijk sprake is van kinderporno. Indien dat het geval is, zal Apple het aangetroffen materiaal voorleggen aan opsporende instanties ter beoordeling.

Critici zijn bang dat het filtersysteem misbruikt kan gaan worden door autoritaire regimes.

In deze blog zal worden ingegaan op de vraag: Is het wenselijk dat Apple deze taak op zich neemt? Om hierop een antwoord te kunnen geven, zal eerst worden besproken hoe de software werkt. Vervolgens zal kort worden ingegaan op een aantal veelgehoorde kritiekpunten.

De nieuwe software

Apple heeft een twaalf pagina’s lang document geüpload waarin wordt uitgelegd hoe de software werkt. Hiermee wordt de indruk gewekt dat het uiterste is gedaan om de software privacyvriendelijk te houden. Hoe werkt die nieuwe filtersoftware dan? Allereerst is het niet zo dat Apple zelf alle beelden op een telefoon te zien krijgt. De beelden worden via de software op het Apple-apparaat zelf gescand. Dit geldt zowel voor de beelden die via de berichtendienst worden gefilterd als voor de afbeeldingen die in iCloud Photos worden geüpload.

De software werkt met zogeheten ‘hashes’. De afbeeldingen op de telefoons krijgen een bepaalde hash, dat is een cijferreeks die gelinkt is aan een bepaalde inhoud. Apple heeft de software getraind met afbeeldingen van kinderporno afkomstig uit een database van het Amerikaanse National Center for Missing & Exploited Children. Deze afbeeldingen hebben bepaalde hashes. Zodra een gebruiker beeldmateriaal naar iCloud wil uploaden met dezelfde hash als een afbeelding uit de database, zal deze afbeelding door de software eruit gepikt worden. Op andere afbeeldingen die geen gelijke hashes hebben, heeft Apple geen zicht.

Wanneer een verdachte hash wordt gedetecteerd, wordt de afbeelding ter controle nogmaals gescand met de software. Pas wanneer de software ook dan aangeeft dat er mogelijk sprake is van kinderpornografisch materiaal, wordt de encryptie opgeheven en zal een medewerker controleren of er inderdaad sprake is van kinderporno. Indien dat het geval is, worden de autoriteiten ingelicht.

Gevaren?

In een open brief gericht aan Apple hebben verschillende privacyexperts, onderzoekers en burgerrechtenactivisten hun zorgen geuit over de nieuwe software van Apple.

Apple zelf zegt dat met de nieuwe software de encryptie van de chatdienst niet zal verzwakken. Privacyorganisaties vrezen hier toch wel voor. Dit is een terechte zorg, als in aanmerking wordt genomen dat met de recente Pegasusaffaire ook iPhones – die bekend staan om de ‘waterdichte’ versleuteling – onopgemerkt gehackt konden worden.

Een ander veelgehoord risico is dat met deze nieuwe software de deur is geopend naar een toename van surveillance en censuur. Vandaag wordt de software gebruikt voor zoiets verschrikkelijks als kinderporno, maar het risico bestaat dat de grens op de lange termijn steeds meer wordt opgeschoven. Zo stelt Apple op dit moment dat de software voorlopig slechts in de VS wordt gebruikt tegen kinderporno, maar critici vrezen dat Apple op de lange termijn mee zal gaan met de wensen van autoritaire regimes van landen waarin Apple ook een grote markt heeft. De software zou misbruikt kunnen worden door de regimes om bijvoorbeeld homoseksuelen of kritische journalisten op te sporen.

De Electronic Frontier Foundation (EFF) waarschuwt ervoor dat ook vrije democratieën uit de Westerse wereld misbruik maken van de nieuwe scansoftware van Apple. Zo bestaat in Australië een regeling waar in het kader van strafrechtelijk onderzoek de opsporingsinstanties om technische bijstand mogen vragen. Dat wil zeggen dat ze bevoegd zijn om onder andere de encryptie van een telefoon te kraken. Nu Apple de software – waarmee het in principe mogelijk zou kunnen zijn om mee te kijken – standaard vooraf heeft geïnstalleerd op elk Apple toestel, vreest het EFF dat ook Westerse democratieën de software kunnen gebruiken voor de surveillance van burgers.

Terugkomend op de vraag: Is het wenselijk dat Apple deze taak op zich neemt? Een ja of nee antwoord zal hier niet toereikend zijn. Enerzijds is het goed dat er krachtig wordt opgetreden tegen kindermisbruik, anderzijds moeten de langetermijngevolgen voor de samenleving niet uit het oog verloren worden.

Nu techbedrijven een steeds belangrijkere maatschappelijke rol vervullen, is het van het grootste belang om de maatschappelijke discussie omtrent de rol van dit soort bedrijven uitgebreid te voeren. Vooral wanneer een techbedrijf het voornemen heeft om impliciet een opsporingstaak op zich te nemen.

Naast het belang van een brede maatschappelijke discussie, moet ook in beeld gebracht worden wat het draagvlak is onder de bevolking. Zit de gemiddelde burger er eigenlijk wel op te wachten dat techbedrijven dit type software gebruiken? Of is het inmiddels zo normaal geworden dat techbedrijven mee kunnen kijken?

Daarnaast moet men ook niet uit het oog verliezen dat we ook nog niet zeker weten of de software effectief zal zijn in de strijd tegen kindermisbruik, vooral nu er toch best wat media-aandacht is rondom de nieuwe software. Elke kwaadwillende weet hoogstwaarschijnlijk van de nieuwe software af en de kans is groot dat ze Apple niet meer zullen gebruiken en naar andere manieren zullen zoeken om hun illegale activiteiten voort te zetten. De kans is groot dat de software uiteindelijk niet het beoogde doel bereikt, maar wel een grote inbreuk vormt op de vrijheid van onschuldige Applegebruikers.

Darinka Zarić

Darinka Zarić

Darinka Zarić is jurist bij The Privacy Factory. Nieuwe juridische vraagstukken die ontstaan in een gedigitaliseerde samenleving spreken haar enorm aan. Met name op het gebied van privacyrecht en de inzet van big data. Momenteel volgt zij aan de Vrije Universiteit Amsterdam de master Internet, intellectuele eigendom en ICT.

Volg onze publicaties

cookie

Wij gebruiken alleen functionele en analytische cookies om u een optimale gebruikerservaring te bieden op onze website. Onze cookies verzamelen geen persoonsgegevens. Meer informatie.