Google AI zet vader in onderzoek naar kindermishandeling vanwege online consultatie van naaktfoto's van peuter

Een vader genaamd Mark, die een foto nam van de gezwollen lies van zijn kind om deze te gebruiken voor een online medisch consult, werd onderzocht nadat Kopen Google Reviews markeerde de afbeeldingen als materiaal voor seksueel misbruik van kinderen (CSAM). Volgens het rapport van The New York Times, hoewel uit het onderzoek bleek dat de zaak van de vader "niet voldeed aan de elementen van een misdrijf en dat er geen misdrijf heeft plaatsgevonden", had het erger kunnen zijn, wat ertoe zou kunnen leiden dat hij de voogdij over zijn kind verliest. Sterker nog, Google bleef bij zijn beslissing om Marks account uit te schakelen (en later te verwijderen), hoewel hij een beroep deed op het bedrijf met het resultaat van het politierapport als bewijs van zijn onschuld.

Technologie blijft gebrekkig, maar de fouten ervan zouden u niet in een kritieke toestand moeten brengen die u in gevaar zou kunnen brengen. Dat is niet het geval met Google's machine learning classifiers en hash-matching-technologie die "een 'hash' of unieke digitale vingerafdruk creëren voor een afbeelding of een video, zodat deze kan worden vergeleken met hashes van bekende CSAM." Volgens Google, zodra de technologie en de "opgeleide specialistische teams" CSAM detecteren, rapporteert het aan het National Center for Missing and Exploited Children (NCMEC), dat een onderzoek zal starten met de hulp van wetshandhavers. Desalniettemin is de technologie niet 100% nauwkeurig, en de fouten die het kan maken, kunnen voor iedereen grote gevolgen hebben.

In een e-mail gestuurd naar The Verge door Google beweert het bedrijf echter dat zijn "team van experts op het gebied van kinderveiligheid de gemarkeerde inhoud beoordeelt op nauwkeurigheid en overlegt met kinderartsen om ervoor te zorgen dat we gevallen kunnen identificeren waarin gebruikers mogelijk medisch advies inwinnen." Helaas, hoewel de beschrijving past bij het geval van Mark, markeerde Google de vader nog steeds als een crimineel, wat leidde tot een onderzoek en hij verloor zijn Google-account en andere belangrijke cloudbestanden. Even terzijde, een woordvoerder van Google legde aan NYT uit dat het alleen scant wanneer een "bevestigende actie" wordt uitgevoerd, zoals het maken van een back-up van foto's naar de cloud van Google.

Volgens de transparantierapport van Google, heeft het al 621,583 gevallen van CSAM gemeld aan de NCMEC CyberTipline, wat ertoe heeft geleid dat de wetshandhavingsinstanties zijn gewaarschuwd voor 4,260 mogelijke problemen met CSAM (en 270,000 accounts die zijn uitgeschakeld), inclusief de zaak van Mark. Echter, na een onderzoek in februari 2021 waaruit bleek dat er geen overtredingen zijn gemaakt, roept dit vragen op Google AI's vermogen om te markeren kindermishandeling of uitbuiting. En met het feit dat dit ernstige gevolgen kan hebben, zoals het verliezen van uw cloudgegevens en -account en onderzocht worden door autoriteiten, is het een puur ongemak om door de tool van Google als crimineel te worden beschuldigd. Erger nog, het kan privacyproblemen betekenen, waardoor u zich zorgen maakt over de dingen die u op uw telefoon wilt opslaan of in de cloud wilt uploaden, ongeacht of dit om medische of andere niet-aanstootgevende redenen is.