Google AI met le père dans une enquête sur la maltraitance des enfants en raison de la consultation en ligne de photos nues d'un tout-petit

Un père nommé Mark, qui a pris une photo de l'aine enflée de son enfant pour l'utiliser pour une consultation médicale en ligne, a fait l'objet d'une enquête après Google a signalé les images comme matériel d'abus sexuel d'enfants (CSAM). Selon le rapport de The New York Times, bien que l'enquête ait révélé que le cas du père « ne réunissait pas les éléments d'un crime et qu'aucun crime n'avait été commis », cela aurait pu être pire, ce qui aurait pu lui faire perdre la garde de son enfant. De plus, Google est resté ferme dans sa décision de désactiver (puis de supprimer) le compte de Mark, bien qu'il ait fait appel à l'entreprise avec le résultat du rapport de police comme preuve de son innocence.

La technologie reste imparfaite, mais ses erreurs ne doivent pas vous mettre dans un état critique qui pourrait vous mettre en danger. Ce n'est pas le cas avec les classificateurs d'apprentissage automatique de Google et la technologie de correspondance de hachage qui créent "un" hachage "ou une empreinte numérique unique, pour une image ou une vidéo afin qu'elle puisse être comparée aux hachages de CSAM connus". Selon Google, une fois que la technologie et les "équipes spécialisées formées" détectent le CSAM, il en fait rapport au National Center for Missing and Exploited Children (NCMEC), qui ouvrira une enquête avec l'aide des forces de l'ordre. Néanmoins, la technologie n'est pas précise à 100 % et les erreurs qu'elle pourrait commettre pourraient avoir de lourdes conséquences pour n'importe qui.

Dans un e-mail envoyé à The Verge par Google, cependant, la société affirme que son "équipe d'experts en sécurité des enfants examine le contenu signalé pour en vérifier l'exactitude et consulte des pédiatres pour s'assurer que nous sommes en mesure d'identifier les cas où les utilisateurs peuvent demander un avis médical". Malheureusement, alors que la description correspond au cas de Mark, Google a toujours signalé le père comme un criminel, ce qui a conduit à une enquête et lui a fait perdre son compte Google et d'autres fichiers cloud importants. En passant, un porte-parole de Google a expliqué au NYT qu'il n'effectue la numérisation que lorsqu'une "action positive" est effectuée, comme la sauvegarde de photos sur le cloud de Google.

Selon le rapport de transparence de Google, il a déjà signalé un total de 621,583 4,260 cas de CSAM au NCMEC CyberTipline, ce qui a permis aux forces de l'ordre d'être alertées de 270,000 2021 problèmes possibles de CSAM (et de XNUMX XNUMX comptes désactivés), y compris le cas de Mark. Cependant, après une enquête en février XNUMX qui a prouvé qu'aucune violation n'a été commise, cela nous fait nous interroger Google AIcapacité de signaler maltraitance ou exploitation des enfants. Et avec le fait que cela pourrait entraîner de graves conséquences comme la perte de vos données et de votre compte cloud et faire l'objet d'une enquête par les autorités, être accusé de criminel par l'outil de Google est un pur inconvénient. Pire encore, cela pourrait signifier des problèmes de confidentialité, vous donnant des inquiétudes quant aux éléments que vous souhaitez stocker sur votre téléphone ou télécharger dans le cloud, que ce soit pour des raisons médicales ou autres non offensantes.