Google AI menempatkan ayah dalam penyelidikan pelecehan anak karena konsultasi online balita foto telanjang

Seorang ayah bernama Mark, yang mengambil foto selangkangan anaknya yang bengkak untuk digunakan untuk konsultasi medis online, diselidiki setelah Google menandai gambar tersebut sebagai materi pelecehan seksual anak (CSAM). Menurut laporan dari The New York Times, meskipun penyelidikan menemukan bahwa kasus sang ayah “tidak memenuhi unsur kejahatan dan tidak ada kejahatan yang terjadi”, itu bisa lebih buruk, yang dapat mengakibatkan dia kehilangan hak asuh anaknya. Terlebih lagi, Google tetap teguh dengan keputusannya untuk menonaktifkan (dan kemudian menghapus) akun Mark, meskipun ia mengajukan banding ke perusahaan tersebut dengan hasil laporan polisi sebagai bukti bahwa dia tidak bersalah.

Teknologi tetap cacat, tetapi kesalahannya seharusnya tidak menempatkan Anda dalam kondisi kritis yang dapat membahayakan Anda. Tidak demikian halnya dengan pengklasifikasi pembelajaran mesin Google dan teknologi pencocokan hash yang menciptakan “'hash,' atau sidik jari digital unik, untuk gambar atau video sehingga dapat dibandingkan dengan hash dari CSAM yang dikenal.” Menurut Google, begitu teknologi dan "tim spesialis terlatih" mendeteksi CSAM, ia melapor ke Pusat Nasional untuk Anak Hilang dan Tereksploitasi (NCMEC), yang akan memulai penyelidikan dengan bantuan penegak hukum. Meskipun demikian, teknologinya tidak 100% akurat, dan kesalahan yang dibuatnya dapat menyebabkan konsekuensi besar bagi siapa pun.

Dalam email yang dikirim ke Verge oleh Google, bagaimanapun, perusahaan mengklaim bahwa "tim ahli keselamatan anak meninjau konten yang ditandai untuk akurasi dan berkonsultasi dengan dokter anak untuk membantu memastikan kami dapat mengidentifikasi kasus di mana pengguna mungkin mencari nasihat medis." Sayangnya, meskipun deskripsinya sesuai dengan kasus Mark, Google masih menandai ayahnya sebagai penjahat, yang menyebabkan penyelidikan dan dia kehilangan akun Google-nya dan file cloud penting lainnya. Di samping catatan, juru bicara dari Google menjelaskan kepada NYT bahwa itu hanya melakukan pemindaian ketika "tindakan afirmatif" dilakukan, seperti mencadangkan foto ke cloud Google.

Menurut laporan transparansi Google, telah melaporkan total 621,583 kasus CSAM ke NCMEC CyberTipline, yang mengakibatkan lembaga penegak hukum waspada terhadap 4,260 kemungkinan masalah CSAM (dan 270,000 akun dinonaktifkan), termasuk kasus Mark. Namun, setelah dilakukan investigasi pada Februari 2021 yang membuktikan tidak ada pelanggaran yang dilakukan, hal itu membuat kami bertanya-tanya Google AIkemampuan untuk menandai pelecehan atau eksploitasi anak. Dan dengan fakta bahwa hal itu dapat mengakibatkan konsekuensi serius seperti kehilangan data dan akun cloud Anda dan diselidiki oleh pihak berwenang, dituduh sebagai penjahat oleh alat Google adalah ketidaknyamanan murni. Lebih buruk lagi, itu bisa berarti masalah privasi, memberi Anda kekhawatiran tentang hal-hal yang ingin Anda simpan di ponsel atau unggah di cloud, terlepas dari apakah itu untuk alasan medis atau alasan non-ofensif lainnya.