בינה מלאכותית של גוגל מכניסה את האב לחקירת התעללות בילדים עקב תמונות עירום של פעוט בהתייעצות מקוונת

אב בשם מארק, שצילם את המפשעה הנפוחה של ילדו כדי להשתמש בה לייעוץ רפואי מקוון, נחקר לאחר Google סימן את התמונות כחומר של התעללות מינית בילדים (CSAM). על פי הדיווח מ ניו יורק טיימס, למרות שהחקירה מצאה כי המקרה של האב "לא עמד במרכיבים של פשע ושלא התרחש פשע", זה יכול היה להיות גרוע יותר, מה שעלול לגרום לו לאבד את המשמורת על ילדו. יתרה מכך, גוגל נשארה נחושה בהחלטתה להשבית (ולאחר מכן למחוק) את חשבונו של מארק, אם כי הוא פנה לחברה עם התוצאה של דו"ח המשטרה כהוכחה לחפותו.

הטכנולוגיה נותרה פגומה, אבל הטעויות שלה לא אמורות להכניס אותך למצב קריטי שעלול לסכן אותך. זה לא המקרה עם מסווגי למידת מכונה של גוגל וטכנולוגיית התאמת גיבוב היוצרים "'hash', או טביעת אצבע דיגיטלית ייחודית, לתמונה או לסרטון, כך שניתן להשוות אותם עם hashes של CSAM ידוע." לפי גוגל, ברגע שהטכנאי ו"צוותי המומחים המיומנים" מזהים CSAM, הוא מדווח למרכז הלאומי לנעדרים ומנוצלים (NCMEC), שיפתח חקירה בעזרת רשויות החוק. עם זאת, הטכנולוגיה אינה מדויקת ב-100%, והטעויות שהיא עלולה לעשות עשויות להיות השלכות גדולות עבור כל אחד.

במייל שנשלח אל הסף מאת גוגל, לעומת זאת, החברה טוענת ש"צוות המומחים שלה לבטיחות ילדים סוקר תוכן מסומן לצורך דיוק ומתייעץ עם רופאי ילדים כדי להבטיח שאנו מסוגלים לזהות מקרים שבהם משתמשים עשויים לבקש ייעוץ רפואי". למרבה הצער, למרות שהתיאור מתאים למקרה של מארק, גוגל עדיין סימנה את האב כפושע, מה שהוביל לחקירה ולאבד את חשבון הגוגל שלו וקבצי ענן חשובים אחרים. בהערה צדדית, דובר מגוגל הסביר ל-NYT שהיא מבצעת סריקה רק כאשר מבוצעת "פעולה מתקנת", כמו גיבוי תמונות לענן של גוגל.

על פי דוח שקיפות של גוגל, היא כבר דיווחה על סך של 621,583 מקרים של CSAM ל-NCMEC CyberTipline, וכתוצאה מכך רשויות אכיפת החוק קיבלו התראה על 4,260 בעיות אפשריות של CSAM (ו-270,000 חשבונות מושבתים), כולל המקרה של מארק. עם זאת, לאחר חקירה בפברואר 2021 שהוכיחה שלא בוצעו הפרות, זה גורם לנו לפקפק Google AIהיכולת של הדגל התעללות בילדים או ניצול. ועם העובדה שזה עלול לגרום לתוצאות חמורות כמו אובדן נתוני הענן והחשבון שלך וחקירה על ידי הרשויות, האשמתו כפושע על ידי הכלי של גוגל היא אי נוחות גרידא. גרוע מכך, זה יכול להיות בעיות פרטיות, לתת לך דאגות לגבי הדברים שאתה רוצה לאחסן בטלפון שלך או להעלות בענן, ללא קשר אם זה מסיבות רפואיות או אחרות לא פוגעניות.