Microsoft Research travaille sur une IA qui peut raconter l'histoire de vos photos de vacances

Des IA qui peuvent décrire des images sont déjà à l'œuvre sur Internet, ajoutant des légendes aux images sur Facebook par exemple. Maintenant, Microsoft Research fait passer la technologie au niveau supérieur en demandant à son IA de raconter l'histoire d'une série d'images.

Par exemple, alors qu'un programme de sous-titrage d'images peut prendre cinq images et dire : « Ceci est une photo de famille ; c'est une photo d'un gâteau; c'est une photo d'un chien; ceci est une photo d'une plage », le programme de narration pourrait prendre ces mêmes images et dire : « La famille s'est réunie pour un barbecue ; ils avaient beaucoup de nourriture délicieuse; le chien était content d'être là; ils se sont bien amusés sur la plage; ils se sont même baignés dans l'eau.

À l'avenir, la narration informatisée pourrait aider les gens à générer automatiquement des histoires pour les diaporamas d'images qu'ils téléchargent sur les réseaux sociaux, a déclaré Mitchell. « Vous aideriez les gens à partager leurs expériences tout en réduisant le travail minutieux que certaines personnes trouvent assez fastidieux », a-t-elle déclaré. La narration informatisée "peut également aider les personnes malvoyantes à ouvrir des images aux personnes qui ne peuvent pas les voir".

"L'objectif est d'aider à donner aux IA une intelligence plus humaine, pour l'aider à comprendre les choses à un niveau plus abstrait - ce que signifie être amusant ou effrayant ou bizarre ou intéressant", a déclaré l'auteur principal de l'étude Margaret Mitchell, informaticienne à Recherche Microsoft. «Les gens ont transmis des histoires pendant des éternités, les utilisant pour transmettre notre morale, nos stratégies et notre sagesse. En nous concentrant sur la narration, nous espérons aider les IA à comprendre les concepts humains d'une manière très sûre et bénéfique pour l'humanité, plutôt que de lui apprendre à battre l'humanité.

Si l'IA apprend un jour à raconter des histoires basées sur des séquences d'images, "c'est un tremplin pour faire de même pour la vidéo", a déclaré Mitchell. « Cela pourrait aider à fournir des applications intéressantes. Par exemple, pour les caméras de sécurité, vous pourriez simplement vouloir un résumé de tout ce qui est remarquable, ou vous pourriez automatiquement diffuser des événements de tweet en direct », a-t-elle déclaré.

Les chercheurs présenteront leurs découvertes à San Diego lors de la réunion annuelle du chapitre nord-américain de l'Association for Computational Linguistics plus tard ce mois-ci.