Microsoft Research werkt aan een AI die het verhaal van je vakantiekiekjes kan vertellen

AI die afbeeldingen kan beschrijven, is al aan het werk op internet en voegt bijvoorbeeld bijschriften toe aan afbeeldingen op Facebook. Nu tilt Microsoft Research de technologie naar een hoger niveau en vraagt ​​hun AI om het verhaal van een reeks foto's te vertellen.

Een programma voor het ondertitelen van afbeeldingen kan bijvoorbeeld vijf afbeeldingen maken en zeggen: "Dit is een foto van een gezin; dit is een foto van een taart; dit is een foto van een hond; dit is een foto van een strand,” het vertelprogramma zou diezelfde beelden kunnen nemen en zeggen: “De familie kwam bij elkaar voor een cookout; ze hadden veel heerlijk eten; de hond was blij om daar te zijn; ze hadden een geweldige tijd op het strand; ze hebben zelfs in het water gezwommen.”

In de toekomst zou geautomatiseerde verhalen vertellen mensen kunnen helpen automatisch verhalen te genereren voor diavoorstellingen van afbeeldingen die ze uploaden naar sociale media, zei Mitchell. "Je zou mensen helpen om hun ervaringen te delen en tegelijkertijd het essentiële werk, dat sommige mensen nogal vervelend vinden, te verminderen," zei ze. Geautomatiseerde verhalen vertellen "kan ook mensen met een visuele handicap helpen om beelden te openen voor mensen die ze niet kunnen zien."

"Het doel is om AI's meer mensachtige intelligentie te geven, om het te helpen dingen op een meer abstract niveau te begrijpen - wat het betekent om leuk of griezelig of raar of interessant te zijn", zei senior auteur Margaret Mitchell, een computerwetenschapper bij Microsoft-onderzoek. “Mensen hebben eeuwenlang verhalen doorgegeven en gebruiken ze om onze moraal, strategieën en wijsheid over te brengen. Met onze focus op het vertellen van verhalen, hopen we AI's te helpen menselijke concepten te begrijpen op een manier die zeer veilig en heilzaam is voor de mensheid, in plaats van haar te leren hoe ze de mensheid kunnen verslaan."

Als AI ooit leert om verhalen te vertellen op basis van reeksen afbeeldingen, "is dat een opstapje om hetzelfde te doen voor video", zei Mitchell. “Dat kan interessante toepassingen opleveren. Voor beveiligingscamera's wil je bijvoorbeeld gewoon een samenvatting van iets opmerkelijks, of je kunt automatisch gebeurtenissen tweeten,' zei ze.

De onderzoekers zullen hun bevindingen later deze maand in San Diego presenteren op de jaarlijkse bijeenkomst van het Noord-Amerikaanse hoofdstuk van de Association for Computational Linguistics.