Microsoft Research arbetar med en AI som kan berätta historien om dina semesterbilder

AI som kan beskriva bilder är redan igång på internet, och lägger till bildtexter till bilder på Facebook till exempel. Nu tar Microsoft Research tekniken till nästa nivå och ber deras AI att berätta historien om en serie bilder.

Till exempel, medan ett bildtextningsprogram kan ta fem bilder och säga: "Detta är en bild på en familj; det här är en bild på en tårta; det här är en bild på en hund; det här är en bild av en strand,” berättarprogrammet kanske tar samma bilder och säger: “Familjen samlades för en matlagning; de hade mycket utsökt mat; hunden var glad över att vara där; de hade en fantastisk tid på stranden; de tog till och med ett dopp i vattnet."

I framtiden kan datoriserat berättande hjälpa människor att automatiskt skapa berättelser för bildspel av bilder de laddar upp till sociala medier, sa Mitchell. "Du skulle hjälpa människor att dela med sig av sina erfarenheter samtidigt som du minskar tråkigt arbete som vissa tycker är ganska tråkigt," sa hon. Datoriserat berättande "kan också hjälpa personer som är synskadade att öppna upp bilder för människor som inte kan se dem."

"Målet är att hjälpa till att ge AI: er mer mänsklig intelligens, för att hjälpa den att förstå saker på en mer abstrakt nivå - vad det innebär att vara rolig eller läskig eller konstig eller intressant", säger seniorförfattaren Margaret Mitchell, datavetare vid studien. Microsoft Research. "Människor har fört berättelser i evigheter och använt dem för att förmedla vår moral, strategier och visdom. Med vårt fokus på berättande hoppas vi kunna hjälpa AI: er att förstå mänskliga koncept på ett sätt som är mycket säkert och fördelaktigt för mänskligheten, snarare än att lära den hur man slår mänskligheten."

Om AI någonsin lär sig att berätta historier baserade på sekvenser av bilder, "det är ett steg mot att göra samma sak för video", sa Mitchell. "Det kan hjälpa till att ge intressanta applikationer. Till exempel, för säkerhetskameror, kanske du bara vill ha en sammanfattning av allt som är anmärkningsvärt, eller så kan du automatiskt live tweeta händelser”, sa hon.

Forskarna kommer att presentera sina resultat i San Diego vid det årliga mötet för North American Chapter av Association for Computational Linguistics senare denna månad.