Microsoftov novi AI alat pretvara vašu maštu u stvarnost

Zamislite da možete generirati visokokvalitetne fotografije samo ih opisujete na računalu. Ovaj znanstveno-fantastični scenarij sada je stvarnost zahvaljujući Microsoftovom novom AI alatu.

Drawing Bot stvorio je gornju sliku jednostavno iz opisa "ptica žutog tijela, crnih krila i kratkog kljuna,” koristeći novu tehniku ​​u kojoj AI posvećuje veliku pozornost pojedinačnim riječima prilikom generiranja slika iz tekstualnih opisa sličnih natpisima, što rezultira trostrukim povećanjem kvalitete slike u usporedbi s drugim tehnikama generiranja teksta u sliku.

Bot može učiniti više od ptica, jer može crtati sve, od običnih pastoralnih scena, poput ispaše stoke, do apsurdnih, poput plutajućeg autobusa na kat.

“Ako odete na Bing i tražite pticu, dobit ćete sliku ptice. Ali ovdje slike stvara računalo, piksel po piksel, od nule”, rekao je Xiaodong He, glavni istraživač i voditelj istraživanja u Tehnološkom centru za duboko učenje u Microsoftovom istraživačkom laboratoriju u Redmondu u Washingtonu. “Ove ptice možda ne postoje u stvarnom svijetu – one su samo aspekt mašte naših računala o pticama.”

Tim je započeo s CaptionBot, koji je automatski pisao natpise za slike (koristi se na Facebooku, na primjer, za označavanje slika u svrhu pristupačnosti), zatim SeeingAI, koji je omogućio slabovidnim korisnicima da koriste kameru telefona kako bi im opisivali scene, i sada konačno Bot za crtanje.

"Sada želimo upotrijebiti tekst za generiranje slike", rekao je Qiuyuan Huang, postdoktorski istraživač u He's grupi i koautor rada. "Dakle, to je ciklus."

Podvig je primjer Generativne Adversarial Network, ili GAN, gdje jedna AI mreža, generator pokušava provući lažne slike preko druge AI mreže, diskriminatora. Radeći zajedno, diskriminator gura generator prema savršenstvu.

Nova tehnika poboljšava stanje tehnike koncentrirajući se na različite dijelove rečenice naizmjence, npr. prvo crtanje žute ptice, zatim crna krila i zatim kratki kljun.

„Pažnja je ljudski pojam; koristimo matematiku kako bismo pozornost učinili računskom,” objasnio je He.

"Možemo kontrolirati ono što opisujemo i vidjeti kako stroj reagira", objasnio je He. “Možemo probati i testirati što je stroj naučio. Stroj ima neku pozadinu naučenog zdravog razuma, ali još uvijek može slijediti ono što tražite i možda, ponekad, izgleda pomalo smiješno.”

Tehnologija generiranja teksta u sliku mogla bi pronaći praktične primjene kao svojevrsni pomoćnik za skice slikarima i dizajnerima interijera ili kao alat za pročišćavanje fotografija koje se aktivira glasom. S više računalne snage, On zamišlja da bi tehnologija mogla generirati animirane filmove na temelju scenarija, povećavajući posao koji rade animirani filmaši uklanjanjem dijela ručnog rada.

“Da bi umjetna inteligencija i ljudi živjeli u istom svijetu, moraju imati način na interakciju jedni s drugima”, objasnio je He. “A jezik i vizija su dva najvažnija modaliteta za međusobnu interakciju ljudi i strojeva.”

Cijeli rad koji opisuje istraživanje može se pronaći na arXiv.org.

preko Microsoft.com