Výzkum společnosti Microsoft vytváří nový systém pro automatické popisování obrázků

Asi 12 stážistů a výzkumníků z Microsoft Research vytvořilo softwarový systém pro automatické titulky obrázků. Vezměte si obrázek výše jako příklad. Jejich nový systém dokáže automaticky popsat obrázek jako „Žena držící fotoaparát v davu“

Nejen, že se na projektu skvěle pracovalo: Jsem také hrdý na výsledky, které jsou v a předtisk. O systému titulků můžete uvažovat jako o systému strojového překladu, od pixelů po (např.) angličtinu. Odborníci na strojový překlad používají BLEU metrika porovnat výstup systému s lidským překladem. BLEU rozdělí titulky na části délky (1 až 4 slova) a poté změří míru překrytí mezi systémem a lidskými překlady. Penalizuje také krátké systémové titulky.

Abychom porozuměli nejvyššímu možnému skóre BLEU, kterého jsme mohli dosáhnout, testovali jsme jeden člověkem psaný titulek (jako hypotetický „systém“) oproti čtyřem dalším. S radostí oznamuji, že pokud jde o skóre BLEU, skutečně jsme porazili lidi! Náš systém dosáhl skóre BLEU 21.05 %, zatímco lidský „systém“ dosáhl skóre 19.32 %.

Nyní byste měli vzít toto nadlidské skóre BLEU s gigantickým balvan soli. BLEU má mnoho omezení, která jsou dobře známá v komunitě strojového překladu. Zkusili jsme také testování s Metrika METEORa dostal se poněkud pod lidskou výkonnost (20.71 % vs. 24.07 %).

Skutečným zlatým standardem je provést slepý test a zeptat se lidí, který titulek je lepší (asi jako to, co jsem se vás ptal výše). Použili jsme Amazon's Mechanical Turk, abychom lidi požádali, aby porovnali dvojice titulků: je jeden lepší, druhý ten, nebo jsou přibližně stejné? U 23.3 % testovacích obrázků si lidé mysleli, že systémový popisek je stejný nebo lepší než lidský.

Přečtěte si více o tom zde.