Alat AI baru dari Microsoft mewujudkan imajinasi Anda

Bayangkan bisa menghasilkan foto berkualitas tinggi hanya dengan menggambarkannya ke komputer. Skenario sci-fi ini sekarang menjadi kenyataan, berkat alat AI baru Microsoft.

Drawing Bot membuat gambar di atas hanya dari deskripsi “burung dengan tubuh kuning, sayap hitam dan paruh pendek,” menggunakan teknik baru di mana AI sangat memperhatikan kata-kata individu saat menghasilkan gambar dari deskripsi teks seperti teks, menghasilkan peningkatan kualitas gambar 3 kali lipat dibandingkan dengan teknik pembuatan teks ke gambar lainnya.

Bot dapat melakukan lebih dari sekadar burung, mampu menggambar segala sesuatu mulai dari pemandangan penggembalaan biasa, seperti penggembalaan ternak, hingga yang absurd, seperti bus tingkat yang mengambang.

“Jika Anda pergi ke Bing dan Anda mencari burung, Anda mendapatkan gambar burung. Tapi di sini, gambar dibuat oleh komputer, piksel demi piksel, dari awal,” kata Xiaodong He, peneliti utama dan manajer penelitian di Pusat Teknologi Pembelajaran Dalam di lab penelitian Microsoft di Redmond, Washington. “Burung-burung ini mungkin tidak ada di dunia nyata — mereka hanyalah aspek imajinasi komputer kita tentang burung.”

Tim mulai dengan CaptionBot, yang secara otomatis menulis teks untuk gambar (digunakan di Facebook, misalnya, untuk menandai gambar untuk tujuan aksesibilitas), kemudianSeeingAI, yang memungkinkan pengguna tunanetra menggunakan kamera ponsel mereka untuk mendeskripsikan adegan kepada mereka, dan sekarang akhirnya Menggambar Bot.

“Sekarang kami ingin menggunakan teks untuk menghasilkan gambar,” kata Qiuyuan Huang, peneliti pascadoktoral di kelompok He dan rekan penulis makalah. "Jadi, ini adalah siklus."

Prestasi tersebut adalah contoh dari Generative Adversarial Network, atau GAN, di mana satu jaringan AI, generator mencoba untuk mendapatkan gambar palsu melewati jaringan AI lain, diskriminator. Bekerja sama, diskriminator mendorong generator menuju kesempurnaan.

Teknik baru meningkatkan keadaan seni dengan berkonsentrasi pada bagian kalimat yang berbeda secara bergantian, misalnya pertama menggambar burung kuning, kemudian sayap hitam dan kemudian paruh pendek.

“Perhatian adalah konsep manusia; kami menggunakan matematika untuk membuat perhatian menjadi komputasi,” jelas He.

“Kami dapat mengontrol apa yang kami gambarkan dan melihat bagaimana mesin bereaksi,” jelas He. “Kita bisa menyodok dan menguji apa yang dipelajari mesin. Mesin ini memiliki beberapa latar belakang yang dipelajari dengan akal sehat, tetapi masih dapat mengikuti apa yang Anda minta dan mungkin, kadang-kadang, tampaknya agak konyol.”

Teknologi generasi teks-ke-gambar dapat menemukan aplikasi praktis yang bertindak sebagai semacam asisten sketsa untuk pelukis dan desainer interior, atau sebagai alat untuk penyempurnaan foto yang diaktifkan suara. Dengan daya komputasi yang lebih besar, Dia membayangkan teknologi tersebut dapat menghasilkan film animasi berdasarkan skenario, menambah pekerjaan yang dilakukan pembuat film animasi dengan menghilangkan beberapa pekerjaan manual yang terlibat.

“Agar AI dan manusia dapat hidup di dunia yang sama, mereka harus memiliki cara untuk berinteraksi satu sama lain,” jelas Dia. “Dan bahasa dan penglihatan adalah dua modalitas terpenting bagi manusia dan mesin untuk berinteraksi satu sama lain.”

Makalah lengkap yang menjelaskan penelitian ini dapat ditemukan di arXiv.org.

melalui Microsoft.com