Microsoft, koddaki hataları bulabilen AI geliştiriyor

Microsoft'taki araştırmacılar, koddaki hataları bulabilen ve geliştiricilerin uygulamalarında daha doğru ve verimli bir şekilde hata ayıklamalarına yardımcı olan bir yapay zeka geliştirdi.

Araştırmacılar, Baş Araştırmacı Miltos Allamanis ve Kıdemli Baş Araştırma Müdürü Marc Brockschmidt, Yapay Zeka BugLabs'larını, Üretken Düşman Ağları'nın (GAN'lar) oluşturulmasıyla hemen hemen aynı şekilde geliştirdiler.

Microsoft, biri küçük hataları mevcut koda sokmak için tasarlanmış, diğeri ise bu hataları bulmayı amaçlayan iki ağı birbirine karşı kurdu. İki ağ giderek daha iyi hale geldi ve gerçek kodda gizlenmiş hataları belirlemede iyi olan bir AI ile sonuçlandı.

Bu yaklaşımın avantajı, sürecin tamamen kendi kendini denetlemesi ve etiketlenmiş verilere ihtiyaç duymamasıydı.

Sonuçları aşağıdaki gibi rapor ederler:

Teoride, saklambaç oyununu geniş çapta uygulayabilir, bir makineye keyfi olarak karmaşık hataları tanımlamayı öğretebiliriz. Bununla birlikte, bu tür hatalar hala modern AI yöntemlerinin erişiminin dışındadır. Bunun yerine, yaygın olarak görülen bir dizi hataya odaklanıyoruz. Bunlar arasında yanlış karşılaştırmalar (örneğin, "<" veya ">" yerine "<=" kullanılması), yanlış Boolean operatörleri (örneğin, "veya" yerine "ve" kullanılması ve bunun tersi), değişken yanlış kullanımları (örneğin, “j”) yerine “i” ve birkaç tane daha. Sistemimizi test etmek için Python koduna odaklanıyoruz.

Dedektörümüz eğitildikten sonra, onu gerçek yaşam kodundaki hataları tespit etmek ve onarmak için kullanırız. Performansı ölçmek için, Python Paket Dizini'ndeki paketlerden bu tür hatalar içeren küçük bir hata veri kümesine manuel olarak açıklama ekleriz ve "saklambaç" yöntemimizle eğitilen modellerin diğer alternatiflere kıyasla %30'a kadar daha iyi olduğunu gösteririz, örn. rastgele yerleştirilmiş hatalarla eğitilmiş dedektörler. Hataların yaklaşık %26'sının otomatik olarak bulunabileceğini ve düzeltilebileceğini gösteren sonuçlar umut verici. Dedektörümüzün bulduğu hatalar arasında, gerçek hayattaki açık kaynaklı GitHub kodunda önceden bilinmeyen 19 hata vardı. Bununla birlikte, sonuçlar aynı zamanda birçok yanlış pozitif uyarıyı da göstererek, bu tür modellerin pratik olarak konuşlandırılabilmesi için daha fazla ilerlemeye ihtiyaç olduğunu düşündürdü.

Yaklaşımlarının umut verici olduğu sonucuna varıyorlar, ancak elbette bu tür dedektörleri pratik kullanım için güvenilir hale getirmek için çok daha fazla çalışmaya ihtiyaç var. verilen Microsoft'un GPT-3'ü GitHub üzerinde çalışıyor ancak, bu çalışmanın sonunda ticarileştirilmesi oldukça olasıdır.

Makalelerinin tamamını okuyun okuyun.