Microsoft vyvíja AI, ktorá dokáže nájsť chyby v kóde
2 min. čítať
Publikované dňa
Zdieľajte tento článok
Vylepšite túto príručku
Prečítajte si našu informačnú stránku a zistite, ako môžete pomôcť MSPoweruser udržať redakčný tím Čítaj viac
Výskumníci v Microsofte vyvinuli AI, ktorá dokáže nájsť chyby v kóde a pomáha vývojárom ladiť ich aplikácie presnejšie a efektívnejšie.
Výskumníci Miltos Allamanis, hlavný výskumník a Marc Brockschmidt, hlavný vedúci výskumu, vyvinuli svoju AI, BugLabs, v podstate rovnakým spôsobom, akým sa vytvárajú siete GAN (Generative Adversarial Networks).
Microsoft postavil proti sebe dve siete – jednu navrhnutú na zavedenie malých chýb do existujúceho kódu a druhú zameranú na nájdenie týchto chýb. Tieto dve siete boli stále lepšie a lepšie, výsledkom čoho bola AI, ktorá bola dobrá pri identifikácii chýb skrytých v skutočnom kóde.
Výhodou tohto prístupu bolo, že proces prebiehal úplne samostatne a nepotreboval označené údaje.
Výsledky hlásia takto:
Teoreticky by sme mohli hru na schovávačku aplikovať široko a naučiť stroj identifikovať ľubovoľne zložité chyby. Takéto chyby sú však stále mimo dosahu moderných metód AI. Namiesto toho sa sústredíme na súbor bežne sa vyskytujúcich chýb. Patria sem nesprávne porovnania (napr. použitie „<=“ namiesto „<“ alebo „>“), nesprávne booleovské operátory (napr. použitie „and“ namiesto „alebo“ a naopak), nesprávne použitie premenných (napr. nesprávne použitie „i“ namiesto „j“) a niekoľko ďalších. Na testovanie nášho systému sa zameriavame na kód Python.
Keď je náš detektor vyškolený, používame ho na detekciu a opravu chýb v reálnom kóde. Na meranie výkonu ručne anotujeme malý súbor údajov chýb z balíkov v indexe balíkov Python s takýmito chybami a ukazujeme, že modely trénované našou metódou „schovávania a hľadania“ sú až o 30 % lepšie v porovnaní s inými alternatívami, napr. detektory trénované s náhodne vloženými plošticami. Výsledky sú sľubné a ukazujú, že približne 26 % chýb sa dá nájsť a opraviť automaticky. Medzi chybami, ktoré našiel náš detektor, bolo 19 predtým neznámych chýb v skutočnom open-source kóde GitHub. Výsledky však ukázali aj veľa falošne pozitívnych varovaní, čo naznačuje, že pred praktickým nasadením takýchto modelov je potrebný ďalší pokrok.
Dospeli k záveru, že ich prístup je sľubný, aj keď je samozrejme potrebné vykonať oveľa viac práce, aby boli takéto detektory spoľahlivé pre praktické použitie. Dané Microsoft GPT-3 funguje na GitHub je však celkom možné, že toto dielo bude nakoniec komercializované.
Prečítajte si ich celý článok tu.
