Nový chatbot Amazon Q s umělou inteligencí uniká důvěrná data, interní slevové programy a další

Nový AI chatbot od Amazonu Q čelí kritice zaměstnanců za přesnost a problémy s únikem dat. Dokumenty, které unikly do Platformer, ukazují, že Q zažívá „těžké halucinace“ a uniká důvěrné informace, včetně umístění datových center AWS a interních slevových programů.

Interní dokument o halucinacích a špatných odpovědích Q uvádí, že „Amazon Q může halucinovat a vrátit škodlivé nebo nevhodné odpovědi. Amazon Q může například vrátit zastaralé bezpečnostní informace, které by mohly ohrozit zákaznické účty.“ Rizika nastíněná v dokumentu jsou typická pro velké jazykové modely, z nichž všechny alespoň někdy vracejí nesprávné nebo nevhodné odpovědi.

Amazon bagatelizuje význam diskuzí zaměstnanců a tvrdí, že nebyl identifikován žádný bezpečnostní problém. Uniklé dokumenty však vzbuzují obavy o přesnost a bezpečnost Q, která je stále ve fázi náhledu a zatím není obecně dostupná. Mluvčí řekl:

V důsledku této zpětné vazby nebyl identifikován žádný bezpečnostní problém. Oceňujeme veškerou zpětnou vazbu, kterou jsme již obdrželi, a budeme i nadále ladit Q, protože přechází z produktu ve verzi Preview na obecně dostupný.

Q je umístěna jako podniková verze ChatGPT a je navržena tak, aby byla bezpečnější než spotřebitelské nástroje. Interní dokumenty však zdůrazňují riziko, že Q poskytne nepřesné nebo škodlivé informace.

Více o tom zde.