Microsoft wyjaśnia, dlaczego osoby z LLM mają halucynacje i wymyślają odpowiedzi

Niedawna wymiana zdań na Twitterze między użytkownikiem a dyrektorem firmy Microsoft ponownie zwróciła uwagę na ograniczenia dużych modeli językowych (LLM), takich jak Bing, oraz na ryzyko wystąpienia luk informacyjnych w przypadku polegania wyłącznie na wiedzy wewnętrznej.

Dyskusja rozpoczęła się po tym, jak użytkownik zgłosił niedokładne wyniki wyszukiwania w Bing, gdy jego wtyczka wyszukiwania, która umożliwia dostęp do zewnętrznych danych internetowych, została wyłączona. W odpowiedzi Michaił Parakhin, dyrektor generalny ds. reklamy i usług internetowych w firmie Microsoft, przyznał, że w takich sytuacjach firmy LLM „zmyślają”.

Wyjaśnił, że organizacje LLM pozbawione ogromnej ilości informacji dostępnych w Internecie mogą czasami skorzystać z wewnętrznej bazy wiedzy, czyli zbioru tekstu i kodu wykorzystywanego w szkoleniach, w celu wygenerowania odpowiedzi. Jednak to wewnętrzne wygenerowanie może nie zawsze być dokładne lub zgodne ze stanem faktycznym, co prowadzi do potencjalnych rozbieżności w wynikach wyszukiwania w porównaniu z wynikami uzyskanymi przy włączonej wtyczce wyszukiwania.

Dla mnie rodzi to ważne pytania dotyczące przejrzystości i dokładności wyszukiwań opartych na LLM, zwłaszcza gdy zewnętrzne źródła danych są niedostępne. Kiedy LLM generują odpowiedzi bez dostępu do danych zewnętrznych, użytkownicy powinni otrzymać jasne wskazanie źródła informacji i wszelkich potencjalnych ograniczeń.

Chociaż udzielanie odpowiedzi jest cenne, LLM muszą priorytetowo traktować wiarygodne informacje, a nie uzupełnianie luk w wiedzy potencjalnie niedokładnymi pokoleniami wewnętrznymi. Zbadanie alternatywnych podejść, takich jak wskazanie niepewności, zasugerowanie dalszych badań lub po prostu stwierdzenie, że odpowiedź jest niedostępna, mogłoby zwiększyć zaufanie i zapobiec rozprzestrzenianiu się dezinformacji.

Nic więc dziwnego, że tak ludzie wolą ChatGPT od Bing Chat/Copilot.

Z tych powodów osobiście wolę używać Barda, ponieważ Google udostępnił funkcję, dzięki której Bard informuje użytkowników, czy informacje pochodzą z innego miejsca, czy nie, dzięki czemu użytkownicy mogą łatwiej zaufać tym informacjom.