Microsoft erklärt, warum LLMs halluzinieren und Antworten erfinden

Ein kürzlicher Twitter-Austausch zwischen einem Benutzer und einem Microsoft-Manager hat die Aufmerksamkeit erneut auf die Einschränkungen großer Sprachmodelle (LLMs) wie Bing und die Möglichkeit von Informationslücken gelenkt, wenn man sich ausschließlich auf ihr internes Wissen verlässt.

Die Diskussion entstand dadurch, dass ein Benutzer ungenaue Suchergebnisse auf Bing meldete, als dessen Such-Plugin, das auf externe Webdaten zugreift, deaktiviert war. Als Reaktion darauf erkannte Mikhail Parakhin, CEO von Advertising & Web Services bei Microsoft, die Möglichkeit an, dass LLMs in solchen Situationen „sich etwas ausdenken“.

Er erklärte, dass LLMs manchmal auf ihre interne Wissensdatenbank zurückgreifen können, eine Sammlung von Texten und Codes, die für Schulungen verwendet werden, um Antworten zu generieren, wenn ihnen die umfangreichen Informationen im Internet fehlen. Diese interne Generierung ist jedoch möglicherweise nicht immer genau oder stimmt nicht mit der tatsächlichen Realität überein, was zu möglichen Abweichungen in den Suchergebnissen im Vergleich zu denen führen kann, die mit aktiviertem Such-Plugin erhalten wurden.

Für mich wirft dies wichtige Fragen zur Transparenz und Genauigkeit bei LLM-gestützten Suchen auf, insbesondere wenn externe Datenquellen nicht verfügbar sind. Wenn LLMs Antworten generieren, ohne auf externe Daten zuzugreifen, sollten Benutzer einen klaren Hinweis auf die Quelle der Informationen und mögliche Einschränkungen erhalten.

Auch wenn die Bereitstellung von Antworten wertvoll ist, müssen LLMs verlässlichen Informationen Vorrang vor der Schließung von Wissenslücken durch potenziell ungenaue interne Generationen geben. Die Erforschung alternativer Ansätze, wie z. B. der Hinweis auf Unsicherheit, der Vorschlag weiterer Forschung oder einfach die Aussage, dass eine Antwort nicht verfügbar ist, könnte das Vertrauen stärken und die Verbreitung von Fehlinformationen verhindern.

Daher ist es kein Wunder, warum Die Leute bevorzugen ChatGPT gegenüber Bing Chat/Copilot.

Und aus diesen Gründen bevorzuge ich persönlich die Verwendung von Bard, da Google eine Funktion bereitgestellt hat, mit der Bard den Nutzern mitteilt, ob die Informationen von woanders stammen oder nicht, wodurch es für die Nutzer einfacher wird, den Informationen zu vertrauen.