Microsoft giải thích tại sao LLM gây ảo giác và bịa ra câu trả lời

Một cuộc trao đổi trên Twitter gần đây giữa một người dùng và một giám đốc điều hành của Microsoft đã thu hút sự chú ý mới về những hạn chế của các mô hình ngôn ngữ lớn (LLM) như Bing và khả năng xảy ra lỗ hổng thông tin khi chỉ dựa vào kiến ​​thức nội bộ của họ.

Cuộc thảo luận bắt nguồn từ việc một người dùng báo cáo kết quả tìm kiếm không chính xác trên Bing khi plugin tìm kiếm của nó truy cập dữ liệu web bên ngoài bị vô hiệu hóa. Đáp lại, Mikhail Parakhin, Giám đốc điều hành Bộ phận Quảng cáo & Dịch vụ Web tại Microsoft, thừa nhận khả năng LLM sẽ “làm nên chuyện” trong những tình huống như vậy.

Ông giải thích rằng khi bị thiếu lượng thông tin khổng lồ có sẵn trên web, LLM đôi khi có thể sử dụng cơ sở kiến ​​thức nội bộ của họ, một tập hợp văn bản và mã được sử dụng để đào tạo, để tạo ra phản hồi. Tuy nhiên, thế hệ nội bộ này có thể không phải lúc nào cũng chính xác hoặc phù hợp với thực tế thực tế, dẫn đến sự khác biệt tiềm ẩn trong kết quả tìm kiếm so với kết quả thu được khi bật plugin tìm kiếm.

Đối với tôi, điều này đặt ra những câu hỏi quan trọng về tính minh bạch và độ chính xác trong các tìm kiếm do LLM cung cấp, đặc biệt khi không có nguồn dữ liệu bên ngoài. Khi LLM tạo phản hồi mà không truy cập dữ liệu bên ngoài, người dùng phải được cung cấp dấu hiệu rõ ràng về nguồn thông tin và mọi hạn chế tiềm ẩn.

Mặc dù việc cung cấp câu trả lời có giá trị nhưng LLM phải ưu tiên thông tin đáng tin cậy hơn là lấp đầy lỗ hổng kiến ​​​​thức với các thế hệ nội bộ có khả năng không chính xác. Khám phá các phương pháp thay thế, chẳng hạn như chỉ ra sự không chắc chắn, đề xuất nghiên cứu sâu hơn hoặc đơn giản tuyên bố rằng không có câu trả lời, có thể nâng cao niềm tin và ngăn chặn sự lan truyền của thông tin sai lệch.

Vì thế, không có gì ngạc nhiên tại sao mọi người thích ChatGPT hơn Bing Chat/Copilot.

Và vì những lý do này, cá nhân tôi thích sử dụng Bard hơn vì Google đã cung cấp một chức năng trong đó Bard cho phép người dùng biết liệu thông tin có được tham chiếu từ nơi nào khác hay không, giúp người dùng dễ dàng tin tưởng vào thông tin hơn.