El nuevo chatbot de inteligencia artificial de Amazon, Amazon Q, filtra datos confidenciales, programas de descuentos internos y más

El nuevo chatbot Q de Amazon con IA se enfrenta a críticas de los empleados por problemas de precisión y fuga de datos. Los documentos filtrados a Platformer muestran que Q está experimentando "alucinaciones graves" y filtrando información confidencial, incluida la ubicación de los centros de datos de AWS y los programas de descuentos internos.

Un documento interno sobre las alucinaciones y respuestas incorrectas de Q señala que “Amazon Q puede alucinar y devolver respuestas dañinas o inapropiadas. Por ejemplo, Amazon Q podría devolver información de seguridad desactualizada que podría poner en riesgo las cuentas de los clientes”. Los riesgos descritos en el documento son típicos de los grandes modelos de lenguaje, todos los cuales devuelven respuestas incorrectas o inapropiadas al menos algunas veces.

Amazon resta importancia a las discusiones de los empleados y afirma que no se identificó ningún problema de seguridad. Sin embargo, los documentos filtrados plantean preocupaciones sobre la precisión y seguridad de Q, que aún se encuentra en la etapa de vista previa y aún no está disponible de forma generalizada. Un portavoz dijo:

No se identificó ningún problema de seguridad como resultado de esa retroalimentación. Apreciamos todos los comentarios que ya hemos recibido y continuaremos ajustando Q a medida que pasa de ser un producto en versión preliminar a estar disponible de forma general.

Q se está posicionando como una versión de nivel empresarial de ChatGPT y está diseñado para ser más seguro que las herramientas de nivel de consumidor. Sin embargo, los documentos internos resaltan el riesgo de que Q proporcione información inexacta o dañina.

Más sobre esto aquí.