OpenAI의 새로운 벤치마크 SimpleQA는 AI 모델의 사실적 정확도를 평가합니다.

OpenAI는 SimpleQA라는 새로운 벤치마크를 발표했습니다. 이는 AI 모델의 사실적 정확도를 다루고 평가하도록 설계되었습니다.

Microsoft가 지원하는 회사 발표 SimpleQA는 모델의 짧고 사실적인 질문에 답하는 능력을 측정합니다. 명확하고 검증 가능한 답변이 있는 간결한 질의에 초점을 맞추어 사실성 평가를 단순화합니다.

OpenAI는 "사실성은 측정하기 어렵기 때문에 복잡한 주제입니다. 주어진 임의의 주장의 사실성을 평가하는 것은 어려울 수 있으며 언어 모델은 종종 수십 개의 사실적 주장을 포함하는 긴 완성을 생성합니다."라고 말합니다. 14페이지 문서 벤치마크의.

데이터 세트에는 다양한 주제에 대한 4,326개의 질문이 있으며, 여러 AI 트레이너가 정확성을 위해 답변을 확인했습니다. 초기 결과에 따르면 더 큰 모델이 더 나은 성능을 보이지만, 명확하고 올바른 답변을 제공하는 능력을 개선할 여지가 여전히 많이 있습니다.

AI가 "환각"을 한다는 것은 실제 데이터나 사실적 증거에 기반하지 않은 거짓 또는 부정확한 정보를 생성한다는 것을 의미합니다. AI는 항상 사실을 완전히 이해하지 못하고 때로는 추측이나 잘못된 정보로 틈을 메우기 때문입니다. 특히 답을 뒷받침할 신뢰할 수 있는 데이터가 부족하거나 지식의 한계 날짜가 있는 경우 더욱 그렇습니다.

기본적으로 AI가 가져오는 많은 어리석은 일과 같은 일이 발생합니다. Google의 AI 개요, ChatGPT 또는 조종사조차도 가끔씩그래서 SimpleQA가 출시된 것입니다. 이런 환각이 발생하지 않도록 하고 모든 AI 답변이 사실인지 확인하기 위해서입니다.