A Intel está falsificando seus resultados de benchmark de CPU? Um consórcio sem fins lucrativos diz isso

A fabricante de processadores Intel foi acusada de inflar os resultados de benchmark de CPU. A acusação, lançado recentemente pela Standard Performance Evaluation Corporation (SPEC), diz especificamente que a Intel aumentou os resultados de benchmark de seus processadores Xeon entre 2022 e 2023 no teste SPEC CPU 2017.

Foi revelado que uma empresa de tecnologia inflou o desempenho do seu processador manipulando software usado em benchmarks. O órgão de testes neutro desqualificou mais de 2,600 resultados depois de descobrir que a empresa otimizou compiladores especificamente para o benchmark, dando uma vantagem injusta.

“SPEC determinou que o compilador usado para este resultado estava realizando uma compilação que melhora especificamente o desempenho dos benchmarks 523.xalancbmk_r / 623.xalancbmk_s usando conhecimento a priori do código SPEC e do conjunto de dados para realizar uma transformação que tem aplicabilidade restrita”, o relatório é lido em termos técnicos.

E esta não foi a única ou a primeira vez que um fabricante de tecnologia foi acusado de dar ao seu hardware um salto na cama elástica para aumentar esses números, especialmente quando se trata de benchmarks auto-relatados. Até mesmo empresas como Qualcomm, Samsung e MediaTek já foram jogadas debaixo do ônibus por isso (via PC World).

O compilador é importante para otimizar o software para execução eficiente no processador. Pessoal lá em Phoronix disse que o compilador personalizado pode ter aumentado os resultados relevantes do teste SPEC em até 9%.

Todos nós somos obcecados por números de referência. Embora nem sempre represente com precisão o desempenho do hardware na vida real e em tempo real, observar e comparar números parece algo fácil de fazer para saber como A é comparado a B.