Los benchmarks, herramientas de análisis poco fiables

Escrito por Emmanuel Jiménez

En su momento los benchmarks nos podrían haber resultado útiles para determinar el nivel que tiene un smartphone y de esa forma poder comparar los diferentes teléfonos móviles a la hora de elegir entre uno u otro. Hoy en día, los benchmark son poco fiables, por no decir que son casi inútiles.

Falsificación de benchmarks

Uno de los motivos por el que los benchmark son inútiles es lo relativamente fácil que es falsificarlos. Tengamos en cuenta que los benchmarks analizan el móvil, obtienen datos de este y los almacenan en una base de datos generalmente pública. Pero nosotros podemos modificar manualmente los datos de nuestro móvil para que este parezca otro. No es complejo hacer que un benchmark crea estar analizando un Samsung Galaxy S8 cuando se trata de un Samsung Galaxy S7. De esa forma, los benchmark se vuelven poco útiles incluso para hacernos una idea de lo que podría llegar en el futuro con respecto a algunos smartphones. Pero la situación todavía va más allá.

Benchmarks con datos no reales

Además de lo anterior, también tenemos los benchmarks con datos no reales. ¿Esto qué es? No es lo mismo que lo anterior, no nos referimos a cambiar datos en el smartphone para que al analizarlo el benchmark nos dé unos resultados concretos. A lo que nos referimos es a que nos da resultados que no se corresponden con la realidad del smartphone porque el móvil está programado para actuar de una forma en concreto cuando se ejecuta un benchmark. Hoy en día muchos móviles son capaces de reconocer que se trata de un benchmark lo que se está ejecutando y actuar de una forma diferente, a un nivel superior. De esta manera, los datos que existen no son datos reales en lo que se refiere a poder comparar dos móviles, no podemos saber si realmente esos datos que se muestran se corresponden con lo que nos dice la realidad.

Quizás los datos de un Xiaomi en concreto son parecidos a los de un Samsung, pero luego el rendimiento real de los dos smartphones es diferente.

USB Type-C

Los benchmarks son “objetivos” pero eso no es útil

En último caso, habría que hablar de los benchmarks en sí mismos. El ser humano ha tratado de analizar de forma objetiva los diferentes smartphones y ordenadores para tratar de determinar cuál es mejor y cuál es peor simplemente por sus características técnicas y no por la opinión que tienen los usuarios de él. Por ejemplo, de forma subjetiva es fácil que alguien diga que un Mac es mejor que un Windows o viceversa, pero, ¿cuál es la realidad? Supuestamente solo un benchmark podría ser objetivo, ¿no?

El gran problema que encontramos es que un móvil, o un ordenador, son mucho más que el rendimiento que pueden ofrecer cuando se les exige el máximo. A veces tiene más que ver cómo responden con un uso normal, al ejecutar la cámara, al intentar abrir una app. Incluso es posible que nosotros queramos el ordenador o el móvil para un uso concreto, para una app en concreto, y que con ese móvil no funcione bien por algún motivo.

Lo curioso en este caso es que lo más útil son las opiniones subjetivas, la opinión de usuarios afines a nosotros, que sepamos que le van a dar el mismo uso, o parecido al móvil. O al menos, que nos digan el uso que le van a dar para que en función de esto podamos determinar si la opinión que nos está dando es objetiva o subjetiva. Así, los benchmarks, hoy en día, son inútiles. Con la cantidad de vídeos y opiniones sobre móviles que podemos encontrar en Internet, no tiene sentido recurrir a benchmark, sino más bien recurrir a personas que tengan ese mismo móvil y conocer la opinión que tienen sobre él.