Тесты производительности: правда или ложь?

Нынче принято при обзоре планшета или смартфона приводить данные из различных тестов производительности (бенчмарков): AnTuTu, Quadrant Standard, Geekbench, Smartbench, Linpack и т.д. Результаты этих тестов зачастую считаются самым авторитетным способом вешать ярлыки на смартфоны ("хороший", плохой", "быстрый", "глючный" и пр.). По этом поводу возникли некоторые сомнения, о которых и будет рассказано ниже.

 

  

Любой новый телефон или планшет, попадая в руки опытного пользователя, неминуемо проходит через серию "пыток". Среди всех имеющихся приложений, чаще всего устанавливается набор тестов производительности AnTuTu, Quadrant Standard, Geekbench, Smartbench, Linpack и т.д. Некоторые тесты длятся несколько часов (AnTuTu), а некоторые всего секунду (Linpack).

 

 

Невозможно узнать о качестве "железа" устройства просто посмотрев на него. Конечно можно сказать, что телефон работает плавно, с разными переходами и анимацией, приложения быстро открываются и закрываются. Но невозможно таким путём измерить внутреннюю работу компонентов устройства и узнать невооруженным глазом, насколько хорошо они работают вместе.

 

 

Довольно забавно смотреть на сравнение устройств друг с другом в различных тестах. И неважно, что большинство пользователей не понимает значения четырёх или пяти цифр результатов таких тестов.

 

Однако, чем больше устройств тестируется, тем больше видно, как полезны эти тесты на самом деле, насколько хорошо они коррелируют с реальной производительностью.

 

Но всегда надо относиться к мобильным тестам с недоверием, и для этого есть множество причин. Чтобы доказать, можно использовать множество разнообразных тестов, но вернее всего будет остановится на одном из самых популярных -AnTuTu.

 

 

  

Для примеров выбраны несколько очень мощных устройств-рекордсменов в тестах. Смартфон Galaxy S4 показывает 22 000 - 23 000 в тесте AnTuTu, и более 3100 в Geekbench. Несмотря на эти впечатляющие числа, пользователи жалуются на небольшие подлагивания девайса при интенсивном его использовании. С другой стороны, HTC One, работающий на том же чипсете, идеально проработал с той же самой нагрузкой.

 

Ещё один неплохой пример, планшет Galaxy Tab 3 10.1. Он оборудован чипсетом Intel Atom с двухъядерным процессором на частоте 1.6 ГГц. В нём, конечно, не самым лучшим образом сочетаются центральный и графический процессоры, но, тем не менее, он должен предлагать много мощности для повседневных задач. В AnTuTu, планшет показывает в среднем около 20 000. Тем не менее, на практике планшет периодически подвисает, некоторые задачи выполняются с задержкой.

 

Таким образом, технические характеристики, тесты и реальная производительность не всегда сходятся во мнениях. Такое происходит крайне редко. 

 

 

Следует обратить внимание, что при обновлении приложения тестов производительности, меняются результаты этих тестов. Если сравнить результаты тестов Galaxy Tab 3 10.1 в AnTuTu 2.9.3 и 3.3, то результаты для процессора Intel увеличились на 122%, а для теста оперативной памяти планшета на 292%. Для чипсета Exynos разница не была столь значительной: результаты теста процессора увеличилась на 59%, а оперативной памяти, на 53%.

 

Между устройствами есть очень большая разница в их внутреннем устройстве, качестве сборки, отзывах и обзорах, рынках сбыта и в индивидуальных тестах. Пользователь может запустить тест и получить первый раз 6000, вторая раз уже 8000. Да хоть двести раз провести эти тесты и взять их усредненное значение, числа вряд ли будут отражать реальную ситуацию.  

 

 

Кроме того, для OEM-производителей не сложно собственными руками оптимизировать свои устройства для определенных тестов.

 

В декабре 2012 года на сайте AnTuTu Labs была выложена статья с заголовком "Прекратите жульничать". Из неё следовало, что производители, вместо реальной оптимизации "железа", занимаются оптимизаций "железа" под разные тесты, с целью "повысить" производительность.

 

Это характерно не только для производителей, но и для кастомных прошивок тоже. В таком случае, девайс может показывать 12 000 в AnTuTu со стоковым ПО. Зато после "обновления" устройство способно набрать 20 000. Проблема, однако, в том, что, в то время как пользователи могут увидеть 167-процентное улучшение в тестах, они никогда не увидят такое же улучшение в повседневной производительности - лишь незначительное улучшение, если таковые имели место быть. 

 

 

 

Тем не менее, не стоит однозначно говорить, что "Все врут!" Но также не стоит принимать слепо эти тесты на веру. Цифры, конечно, могут и ошибаться, но если один производитель "обманул", так это уже другое дело. В таком случае, большинство производителей могло умышленно оптимизировать свои девайсы под тесты. И в то же время, цифры никогда не будут точными и будут отличаться от реальной производительности, но это по-прежнему интересный способ сравнить два девайса... количественно.

 

Лучше всего использовать смешанные оценки, то есть и результаты тестов, и реальную производительность. Тесты никогда не покажут пользователю неисправность. Кроме того, тактовая частота процессора также не будет в одиночестве характеризовать мощность устройства. Зато при грамотном учёте и тестов, и всего "железа" в целом, можно получить общую картину производительности устройства.