iconСамое популярное
iconПодпишитесь


icon
» » Тесты производительности: правда или ложь?

  • Нравится
  • +1
  • Не нравится

Тесты производительности: правда или ложь?

authorАвтор: Sultan
date26.07.13 02:32
viewsПросмотров: 6919
Нынче принято при обзоре планшета или смартфона приводить данные из различных тестов производительности (бенчмарков): AnTuTu, Quadrant Standard, Geekbench, Smartbench, Linpack и т.д. Результаты этих тестов зачастую считаются самым авторитетным способом вешать ярлыки на смартфоны ("хороший", плохой", "быстрый", "глючный" и пр.). По этом поводу возникли некоторые сомнения, о которых и будет рассказано ниже.
 

Тесты производительности: правда или ложь?

  

Любой новый телефон или планшет, попадая в руки опытного пользователя, неминуемо проходит через серию "пыток". Среди всех имеющихся приложений, чаще всего устанавливается набор тестов производительности AnTuTu, Quadrant Standard, Geekbench, Smartbench, Linpack и т.д. Некоторые тесты длятся несколько часов (AnTuTu), а некоторые всего секунду (Linpack).
 
Почему популярны такие тесты производительности?
 
Невозможно узнать о качестве "железа" устройства просто посмотрев на него. Конечно можно сказать, что телефон работает плавно, с разными переходами и анимацией, приложения быстро открываются и закрываются. Но невозможно таким путём измерить внутреннюю работу компонентов устройства и узнать невооруженным глазом, насколько хорошо они работают вместе.
 

Тесты производительности: правда или ложь?

 

Довольно забавно смотреть на сравнение устройств друг с другом в различных тестах. И неважно, что большинство пользователей не понимает значения четырёх или пяти цифр результатов таких тестов.
 
Однако, чем больше устройств тестируется, тем больше видно, как полезны эти тесты на самом деле, насколько хорошо они коррелируют с реальной производительностью.
 
Но всегда надо относиться к мобильным тестам с недоверием, и для этого есть множество причин. Чтобы доказать, можно использовать множество разнообразных тестов, но вернее всего будет остановится на одном из самых популярных -AnTuTu.
 
Тесты и реальная производительность
 

Тесты производительности: правда или ложь?

  

Для примеров выбраны несколько очень мощных устройств-рекордсменов в тестах. Смартфон Galaxy S4 показывает 22 000 - 23 000 в тесте AnTuTu, и более 3100 в Geekbench. Несмотря на эти впечатляющие числа, пользователи жалуются на небольшие подлагивания девайса при интенсивном его использовании. С другой стороны, HTC One, работающий на том же чипсете, идеально проработал с той же самой нагрузкой.
 
Ещё один неплохой пример, планшет Galaxy Tab 3 10.1. Он оборудован чипсетом Intel Atom с двухъядерным процессором на частоте 1.6 ГГц. В нём, конечно, не самым лучшим образом сочетаются центральный и графический процессоры, но, тем не менее, он должен предлагать много мощности для повседневных задач. В AnTuTu, планшет показывает в среднем около 20 000. Тем не менее, на практике планшет периодически подвисает, некоторые задачи выполняются с задержкой.
 
Таким образом, технические характеристики, тесты и реальная производительность не всегда сходятся во мнениях. Такое происходит крайне редко. 
 

Тесты производительности: правда или ложь?

 

Используя Android в качестве операционной системы, разработчики вынуждены грамотно сочетать различные чипсеты, версии программного обеспечения и новые технологии процессоров.

Следует обратить внимание, что при обновлении приложения тестов производительности, меняются результаты этих тестов. Если сравнить результаты тестов Galaxy Tab 3 10.1 в AnTuTu 2.9.3 и 3.3, то результаты для процессора Intel увеличились на 122%, а для теста оперативной памяти планшета на 292%. Для чипсета Exynos разница не была столь значительной: результаты теста процессора увеличилась на 59%, а оперативной памяти, на 53%.
 
Между устройствами есть очень большая разница в их внутреннем устройстве, качестве сборки, отзывах и обзорах, рынках сбыта и в индивидуальных тестах. Пользователь может запустить тест и получить первый раз 6000, вторая раз уже 8000. Да хоть двести раз провести эти тесты и взять их усредненное значение, числа вряд ли будут отражать реальную ситуацию.  
 
Целевая оптимизация
 
Кроме того, для OEM-производителей не сложно собственными руками оптимизировать свои устройства для определенных тестов.
 
В декабре 2012 года на сайте AnTuTu Labs была выложена статья с заголовком "Прекратите жульничать". Из неё следовало, что производители, вместо реальной оптимизации "железа", занимаются оптимизаций "железа" под разные тесты, с целью "повысить" производительность.
 
Это характерно не только для производителей, но и для кастомных прошивок тоже. В таком случае, девайс может показывать 12 000 в AnTuTu со стоковым ПО. Зато после "обновления" устройство способно набрать 20 000. Проблема, однако, в том, что, в то время как пользователи могут увидеть 167-процентное улучшение в тестах, они никогда не увидят такое же улучшение в повседневной производительности - лишь незначительное улучшение, если таковые имели место быть. 
 
Вердикт
 

Тесты производительности: правда или ложь?

 

Тем не менее, не стоит однозначно говорить, что "Все врут!" Но также не стоит принимать слепо эти тесты на веру. Цифры, конечно, могут и ошибаться, но если один производитель "обманул", так это уже другое дело. В таком случае, большинство производителей могло умышленно оптимизировать свои девайсы под тесты. И в то же время, цифры никогда не будут точными и будут отличаться от реальной производительности, но это по-прежнему интересный способ сравнить два девайса... количественно.
 
Лучше всего использовать смешанные оценки, то есть и результаты тестов, и реальную производительность. Тесты никогда не покажут пользователю неисправность. Кроме того, тактовая частота процессора также не будет в одиночестве характеризовать мощность устройства. Зато при грамотном учёте и тестов, и всего "железа" в целом, можно получить общую картину производительности устройства.

КОМЕНТАРИИ

оставить коментарий

ОСТАВИТЬ СВОЙ КОМЕНТАРИЙ

Информация
Комментировать статьи на сайте возможно только в течении 180 дней со дня публикации.
iconРекомендуем