JBenchmark

JBenchmark
Логотип программы JBenchmark
Скриншот программы JBenchmark
Кадр из теста JBenchmark HD (исполнялся на Sun WTK)
Тип тест производительности
Разработчик Kishonti Informatics LP
Написана на Java ME (CLDC/MIDP)
Операционная система Кроссплатформенное программное обеспечение
Лицензия несколько вариантов использования
Сайт web.archive.org/web/2008…

JBenchmark — серия тестов производительности (бенчмарков) для платформы Java ME, разработанных венгерской компанией Kishonti Informatics LP. В настоящее время (2008) доступно 9 пакетов тестов для различных подсистем телефона. Большинство тестов бесплатны в базовой версии, позволяющей увидеть результат только после отправления его на сайт производителя теста.

С помощью этих вкладов пользователей на сайте ведется база результатов тестирования телефонов[1]. Для обычных пользователей эта база, возможно, более полезна, чем сами тесты — в ней содержатся данные о производительности, а также о программном и аппаратном обеспечении более чем 1500 устройств. Большая часть данных открыта, но часть доступна только по платной подписке [2].


Особенности[ | ]

Все ранние тесты (JBenchmark 1.0, JBenchmark 2.0, JBenchmark 3D, JBenchmark HD) доступны по следующей модели. Сами тесты доступны для скачивания и использования бесплатно. После выполнения теста можно увидеть результат. При желании этот результат можно послать на сайт JBenchmark, где он, после модерации, попадет в общую базу данных.

В сентябре 2006 года вышел JBenchmark Pro. Этот набор, в отличие от предыдущих, представлял собой не один скачиваемый Мидлет, а множество (86 штук) тестов производительности различных подсистем телефона. Пользователь может выбрать нужные ему тесты и собрать из них особый Мидлет. В это приложение также включается система диагностики Java ME, которая собирает информацию о доступных JSR и других возможностях платформы.

Однако важным нововведением JBenchmark Pro является то, что данные после тестирования становятся доступны не сразу, их необходимо сначала загрузить в базу, и только после подтверждения с сайта результат выводится на экран. Однако при наличии особой платной (корпоративной) подписки есть возможность получить мидлет, работающий как ранние тесты, т. е выдающий результат сразу на экран[3].

На основе механизма JBenchmark Pro построено и большинство более поздних наборов тестов (JBenchmark ACE, JBenchmark Net, JBenchmark SVG). Однако JBenchmark 239 в настоящее время (июль 2008) доступен только как Corporate Edition.

С января 2008 года стала доступна дополнительная возможность: за особую платную подписку можно получить доступ к закрытой части базы данных устройств, а также к некоторым дополнительным услугам сайта[2].

Наборы тестов[ | ]

JBenchmark 1.0[ | ]

JBenchmark 1.0 был первым набором тестов, выпущенным компанией, продуктом, который принес ей мировую известность. Он базировался на MIDP 1.0 и поэтому работал практически на любом телефоне. Однако, тесты были направлены на измерение возможностей телефонов того времени, поэтому в настоящее время этот набор может считаться устаревшим.

Содержит в себе 5 простых тестов, направленных на измерение скорости работы различных типов приложений. Каждый из тестов выполняется в течение 10 секунд. Количество кадров которое успеет отрисоваться за это время, и является результатом теста. Полный результат JBenchmark 1.0 — сумма результатов всех пяти тестов[4].

Тесты:

  • Text drawing — экран заполняется текстовыми строками случайного цвета и размера
  • 2D shapes — рисует множество двумерных графических фигур различной формы
  • 3D shapes — базовыми средствами двухмерной графики MIDP 1.0 рисует вращаюшийся куб
  • Fill rate — заполненяет экран небольшими прямоугольниками случайного цвета с целью измерить скорость заполнения графического буфера большим объемом данных
  • Animation — вращающееся изображение земного шара (последовательная отрисовка частей PNG файла)

JBenchmark 2.0[ | ]

В феврале 2004 года вышла новая версия теста — JBenchmark 2.0, базирующаяся на MIDP 2.0[5]. Этот более требовательный к аппаратуре набор, также как и JBenchmark 1.0, содержит в себе 5 тестов:

  • Image manipulation — манипулирование содержимым и отрисовка растрового изображения (используется изображение Моны Лизы)
  • Text drawing — по экрану прокручивается кусок текста из книги
  • Gaming scene — попытка в плане графики воспроизвести поведение типичной двухмерной компьютерной игры для телефона
  • 3D transformation — как и в аналогичном тесте JBenchmark 1.0, попытка сэмулировать трёхмерную графику базовыми средствами MIDP, без использования специализированных JSR. Отображается вращающаяся шахматная фигура — конь.
  • User interface speed — измеряет скорость работы интерфейса приложения, построенного на стандартных элементах управления MIDP

JBenchmark 3D[ | ]

В феврале 2005 года компания Kishonti Informatics выпустила третий тест графической подсистемы Java ME, на этот раз для необязательного стандарта трехмерной графики (JSR-184). Как заявляется[6], набор тестов пытается создать нагрузку на графическую подсистему аналогичную таким играм как 3D-шутер.

Содержит 4 теста:

  • Triangle throughput — для измерения максимально возможного отображения нетекстурированных треугольников в секунду
  • Texturing performance — для измерения скорости текстурирования
  • Low Quality — воспроизводит кадры типичного (по мнению Kishonti Informatics) 3D-шутера для низкопроизводительных устройств
  • High Quality — трехмерная игра в расчете на наиболее высокопроизводительные (на момент выхода набора тестов) устройства

JBenchmark HD[ | ]

JBenchmark HD вышел в январе 2006 года и предназначался для тестирования наиболее производительных в то время Java ME устройств. Как и JBenchmark 3D, воспроизводит нагрузку на графическую подсистему, создаваемую 3D-шутерами, основывающимися на стандарте трёхмерной графики JSR-184. Однако тесты нового набора намного требовательней к аппаратуре.

Но главным отличием от JBenchmark 3D является то, что проверяется не только скорость, но и качество отрисовки. Кроме того, появилась возможность загрузить снимок экрана на сайт. Таким образом, при просмотре базы данных, находящейся в свободном доступе, можно узнать не только результаты тестов, но и визуально сравнить изображения, получаемые на различных телефонах.

JBenchmark Pro [7][ | ]

Jbenchmark Pro вышел в сентябре 2006 года. Это первый набор, выполненный по новой модели распространения (см. Особенности).

Большой набор тестов по всем подсистемам (включает 86 тестов). Тесты разбиты на следующие группы:

  • User Experience — призван симулировать деятельность, непосредственно влияющую на субъевтивное представление пользователя о скорости работы телефона (скорость запуска приложений, скорость работы камеры, скорость файловой системы)
  • CPU — набор тестов, которые не привязаны к особым подсистемам, а написаны так, чтобы их производительность зависела только от скорости центрального процессора и эффективности виртуальной машины Java
  • 2D Graphics — тесты двухмерной графической подсистемы (стандартные средства MIDP)
  • 3D Graphics — тесты трёхмерной графической подсистемы (M3G)
  • Composite — тесты разработаны так, чтобы нагружать несколько подсистем одновременно, получив, таким образом, нагрузку аналогичную приложениям из реального мира
  • 3D Low Level — нагружают подсистемы трёхмерной графики на низком уровне. Разработаны для определения «узких мест» в реализации M3G. Поскольку эти тесты предназначены главным образом для производителей устройств, результаты низкоуровневых тестов доступны только на платной основе, и не учитываются при вычислении итогового результата JBehchmark Pro

JBenchmark ACE[8][ | ]

Тест производительности ARM процессора. На основе набора статистических данных, пытается определить тип и частоту процессора, выполняя Java (поскольку нет стандартного способа получить эту информацию в Java). Вышел в январе 2007 года.

В отличие от остальных наборов JBenchmark, этот тест поддерживает не только MIDP, но и DoJa Java ME профиль.

JBenchmark 239[9][ | ]

Набор тестов трехмерной графики на основе низкоуровнего API JSR-239. Вышел в январе 2007 года.

JBenchmark Net[10][ | ]

Тест производительности сетевого соединения. Вышел в мае 2007 года.

JBenchmark SVG[ | ]

Набор тестов векторной графики SVG (на основе API JSR-226).

Распространенность[ | ]

Приложения серии Jbenchmark являются весьма известными тестами производительности для платформы Java ME. Он признается производителями [11][12][13], а также используется как основной тест при оценке производительности Java ME платформы телефонов в обзорах на профильных сайтах, например iXBT.com, Mobile-review.com, 3dnews.ru.

Примечания[ | ]

  1. Результаты различных JBenchmark Архивировано 10 июля 2008 года.
  2. 1 2 JBenchmark Data Sevices Архивировано 11 июля 2008 года.
  3. JBenchmark Pro Editions Архивировано 16 сентября 2008 года.
  4. Описание JBenchmark 1.0 Архивировано 16 июня 2008 года.
  5. Пресс-релиз JBenchmark 2.0 Архивировано 11 июня 2008 года.
  6. Пресс-релиз JBenchmark 3D Архивировано 20 августа 2008 года.
  7. пресс-релиз JBenchmark Pro Архивировано 20 августа 2008 года.
  8. Пресс-релиз JBenchmark ACE Архивировано 11 июля 2008 года.
  9. пресс-релиз JBenchmark 239 Архивировано 20 августа 2008 года.
  10. пресс-релиз JBenchmark Net Архивировано 20 августа 2008 года.
  11. Архивированная копия. Дата обращения: 9 июля 2008. Архивировано из оригинала 15 ноября 2006 года.
  12. пресс-релиз Palm, см. упоминание JBenchmark (недоступная ссылка)
  13. Советы по оптимизации [[Java ME]] от [[Sun Microsystems]]. См. Performance Metrics. Дата обращения: 9 июля 2008. Архивировано 23 января 2008 года.