Хотите узнать побольше о том, как тестировать мобильное приложение? Здесь вы найдете инструкцию по тестированию вашего приложения. В этой статье будут рассмотрены следующие вопросы: Стратегия мобильного тестирования, Основные этапы мобильного тестирования, Особенности мобильных приложений на платформе Android и iOS . Кстати, наши курсы Тестирования ПО в Минске тщательно разбирают эти вопросы.
Содержание статьи
Особенности мобильного приложения
Ключевые моменты тестирования мобильного сайта
Этапы мобильного тестирования
Советы для мобильного тестирования
Тестирование мобильного приложения с помощью EasyQA SDK
Бурный рост использования мобильных устройств и разработка мобильных приложений делает тестирование ключевым требованием для быстрой доставки конечному пользователю высококачественных мобильных приложений.
Особенности мобильного приложения
Понятно, что мобильное приложение сильно отличается от настольного. Поэтому мы должны учитывать это при планировании процесса тестирования.
Итак, давайте рассмотрим основные различия между мобильными и настольными приложениями:
Мобильное устройство – это система, которая не обладает мощной начинкой. Таким образом, он не может работать как персональный компьютер.
Тестирование мобильных приложений проводится на мобильных телефонах (Apple, Samsung, Nokia), в то время как настольное приложение тестируется на центральном процессоре.
У мобильных устройств бывают разные разрешения. Размер экрана мобильного телефона меньше, чем у настольных.
Выполнение и прием вызовов является основной задачей телефона, поэтому приложение не должно вмешиваться в эту важную функцию.
Широкий спектр конкретных операционных систем и компонентных конфигураций: Android, iOS, BlackBerry.
Операционная система мобильного телефона быстро устаревает.
Мобильные устройства используют сетевые подключения (3G, 4G, Wi-Fi), широкополосное подключение к настольному ПК или Wi-Fi.
Мобильные устройства постоянно осуществляют поиск сети. Вот почему вы должны протестировать приложение с разной скоростью передачи данных.
Инструменты, которые хорошо подходят для тестирования настольных приложений, не полностью подходят для тестирования мобильных приложений.
Мобильные приложения должны поддерживать несколько входных каналов (клавиатура, голос, жесты и т. д.), мультимедийные технологии и другие функции, повышающие их удобство использования.
Типы приложения
Еще одна важная вещь в процессе тестирования мобильных приложений – это тип приложения.
Существует три основных типа мобильных приложений: мобильные веб-приложения, нативные приложения и гибридные приложения.
Фактически, мобильным веб-приложением является веб-сайт, открытый в гаджете (смартфоне или планшете) с помощью мобильного браузера.
Достоинства мобильных веб-приложений:
Простая разработка.
Легкий доступ.
Простое обновление.
Мобильные веб-приложения не требует установки.
Недостатки мобильных веб-приложений:
Нет поддержки автономных функций.
Ограниченная функциональность в сравнении с гибридными и нативными приложениями (нет доступа к файловой системе и локальным ресурсам)
Проблемы с перераспределением: Google Play и App Store не поддерживают перераспределение мобильных веб-приложений.
Нативное приложение – это приложение, разработанное специально для одной платформы (Android, iOS, BlackBerry). Достоинстванативных приложений:
Нативное приложение работает в автономном режиме.
Оно может использовать все функции своего устройства.
Продвинутый пользовательский интерфейс.
Push-уведомления для удобства пользователей.
Недостаткинативных приложений:
Разработка нативных обходится дороже в сравнении с мобильными веб-приложениями.
Требуют больших затрат на техническое обслуживание.
Гибридное приложение – это сочетание нативного и мобильного веб-приложений. Его можно определить как отображение содержимого мобильного сайта в формате приложения. Достоинствагибридных приложений:
Более рентабельно по сравнению с нативным приложением.
Простое распространение.
Встроенный браузер.
Особенности устройства.
Недостатки гибридных приложений:
Работает не так быстро, как нативное приложение.
Графика менее адаптирована к ОС в сравнении с нативным приложением.
Ключевые моменты в стратегии тестирования мобильного сайта
Теперь мы можем подумать о нашей стратегии тестирования. Давайте рассмотрим основные моменты и проблемы, с которыми мы должны столкнуться.
Выбор устройств
Несомненно, реальное устройство – лучшее решение, если вы хотите протестировать мобильное приложение. Тестирование на реальном устройстве всегда дает вам максимальную точность результатов.
Фактически, это действительно нелегко выбрать наиболее подходящее устройство. В любом случае, вот некоторые действия, которые вы должны предпринять при выборе устройства для мобильного тестирования:
Проанализируйте и определите самые популярные и используемые гаджеты на рынке.
Выберите устройства с разной ОС.
Выберите устройства с различными разрешениями экрана.
Обратите внимание на следующие факторы: совместимость, объем памяти, возможность подключения и т. д.
Преимущества для тестирования мобильных приложений на реальных устройствах:
Высокая точность результата тестирования.
Простая репликация ошибок.
Такие моменты, как емкость батареи, геолокация, push-уведомления, встроенные датчики устройств, легко тестируются.
Возможность проверки входящих прерываний (звонков, SMS).
Возможность тестирования мобильного приложения в реальных условиях.
Нет ложных срабатываний.
А также недостатки:
Существует огромное количество часто используемых устройств.
Дополнительные расходы на обслуживание устройств.
Ограниченный доступ к устройствам, часто используемым в зарубежных странах.
Как вы можете видеть, тестирование на реальных устройствах является хорошим решением, но также имеет некоторые ограничения.
Эмуляторы или симуляторы?
Несложно догадаться о существовании специальных инструментов, которые эмулируют / моделируют функциональность и поведение мобильных устройств.
Часто путают значения слов «Эмулятор» и «Симулятор». Несмотря на то, что они почти одинаково произносятся, они не одинаковы.
Фактически, эмулятор – это оригинальная замена устройства. Однако, у вас нет возможности модифировать программы и приложения, хотя вы можете их запускать. Симулятор не копирует аппаратное обеспечение устройства, но у вас есть возможность настроить аналогичную среду, такую как в ОС оригинального устройства.
Таким образом, лучше использовать мобильные симуляторы для тестирования мобильного приложения. Эмуляторы больше подходят для тестирования мобильных сайтов.
Преимущества использования симуляторов для тестирования мобильного приложения:
Простая настройка.
Быстродействие.
Помогает проверять и тестировать поведение вашего мобильного приложения.
Экономически выгодно.
Недостатки использования симуляторов для тестирования мобильного приложения:
Аппаратное оборудование не учитывается.
Возможны ложные срабатывания.
Получение неполных данных о результатах моделирования, что создает определенные трудности для полного анализа результатов тестирований.
Облачное тестирование мобильного приложения
Тестирование мобильных приложений с использованием облачных инструментов, по-видимому, является оптимальным выбором. Это может помочь вам преодолеть недостатки реальных устройств и симуляторов.
Основные преимущества этого подхода:
Легкая доступность.
Возможность запуска мобильных устройств на нескольких системах.
Возможность не только тестировать, но и обновлять, а также управлять приложениями в облаке.
Экономически выгодно.
Высокая масштабируемость.
Один и тот же скрипт можно запускать на нескольких устройствах параллельно.
Недостатки облачного мобильного тестирования:
Меньше контроля.
Нет такого высокого уровня безопасности.
Зависимость от интернет-соединения.
Некоторые полезные облачные инструменты, которые могут помочь вам протестировать мобильное приложение: Xamarin Test Cloud, Perfecto Mobile Continuous Quality Lab, Keynote Mobile Testing.
Ручное и автоматизированное мобильное тестирование
В настоящее время многие специалисты поддерживают мнение о том, что ручное тестирование в конечном итоге перестанет использоваться. Конечно, это неправда. Мы не можем обойтись без автоматизации тестирования, но есть ситуации, когда предпочтительным является ручное тестирование.
У некоторых мобильных средств тестирования есть ограничения.
Процесс тестирования занимает много времени.
Автоматизированное тестирование наименее эффективно в определении удобства пользования.
Конечно, нет однозначных ответов на то, какую стратегию лучше всего выбрать. Однако сочетание различных вариантов наиболее оптимально. Например, вы можете использовать симуляторы на самых ранних этапах вашего тестирования. Но лучше использовать реальные устройства (физические или облачные) на заключительных этапах. Автоматизированное тестирование предпочтительнее для нагрузочного и регрессионного тестирований.
Этапы тестирования мобильных приложений
Итак, давайте начнем рассматривать основные этапы процесса тестирования мобильных приложений. Они в большей степени похожи на этапы тестирования веб-сайта. Как вы уже читали, существуют некоторые основные различия между мобильными и настольными приложениями. Поэтому нам нужно пройти несколько дополнительных этапов и провести дополнительное тестирование, проверки.
1. Тестирование документации
Проверка документации – это необходимый подготовительный этап процесса тестирования мобильных приложений.
Фактически, тестирование начинается до процесса разработки программного обеспечения. Тестировщики получают навигационные диаграммы, схемы экрана, другие требования. Эти требования анализируются на предмет полноты и несогласованности. Противоречия в требованиях должны быть решены до начала разработки.
На этом этапе создаются и анализируются требования (спецификация, PRD), план тестирования, тестовые сенарии, матрица отслеживания.
Функциональное тестирование
Функциональное тестирование направлено на работу приложения в соответствии с определенными требованиями. Проще говоря, мы проверяем, выполняет ли приложение ожидаемые функции, которые обычно описываются в спецификации. Обратите внимание на следующие важные факторы при проведении функционального тестирования вашего мобильного приложения:
Тип приложения, определяемый его бизнес-функциональностью (социальные сети, банковское дело, образование, заказ и доставка продуктов питания, билеты, игровая индустрия и т. д.).
Целевая аудитория (компании, пользователи, образовательная среда и т. д.).
Каналы распространения (Google Play, магазин приложений и т. д.)
Теперь давайте рассмотрим основные проверки, которые должны быть проведены для определения функциональности мобильных приложений.
Установка и запуск приложения.
Установка приложения должна выполняться без значительных ошибок, если устройство соответствует системным требованиям.
Убедитесь, что приложение автоматически запускается правильно.
Убедитесь, что руководство пользователя доступно.
Убедитесь, что работа приложения во время запуска / выхода соответствует основным требованиям.
Убедитесь, что обязательные и необязательные поля отображаются по-разному.
Тестирование функциональности
Убедитесь, что заявленная цена и контент соответствуют полученной пользователем информации.
Убедитесь, что пользователь может выполнять типичные операции: покупка, добавление товаров в корзину, заказ товаров и т. д.
Убедитесь, что приложение поддерживает платежные операции через платежные системы, такие как Visa, Mastercard, Paypal и т. д.
Проверьте восстановление покупки независимо от устройства, но с привязкой к учетной записи.
Тестирование прерываний
Входящие и исходящие звонки, SMS и MMS.
Разрядка / снятие батареи.
Отключение и подключение сети / Wi-Fi.
Отсоединение и подключение SD-карты.
Зарядка устройства.
Постоянное тестирование отзывов пользователей
Загрузка сообщений
Статистика.
Соответствующая реакция кнопок при нажатии.
Сообщения об ошибках доступа к сети.
Попытка удалить важные информационные сообщения.
Доступность и синхронизация звуковых, вибрационных и визуальных уведомлений.
Внешний вид экрана (сообщения) в конце процесса (игры).
Тестирование обновления
Все пользовательские данные сохраняются после обновлений.
Убедитесь, что ход обновления отображается правильно.
Убедитесь, что обновления поддерживаются более старыми операционными системами.
Тестирование различных способов установки обновлений (Wi-Fi, Bluetooth, USB).
Тестирование ресурсов устройства
Отсутствие места для установки или запуска приложения.
Утечка памяти. Обратите внимание на окна с большой информацией и задачами с длинным рабочим процессом.
Установка / замена приложения на SD-карте.
Отсутствие некоторых функций, поддерживаемых приложением (3G, SD-карта).
Убедитесь, что установленное приложение не мешает нормальной работе других приложений и не использует их память.
Дополнительное тестирование
Тестирование правильности подключения / разъединения игроков, подключения игроков через разные сети.
Убедитесь, что сообщения об ошибках верны и уместны.
Проверьте подключение к аналитическим инструментам, таким как Google Analytics.
Тестирование энергопотребления.
Проверьте необходимые параметры правильной работы с социальными сетями – «Поделиться», «Опубликовать», «Навигация».
Некоторые полезные инструменты для тестирования функциональности мобильных приложений: Appium, Selendroid, Robotium, Ranorex.
Юзабилити-тестирование
Юзабилити-тестирование направлено на обеспечение удобства использования приложения, создание интуитивно понятного интерфейса, соответствующего принятым стандартам. Он выполняется для создания быстрых и простых в использовании приложений. Вот 3 основных основных критерия оценки приложений:
удобство
КПД
эффективность
Рассмотрим простой контрольный список для проведения юзабилити-тестирования мобильных приложений:
Убедитесь, что кнопки имеют нормальный размер и помещены в одну область экрана.
Убедитесь, что приложение работает в многозадачном режиме, когда это необходимо.
Проверьте навигацию важных модулей приложений.
Убедитесь, что значки и изображения выглядят естественно в среде приложения.
Убедитесь, что цвет кнопок, которые выполняют одну и ту же функцию, одинаковый.
Текст должен быть простым, понятным и видимым для пользователя. Можно читать короткие предложения и параграфы.
Определите оптимальный размер шрифта.
Обеспечьте правильную работу системы Zoom-in and Zoom-out.
Проверьте, что контекстные меню не перегружены.
Убедитесь, что приложение может быть прервано в любом состоянии и что оно возобновляет работу в том же состоянии.
Убедитесь, что компоненты приложения синхронизированы с действиями пользователя.
Убедитесь, что пользователь может вернуть или отменить действие, если он нажал неправильную кнопку.
Убедитесь, что скорость ответа элемента достаточно высока.
Некоторые полезные инструменты для тестирования удобства использования мобильных приложений: Zoom, Loop11.
Тестирование пользовательского интерфейса
Тестирование пользовательского интерфейса (UI) выполняется для обеспечения соответствия графического пользовательского интерфейса вашего приложения спецификациям:
Протестируйте работоспособность приложений на разных устройствах.
Проверьте основные элементы дизайна: кнопки, значки, цвета, ссылки, шрифты, размеры шрифта, макет, текстовые поля, форматирование текста, ярлыки, титры, кнопки, списки и т. д.
Убедитесь, что реклама не перекрывает кнопки управления приложениями.
Убедитесь, что у рекламы есть доступная кнопка закрытия.
Проверьте отображение всех элементов с ориентацией на портретную и альбомную страницу.
Тестирование совместимости проводится для обеспечения оптимальной производительности приложений на разных устройствах – с учетом их размера, разрешения экрана, версии, оборудования и т. д.
Вы должны обратить внимание на следующие моменты:
Конфигурация ОС
Конфигурация браузера
Конфигурация базы данных
Конфигурация устройства
Конфигурация сети
Кросс-платформенное тестирование помогает тестировать мобильное приложение на разных ОС: Windows, iOS, Android и BlackBerry и т. д.
Кросс-браузерное тестирование позволяет обеспечить правильную работу приложения в разных конфигурациях браузера: Mozilla Firefox, Google Chrome, Opera Mini и т. д.
Тестирование базы данных предназначено для проверки правильной работы вашего приложения в разных конфигурациях базы данных: Oracle, DB2, MySql, MSSQL Server, Sybase.
При тестировании конфигурации устройства должны учитываться такие параметры:
Тип устройства: смартфон, планшет и т. д.
Конфигурация устройства: ОЗУ, тип процессора, разрешение экрана, емкость аккумулятора и т. д.
Тестирование конфигурации сети выполняется для обеспечения правильной работы в различных сетевых конфигурациях (GSM, TDMA) и стандартах (2G, 3G, 4G).
Советы по тестированию совместимости мобильных приложений:
Создайте матрицу покрытия (таблицу, в которую вводятся все возможные конфигурации).
Приоритет конфигурации.
Проверяйте каждую конфигурацию, шаг за шагом, в соответствии с установленными приоритетами.
Полезные инструменты для проверки совместимости мобильных приложений: BrowserStack, CrossBrowserTesting от Smart Bear, Litmus, Browsera, Rational Clearcase от IBM, Ghostlab.
Тестирование производительности
Тестирование производительности – это набор типов тестирования, целью которого является определение работоспособности, стабильности, потребления ресурсов и других атрибутов качества приложения при различных сценариях использования и нагрузках.
Основные цели тестирования производительности:
Проверка времени отклика приложения на различные типы запросов, чтобы убедиться, что приложение работает в соответствии с требованиями для нормальной загрузки пользователя. (Нагрузочное тестирование).
Тестирование работоспособности приложения при нагрузках, превышающих количество пользователей в несколько раз. (Стресс-тестирование).
Изучите работоспособность приложения для долговременной работы при нормальной нагрузке. (Стабильность).
Проверяйте работу в условиях «расширенной» базы данных в обычное время. (Тестирование объема).
Определите количество пользователей, которые могут одновременно работать с приложением. (Параллельное тестирование).
Советы по тестированию производительности вашего мобильного приложения:
Определите, работает ли приложение в разных сетевых условиях.
Найдите те участки приложений, которые снижают производительность приложений.
Оцените способность приложения справляться с определенными объемами нагрузки.
Убедитесь, что время ответа приложения соответствует требованиям.
Проверьте стабильность приложения в условиях “жесткой” нагрузки пользователей.
Обеспечьте производительность приложения, если оно работает в условиях непостоянного подключения к Интернету.
Полезные инструменты для тестирования производительности мобильных приложений: NeoLoad by Neotys, Apteligent (ранее Crittercism), New Relic.
Тестирование безопасности
Тестирование безопасности предназначено для проверки безопасности системы, а также для анализа рисков, связанных с обеспечением целостного подхода к защите приложений от хакеров, вирусов, несанкционированного доступа к конфиденциальным данным:
Убедитесь, что данные пользователей приложения (логины, пароли, номера банковских карт) защищены от сетевых атак автоматизированных систем.
Убедитесь, что система безопасности приложений требует надежного пароля и не позволяет злоумышленнику получать пароли других пользователей.
Убедитесь, что приложение не предоставляет доступ к конфиденциальному содержимому или функциям без надлежащей проверки подлинности.
Защитите приложение и сеть от DoS Attacks.
Защитите приложение от вредоносных атак на клиентов.
Изучите файлы пользователей и предотвратите их возможные негативные последствия.
Анализ взаимодействия системных файлов, выявление и исправление уязвимостей.
Полезные инструменты для проверки безопасности мобильных приложений: сообщества CS, OWASP Zed Attack Proxy, Veracode, Google Nogotofail и SQL Map.
Тестирование восстановления
Тестирование восстановления проверяет тестируемое приложение с точки зрения его способности выдерживать и успешно восстанавливаться после возможных сбоев, вызванных ошибками программного обеспечения, сбоями оборудования или проблемами связи:
Проверяйте эффективное восстановление приложения после непредвиденных аварийных ситуаций.
Обеспечьте процесс восстановления данных после перерыва в соединении.
Проверьте восстановление после сбоя системы и сбоя транзакции.
Проверьте способность приложения обрабатывать транзакции в случае сбоя питания (низкая батарея, неправильное закрытие приложения и т. д.).
Тестирование локализации
Тестирование локализации позволяет тестировать адаптацию мобильных приложений к определенной целевой аудитории в соответствии с ее культурными особенностями:
Определите языки, поддерживаемые приложением.
Обеспечьте правильность перевода.
Проверьте правильность перевода в соответствии с темой приложения.
Проверьте форматы даты.
Проверьте разделители в цифрах.
Ubertesters, eggPlant могут быть полезны.
Тестирование изменения
Итак, вы прошли все упомянутые этапы и обнаружили ошибки. Поэтому некоторые изменения были внесены в код вашего приложения.
Убедитесь, что ваша команда успешно исправила все обнаруженные ошибки (повторное тестирование или тестирование подтверждения). Проще говоря, тестовые случаи, изначально обнаруженные ошибки, запускаются снова. И на этот раз их нужно пройти без ошибок.
Убедитесь, что новые изменения не привели к появлению новых ошибок. (Регрессионное тестирование).
Некоторые полезные инструменты для тестирования, связанные с изменением вашего приложения: Appium, Robotium, Ranorex.
11.Бета-тестирование
Наконец, у вас есть предварительная полная функциональная версия вашего мобильного приложения. Было бы лучше оценить возможности и стабильность программы с точки зрения ее будущих пользователей.
Бета-тестирование – это этап отладки и проверки бета-версии программы. Его основная цель – определить максимальное количество ошибок в своей работе для их последующего устранения до выхода окончательной версии приложения на рынок.
Люди, которые имеют опыт работы с приложениями подобного типа, еще лучше, с предыдущей версией приложения, выбраны для роли бета-тестеров.
Перед бета-тестированием своего мобильного приложения вы должны обратить внимание на следующие факторы:
Ряд участников тестирования.
Продолжительность тестирования.
Демографический охват.
Стоимость тестирования.
Даже потратив немного денег на бета-тестирование, это может быть хорошей инвестицией в качество вашего мобильного приложения.
Некоторые популярные платформы для бета-тестирования мобильных приложений: HockeyApp, Ubertesters, TestFlight.
Сертификационное тестирование
Существуют определенные правила организации установочного файла (.apk) и правил проектирования приложений для каждого хранилища приложений. Тестирование сертификатов подтверждает, что приложение соответствует требованиям самых популярных магазинов, таких как Google Play, App Store и Windows Phone.
Рассмотрим основные критерии соответствия приложений стандартам, лицензионным соглашениям и условиям использования.
Android:
Файл установки для приложения (.apk) соответствует политикам программы.
Приложение соответствует требованиям UIG.
В приложении нет вирусов. Рынок Android полуавтоматически проверяет приложение на наличие вирусов и может блокировать вашу учетную запись, если обнаруживает их.
Вы должны следовать порядку контроля версий в случае публикации обновленной версии вашего приложения.
IOS:
Приложение соответствует требованиям Руководства по пользовательскому интерфейсу.
Приложение должно иметь уникальное имя.
Вам необходимо предоставить ссылку для обратной связи с разработчиком.
Приложение должно быть помещено в определенную конкретную категорию.
App Store проверяет приложение на совместимость.
Приложение не содержит запрещенных материалов, непредвиденных задержек в работе или повторения существующих функций.
Windows Phone:
Приложение соответствует требованиям к сертификации приложений.
Четкое описание аппаратных и сетевых требований.
Функции, упомянутые в описании или показанные на снимках экрана, полностью реализованы
Советы по тестированию мобильного приложения
Давайте систематизируем наши знания и попытаемся определить основные советы для тестирования мобильных приложений.
Изучите приложение, которое вы собираетесь тестировать.
Помните о различиях между настольными и мобильными приложениями.
Учитывайте особенности операционной системы и оборудования.
Используйте реальные устройства, когда это возможно.
Не пытайтесь найти «швейцарский нож» для тестирования. Используйте инструменты, с которыми вы знакомы.
Тестирование мобильного приложения с помощью EasyQA
Практика – лучший способ узнать что-то. У вас есть возможность использовать функции Easy QA для тестирования вашего мобильного приложения.
EasyQA SDK – это набор функций, разработанных нашей командой, чтобы сделать процесс тестирования программного обеспечения более эффективным и простым.
Вот его ключевые особенности:
Отчеты Cras.
Отчет об ошибках в приложении.
Создание скриншотов.
Запись видео.
Он работает как с Android, так и с iOS-приложениями.
Надеюсь, вы узнали что-то новое и полезное о тестировании мобильных приложений. Возможно, вы можете добавить некоторые другие проверки для тестирования или можете иметь представление о том, как тестировать мобильное приложение с большей эффективностью. Поделитесь своими идеями и мыслями с нами.
