Ещё один баг в коллекцию

Специалист обеспечения качества это не просто должность. После первого обнаруженного бага уже сложно остановиться.
Даже после рабочего дня, пользуясь обычными сайтами, мы постоянно встречаем баги, они как по вежливой просьбе выходят к нам, чувствуя родственную душу )
И у каждого тестировщика есть коллекция багов, своих, "любимых".
Вот у меня, например, есть в коллекции баги с сайтов Антивируса Doctor Web, американского центра оформления виз, cisco.com, на множестве сайтов компаний по созданию сайтов...
Кстати, ещё один эпичный баг был обнаружен мной при тестировании бета версии Windows 8 в программе, предназначенной для отправки отчета об обнаруженных дефектах в Microsoft.
Но больше всего багов, только не обижайтесь ;) - на сайтах по тестированию.
У меня в коллекции есть баги с сайта журнала по тестированию и портала software-testing.ru (на портале уже исправлены).

И сегодня я обнаружил (хотя он и не скрывался) баг на сайте MTS. Этот баг заставил меня вспомнить все баги из "Аллеи Славы" и сподвиг написать этот пост.
И так, знакомьтесь, вот он - публикую в целях демонстрации, это не уязвимость безопасности, компания не должна пострадать:

Здравствуйте, на вашем сайте обнаружен баг.
Как воспроизвести:
1. Открываем страницу https://pay.mts.ru/webportal/payments/2770
2. Указываем номер телефона и сумму платежа, нажимаем "Далее".

Наблюдаемый результат:
Рисунок кредитной карты, изображающий место, на котором указан секретный код CVC2 обрезан.
(пожалуйста, смотрите прикреплённый скриншот для более детальной информации)

Сотрудники MTS очень быстро отреагировали на отчет о баге, так что ждём hot fix.

Баги есть у всех, на маленьких проектах и на сайтах очень серьезных фирм. Серьёзные фирмы очень ответственно подходят к вопросам исправления ошибок, делают это быстро и качественно. Самый интересный вопрос - как же так получилось, что такие очевидные баги попадают в их продукты? На многих ресурсах попадаются битые ссылки или поплывшая верстка, т.е. то, что может обнаружить простенький краулер или элементарные тесты.
Ответ в том, что пропускать такие дефекты дешевле, чем тратить дополнительные деньги на тестирование. Несколько багов, обнаруженных пользователями - это нормально для любых подобных проектов. Это ведь не программное обеспечение истребителя.

Кстати, в блогах по тестированию тоже множество опечаток и ошибок. Не расслабляемся )

Опыт настройки облаков - записки на память

Специалисты по тестированию отлично знают, что часто бывают проекты, на которых большую часть времени мы тратим не на само тестирование, но, в основном на две вещи: настройка продукта, подготовка его к тестированию и воспроизведение трудновоспроизводимых багов (да, да, это далеко не всё, что съедает наше время, но это те элементы, которые бы хотелось минимизировать)
Участвуя в open source проекте OpenStack Murano, приходится многократно настраивать не только тестируемый продукт, но и облачную платформу OpenStack, на которой работает наш сервис. За несколько месяцев у меня в блокноте набрались заметки о том, как же учесть все эти маленькие хитрости, которые когда-то отнимали много времени на настройку. Часть из них, ту самую, которую может быть интересна не только мне, я решил опубликовать в дневнике.

Установка OpenStack с использованием проекта devstack (и некоторые хитрости)

Виртуализация. Развёртывание OpenStack + Heat

Вчера я выступал на конференции по автоматизации тестирования AutoConfetQA, немного рассказывая, в частности, о системе OpenStack и развёртывании виртуальных машин с помощью её компонента Heat.

Сегодня речь пойдёт о настройке собственного облака, которое может применяться для создания тестовых окружений или других целей.

К нашему счастью, уже есть готовая статья по настройке этого решения на Ubuntu 12.04, вот она.

О чём умолчали авторы этого руководства - вам точно потребуется проверить файл /etc/hosts, в нём необходимо добавить имя машины в строчку '127.0.0.1       localhost', в конечном итоге должно получиться что-то такое: '127.0.0.1       localhost  ss1283'.

Иначе "кролик" не сможет стартовать и всё сломается).

Вообще, это серьёзная проблема всех сложных систем, когда есть множество зависимых друг от друга компонентов. Стоит сломаться одному компоненту (или, например, кто-то его неправильно настроил) - и нормальная работа всей системы парализована.

(спойлер: о чём ещё умолчали авторы и как всем этим управлять)

Облачный плеер

Пока у меня устанавливается Ubuntu 12.04 на сервере в Соединённых Штатах, я читал статью и открыл для себя облачный плеер.

Очень удобная штука, есть интересные треки, всё это бесплатно, интеграция с социальными сетями (не нужна регистрация и можно публиковать любимые треки друзьям в ленту новостей)

К тестированию удобства использования - отличный пример "хорошего" интерфейса, навигация интуитивно понятна и приятна, вся нужная информация перед глазами и при этом интерфейс остаётся не перегруженным.

До чего дошёл прогресс - уже плееры музыкальные в облаках запускают.

Из найденных недостатков - если открыто сразу несколько вкладок, ресурс не отслеживает что у тебя играет сразу несколько композиций, приходится закрывать старые вкладки чтобы убрать лишний звук. вКонтакт, например, умеет понимать какую композицию сейчас проигрывать (но там другие проблемы, в частности, с качеством музыки и алгоритмами подбора нужных треков)

И конечно, возможность вставлять новые виджеты в блог )

Компьютер, управляемый голосом

Насмотревшись фильмов про железного человека (и увлекаясь всю жизнь фантастикой) захотел обучить свой компьютер понимать меня "с полуслова".

К тому же, уже существует множество готовых решений, которые за определённую плату предоставляют такую возможность.

Начнём с ролика, авторы которого не лишены чувства юмора:

Автоматический поиск поля ввода на странице

Идея написать искусственный интеллект не может не цеплять.

Это сложная задача, которую сегодня мы ещё не готовы решить. Но добавить немного "мозгов" в наших роботов, скрипты и автоматизированные тесты мы можем.

Проекты бывают разные. Некоторые веб формы содержат сложные элементы, некоторые формы очень просты.

Когда мы вновь и вновь определяем локаторы полей, которые имеют прикрепленные к ним надписи, невольно возникает мысль - эй, а почему автоматические тесты не могут сами понять куда надо ввести значение?

Вот поле, над ним надпись: Имя. Почему бы не писать в тесте "Ввести в поле Имя значение "Вася"", а задачу найти это поле, определить его идентификатор и ввести значение в него предоставить автоматизированным тестам?

Вместо этого мы тратим свое время, усердно записывая идентификаторы элементов (и даже придумываем множество способов делать это разными путями)

(спойлер: пример кода на Python прилагается)

Первый опыт внедрения TDD

Один из моих проектов - программа моделирования кристаллизации в бесконечной системе жестких сфер.

Небольшой проект, но сложные алгоритмы. Большие функции со сложной логикой. Огромное число расчетов - часто проблемы не видны при "тестировании" элементарных конфигураций.

Каждый раз, когда необходимо добавить небольшую часть нового функционала, мы тратим огромное количество времени на внедрение нового кода в уже существующий, на отладку и тестирование новой версии.

"у нас нет времени писать юнит тесты, надо делать новый функционал"

На самом деле, когда разработка замедляется при увеличении сложности проекта, даже простые юнит тесты могут значительно изменить разработку. Не просто ускорить и упростить внесение изменений - построить ее совсем иначе, что позволит принимать более высокотехнологичные решения и с другой стороны взглянуть на архитектуру. А это всегда полезно, особенно в проектах, требующих поиска решений и оптимизации.

Через десять минут после принятия решения о создании юнит-тестов в голове появились новые мысли. Новый взгляд на работу с системой помог увидеть существенное изменение архитектуры, которое необходимо сделать для того чтобы последующие изменения было легче вносить в код.

Так и на других проектах. Часто откладываются задачи с низким приоритетом, которые в дальнейшем замедляют всю разработку или тестирование.

Например, написание какого-нибудь скрипта, который выполняет повседневные задачи. Мы откладываем это "на потом", или вообще игнорируем, говоря что "да я и руками все сделаю". И потом постоянно теряем на этом время.

Или не приступаем к рефакторингу кода тестов, по принципу "работает - не трогай". А работает оно медленно и не эффективно, мы знаем, но ничего с этим не делаем.

Вот вам интересное видео, это интервью с крутым дизайнером компьютерных игр, оно вдохновляет меня уже второй день )

http://www.fzdschool.com/programs_design_cinema.html