вторник, 25 сентября 2018 г.

Еще раз про pairwise

Всем привет,

эта статья будет интересна тем, кто либо совсем не знает что такое pairwise, либо тем, кто что-то слышал, но все еще не понял что это за черная магия :)

Как многие уже знают, "протестировать все невозможно" - и это утверждение в частности, базируется на том, что полный перебор всех параметров некоторой системы и проверка ее работы при таких параметрах займет миллиарды лет, даже при условии что каждый тест занимает 1 миллисекунду и даже если их запускать параллельно (просто ОЧЕНЬ много возможных комбинаций).

Но к счастью, умные люди уже придумали и доказали почему нет смысла проверять все-все комбинации всех параметров (ведь есть классы эквивалентности), а так же придумали как составить список, содержащий наименьшее число комбинаций всех параметров так, чтобы при этом проверить все уникальные комбинации каждой пары параметров (спасибо Алексею за замечание, обновил это предложение).

Есть исследования (http://www.pairwise.org/papers.asp), которые доказывают, что подавляющее число ошибок в программном обеспечении так или иначе связано с комбинацией оригинальных значений любых двух параметров сложной системы. Конечно, есть ошибки, для воспроизведения которых может потребоваться определенная комбинация определенных значений сразу трех параметров, но вероятность воспроизведения такой ошибки значительно меньше, чем вероятность воспроизведения ошибки, которая воспроизводится при комбинации значений двух параметров.

Поэтому придумали Pairwise Testing:
Pairwise Testing - техника составления комбинаций значений для нескольких параметров таким способом, который позволяет составить наименьшее число комбинаций и при этом обязательно соблюсти условие, что в этих комбинациях будут присутствовать все возможные парные комбинации значений всех параметров.

Разберем на простом примере. Есть три параметра:
- Возраст (разбиваем на категории - до 18ти, от 18ти до 24, от 24х до 35ти и от 35 до бесконечности)
- Пол (М/Ж)
- Цвет глаз (карие, голубые, серые, зеленые, черные)

Теперь нам нужно составить комбинации из этих параметров так, чтобы в этих комбинациях для каждого значения параметра "Возраст" присутствовали все значения полей "Пол" и "Цвет глаз". И то же самое для всех остальных параметров. При этом обратите внимание, что это отличается от полного Декартового произведения (где мы бы просто написали все возможные комбинации всех значений), потому что перед нами стоит задача максимально сократить число комбинаций.

Для составления набора комбинаций воспользуемся инструментом PICT (кросс платформенный, с открытым исходным кодом)

Создадим файл data.txt:


И сгенерируем уникальные комбинации, используя метод pairwise:


Эти комбинации мы теперь можем использовать в наших тестах и можно быть уверенными, что эти комбинации отловят 80+% всех багов (эмпирически научно доказано, так что пользуйтесь).

В рассмотренном примере PICT сгенерировал 20 комбинаций, а полное декартово произведение бы дало 40 комбинаций.

Обратите внимание, что метод особенно хорошо работает там, где декартово произведение дало бы нам больше 1000 уникальных комбинаций, при этом pairwise техника может помочь значительно сократить количество таких комбинаций, что сделает задачу "протестировать все уникальные комбинации" - вполне выполнимой (но конечно же всегда есть вероятность супер редких багов, для воспроизведения которых потребуется определенная комбинация 3-4 параметров - помним об этом).

Полезные статьи:
http://qcthoughtsaloud.blogspot.com/2010/06/pairwise-testing.html
http://software-testing.ru/library/testing/test-analysis/1304-pairing


вторник, 14 августа 2018 г.

PyTest + TeamCity - автоматический репортинг

Оказывается для тестов на Python есть отличная библиотечка для интеграции с TeamCity - https://github.com/JetBrains/teamcity-messages

Причем она на столько классная, что если вы используете PyTest и TeamCity - то все, что понадобится для интеграции - установить библиотечку. И все :) - все тесты подхватятся автоматически и начнут отображаться в месте с детальной информацией о падающих тестах в TeamCity. 

четверг, 19 июля 2018 г.

Проведение встреч 1:1

Что такое встреча 1:1? Это общение менеджера (непосредственного руководителя) с вами и обзор ваших результатов и целей.

Особенности таких встреч:
1) Присутствуют только двое людей
2) Длится недолго, обычно 20-30 минут
3) Проходит регулярно, каждые 2-3 недели

Я советую разделять встречу на три этапа:
1) 5 минут просто обсуждаем какие-то текущие моменты
2) 10 минут - менеджер рассказывает о том, как он оценивает проделанную с предыдущей встречи сотрудником работу - что он заметил и что ему понравилось. Так же обращая внимание на любые негативные моменты - потому что негативную обратную связь надо давать при личном общении и как можно скорее, не откладывать ее на пол года
3) 10 минут - обсуждаем какие цели в общем стоят перед компанией, командой и сотрудником, и почему они важны, как он сам их видит и как планирует по ним работать
4) 5 минут обсуждаем какие-то дополнительные вопросы или что-то, что должно быть обсуждено на отдельной встрече.


среда, 18 июля 2018 г.

Подборка книг для менеджеров: the best of the best

Стивен Р. Кови - 7 навыков высокоэффективных людей
Книга, которая, как я считаю, изменила мою жизнь. Моя первая книга по менеджменту :) Немного фанатична, но в формате жизненных историй автор рассуждает об очень важных темах, которые относятся не столько к работе менеджера, а в целом к жизни и ценностям. Хотя бы попробуйте прочитать до 100 страницы :) я читал медленно, перечитывая некоторые моменты, и хотя периодически я впадал в депрессию (например когда надо представить себя на своих похоронах - там есть такое задание :) ) - в целом книга отличная и стоит прочтения (но все кому я ее рекомендовал не испытывали такого же восторга почему-то )) ).
Книга многократно окупилась еще до того, как я дочитал ее до конца :)


Том ДеМарко - Deadline: роман об управлении проектами
Отличная художественная книга с забавной и смешной, но поучительной историей о менеджере, о проектах, планах, сроках и разных ситуаций, которые случаются с реальными проектами в жизни. Рекомендую для всех менеджеров, однозначно стоит прочтения.


Гэвин Кеннеди - Договориться можно обо всем
Это вторая книга в моей жизни, которая окупилась еще до того, как я дочитал ее до конца. Очень советую всем, кто работает с людьми. Отличная манера изложения в виде историй и маленьких тестов для читателя (как бы вы поступили) с разбором выбранного вами варианта. Многое о себе узнаешь, и о многом задумываешься. Но чтобы измениться надо уже самостоятельно обдумать все прочитанное и тренироваться на реальных переговорах.


Генри Форд - Моя жизнь, мои достижения
Просто хорошая книга-автобиография, задумываешься о таких вопросах как цена и стоимость работы, которую выполняешь ты и твои подчиненные, о приоритетах, о важности веры в свои идеи и собственные силы и о том каким должен быть настоящий менеджер и лидер. И я лично при прочтении еще много думал о том что такое свой бизнес и каким должен быть настоящий бизнес.


Максим Батырев - 45 татуировок менеджера
Очень хорошая книга о личностном росте, о миссии менеджера, о том как менеджер и лидер думает и как он видит жизнь вообще. Иногда есть перегибы, но в целом точно стоит прочитать, особенно молодым менеджерам. Я пару советов/татуировок себе сохранил, а некоторые обнаружил уже из собственного жизненного опыта )) и еще раз вспомнил свои ошибки - и знаю как их не повторять теперь.


Слава Панкратов - Черная Книга Менеджера
Ненормативная лексика, много цинизма, но мозг прочищает - ты менеджер, и должен знать какая у тебя задача и выполнять ее. Не можешь - не мечтай о розовых единорогах и не жалуйся что опять не дали ресурсов или что тебя не слушают. По-моему хорошо сочетается с "45 татуировок", обе книги про российский менеджмент, и все по делу, без воды.

пятница, 13 июля 2018 г.

Личные консультации и подготовка к QA интервью

Всем привет,

я решил что пора проводить индивидуальные консультации, чтобы помогать людям и передавать свои знания новому поколению:

1) Ревью резюме с рекомендациями (я проверяю резюме, и рассказываю что надо переписать, что убрать и что добавить, чтобы резюме выглядело интереснее и вас заметили и пригласили на интервью) - по результатам могу порекомендовать вас в одну из компаний как подходящего кандидата (если у меня будут подходящие контакты и вакансии)

2) Помощь в подготовке к техническому интервью на позицию QA Manual / QA Automation (репетиция собеседования, дополнительные тренировки с практическими заданиями по теории тестирования, сетям, линуксу или Python)

3) Помощь в прокачивании практических навыков и знания теории в Networks, Linux, Python, Selenium, REST API, Android mobile testing (любая из этих тем - будут практические задания "на вырост", подсказки и помощь с любыми вопросами, будем работать индивидуально  пока все не получится)

4) Как правильно проводить технические интервью (все тонкости проведения интервью - будет актуально не только QA, но с фокусом именно на QA - подробный разбор всех шагов, важных вопросов, репетиции)

Если Вам интересно - напишите мне в Telegram (xwizard707) или Skype (xwizard707).

Время прокачивать свои навыки и переходить на новый уровень!

пятница, 15 июня 2018 г.

Selenium: дожидаемся загрузки страницы

Наверное, почти каждый, кто пробовал писать тесты на Selenium, знаком с explicit wait и implicit wait.

Но иногда их не хватает, да и хочется чтобы тесты работали быстро.

Еще есть AJAX и скрипты, которые подгружают контент только при скроле странички и не дают нам успокоиться просто установкой таймаутов. Нужно что-то еще.

Конечно, для каждого случая тут можно придумать "свое решение" (что чаще всего и делают).

Здесь хочу поделиться хорошей ссылкой, как один инженер уже решил такую задачу для себя (и почему эта проблема возникла у него):
https://blog.codeship.com/get-selenium-to-wait-for-page-load/

Мое решение я сделал в виде функции, может, и не самой красивой, но у страничек почти не остается шансов незагрузить весь свой контент (для загрузки картинок, конечно, нужна дополнительная магия и она тоже есть в виде отдельной функции).

Логика простая - скролим страничку и с помощью выполнения JavaScript дожидаемся загрузки странички и каждой картинки на страничке.

Такую функцию можно использовать для элементарных тестов на время загрузки страниц в браузере (с учетом времени на рендеринг страницы и загрузку всех картинок)

Код доступен здесь: https://github.com/TimurNurlygayanov/test-tasks-example/blob/master/selenium_wait.py

Комментарии и предложения о том, как можно сделать лучше, приветвуются )).

вторник, 5 июня 2018 г.

Ожидаемый результат

Только что подумал вот о чем - когда описываю баг репорт, каждый раз немного лукавлю.

Я пишу:

Steps To Reproduce: 1,..2..,3..
Expected Result: Страница выглядит хорошо, все элементы отображаются правильно.
Actual Result: Но, к сожалению, что-то не так <screenshot>

На самом деле все немного иначе:
Steps To Reproduce: open page <url>
Expected Result: На этой странице по-любому сейчас будет мясо будут баги.
Actual Result: Ну вот, как всегда, давайте делать скриншот.

То есть каждый раз открывая страницу, я начинаю думать "ну что на этот раз будет не так?". Поэтому Expected Result многие из нас пишут наоборот, а не так как на самом деле :)

Хорошей всем рабочей недели :)