Сравниваем тест-фреймворки BDD для Python
BDD-фреймворки автоматизации существуют в любом языке программирования, и Python — не исключение. В этой статье мы сравним основные из них.
behave
Пожалуй, behave является одним из наиболее популярных BDD-фреймворков для Python. Официально он не является частью проекта Cucumber, однако работает похоже.
Материалы: — техническая документация; — проект на GitHub.
Плюсы: — полная поддержка Gherkin; — возможность интеграции с Flask и Django; — прекрасное решение для практик BDD; — хорошая документация; — функции и фикстуры окружений; — поддержка PyCharm Professional Edition.
Из минусов хотелось бы отметить отсутствие поддержки параллельного запуска (для этого требуется побочный фреймворк behave-parallel).
pytest-bdd
Не что иное, как плагин для pytest, позволяющий писать тесты не как тест-функции, а как фича-файлы Gherkin. За счёт интеграции с pytest фреймворк способен работать с любыми pytest-плагинами, к примеру, pytest-html для создания красивых отчётов или pytest-xdist для параллельного тестирования. Кроме того, фреймворк использует для внедрения зависимостей фикстуры pytest .
Материалы: — документация; — проект на GitHub.
Преимущества: — полная совместимость с pytest и его основными плагинами; — широкое сообщество pytest; — фикстуры; — вы можете фильтровать и запускать тесты вместе с другими тестами pytest; — вы можете легко распределять через conftest.py определения шагов и перехватчики; — есть возможность лучше управляться с табличными данными, если речь идёт о DDT-тестировании; — поддержка PyCharm Professional Edition.
Недостатки:
— шаги шаблона сценария необходимо парсить другим образом;
— модули определения шагов должны иметь декларации, явно заданные для фича-файлов (посредством функций
radish
Этот BDD-фреймворк имеет изюминку, которая заключается в добавлении в язык Gherkin нового синтаксиса. А такие особенности, как предусловия сценариев, константы и петли сценариев делают radish-вариант Gherkin более удобным для test cases.
Материалы: — документация; — проект на GitHub.
Плюсы: — расширения языка позволяют лучше писать тесты; — хорошая документация; — определения шагов и фича-файлы получаются очень чистыми.
Минусы: — количество расширений ограничено. — дополнения к синтаксису Gherkin могут понравиться не всем.
lettuce
Очередной «овощной» Python BDD-фреймворк, известный уже много лет. Правда, код и сайт давненько не обновлялись.
Материалы: — проект на GitHub.
Достоинства: — надёжность, проверенная временем; — код проще.
Недостатки: — проигрывает другим фреймворкам в плане обилия фич; — по всей видимости, поддержка не очень активна.
freshen
Когда-то freshen был плагином для nose и одним из BDD-фреймворков для Python. Однако сегодня ни nose, ни freshen, более не поддерживаются, а в их документации сказано, что лучше использовать другие фреймворки.
Что же выбрать?
Ни один из перечисленных фреймворков идеальным не является, хотя у некоторых из них есть явные преимущества. Один из оптимальных вариантов — pytest-bdd, ведь он позволит вам извлечь пользу из сильных сторон pytest. А ещё он хорош за счёт выразительности, ассертов, фикстур, плагинов. К тому же, в опросе Python-разработчиков за 2018 год сказано, что pytest лидирует с большим отрывом.
Что касается общих рекомендаций, то они следующие: — Хотите надёжной и стабильной работы и доступ к самому большому сообществу? Используйте behave. — Интересует интеграция с другими плагинами, если уже есть pytest-тесты, либо желаете запускать тесты параллельно? Ваш выбор — pytest-bdd. — Интересует программный контроль тестирования на уровне Gherkin? Вам подойдёт radish.
Что касается lettuce и freshen, то их лучше просто не использовать.
