«QuickCheck в Python: проверка гипотез и поиск ошибок», Александр Шорин, Rambler&Co
2 likes9,548 views
Документ обсуждает использование библиотеки QuickCheck для автоматического тестирования кода на Python, подчеркивая проблемы, связанные с традиционными тестами, и предлагая примеры тестирования функций, таких как сортировка. Также рассматривается библиотека Hypothesis, которая позволяет генерировать тестовые данные и проверять различные случаи, включая пограничные условия. В документе представлены различные стратегии для поиска и исправления ошибок в тестах, включая примеры и ссылки на дополнительную литературу.
![Простейший примерПростейший пример
def qsort(list_):
if len(list_) <= 1:
return list_
head = qsort([x for x in list_[1:] if x < list_[0]])
tail = qsort([x for x in list_[1:] if x > list_[0]])
return head + [list_[0]] + tail
(да, в жизни все сложнее)(да, в жизни все сложнее)](https://image.slidesharecdn.com/moscow-python-33-quickcheck-160328144057/85/QuickCheck-Python-Rambler-Co-4-320.jpg)
![ТестируемТестируем
def test_empty():
assert qsort([]) == []
def test_sort():
assert qsort([3, 2, 1]) == [1, 2, 3]
def test_sorted():
assert qsort([1, 2, 3]) == [1, 2, 3]
Шаблонная копипастаШаблонная копипаста](https://image.slidesharecdn.com/moscow-python-33-quickcheck-160328144057/85/QuickCheck-Python-Rambler-Co-5-320.jpg)
![Мы можем решить проблему копипасты...Мы можем решить проблему копипасты...
@pytest.mark.parametrize(('value', 'result'), [
([], []),
([1, 2, 3], [1, 2, 3]),
([3, 2, 1], [1, 2, 3]),
])
def test_qsort(value, result):
assert qsort(value) == result](https://image.slidesharecdn.com/moscow-python-33-quickcheck-160328144057/85/QuickCheck-Python-Rambler-Co-6-320.jpg)
![...хотя может показаться, что нет...хотя может показаться, что нет
@pytest.mark.parametrize(('value', 'result'), [
([], []),
([1, 2, 3], [1, 2, 3]),
([3, 2, 1], [1, 2, 3]),
(['a', 'c', 'b'], ['a', 'b', 'c']),
(['a', 'A'], ['A', 'a']),
([[0], [3], [1, 2, 3]], [[0], [1, 2, 3], [3]]),
...
])
def test_qsort(value, result):
assert qsort(value) == result](https://image.slidesharecdn.com/moscow-python-33-quickcheck-160328144057/85/QuickCheck-Python-Rambler-Co-7-320.jpg)
![Ошибку в коде мы так и неОшибку в коде мы так и не
нашлинашли
def test_qsort():
> assert qsort([1, 1, 1]) == [1, 1, 1]
E assert [1] == [1, 1, 1]
E Right contains more items, first extra item: 1
E Full diff:
E - [1]
E + [1, 1, 1]](https://image.slidesharecdn.com/moscow-python-33-quickcheck-160328144057/85/QuickCheck-Python-Rambler-Co-9-320.jpg)
![Hypothesis [haɪˈpɒθɪsɪs]Hypothesis [haɪˈpɒθɪsɪs]
Автор: David R. MacIver
https://github.com/DRMacIver/hypothesis](https://image.slidesharecdn.com/moscow-python-33-quickcheck-160328144057/85/QuickCheck-Python-Rambler-Co-17-320.jpg)
![Property-тестированиеProperty-тестирование
@hypothesis.given(st.lists(st.integers()))
def test_qsort(l):
ls = qsort(l)
for i in ls:
assert i in l
l.remove(i)
assert len(l) == 0
assert all(ls[i - 1] <= ls[i] for i in range(1, len(ls)))](https://image.slidesharecdn.com/moscow-python-33-quickcheck-160328144057/85/QuickCheck-Python-Rambler-Co-25-320.jpg)
![Property-тестированиеProperty-тестирование
l = [0]
@hypothesis.given(st.lists(st.integers()))
def test_qsort(l):
ls = qsort(l)
for i in ls:
assert i in l
l.remove(i)
> assert len(l) == 0
E assert 1 == 0
E + where 1 = len([0])
foo.py:18: AssertionError
---------------- Hypothesis ----------------
Falsifying example: test_qsort(l=[0, 0])](https://image.slidesharecdn.com/moscow-python-33-quickcheck-160328144057/85/QuickCheck-Python-Rambler-Co-26-320.jpg)
«QuickCheck в Python: проверка гипотез и поиск ошибок», Александр Шорин, Rambler&Co
- 1. QuickCheck в PythonQuickCheck в Python Проверка гипотез и поиск ошибокПроверка гипотез и поиск ошибок Шорин Александр / @kxepal
- 2. О чем пойдет речь:О чем пойдет речь: Что не так с нашими тестами Что такое QuickCheck... ...и как его неправильно портировать Знакомство с Hypothesis Время офигенных историй
- 3. Что не так с нашими тестами?Что не так с нашими тестами?
- 4. Простейший примерПростейший пример def qsort(list_): if len(list_) <= 1: return list_ head = qsort([x for x in list_[1:] if x < list_[0]]) tail = qsort([x for x in list_[1:] if x > list_[0]]) return head + [list_[0]] + tail (да, в жизни все сложнее)(да, в жизни все сложнее)
- 5. ТестируемТестируем def test_empty(): assert qsort([]) == [] def test_sort(): assert qsort([3, 2, 1]) == [1, 2, 3] def test_sorted(): assert qsort([1, 2, 3]) == [1, 2, 3] Шаблонная копипастаШаблонная копипаста
- 6. Мы можем решить проблему копипасты...Мы можем решить проблему копипасты... @pytest.mark.parametrize(('value', 'result'), [ ([], []), ([1, 2, 3], [1, 2, 3]), ([3, 2, 1], [1, 2, 3]), ]) def test_qsort(value, result): assert qsort(value) == result
- 7. ...хотя может показаться, что нет...хотя может показаться, что нет @pytest.mark.parametrize(('value', 'result'), [ ([], []), ([1, 2, 3], [1, 2, 3]), ([3, 2, 1], [1, 2, 3]), (['a', 'c', 'b'], ['a', 'b', 'c']), (['a', 'A'], ['A', 'a']), ([[0], [3], [1, 2, 3]], [[0], [1, 2, 3], [3]]), ... ]) def test_qsort(value, result): assert qsort(value) == result
- 8. Можем ли мы проверить все допустимые случаи?Можем ли мы проверить все допустимые случаи? +----------------------------------------------------------------------+ | ВЕЛИКОЕ ВСЁ | | | | | | | | | | | | | | | | | | | | +---------------------+ | | Приемлемые данные | | | Х | +------------------------------------------------+-------------------^-+ | Наши тесты -------+
- 9. Ошибку в коде мы так и неОшибку в коде мы так и не нашлинашли def test_qsort(): > assert qsort([1, 1, 1]) == [1, 1, 1] E assert [1] == [1, 1, 1] E Right contains more items, first extra item: 1 E Full diff: E - [1] E + [1, 1, 1]
- 10. Bug Driven DevelopmentBug Driven Development Bug. Test. Fix. Repeat.Bug. Test. Fix. Repeat.
- 11. РезюмируемРезюмируем Мы не тестируем наш код, мы закрепляем его поведение Мы не способны описать все пограничные случаи Баги всегда впереди нас
- 12. QuickCheckQuickCheck Изначально написан на Haskell Основывается на научно-исследовательских работах Позиционируется как библиотека для автоматического тестирование функций на основе спецификаций и свойств данных Портирован на Scala, Erlang, Clojure, JavaScript... Продвигается компанией Quviq http://www.cse.chalmers.se/~rjmh/QuickCheck/
- 13. Как оно работает (примерно)Как оно работает (примерно) passed +-----------------------+ v | +-----------+ sample +------+ failed +----------+ +--------+ | Generator | --------> | Test | --------> | Shrinker | --> | Report | +-----------+ +------+ +----------+ +--------+ | ^ sample | ^ | +------------------+ | | | +-----------------------------------------------------------+ success
- 15. Нельзя просто взять и написатьНельзя просто взять и написать правильный QuickCheckправильный QuickCheck https://github.com/agrif/pyquickcheck https://github.com/Cue/qc https://github.com/dbravender/qc https://github.com/futoase/PyQCheck https://github.com/JesseBuesking/pythoncheck https://github.com/markchadwick/paycheck https://github.com/msoedov/quick.py https://github.com/npryce/python-factcheck https://github.com/Xion/pyqcy https://github.com/zombiecalypse/qcc https://pypi.python.org/pypi/pytest-quickcheck ...
- 16. Типичные ошибкиТипичные ошибки Слепое копирование Haskell реализации Использование типов в качестве генераторов Отсутствующий или же "глупый" shrinking Заброшенные или же в зачаточном состоянии
- 17. Hypothesis [haɪˈpɒθɪsɪs]Hypothesis [haɪˈpɒθɪsɪs] Автор: David R. MacIver https://github.com/DRMacIver/hypothesis
- 18. Что умеетЧто умеет Генерация всех основных типов данных Рекурсивные типы State Machine, N-ary деревья Позволяет создавать свои стратегии без погружения в детали Интегрирован с Fake Factory, Django, pytest Следит за качеством тестов Запоминает найденные баги Хорошо настраивается http://hypothesis.readthedocs.org/en/master/data.htmlhttp://hypothesis.readthedocs.org/en/master/data.html
- 19. Генерация данныхГенерация данных from hypothesis import strategies as st def nulls(): return st.none() def booleans(): return st.booleans() def numbers(): return st.integers() | st.floats() def strings(): return st.text() def arrays(elements): return st.lists(elements) def objects(elements): return st.dictionaries(strings(), elements) def values(): simple_values = nulls() | booleans() | numbers() | strings() return (simple_values | st.recursive(simple_values, lambda children: arrays(children) | objects(children)))
- 20. Генерация данныхГенерация данных >>> doc = json_st.objects(json_st.values()) >>> doc.example() {'G Gu202fn G𝞠u202f_n( n(nn_ n': 9.943339378805967e-309} >>> doc.example() {'': None, 'x85': '', 'U00014481': None, 'u3000': -2.45410883359415e-309, ' x85': 1.5564453946197205e-308, 'I': ' ', 'u3000u2029': -9.05230966734913e-309, 'U00014481U00014481 ⁱ': None, 'Nj': -1.80149788818e-311, ' ': -1.414261190585428e+202, 'u2029ⁱNj': ' ', ' u2029': inf, ' ': ' ', 'u3000 ': -1.0065151140507456e+206, 'Nj ': None, ' ⁱ': None, 'IU00014481': -1.2296585975031088e+145, 'x80': ' ', 'x85ⁱ x80x80Nj': -6.438869672267061e+116, ' ': None, 'u3000x80': None, 'u2029x80Nj': -698356955173.6532, ' ': ' ', ' x85': None, 'x85ⁱU00014481': None, ' ': None, 'ⁱ': None, ' u3000 ': ' '}
- 21. Поиск ошибокПоиск ошибок >>> @given(json_st.objects(json_st.values())) ... def test_json(doc): ... assert json.loads(json.dumps(doc)) == doc >>> test_json() Falsifying example: test_json(doc={'': nan}) Traceback (most recent call last): File "<stdin>", line 1, in <module> File "<stdin>", line 2, in test_json File "./hypothesis/core.py", line 583, in wrapped_test print_example=True, is_final=True File "./hypothesis/executors/executors.py", line 25, in default_executor return function() File "./hypothesis/core.py", line 365, in run return test(*args, **kwargs) File "<stdin>", line 3, in test_json AssertionError
- 22. Поиск ошибокПоиск ошибок >>> @given(json_st.objects(json_st.values())) ... @settings(verbosity=hypothesis.Verbosity.verbose) ... def test_json(doc): ... assert json.loads(json.dumps(doc)) == doc >>> test_json()
- 23. Поиск ошибокПоиск ошибок Trying example: test_json(doc={}) Trying example: test_json(doc={'': True}) Trying example: test_json(doc={'': None}) Trying example: test_json(doc={'': False}) Trying example: test_json(doc={'': -43203256341979896423482879160843}) Trying example: test_json(doc={'': 24}) ... Trying example: test_json(doc={'': 100440}) Trying example: test_json(doc={'': 30323947834323202215971170911015}) Trying example: test_json(doc={'': 0.0}) Trying example: test_json(doc={'': inf}) Trying example: test_json(doc={'': -inf}) Successfully shrunk example 27 times Falsifying example: test_json(doc={'': nan})
- 24. Исправление ошибокИсправление ошибок import math from hypothesis import strategies as st def numbers(): return st.integers() | st.floats().filter(math.isfinite)
- 25. Property-тестированиеProperty-тестирование @hypothesis.given(st.lists(st.integers())) def test_qsort(l): ls = qsort(l) for i in ls: assert i in l l.remove(i) assert len(l) == 0 assert all(ls[i - 1] <= ls[i] for i in range(1, len(ls)))
- 26. Property-тестированиеProperty-тестирование l = [0] @hypothesis.given(st.lists(st.integers())) def test_qsort(l): ls = qsort(l) for i in ls: assert i in l l.remove(i) > assert len(l) == 0 E assert 1 == 0 E + where 1 = len([0]) foo.py:18: AssertionError ---------------- Hypothesis ---------------- Falsifying example: test_qsort(l=[0, 0])
- 27. База примеровБаза примеров Hypothesis сохраняет найденные ошибки в SQLite базу для последующего воспроизведения.
- 28. Health CheckHealth Check Генерируемые данные слишком большие Слишком строгая фильтрация Слишком медленная стратегия Использование random вызовов в коде Тест возвращает результат
- 29. Гибкая настройкаГибкая настройка Количество найденных успехных примеров (example) Количество итераций на тест Глубина поиска минимального примера Слишком медленная стратегия Время выполнения теста QA контроль Профили
- 30. ПрофилиПрофили import os from hypothesis import settings from hypothesis import Verbosity settings.register_profile("ci", settings(max_examples=1000)) settings.register_profile("dev", settings(max_examples=10)) settings.register_profile("debug", settings(max_examples=10, verbosity=Verbosity.verbose)) settings.load_profile(os.getenv('HYPOTHESIS_PROFILE', 'default'))
- 31. Что хорошо тестируетсяЧто хорошо тестируется Алгоритмы Структуры данных любой сложности Реализации протоколов, парсеров, базы данных Любые чистые функции Детерминированные API
- 35. Полезные ссылкиПолезные ссылки Hypothesis https://github.com/DRMacIver/hypothesis Hypothesis Talks https://github.com/DRMacIver/hypothesis-talks Conjecture https://github.com/DRMacIver/conjecture PYCON UK 2015: Finding more bugs with less work https://www.youtube.com/watch?v=62ubHXzD8tM How I handled Erlang R18 Maps with QuickCheck https://vimeo.com/143849945 СurEr - Concolic Testing https://www.youtube.com/watch?v=XVOV0KQAf-8
- 36. Спасибо за внимание!Спасибо за внимание!