Тестирование Flask: pytest и test_client

Признаемся честно: уроки 13 и 14 вы проверяли руками. Написали jsonify — запустили блок, посмотрели на статус. Добавили валидацию — снова запустили, снова посмотрели. Один эндпоинт — терпимо. Но API живёт: добавили DELETE, поменяли валидацию, переименовали поле. После каждой правки список проверок «а 201 всё ещё возвращается? а 400 не отвалился?» надо прогонять заново, и каждая проверка — это вы, терминал и надежда, что ничего не забыто.

Ручное тыканье эндпоинтов не масштабируется: тест pytest проверяет статус и JSON за доли секунды и падает с точным указанием причины. Сегодня мы завернём проверки из прошлых уроков в автотесты — и заодно откроем дверь в целый раздел про pytest: всё, что вы здесь увидите, там разобрано фундаментально. Flask в этом союзе участвует одной функцией — test_client, знакомым вам ещё с урока 2.

Тест — это функция с assert

Тест на pytest — обычная функция Python, подчиняющаяся двум правилам: имя начинается с test_ и внутри есть проверки через assert. Никаких классов, декораторов и импортов фреймворка. Сравните проверку из прошлого урока и тест:

# проверка: запустил и посмотрел глазами
client = app.test_client()
print(client.get("/api/hello").status_code)   # надеюсь, 200

# тест: запустил и получил вердикт машины
def test_hello_status():
    client = app.test_client()
    assert client.get("/api/hello").status_code == 200

Тесты живут в отдельных файлах с префиксом test_ — например test_app.py. pytest сам находит такие файлы, собирает в них функции test_ и запускает все подряд; команду запуска выполняют из папки проекта, поэтому тестовый файл кладут рядом с app.py. Вот тестовый файл для мини-API целиком:

from flask import Flask, jsonify

app = Flask(__name__)

@app.route("/api/hello")
def hello():
    return jsonify(message="привет")

def test_hello_status():
    client = app.test_client()
    assert client.get("/api/hello").status_code == 200

def test_hello_json():
    client = app.test_client()
    body = client.get("/api/hello").get_json()
    assert body["message"] == "привет"

def test_missing_page_is_404():
    client = app.test_client()
    assert client.get("/no-such-page").status_code == 404

Три теста — три привычки, которые стоит перенять. test_hello_status проверяет статус: самая дешёвая и самая частая проверка API. test_hello_json спускается в тело: get_json() возвращает словарь, и assert сравнивает конкретное поле — так тестируют содержимое, а не только код ответа. test_missing_page_is_404 закрепляет поведение из урока 11: чужой адрес обязан давать 404. Внутри каждого теста — свой test_client: запросы выполняются без сети, сервер не запускается.

def test_create_note_full():
    notes.clear()
    client = app.test_client()
    r = client.post("/api/notes", json={"text": "заметка"})
    assert r.status_code == 201
    body = r.get_json()
    assert body["text"] == "заметка"
    assert isinstance(body["id"], int)

Запуск: pytest.main и отчёт

Дома тесты запускают командой pytest из папки проекта. В песочнице терминала нет, поэтому файл создаёт код, а pytest вызывается программно — pytest.main со списком аргументов, тем же самым, что вы дали бы команде:

from pathlib import Path

Path("test_app.py").write_text("""from flask import Flask, jsonify

app = Flask(__name__)

@app.route("/api/hello")
def hello():
    return jsonify(message="привет")

def test_hello_status():
    client = app.test_client()
    assert client.get("/api/hello").status_code == 200

def test_hello_json():
    client = app.test_client()
    body = client.get("/api/hello").get_json()
    assert body["message"] == "привет"

def test_missing_page_is_404():
    client = app.test_client()
    assert client.get("/no-such-page").status_code == 404
""", encoding="utf-8")

import pytest

rc = pytest.main(["test_app.py", "-q", "--no-header", "-p", "no:cacheprovider"])
print("exit:", int(rc))

...                                                                      [100%]
3 passed in 0.17s
exit: 0

Читаем отчёт построчно. Три точки — три теста, каждая точка значит «прошёл»; в квадратных скобках — прогресс, 100 процентов. Строка 3 passed — сводка: сколько тестов прошло и сколько времени занял прогон; доли секунды на три запроса — вот скорость, о которой ручные проверки могут только мечтать. Наконец, exit: 0 — код возврата прогона: ноль означает зелёный набор. Автоматика (CI, скрипты, редактор) читает именно его, а не текст отчёта.

Красный тест: что показывает падение

Зелёный отчёт приятен, но учит падение. Уроним тест специально: тест ожидает английское приветствие, а API отвечает по-русски. Ключ --tb=no отключает вывод полного traceback — в отчёте остаётся сам факт и краткая сводка:

from pathlib import Path

Path("test_bad.py").write_text("""from flask import Flask, jsonify

app = Flask(__name__)

@app.route("/api/hello")
def hello():
    return jsonify(message="привет")

def test_greeting():
    client = app.test_client()
    body = client.get("/api/hello").get_json()
    assert body["message"] == "hello"
""", encoding="utf-8")

import pytest

rc = pytest.main(["test_bad.py", "-q", "--no-header", "--tb=no", "-p", "no:cacheprovider"])
print("exit:", int(rc))

F                                                                        [100%]
=========================== short test summary info ===========================
FAILED test_bad.py::test_greeting - AssertionError: assert 'привет' == 'hello'
1 failed in 0.17s
exit: 1

Буква F на месте точки, строка FAILED называет файл, тест и самое ценное — расхождение: assert 'привет' == 'hello'. pytest показывает левую и правую сторону сравнения, и мгновенно видно, что сломалось: API вернул «привет», тест ждал «hello». Код выхода 1 — красный набор. Это и есть главный аргумент автотестов: упавший тест сообщает точнее и быстрее, чем любой ручной прогон, и повторяет это после каждой правки бесплатно.

Отдельно стоит сказать об адресе падения: FAILED test_bad.py::test_greeting читается как путь — файл, затем имя теста через двойное двоеточие. В наборе из пятидесяти проверок это различие между «искать полчаса» и «чинить сразу»: отчёт сам ведёт к строке, где ожидание разошлось с реальностью.

Тесты для API из урока 14

Проверим наш главный приём: тесты должны быть независимыми, поэтому каждый начинается с очистки хранилища. Три теста накрывают три сценария — создание, чтение списка, отсутствующий id:

from pathlib import Path

Path("test_notes.py").write_text("""from flask import Flask, jsonify, request

app = Flask(__name__)

notes = []

@app.route("/api/notes", methods=["GET", "POST"])
def notes_view():
    if request.method == "POST":
        data = request.get_json()
        note = {"id": len(notes) + 1, "text": data["text"]}
        notes.append(note)
        return jsonify(note), 201
    return jsonify(notes)

@app.route("/api/notes/<int:note_id>")
def get_note(note_id):
    for n in notes:
        if n["id"] == note_id:
            return jsonify(n)
    return jsonify(error="not found"), 404

def test_create_returns_201():
    notes.clear()
    client = app.test_client()
    r = client.post("/api/notes", json={"text": "первая заметка"})
    assert r.status_code == 201
    assert r.get_json()["text"] == "первая заметка"

def test_list_after_create():
    notes.clear()
    client = app.test_client()
    client.post("/api/notes", json={"text": "первая заметка"})
    assert len(client.get("/api/notes").get_json()) == 1

def test_missing_note_is_404():
    client = app.test_client()
    assert client.get("/api/notes/999").status_code == 404
""", encoding="utf-8")

import pytest

rc = pytest.main(["test_notes.py", "-q", "--no-header", "-p", "no:cacheprovider"])
print("exit:", int(rc))

...                                                                      [100%]
3 passed in 0.17s
exit: 0

Посмотрите, как мало осталось от ритуала из уроков 13–14: каждый ручной сценарий стал функцией, print уступил место assert, а глазами теперь смотрит машина. Заметьте и цену небрежности: если убрать notes.clear() из test_list_after_create, тест упадёт — заметку создаст предыдущий тест. Ошибка не в API, а в зависимом тесте; искать такое глазами — то ещё удовольствие, а pytest назовёт виновника по имени.

Тесты — это ещё и документация, которую невозможно забыть обновить. Не нужно открывать код маршрута, чтобы вспомнить, что вернёт POST с пустым полем: имена test_create_returns_201 и test_missing_note_is_404 говорят сами за себя. Через полгода, вернувшись к проекту, вы запустите набор — и он честно расскажет, что в API работает, а что отвалилось.

И финальный аккорд — валидация из урока 14. Плохие входы — идеальный материал для тестов: сценарии известны заранее, и каждый описывается одной строкой с assert:

from pathlib import Path

Path("test_api_400.py").write_text("""from flask import Flask, jsonify, request

app = Flask(__name__)

@app.route("/api/notes", methods=["POST"])
def create_note():
    data = request.get_json(silent=True)
    if data is None or not data.get("text", "").strip():
        return jsonify(error="поле text обязательно"), 400
    return jsonify(text=data["text"].strip()), 201

def test_create_ok():
    client = app.test_client()
    assert client.post("/api/notes", json={"text": "кофе"}).status_code == 201

def test_empty_text_is_400():
    client = app.test_client()
    r = client.post("/api/notes", json={"text": "   "})
    assert r.status_code == 400
    assert "error" in r.get_json()

def test_not_json_is_400():
    client = app.test_client()
    assert client.post("/api/notes", data="нет").status_code == 400
""", encoding="utf-8")

import pytest

rc = pytest.main(["test_api_400.py", "-q", "--no-header", "-p", "no:cacheprovider"])
print("exit:", int(rc))

...                                                                      [100%]
3 passed in 0.16s
exit: 0

Дома: терминал вместо pytest.main

На своём компьютере всё то же самое делается двумя командами терминала — файл test_app.py вы создаёте в редакторе, а запускать его вызывает pytest:

pip install pytest
pytest -q test_app.py

...                                                                      [100%]
3 passed in 0.02s

Последнее — и самое ценное — свойство набора: он запускается целиком одной командой. pytest -q без имени файла находит все test_*.py в проекте и прогоняет их за один вход: три файла уроков 13–15 слились бы в один отчёт с одним кодом выхода. Именно это делает тесты страховкой при рефакторинге: поменяли jsonify на ручную сборку JSON — запустили набор — и через секунды знаете, не сломали ли что-нибудь.

Итоги: проверки работают сами

• Тест — функция test_ с assert внутри; файл тестов — test_*.py, находит и запускает их pytest
• app.test_client() внутри теста выполняет настоящие запросы без сети и сервера
• Отчёт: точка за пройденный тест, F за упавший, сводка «N passed» и код выхода 0 или 1
• Падение читается по строке FAILED: файл, тест, расхождение assert; --tb=no оставляет только суть
• Каждый тест готовит своё состояние — notes.clear() — иначе тесты зависят друг от друга
• Валидация из урока 14 превращается в набор тестов на 201, 400 и 404 — и запускается после каждой правки

Расширение курса пройдено: ваши API умеют отвечать ошибками, их поведение описано тестами, а тесты запускаются одной командой. Дальше начинается курс про фикстуры, фабрику приложений и CLI — но всё это будет опираться на привычку, которую вы только что завели: сначала тест, потом код.

Ручное тыканье эндпоинтов не масштабируется: тест pytest проверяет статус и JSON за доли секунды и падает с точным указанием причины.