From e9b23d3c046e52180367a26c96c6143be731f419 Mon Sep 17 00:00:00 2001 From: claude-bot Date: Mon, 8 Jun 2026 22:46:11 +0300 Subject: [PATCH] tester(ET): auto-commit from tester run_id=403 --- docs/work-items/ORCH-081/13-test-report.md | 61 ++++++++++++++++++++++ 1 file changed, 61 insertions(+) create mode 100644 docs/work-items/ORCH-081/13-test-report.md diff --git a/docs/work-items/ORCH-081/13-test-report.md b/docs/work-items/ORCH-081/13-test-report.md new file mode 100644 index 0000000..07bbeae --- /dev/null +++ b/docs/work-items/ORCH-081/13-test-report.md @@ -0,0 +1,61 @@ +--- +type: test-report +work_item_id: ORCH-081 +result: PASS +--- + +# Test Report — ORCH-081 (ORCH-52h) + +Устойчивость резолва `--effort` к пустому env (вариант c) + фиксация целевых +дефолтов (developer → xhigh). + +## Окружение +- Python: 3.12.13 +- pytest: 8.3.3 +- Repo/branch: orchestrator @ `feature/ORCH-081-orch-52h-env-config` (worktree) +- prod `/health`: ok (8500) · staging `/health`: ok (8501) — не трогались +- Дата: 2026-06-08 + +## Результаты по тест-плану (04-test-plan.yaml) + +| TC ID | Описание | Покрытие | Результат | +|-------|----------|----------|-----------| +| TC-01 | Канонические дефолты: 6 ролей дают high/high/xhigh/high/medium/medium | AC-1, FR-4 | PASS | +| TC-02 | Пустой env (вариант c): per-role floor, developer→xhigh, tester/deployer→medium, остальные→high (НЕ "") | AC-2 | PASS | +| TC-03 | Floor НЕ маскирует опечатку: `turbo`/`ultra`/`bogus` логируется и дропается в "" | AC-5, FR-3 | PASS | +| TC-04 | Приоритет сохранён: непустой per-agent env / project-override побеждают floor/default | AC-5, FR-2 | PASS | +| TC-05 | `xhigh ∈ VALID_EFFORTS` и не дропается | AC-5, FR-5 | PASS | +| TC-06 | Сборка флага: `--effort xhigh ` (developer), `--effort medium ` (tester); пустой → флаг отсутствует | AC-3 | PASS | +| TC-07 | Документация синхронизирована: `.env.example` DEVELOPER=xhigh, README таблица developer=xhigh | AC-4 | PASS | +| TC-08 | Регрессия: весь набор test_resolve_agent_effort.py + полный регресс зелёные | AC-5 | PASS | + +### Сопоставление с критериями приёмки +- **AC-1** — `test_canonical_effort_all_roles[*]` (6 параметров) → PASS. +- **AC-2** — `test_empty_env_falls_back_to_per_role_floor[*]` (6 параметров) + `test_empty_env_unknown_agent_floor_is_default` → PASS. +- **AC-3** — `test_flags_present_when_configured`, `test_flags_effort_per_role`, `test_flags_absent_when_effort_empty` → PASS. +- **AC-4** — verified по diff: `src/config.py:108` `agent_effort_developer = "xhigh"`; `.env.example:48` `ORCH_AGENT_EFFORT_DEVELOPER=xhigh`; `docs/architecture/README.md` таблица developer=`xhigh`; `CHANGELOG.md` содержит запись `fix:` → PASS. +- **AC-5** — `test_floor_does_not_mask_typo`, `test_*_beats_floor`, `test_xhigh_is_valid`, `test_invalid_*_dropped` + полный регресс зелёный → PASS. +- **AC-6** — операционный, вне scope стадии testing: проверяется в рантайме прода на стадии `deploy`, фиксируется в `14-deploy-log.md`. + +## Smoke test API (prod 8500) +- `GET /health` → `{"status":"ok","service":"orchestrator"}` +- `GET /status` → HTTP 200 +- `GET /queue` → HTTP 200 + +## Вывод pytest + +Целевой файл задачи: +``` +tests/test_resolve_agent_effort.py ... 29 passed, 1 warning in 0.36s +``` + +Полный регресс: +``` +........................................................................ [ 97%] +....................... [100%] +1031 passed, 1 warning in 27.02s +``` +(единственный warning — PydanticDeprecatedSince20 в `src/config.py:5`, не относится к задаче, предсуществующий.) + +## Итог +**PASS** — все 8 TC пройдены, критерии AC-1…AC-5 выполнены (AC-6 операционный, для стадии deploy), полный регресс `1031 passed`, smoke API зелёный. Прод/staging-контейнеры не затрагивались.