Files
orchestrator/docs/work-items/ORCH-081/13-test-report.md
claude-bot e9b23d3c04
All checks were successful
CI / test (push) Successful in 26s
CI / test (pull_request) Successful in 27s
tester(ET): auto-commit from tester run_id=403
2026-06-08 22:50:47 +03:00

3.8 KiB
Raw Permalink Blame History

type, work_item_id, result
type work_item_id result
test-report ORCH-081 PASS

Test Report — ORCH-081 (ORCH-52h)

Устойчивость резолва --effort к пустому env (вариант c) + фиксация целевых дефолтов (developer → xhigh).

Окружение

  • Python: 3.12.13
  • pytest: 8.3.3
  • Repo/branch: orchestrator @ feature/ORCH-081-orch-52h-env-config (worktree)
  • prod /health: ok (8500) · staging /health: ok (8501) — не трогались
  • Дата: 2026-06-08

Результаты по тест-плану (04-test-plan.yaml)

TC ID Описание Покрытие Результат
TC-01 Канонические дефолты: 6 ролей дают high/high/xhigh/high/medium/medium AC-1, FR-4 PASS
TC-02 Пустой env (вариант c): per-role floor, developer→xhigh, tester/deployer→medium, остальные→high (НЕ "") AC-2 PASS
TC-03 Floor НЕ маскирует опечатку: turbo/ultra/bogus логируется и дропается в "" AC-5, FR-3 PASS
TC-04 Приоритет сохранён: непустой per-agent env / project-override побеждают floor/default AC-5, FR-2 PASS
TC-05 xhigh ∈ VALID_EFFORTS и не дропается AC-5, FR-5 PASS
TC-06 Сборка флага: --effort xhigh (developer), --effort medium (tester); пустой → флаг отсутствует AC-3 PASS
TC-07 Документация синхронизирована: .env.example DEVELOPER=xhigh, README таблица developer=xhigh AC-4 PASS
TC-08 Регрессия: весь набор test_resolve_agent_effort.py + полный регресс зелёные AC-5 PASS

Сопоставление с критериями приёмки

  • AC-1test_canonical_effort_all_roles[*] (6 параметров) → PASS.
  • AC-2test_empty_env_falls_back_to_per_role_floor[*] (6 параметров) + test_empty_env_unknown_agent_floor_is_default → PASS.
  • AC-3test_flags_present_when_configured, test_flags_effort_per_role, test_flags_absent_when_effort_empty → PASS.
  • AC-4 — verified по diff: src/config.py:108 agent_effort_developer = "xhigh"; .env.example:48 ORCH_AGENT_EFFORT_DEVELOPER=xhigh; docs/architecture/README.md таблица developer=xhigh; CHANGELOG.md содержит запись fix: → PASS.
  • AC-5test_floor_does_not_mask_typo, test_*_beats_floor, test_xhigh_is_valid, test_invalid_*_dropped + полный регресс зелёный → PASS.
  • AC-6 — операционный, вне scope стадии testing: проверяется в рантайме прода на стадии deploy, фиксируется в 14-deploy-log.md.

Smoke test API (prod 8500)

  • GET /health{"status":"ok","service":"orchestrator"}
  • GET /status → HTTP 200
  • GET /queue → HTTP 200

Вывод pytest

Целевой файл задачи:

tests/test_resolve_agent_effort.py ... 29 passed, 1 warning in 0.36s

Полный регресс:

........................................................................ [ 97%]
.......................                                                  [100%]
1031 passed, 1 warning in 27.02s

(единственный warning — PydanticDeprecatedSince20 в src/config.py:5, не относится к задаче, предсуществующий.)

Итог

PASS — все 8 TC пройдены, критерии AC-1…AC-5 выполнены (AC-6 операционный, для стадии deploy), полный регресс 1031 passed, smoke API зелёный. Прод/staging-контейнеры не затрагивались.