tester(ET): auto-commit from tester run_id=451
This commit is contained in:
85
docs/work-items/ORCH-075/13-test-report.md
Normal file
85
docs/work-items/ORCH-075/13-test-report.md
Normal file
@@ -0,0 +1,85 @@
|
||||
---
|
||||
type: test-report
|
||||
work_item_id: ORCH-075
|
||||
result: PASS
|
||||
---
|
||||
|
||||
# Test Report — ORCH-075 (ORCH-52b: стандарт документов конвейера)
|
||||
|
||||
## Окружение
|
||||
- Python: 3.12.13
|
||||
- pytest: 8.3.3
|
||||
- Дата: 2026-06-09
|
||||
- Ветка: `feature/ORCH-075-orch-52b-docs-templates-adr-na`
|
||||
- Prod health (`http://localhost:8500/health`): `{"status":"ok","service":"orchestrator"}`
|
||||
- Review verdict (12-review.md): **APPROVED** (предусловие выполнено)
|
||||
|
||||
## Smoke-тест API (read-only, прод не трогался)
|
||||
| Endpoint | Результат |
|
||||
|----------|-----------|
|
||||
| `GET /health` | `{"status":"ok","service":"orchestrator"}` — OK |
|
||||
| `GET /status` | OK — активная задача ORCH-075 (id 68) на стадии `testing` |
|
||||
| `GET /queue` | OK — counts {running:1, done:871, failed:4}, breaker `closed`, reconcile/reaper enabled |
|
||||
|
||||
## Результаты
|
||||
|
||||
### Полный регресс
|
||||
`python -m pytest tests/ -q` → **1177 passed, 1 warning in 38.08s** (warning — Pydantic V2 deprecation в `src/config.py`, не относится к задаче). Регресса от docs-изменения нет.
|
||||
|
||||
### Профильная сюита
|
||||
`python -m pytest tests/test_orch_52b_docs_standard.py -v` → **20 passed in 0.39s**.
|
||||
|
||||
### Сопоставление с тест-планом (04-test-plan.yaml)
|
||||
|
||||
| TC ID | Описание | Результат |
|
||||
|-------|----------|-----------|
|
||||
| TC-01 | PIPELINE_DOCS.md существует и непустой | PASS |
|
||||
| TC-02 | Манифест упоминает все номерные доки (00..17) | PASS |
|
||||
| TC-03 | Манифест указывает владельца-агента для каждого дока | PASS |
|
||||
| TC-04 | Манифест содержит категории required/when-applicable/optional | PASS |
|
||||
| TC-05 | docs/_templates/ содержит шаблоны всех required/when-applicable доков | PASS |
|
||||
| TC-06 | Шаблон 12-review содержит `verdict:` | PASS |
|
||||
| TC-07 | Шаблон 13-test-report содержит `result:` | PASS |
|
||||
| TC-08 | Шаблон 14-deploy-log содержит `deploy_status:` | PASS |
|
||||
| TC-09 | Шаблон 15-staging-log содержит `staging_status:` | PASS |
|
||||
| TC-10 | Шаблон 17-security-report содержит `security_status:` | PASS |
|
||||
| TC-11 | Шаблон 16-post-deploy-log содержит `post_deploy_status:` | PASS |
|
||||
| TC-12 | Шаблон 01-brd содержит обязательные секции | PASS |
|
||||
| TC-13 | Шаблон 02-trz содержит обязательные секции | PASS |
|
||||
| TC-14 | Шаблон 03-acceptance-criteria содержит блок AC-N с PASS/FAIL | PASS |
|
||||
| TC-15 | Шаблон 04-test-plan.yaml — валидный YAML с work_item/tests | PASS |
|
||||
| TC-16 | Раздел ADR-naming фиксирует формат ADR-NNN-<slug>.md (с 001, kebab) | PASS |
|
||||
| TC-17 | ADR-naming совпадает с реальными ADR в репо | PASS |
|
||||
| TC-18 | CLAUDE.md ссылается на docs/_standards/PIPELINE_DOCS.md | PASS |
|
||||
| TC-19 | docs/architecture/README.md ссылается на стандарт | PASS |
|
||||
| TC-20 | CHANGELOG.md содержит запись ORCH-52b/ORCH-075 в Unreleased | PASS |
|
||||
| TC-21 | Регресс: полный прогон pytest tests/ зелёный | PASS |
|
||||
|
||||
### Сопоставление с критериями приёмки (03-acceptance-criteria.md)
|
||||
|
||||
| AC | Критерий | Результат |
|
||||
|----|----------|-----------|
|
||||
| AC-1 | Манифест создан, покрывает весь набор + владелец/категория | PASS (TC-01..04) |
|
||||
| AC-2 | Шаблоны для каждого required/when-applicable + frontmatter-ключи + секции | PASS (TC-05..14) |
|
||||
| AC-3 | ADR-naming зафиксирован | PASS (TC-16) |
|
||||
| AC-4 | Согласованность с эталонами и кодом | PASS (TC-15,17; reviewer сверил с src/) |
|
||||
| AC-5 | Ссылки + CHANGELOG обновлены | PASS (TC-18..20) |
|
||||
| AC-6 | Код гейтов НЕ изменён (docs-only) | PASS — `git diff origin/main...HEAD -- src/` пуст; затронуты только `docs/**`, `CLAUDE.md`, `CHANGELOG.md`, `tests/test_orch_52b_docs_standard.py` |
|
||||
| AC-7 | Манифест различает machine-verdict и информационные доки | PASS (reviewer подтвердил врезки `advance_stage` и разметку гейтов) |
|
||||
|
||||
## Вывод pytest
|
||||
```
|
||||
........................................................................ [ 97%]
|
||||
......................... [100%]
|
||||
=============================== warnings summary ===============================
|
||||
src/config.py:5: PydanticDeprecatedSince20: ...
|
||||
1177 passed, 1 warning in 38.08s
|
||||
```
|
||||
```
|
||||
tests/test_orch_52b_docs_standard.py — 20 passed, 1 warning in 0.39s
|
||||
```
|
||||
|
||||
## Итог
|
||||
**PASS** — полный регресс зелёный (1177 passed), профильная сюита зелёная (20 passed),
|
||||
smoke API OK, изменение строго docs-only (AC-6 подтверждён: `src/` не тронут).
|
||||
Задача готова к стадии `deploy-staging`.
|
||||
Reference in New Issue
Block a user