Compare commits
47 Commits
86b013c872
...
feature/OR
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
b1a7470a16 | ||
|
|
dffd151434 | ||
| c2369db808 | |||
| 4fbc8d99e3 | |||
| 78b6cdb3f1 | |||
| feb8bc188b | |||
| 9647fe1ffb | |||
| eadfd8419b | |||
| 1f9c128a48 | |||
| e9e8b1e246 | |||
| 9953275eed | |||
| a37de1d890 | |||
| 9e10bea500 | |||
| 2f72390dba | |||
| 9c522e9f76 | |||
| 8c2fa5de6d | |||
|
|
2686e3e99f | ||
| cdc5e5c548 | |||
| b77d412c36 | |||
| b38cc16041 | |||
| 6b14b07f40 | |||
| d528f77b03 | |||
| c8aab19958 | |||
| af86c7fabb | |||
| 7fa381d814 | |||
| e0f44cc4ef | |||
|
|
b243343cd5 | ||
| fe35b2224a | |||
| 08ca4ab258 | |||
| a46dcbcab3 | |||
| db4dd275e4 | |||
| 8959e0e3f4 | |||
| f36528705e | |||
| 5e01df00eb | |||
| fcb40eb4bb | |||
| b86fc9043f | |||
| fbedd0485b | |||
|
|
f9ce5ca1b8 | ||
| 7863932012 | |||
| 74418893d7 | |||
| 0b25fc1527 | |||
| 3d0f51512b | |||
| 520373a694 | |||
| cf0a72a46b | |||
| 1a52fcba9e | |||
| 33b7fd57ff | |||
|
|
6feae55a4b |
49
.env.example
49
.env.example
@@ -139,6 +139,17 @@ ORCH_SERIAL_GATE_FREEZE_ENABLED=true
|
||||
# for enduro too).
|
||||
ORCH_STOP_STATUS_ENABLED=true
|
||||
ORCH_STOP_STATUS_REPOS=
|
||||
# ORCH-094: terminal-window-aware guard for the three deploy-phase Plane status
|
||||
# setters (set_issue_awaiting_deploy / set_issue_deploying / set_issue_monitoring).
|
||||
# A DB stage=done task converges to Done idempotently instead of flapping
|
||||
# Awaiting <-> Monitoring, EXCEPT the legitimate post-deploy Monitoring while the
|
||||
# window is active (ARMED & not DONE). Leaf src/deploy_status_guard.py, never-raise;
|
||||
# STAGE_TRANSITIONS / QG_CHECKS / machine-verdict keys untouched (no DB migration).
|
||||
# DEPLOY_STATUS_GUARD_ENABLED=false -> setters are terminal-blind (1:1 pre-ORCH-094).
|
||||
# DEPLOY_STATUS_GUARD_REPOS (CSV) -> scope; EMPTY = self-hosting only (orchestrator),
|
||||
# the only repo where deploy-phase statuses are set.
|
||||
ORCH_DEPLOY_STATUS_GUARD_ENABLED=true
|
||||
ORCH_DEPLOY_STATUS_GUARD_REPOS=
|
||||
# ORCH-071/073: merge-verify under-gate on the `deploy -> done` edge (врезка in
|
||||
# advance_stage, NOT a new STAGE_TRANSITIONS edge / registered QG). A deterministic
|
||||
# merge-actor merges the feature code-PR via the Gitea PR-merge API (never push/
|
||||
@@ -166,6 +177,22 @@ ORCH_MERGE_PR_TIMEOUT_S=60
|
||||
ORCH_MERGE_VERIFY_TIMEOUT_S=60
|
||||
ORCH_REGRESSION_GUARD_ENABLED=true
|
||||
ORCH_MERGE_VERIFY_AUTOCREATE_PR_ENABLED=true
|
||||
# ORCH-093: deterministic merge-actor retry of TRANSIENT Gitea merge errors. merge_pr
|
||||
# wraps ONLY the mutating POST /pulls/{n}/merge in a bounded exponential-backoff
|
||||
# retry-loop on transient outcomes (405 "try again later" / 408 / 5xx / network /
|
||||
# timeout, and 409|422 while the PR is still mergeable); terminal outcomes
|
||||
# (403/404/real conflict) -> fast honest False (the ORCH-071/081 HOLD backstop is
|
||||
# unchanged). Fixes the ORCH-063 false HOLD + manual re-merge. The already-in-main
|
||||
# guard (no commits beyond origin/main -> no garbage PR) is always-on under
|
||||
# MERGE_VERIFY_AUTOCREATE_PR_ENABLED (no separate flag).
|
||||
# MERGE_RETRY_ENABLED -> kill-switch; false -> exactly one POST (one-shot, prior behaviour).
|
||||
# MERGE_RETRY_MAX_ATTEMPTS -> max POST attempts on a transient outcome.
|
||||
# MERGE_RETRY_BACKOFF_BASE_S -> exponential backoff base seconds (sleep = base*2^(i-1)).
|
||||
# MERGE_RETRY_BACKOFF_MAX_S -> per-sleep backoff ceiling seconds (bounds total wait).
|
||||
ORCH_MERGE_RETRY_ENABLED=true
|
||||
ORCH_MERGE_RETRY_MAX_ATTEMPTS=3
|
||||
ORCH_MERGE_RETRY_BACKOFF_BASE_S=2
|
||||
ORCH_MERGE_RETRY_BACKOFF_MAX_S=5
|
||||
# ORCH-036: executable self-deploy of the `deploy` stage. For the self-hosting repo
|
||||
# (orchestrator) the stage REALLY restarts prod (8500) via a detached host hook;
|
||||
# deploy_status: SUCCESS means proven health-ok, not an LLM declaration. Three
|
||||
@@ -345,6 +372,28 @@ ORCH_SECURITY_SCAN_TIMEOUT_S=300
|
||||
ORCH_SECURITY_DEP_AUDIT_FAIL_CLOSED=false
|
||||
ORCH_SECURITY_SECRETS_BLOCK=true
|
||||
|
||||
# ORCH-027: coverage-gate (deterministic test-coverage) on the deploy-staging ->
|
||||
# deploy edge, run AFTER the merge-gate and BEFORE image-freshness. Measures line
|
||||
# coverage of src/ with pytest-cov in the per-branch worktree, compares to an absolute
|
||||
# floor and/or the ratchet baseline of `main`; FAIL -> rollback to development +
|
||||
# developer-retry (cap 3). Verdict in the 18-coverage-report.md frontmatter
|
||||
# (coverage_status:). See ADR-001-coverage-gate.md.
|
||||
# GATE_ENABLED -> global kill-switch; false -> pipeline 1:1 as before ORCH-027.
|
||||
# GATE_REPOS -> CSV of repos where the gate is REAL; empty -> only self-hosting.
|
||||
# MIN_PERCENT -> absolute floor (% line coverage) for policy absolute/both.
|
||||
# POLICY -> absolute | baseline | both (default both).
|
||||
# EPSILON -> noise tolerance (%) at the boundary (anti-flap).
|
||||
# TOOL_FAIL_CLOSED -> strict mode: a coverage-tool error -> FAIL instead of the
|
||||
# default fail-open + warning (anti-loop). Default false.
|
||||
# RUN_TIMEOUT_S -> wall-clock budget for the pytest --cov run.
|
||||
ORCH_COVERAGE_GATE_ENABLED=true
|
||||
ORCH_COVERAGE_GATE_REPOS=
|
||||
ORCH_COVERAGE_MIN_PERCENT=0.0
|
||||
ORCH_COVERAGE_POLICY=both
|
||||
ORCH_COVERAGE_EPSILON=0.5
|
||||
ORCH_COVERAGE_TOOL_FAIL_CLOSED=false
|
||||
ORCH_COVERAGE_RUN_TIMEOUT_S=900
|
||||
|
||||
# ORCH-021: post-deploy production monitoring + degradation reaction. After the
|
||||
# terminal deploy->done transition for an applicable repo, a reserved-agent job
|
||||
# `post-deploy-monitor` (no LLM, modelled on deploy-finalizer) probes prod over a
|
||||
|
||||
@@ -1,4 +1,4 @@
|
||||
Work item: ORCH-091
|
||||
Work item: ORCH-093
|
||||
Repo: orchestrator
|
||||
Branch: feature/ORCH-091-bug-to-analyse-stage-deploy-st
|
||||
Branch: feature/ORCH-093-bug-merge-gitea-405-5xx-hold-p
|
||||
Stage: development
|
||||
31
CHANGELOG.md
31
CHANGELOG.md
@@ -3,6 +3,37 @@
|
||||
Формат: [Keep a Changelog](https://keepachangelog.com/). Записи — на смысловой PR/задачу.
|
||||
|
||||
## [Unreleased]
|
||||
- **Детерминированный гейт покрытия тестами — защита от тихой деградации coverage перед merge в `main`** (ORCH-027, `feat`): существующие тестовые гейты (`check_ci_green`, `check_tests_passed`, merge-gate re-test) судят только по **факту** прохождения, не по **полноте** — ни один не замечает «300 строк кода, 0 тестов», и при пакетном автономном прогоне (ORCH-088) покрытие монотонно деградирует. Введён детерминированный (без LLM) под-гейт ребра `deploy-staging → deploy` по образцу security-гейта (ORCH-022): leaf `src/coverage_gate.py` (never-raise) + тонкая обёртка `check_coverage_gate` в `QG_CHECKS` + врезка `_handle_coverage_gate` в `advance_stage`. **Аддитивно:** `STAGE_TRANSITIONS` / семантика существующих `check_*` / machine-verdict ключи (`verdict:`/`result:`/`deploy_status:`/`staging_status:`/`security_status:`) — байт-в-байт прежние; новая БД-таблица аддитивна (NFR-5/AC-8). См. `docs/work-items/ORCH-027/06-adr/ADR-001-coverage-gate.md`, сквозной `docs/architecture/adr/adr-0029-coverage-gate.md`.
|
||||
- **Точка/порядок (D1, AC-2):** под-гейт исполняется **ПОСЛЕ merge-gate** (покрытие меряется на догнанном `auto_rebase_onto_main` HEAD — ровно том коде, что landed в `main`) и **ДО image-freshness** (фейл до дорогого docker-rebuild). FAIL → штатный откат на `development` (+ инкремент developer-retry, cap `MAX_DEVELOPER_RETRIES`) **и освобождение merge-lease** (merge-gate держал его на своём PASS — зеркало image-freshness rollback, TR-2). `STAGE_TRANSITIONS` не меняется (под-гейт, как security/merge/image-freshness).
|
||||
- **Измерение (D2, FR-1/AC-1):** `python -m pytest tests/ --cov=src --cov-report=json` в изолированном per-branch worktree (`ensure_worktree`, прецедент `check_tests_local`); метрика — `totals.percent_covered` (line coverage `src/`). Измеритель инкапсулирован за `measure_coverage(repo, branch) -> float | None` (стек-расширяемость BR-6: jest/jacoco — новая ветка `measure_*`, без переписывания ядра). Тайм-аут `coverage_run_timeout_s`. Новая pip-зависимость `pytest-cov==5.0.0` (offline на момент замера).
|
||||
- **Чистая функция решения (D3, FR-2/AC-3):** `compute_coverage_verdict(measured, baseline, floor, policy, epsilon) -> (ok, reason)` — детерминированная, без LLM/IO. `absolute` → `measured ≥ floor−ε`; `baseline` → `measured ≥ baseline−ε`; `both` (дефолт) → оба; `baseline is None` (bootstrap) → baseline-условие не применяется (нельзя регрессировать против пустоты). `epsilon` — допуск на шум измерения (NFR-4, анти-флап у границы). Покрыто unit-тестами всех режимов/границ/epsilon.
|
||||
- **Базовая линия + ratchet (D4/D5, FR-4/AC-4):** аддитивная БД-таблица `coverage_baseline(repo PK, coverage, source_sha, updated_at)` (`CREATE TABLE IF NOT EXISTS`, паттерн `repo_freeze`/`job_deps`; существующие таблицы не мигрируются). Хелперы `db.get_coverage_baseline`/`ratchet_coverage_baseline`/`set_coverage_baseline`/`all_coverage_baselines`. Наращивание **только вверх** в choke-point подтверждённого merge `_handle_merge_verify` (ребро `deploy → done`): `coverage_gate.ratchet_baseline_on_merge` читает измеренное из `18-coverage-report.md` (single source of truth) и применяет **атомарный compare-and-set** `UPDATE … WHERE coverage <= measured` (или `INSERT` — bootstrap) под держимым merge-lease (ORCH-043) → базовая линия никогда не падает даже при гонке. Меньшее значение базовую линию не понижает.
|
||||
- **Условность + fail-open (D6, FR-5/FR-6/AC-5/AC-6):** `coverage_gate_applies(repo)` (локально) ПЕРВЫМ — дорогой прогон только при `applies==True`. `coverage_gate_enabled=False` → инертно (1:1 как до ORCH-027); `coverage_gate_repos` (CSV; **пусто → self-hosting only** `is_self_hosting_repo`, как security/merge/image-freshness) → enduro-trails не затронут (no-op `(True, "N/A")`). Ошибка/недоступность coverage-инструмента или непарсимая метрика → **fail-open + WARNING** по умолчанию (`coverage_tool_fail_closed=False`, анти-петля по образцу ORCH-061/022 dep-audit); флаг переключает в fail-closed.
|
||||
- **Машинный вердикт + наблюдаемость (D7/D8, FR-7/AC-9):** артефакт `18-coverage-report.md` (frontmatter `coverage_status: PASS|FAIL` + `measured_coverage`/`baseline`/`floor`/`policy`/`epsilon`/`delta`), вердикт читается ТОЛЬКО из frontmatter через `src/frontmatter.parse_frontmatter` (ORCH-052c, регистр фиксирован); гейт сам пишет отчёт и читает вердикт обратно из того же файла (single source of truth, как `security_status:`). Read-only блок `coverage` в `GET /queue` (kill-switch/scope/policy/floor/epsilon/per-repo baselines). При FAIL — `send_telegram` с кликабельным номером (`link_for`), измеренным покрытием, порогом/базовой линией и дельтой. Опциональный ручной override `POST /coverage/baseline?repo=…&value=…` (по образцу `POST /serial-gate/unfreeze`) для легитимного разового снижения покрытия.
|
||||
- **Self-hosting безопасность (NFR-1/NFR-3/AC-7):** leaf не импортирует `stage_engine`; любое исключение перехвачено (never-raise); гейт только мерит/читает/пишет/решает — не деплоит, не рестартит прод-контейнер, не пушит/форс-пушит `main` (структурно проверено AST-тестом TC-12). Прод-деплой ORCH-027 — строго через staging-гейт (8501), без рестарта прод-контейнера (лейбл `arch:major-change`).
|
||||
- **Флаги (`config.py`, env `ORCH_COVERAGE_*`, `.env.example`):** `coverage_gate_enabled` (kill-switch), `coverage_gate_repos`, `coverage_min_percent` (дефолт 0.0 — безопасный раскат: no-regression ведёт ratchet-базовая линия, floor не фейлит в день один), `coverage_policy` (дефолт `both`), `coverage_epsilon` (0.5), `coverage_tool_fail_closed` (False), `coverage_run_timeout_s` (900). Откат: `ORCH_COVERAGE_GATE_ENABLED=false` → полный no-op (мгновенный обратимый kill-switch).
|
||||
- **Инфра-предусловие:** добавить `pytest-cov` в прод/staging-образ (`requirements.txt`). При первом применимом merge базовая линия засевается фактическим покрытием `main` (bootstrap). Тесты: `tests/test_coverage_gate.py` (TC-01…TC-15: режимы/границы/epsilon verdict, ratchet up-only + bootstrap + per-repo изоляция, applies/kill-switch, fail-open/closed, never-raise, write/read-back отчёта, self-hosting AST-safety, интеграция в `advance_stage` с откатом+release lease, реальное измерение pytest-cov на фикстур-репо + тайм-аут, snapshot + неизменность `QG_CHECKS`/`STAGE_TRANSITIONS`). Обновлены анти-регресс-реестры `QG_CHECKS` (`test_config`/`test_plane_status_model`/`test_qg_registry_snapshot`/`test_stages_invariants`) и edge-тесты `test_stage_engine` (`check_coverage_gate: _pass`). Полный регресс `tests/ -q` зелёный.
|
||||
- **Live-карточка трекера: HTML-инъекция «<1м» больше не застывает карточку — экранирование всех данных-полей на границе рендера** (ORCH-095, `fix`): карточка задачи (`src/notifications.py::render_task_tracker`) шлётся/редактируется с `parse_mode=HTML`. `_fmt_minutes` для стадии < 60 с возвращает литерал `"<1м"`, который интерполировался в HTML-текст **сырым** → Telegram парсит `<1м` как открывающий тег → `editMessageText` отвечает `400 can't parse entities: Unsupported start tag "1м"` → `edit_telegram` классифицирует как `EDIT_FAILED` → `update_task_tracker` делает ранний `return` (анти-дубль ORCH-087) → **карточка застывает** (детерминированно воспроизведено 09.06 на ORCH-093, `message_id 18854`). Корневой класс шире одного `<1м`: все подставляемые **данные** (длительности, статус-лейбл, модель, эффорт, токены/стоимость) вставлялись сырыми; экранирован был только заголовок (`esc_title`) и href/label внутри `plane_issue_link`. **Аддитивно, never-raise, без нового поведения конвейера:** `STAGE_TRANSITIONS` / `QG_CHECKS` / `check_*` / транспорт нотификаций / схема БД — **не тронуты** (затронут ровно один модуль индикативного слоя); kill-switch не требуется (исправление дефекта корректности, откат = `git revert`).
|
||||
- **Экранирование на границе рендера, не в источнике (ADR-001 D1/D2, AC-1/AC-2):** новый модуль-локальный хелпер `_esc(x) = html.escape(str(x))` (never-raise → `""` на исключении) оборачивает каждое подставляемое **данные-значение** (категория D) ровно один раз в точке интерполяции в `render_task_tracker`/`_stage_line`: длительности (`_fmt_minutes`/`_capped_review_str`), статус-лейбл (`_card_status_label`), модель (`short_model_name`), эффорт (`_run_effort`), токены/стоимость (`fmt_tokens`/`fmt_cost`). Функции-источники остаются **HTML-агностичными** (данные, не разметка): `src/usage.py` и `_fmt_minutes` не тронуты — `_fmt_minutes` продолжает возвращать `"<1м"`, безопасность даёт escape на границе (`<1м` рендерится оператору визуально идентично `<1м` → видимый формат не меняется).
|
||||
- **Категория M (намеренная разметка) неприкосновенна (D5, AC-3):** кликабельный номер задачи `num_html` (`plane_issue_link`, внутри уже экранированы href+label), `link_for(...)` в строке «⏳ ждёт …», `_done_link(...)` («🔗 PR #n · 📦 Внедрено») и уже-экранированный `esc_title` через `_esc` **не** проходят → остаются валидным HTML, номер остаётся кликабельным. Двойное экранирование (`&lt;`) структурно исключено: D-слот → `_esc` ровно один раз, M-слот → as-is.
|
||||
- **Defence-in-depth (D3):** экранируются и сейчас-безопасные D-поля (токены/стоимость/модель дают только цифры/`.`/`k`/`M`/`$`/`^claude-…$`) — escape для них no-op, выгода — структурный инвариант «каждый D-слот экранирован», устойчивый к будущей смене формата источника.
|
||||
- **Восстановление застрявших карточек (D4, AC-4):** механизм — достаточное условие FR-4 без нового кода: на ближайшем переходе стадии `update_task_tracker` рендерит новый безопасный текст → `edit_telegram` отвечает `200` → застрявшая карточка обновляется на месте. Переклассификация `can't parse entities` → переотправка **отвергнута** (после фикса источник из наших данных устранён структурно; касание ветки `EDIT_FAILED`/леджера рискует анти-дублем ORCH-087). Known-limitation (унаследовано ORCH-087/Telegram-48ч): карточка задачи, завершившейся до деплоя фикса, не восстанавливается (нет будущего рендера).
|
||||
- **Трассировка:** перед правкой блоков, помеченных ORCH-042/067/087/091, прочитаны их ADR — инварианты (одна карточка на задачу, леджер сирот + анти-дубль, отражение откатов + суммирование `_stage_line`, строка Plane-статуса/кликабельный номер) сохранены по построению (ORCH-095 лишь оборачивает уже вычисленные D-значения в `_esc`, не меняя состав строк/порядок/логику подавления).
|
||||
- Тесты: новый `tests/test_tracker_html_escape.py` (TC-01..TC-11: sub-minute escape на границе, never-raise `_fmt_minutes`/`_esc` на граничных входах, рендер sub-minute без сырого `<1м`, заголовок со спецсимволами без двойного экранирования, escape статус-лейбла/модели/эффорта, HTML-безопасность токенов/стоимости, регресс кликабельного `<a href>` номера и `_done_link`, parse-safe edit-payload, edit-in-place без новой карточки + анти-дубль на транзиентном фейле, never-raise на битых входах). Полный регресс `tests/ -q` зелёный (1437). ADR: `docs/work-items/ORCH-095/06-adr/ADR-001-html-safe-card-data-render.md`. Откат: `git revert` (один модуль + тесты + CHANGELOG, без миграций/kill-switch).
|
||||
- **Терминальная (done) задача держит `Done` в Plane: terminal-window-aware гард deploy-статусов** (ORCH-094, `fix`): задача с БД `stage=done` и 0 активных job'ов (верифицировано на ORCH-061, task 47) стабильно флаппила в Plane `Awaiting Deploy ⟷ Monitoring after Deploy` (273 активности парами, само не затихает) вместо `Done`. Корень: три deploy-фазовых сеттера (`set_issue_awaiting_deploy`/`set_issue_deploying`/`set_issue_monitoring`) **терминал-слепы** — любой стейл/двойной/неизвестный вызов под бот-токеном перезаписывает `Done` промежуточным deploy-статусом, и обратно, бесконечно. **Аддитивно, never-raise, под kill-switch, в зоне self-hosting:** `STAGE_TRANSITIONS` / `QG_CHECKS` / `check_*` / machine-verdict ключи (`deploy_status:`/`staging_status:`/…) / схема БД — **не тронуты** (читается существующая `tasks.stage`, без миграции).
|
||||
- **Единый гард на низком чокпоинте (FR-2, D1/D2):** новый leaf `src/deploy_status_guard.py` (чистая, never-raise, config-gated логика; по образцу `serial_gate.py`/`labels.py`/`cancel.py`) — `decide(work_item_id, target, reason) -> ALLOW | CONVERGE_DONE | SUPPRESS`. Гард ставится на **входе** трёх сеттеров `plane_sync` (а не в caller'ах `stage_engine`) → перехватывает **любой** путь, включая неизвестный актор под бот-токеном. Предикат легитимности: deploy-статус легитимен ⇔ задача **нетерминальна** ИЛИ (`done` **И** активно пост-деплой-окно `post_deploy.window_active` = ARMED & не DONE). Для `done`: `monitoring`+окно-активно → `ALLOW`; иначе → `CONVERGE_DONE` (сеттер вместо PATCH'а зовёт `set_issue_done`, идемпотентно). `cancelled` → `SUPPRESS` (не штампуем поверх терминала ORCH-090). Нетерминальная задача → `ALLOW` (рабочий deploy-цикл 1:1, AC-4). Task не найден / не-self репо / kill-switch off / любое исключение → `ALLOW` (fail-safe к прежнему поведению 1:1, NFR-1).
|
||||
- **Перенос арм-блока перед terminal-sync (D3, AC-4):** в `advance_stage` (ветка `next_stage=="done"`) блок `post_deploy.arm_monitor` перемещён **выше** блока `set_issue_monitoring` (стр. 404). Критично: `update_task_stage(task_id,"done")` пишет `stage='done'` **раньше** легитимного первого `Monitoring` — без переноса гард ошибочно свёл бы его к Done. Арм-первым пишет `ARMED` → `window_active==True` → `ALLOW` пропускает легитимный `Monitoring`; re-drive `deploy→done` **после** закрытия окна (`DONE` present) → `window_active==False` → `CONVERGE_DONE` (не воскрешает `Monitoring`). Перенос безопасен: `arm_monitor` лишь пишет sentinel + ставит отложенный job, не зависит от Plane-статуса/merge-lease (release остаётся после terminal-sync). Инварианты ORCH-021 (идемпотентный арм по `ARMED`) и ORCH-066 (`deploy→done` self ⇒ `Monitoring`) сохранены.
|
||||
- **Харднинг пост-деплой-монитора (FR-3, D4, AC-3):** `run_post_deploy_monitor` — существующий идемпотентный страж `has_marker(DONE)` (no-op завершённого окна) сохранён; аддитивно: тик при БД `stage='cancelled'` мид-окно → закрыть окно `mark_done` **без статус-PATCH и без перепостановки** следующего тика (zombie-tick guard). Перепостановка остаётся строго при `HEALTHY and ticks < budget` (тик ≡ job; нет job → нет тика). После закрытия окна — 0 последующих статус-PATCH; любой стейл `set_issue_monitoring` добивается гардом D2.
|
||||
- **Наблюдаемость (FR-4, D5, AC-5):** аддитивный BC-kwarg `reason: str | None = None` у трёх сеттеров; call-site'ы передают `"advance:deploy->done"`/`"phase_a"`/`"phase_b"`. `decide` эмитит ОДНУ структурную запись на вызов: `work_item`, `caller(reason)`, `target_status`, `db_stage`, `window_active`, `verdict` (`ALLOW` → INFO; `CONVERGE_DONE`/`SUPPRESS` → WARNING, «что подавили и почему» — атрибуция будущего флаппа). Новый read-only аксессор `db.get_task_by_work_item_id` (human-readable `work_item_id` матчит живой ряд; тумбстоны ORCH-090 имеют суффикс `#cancelled-<id>`).
|
||||
- **Конфиг/откат (FR-5, D6):** `src/config.py` `deploy_status_guard_enabled: bool = True` (env `ORCH_DEPLOY_STATUS_GUARD_ENABLED`; `False` → сеттеры терминал-слепы, поведение **1:1** прежнее) / `deploy_status_guard_repos: str = ""` (env `ORCH_DEPLOY_STATUS_GUARD_REPOS`; CSV, **пусто → self-hosting only** — не-self репо (enduro) гард не трогает, нулевая регрессия). Откат: `ORCH_DEPLOY_STATUS_GUARD_ENABLED=false` (мгновенный runtime) или revert ветки.
|
||||
- **Источник флаппа (BR-7):** code-писатели deploy-статусов — только `stage_engine.py:404/1218/1316`; реконсилятор F-2 эти статусы не перебирает; live-overlay `notifications.py` — read-only. Гард — **буфер на стороне орка**, гасящий маятник за один цикл независимо от актора (известный/стейл/неизвестный под бот-токеном). Если актор — внешняя Plane-automation под другим токеном, code-фикс не закрывает её полностью, но идемпотентное схождение к Done нейтрализует видимый эффект.
|
||||
- **Трассировка:** перед правкой блока `next_stage=="done"` (маркеры ORCH-021/066/043/088) прочитаны их ADR — инварианты сохранены (deploy→done self ⇒ Monitoring; монитор-close ⇒ Done; терминал-набор `{done,cancelled}`). Тесты: `tests/test_deploy_status_terminal_guard.py` (TC-01..05/12), `tests/test_post_deploy_monitor_termination.py` (TC-06..08), `tests/test_deploy_status_observability.py` (TC-09), `tests/test_reconciler_done_deploy_convergence.py` (TC-10), `tests/test_self_deploy_cycle_regression.py` (TC-11). Обновлены анти-регресс-ассерты `tests/test_deploy_terminal_sync.py`/`test_deploy_approve.py` под `reason`-kwarg. Полный регресс `tests/ -q` зелёный (1411). ADR: `docs/work-items/ORCH-094/06-adr/ADR-001-terminal-window-aware-deploy-status-guard.md`, сквозной `docs/architecture/adr/adr-0028-terminal-window-aware-deploy-status-guard.md`.
|
||||
- **Merge-актор ретраит транзиентные ошибки Gitea (405/5xx) + гард «ветка уже в `main`»** (ORCH-093, `fix`): две точечные доработки детерминированного merge-актора `src/merge_gate.py`, чинящие инцидент **ORCH-063**: self-deploy прошёл, staging OK, PR был `open`+`mergeable`, но `POST /pulls/{n}/merge` вернул `HTTP 405 "Please try again later"` (Gitea пересчитывал `mergeable` сразу после пуша) → one-shot `merge_pr` мгновенно вернул `False` → корректная защита ORCH-071/081 удержала задачу на `deploy` + потребовала ручной домерж; повторный прогон финализатора плодил мусорный пустой PR. **Аддитивно, never-raise, под существующими kill-switch'ами:** `STAGE_TRANSITIONS` / `QG_CHECKS` / схема БД — **не тронуты**; INV-4 (мерж только через Gitea PR-merge API, никогда `push`/`force-push` в `main`) сохранён 1:1.
|
||||
- **Retry-loop транзиента (FR-1/FR-2, AC-1/AC-2/AC-3, D1/D2):** `merge_pr` оборачивает **только** мутирующий `POST …/merge` в ограниченный retry-loop с экспоненциальным backoff (`min(base*2^(i-1), max)`, дефолты 2/5 с → суммарный сон `(N-1)*max ≤ 10 с`, monitor-поток не подвешивается). Классификатор `_classify_merge_response`: **транзиент** (ретрай) — `405`/`408`/любой `5xx`/`httpx`-таймаут/сетевая ошибка, **и** `409`/`422` когда PR всё ещё mergeable; **терминал** (быстрый честный `False`, защита ORCH-071/081 как прежде) — `403`/`404`/реальный конфликт (`409`/`422` при `mergeable==False`). Неоднозначный `409`/`422` разрешается доп. `GET /pulls/{index}` → `mergeable`; дефолт-политика `mergeable==None`/недоступно → **транзиент** (fail-OPEN-в-ретрай: икота Gitea — наблюдаемый кейс, бюджет конечен, backstop сохранён). Каждая попытка логируется `attempt i/N` (образец `check_ci_green`).
|
||||
- **Гард already-in-main (FR-3/FR-4, AC-4, D3/D4):** новый leaf `_branch_fully_in_main` (`git merge-base --is-ancestor HEAD origin/main` в per-branch worktree) вызывается в `ensure_open_pr` **между** «открытый code-PR не найден» и `POST …/pulls`: ветка целиком в `main` (нет коммитов `origin/main..HEAD`) → новый исход `"already-in-main"` **без создания PR** (нет мусорного пустого PR на уже влитой ветке). git-ошибка/ambiguous (`None`) → **fail-OPEN** (деградация на create-путь, НЕ ложный no-op). В `stage_engine._handle_merge_verify` исход `already-in-main` **пропускает** `merge_pr` (мержить нечего) и отдаёт авторитетному SHA-in-main (`verify_merged_to_main`) довести до `done`; это НЕ HOLD. SHA-in-main остаётся единственным доказательством мержа (ADR-0014).
|
||||
- **Конфиг/откат (FR-5, AC-5/AC-7, D5):** новые поля `src/config.py` `merge_retry_enabled` (kill-switch; `False` → ровно один POST = байт-в-байт прежнее one-shot, нулевая регрессия) / `merge_retry_max_attempts` (3) / `merge_retry_backoff_base_s` (2) / `merge_retry_backoff_max_s` (5), env `ORCH_MERGE_RETRY_*`, дескрипторы в `.env.example`. Гард already-in-main — без отдельного флага (накрыт `merge_verify_autocreate_pr_enabled`). Откат: `ORCH_MERGE_RETRY_ENABLED=false` (мгновенный runtime) или revert PR.
|
||||
- **Трассировка:** перед правкой `merge_pr`/`ensure_open_pr`/`_handle_merge_verify` прочитаны ADR ORCH-071/073/082 — инварианты (SHA-in-main authoritative, never-raise, idempotency-guard `pr_already_merged`, base==main фильтр code-PR) сохранены; в `MAIN_REGRESSION_MARKERS` добавлена строка `("ORCH-093", "_classify_merge_response", "src/merge_gate.py")` (append-only).
|
||||
- Тесты: `tests/test_merge_gate.py` (TC-01..TC-12: 405×2→200, 5xx→200, network→200, реальный конфликт/403 терминал, ambiguous-mergeable, исчерпание ретраев, kill-switch one-shot, already-in-main без POST, create при коммитах сверх main, fail-OPEN на git-ошибке гарда, never-raise; `httpx` мокается, `time.sleep` → no-op), `tests/test_config.py` (TC-13: дефолты + env-override `ORCH_MERGE_RETRY_*`), `tests/test_merge_verify.py` (TC-14..TC-16: already-in-main пропускает `merge_pr`→done; исчерпание+SHA-not-in-main→HOLD; транзиент-успех→done). Обновлён `tests/test_orch082_ensure_pr.py` (гард запинён на create-путь — у гарда своё покрытие). Полный регресс `tests/ -q` зелёный (1389). ADR: `docs/work-items/ORCH-093/06-adr/ADR-001-merge-transient-retry-and-already-in-main-guard.md`, сквозной `docs/architecture/adr/adr-0027-merge-actor-transient-retry-and-already-in-main.md`.
|
||||
- **Live-карточка трекера: полнота карты статусов, отражение откатов, суммирование метрик стадии по попыткам** (ORCH-091, `fix`): три верифицированных дефекта рендера Telegram-карточки (`src/notifications.py`, ORCH-067/087). **Аддитивно, never-raise, без нового поведения конвейера:** `STAGE_TRANSITIONS` / `QG_CHECKS` / `check_*` / транспорт нотификаций / схема БД — **не тронуты** (затронут ровно один модуль индикативного слоя); kill-switch не требуется (рендер деградирует безопасно, откат = `git revert`).
|
||||
- **Деф.1 — застрявший заголовок «To Analyse» (FR-1/2/3, AC-1/2/3):** `_STAGE_STATUS_LABEL` покрывал 8 из 10 ключей `STAGE_TRANSITIONS` — `deploy-staging` и `cancelled` (ORCH-090) выпадали в дефолт-«To Analyse» (ложный «первый статус» на стадии staging-деплоя). Карта расширена: `deploy-staging → "Deploying (staging)"` (plain-стиль активной стадии, суффикс «(staging)» снимает коллизию с prod-overlay `_LIVE_BRANCH_LABELS['deploying']` и с pause-лейблом `deploy`), `cancelled → "Cancelled"` (offline-база ORCH-090, совпадает с overlay-лейблом → нет конфликта precedence). Runtime-фолбэк `plane_status_label` для **немаппленной** (будущей/неизвестной) стадии заменён с «To Analyse» на **нейтральный** капитализированный лейбл (`_neutral_stage_label`, `"deploy-staging" → "Deploy Staging"`); `created` остаётся явным ключом → честная «To Analyse»; битый/None-вход → безопасный дефолт. Полнота карты гарантируется **программно** тестом, итерирующим `STAGE_TRANSITIONS.keys()` (единый источник истины) — новая стадия без курируемого лейбла даёт красный тест; автогенерация лейблов в самом модуле запрещена (карта остаётся курируемой/человекочитаемой).
|
||||
- **Деф.2 — ложная картина при откате (FR-4, AC-4):** цикл рендера выводил `✅`-строку для каждой стадии с завершённым прогоном её агента **без учёта позиции** относительно текущей — после отката (`deploy-staging → development` ORCH-043, `review → development` REQUEST_CHANGES) карточка показывала абсурд «✅ Внедрение … + 🔄 Разработка». Введён лёгкий read-only хелпер `_pipeline_pos` от **порядка `STAGE_TRANSITIONS`** (не от `_TRACKER_STAGES`, который не содержит `deploy-staging`/`cancelled` и не авторитетен по порядку); гейт подавления: `✅`-строка рисуется только если `current_pos >= _pipeline_pos(stage_key)`. Нормализация `deploy-staging → deploy` применяется **только** к вычислению текущей позиции (схлопнутая строка «Внедрение» несёт `stage_key="deploy"`); `is_active_stage` — **без изменений** (нулевой регресс активного рендера). Подавлённые откатом прогоны по-прежнему входят в тоталы задачи (намеренная семантика отката).
|
||||
|
||||
51
CLAUDE.md
51
CLAUDE.md
@@ -7,7 +7,7 @@
|
||||
- Backend: FastAPI + uvicorn (Python 3.12)
|
||||
- БД: SQLite (`src/db.py`)
|
||||
- Агенты: Claude CLI (`ORCH_CLAUDE_BIN`), по одному промпту на роль в `.openclaw/agents/`. **ORCH-74:** модель/эффорт агента берутся ТОЛЬКО из config (`resolve_agent_model`/`resolve_agent_effort`, ORCH-41) — frontmatter `model:` удалён как мёртвый, frontmatter описательный; имя модели валидируется форматом `^claude-…$` перед `--model` (never-break). **ORCH-077 (52d, замыкает эпик 52):** тело всех 6 промптов переписано в едином **каноне Anthropic** (5 обязательных XML-секций в нормативном порядке `<context>`→`<task>`→`<deliverables>`→`<constraints>`→`<output_format>`, запреты в формате «❌ X → ✅ Y», `<thinking>` у решающих ролей), и каждый промпт **добровольно** эмитит 6-польную frontmatter-схему 52c (`work_item`/`stage`/`author_agent`/`status`/`created_at`/`model_used`) **аддитивно** — рядом с machine-verdict ключом, НЕ меняя его имя/регистр/значения (`verdict:`/`result:`/`staging_status:`/`deploy_status:`/`security_status:` — байт-в-байт). Это **docs/prompts-only** изменение: `src/**`/`STAGE_TRANSITIONS`/`QG_CHECKS`/схема БД не тронуты; `frontmatter_validation_strict` остаётся `False` (enforcement НЕ включён). Промпт `cat`-ается из worktree в момент запуска → новые промпты вступают в силу на следующем worktree от `main` без прод-рестарта. Анти-регресс — структурные тесты `tests/test_agent_prompts_canon.py` + зелёный `test_agent_frontmatter_no_model.py`. **Норматив на будущее:** новые/изменённые агент-промпты следуют этому канону. Детали — `docs/architecture/adr/adr-0021-prompt-canon-anthropic.md`. **ORCH-092 (эпилог эпика 52, docs/prompts-only):** аудит 6 промптов поверх канона — копируемые frontmatter-примеры расхардкожены (`created_at: <YYYY-MM-DD>`/`model_used: <resolve ORCH-41>` + врезка «подставь `date +%F`/модель из конфига, не копируй буквально»; литерал `claude-opus-4-8` — только справка в таблице полей); добавлена секция `<escalation>` developer/reviewer/tester (после `</success_criteria>`, порядок 5 секций цел); developer лишён ручного `git rebase origin/main` (свежесть базы — инвариант движка serial-gate ORCH-088 + `auto_rebase_onto_main` под merge-lease; ручной rebase конфликтовал с запретом force-push — ADR-001 D1); tester обогащён worktree-путём + smoke `serial_gate` + покрытием каждого TC; из reviewer удалена мёртвая строка «тот же экземпляр Developer». **Языковое исключение (нормативно, ADR-001 D2):** `deployer.md` сознательно остаётся на **английском** (5 ru + 1 en) как самый safety-critical промпт — НЕ «чинить» язык вслепую; критичные self-hosting-запреты подняты в видную рамку. Verdict-ключи и канон 52d — байт-в-байт; анти-регресс — `tests/test_agent_prompts_canon.py` (ORCH-092 TC-01…TC-08). Детали — `docs/work-items/ORCH-092/06-adr/ADR-001-developer-rebase-and-deployer-language.md`.
|
||||
- Очередь задач: собственная (SQLite `jobs`, `src/queue_worker.py`, ORCH-1). **ORCH-026:** `claim_next_job` гейтит задачи с незавершёнными зависимостями (`job_deps`, `NOT EXISTS`) без занятия слота `max_concurrency`; декларации/детект циклов — leaf `src/task_deps.py` (kill-switch `ORCH_TASK_DEPS_ENABLED`). Сериализация мержа одного репо — безусловный pre-merge rebase под merge-lease (`ORCH_PREMERGE_REBASE_ALWAYS`). **ORCH-088 (serial gate, Этап 1):** новая задача репо не входит в `analysis` (analyst-job не выбирается, ветка не режется), пока в репо есть **более ранняя** незавершённая задача (`t2.id < jobs.task_id`, FIFO) ИЛИ репо заморожен (`repo_freeze`). Срез ветки **отложен** со `start_pipeline` на момент claim analyst-job (`launcher._materialize_deferred_branch`) — база = свежий `origin/main` с кодом предшественника (анти-stale-base). Post-deploy `DEGRADED` → durable per-repo freeze (`repo_freeze`, `cleared_at IS NULL` = активен) + Telegram; снятие — вручную `POST /serial-gate/unfreeze?repo=…`. Leaf `src/serial_gate.py` (claim — fail-OPEN, freeze — fail-CLOSED); флаги `ORCH_SERIAL_GATE_ENABLED` (kill-switch), `ORCH_SERIAL_GATE_REPOS` (CSV; пусто = все репо), `ORCH_SERIAL_GATE_FREEZE_ENABLED`. Блок `serial_gate` в `GET /queue`. `STAGE_TRANSITIONS`/`QG_CHECKS` не тронуты.
|
||||
- Очередь задач: собственная (SQLite `jobs`, `src/queue_worker.py`, ORCH-1). **ORCH-026:** `claim_next_job` гейтит задачи с незавершёнными зависимостями (`job_deps`, `NOT EXISTS`) без занятия слота `max_concurrency`; декларации/детект циклов — leaf `src/task_deps.py` (kill-switch `ORCH_TASK_DEPS_ENABLED`). Сериализация мержа одного репо — безусловный pre-merge rebase под merge-lease (`ORCH_PREMERGE_REBASE_ALWAYS`). **ORCH-088 (serial gate, Этап 1):** новая задача репо не входит в `analysis` (analyst-job не выбирается, ветка не режется), пока в репо есть **более ранняя** незавершённая задача (`t2.id < jobs.task_id`, FIFO) ИЛИ репо заморожен (`repo_freeze`). Срез ветки **отложен** со `start_pipeline` на момент claim analyst-job (`launcher._materialize_deferred_branch`) — база = свежий `origin/main` с кодом предшественника (анти-stale-base). Post-deploy `DEGRADED` → durable per-repo freeze (`repo_freeze`, `cleared_at IS NULL` = активен) + Telegram; снятие — вручную `POST /serial-gate/unfreeze?repo=…`. Leaf `src/serial_gate.py` (claim — fail-OPEN, freeze — fail-CLOSED); флаги `ORCH_SERIAL_GATE_ENABLED` (kill-switch), `ORCH_SERIAL_GATE_REPOS` (CSV; пусто = все репо), `ORCH_SERIAL_GATE_FREEZE_ENABLED`. Блок `serial_gate` в `GET /queue`. `STAGE_TRANSITIONS`/`QG_CHECKS` не тронуты. **ORCH-093 (merge-актор устойчив к икоте Gitea):** детерминированный merge-актор под-гейта `deploy → done` (`src/merge_gate.py`) ретраит **транзиентные** ошибки Gitea вместо ложного HOLD (инцидент ORCH-063: `POST …/merge` → `405 "try again later"` сразу после пуша). `merge_pr` оборачивает **только** мутирующий `POST …/merge` в ограниченный retry-loop с экспоненциальным backoff (`min(base*2^(i-1), max)`, потолок суммарного сна `(N-1)*max ≤ 10 с`); классификатор `_classify_merge_response`: транзиент (ретрай) — `405`/`408`/`5xx`/таймаут/сетевая + `409`/`422` при `mergeable==True` (доп. `GET /pulls/{index}`; `mergeable==None` → дефолт-транзиент, fail-OPEN-в-ретрай), терминал (быстрый честный `False`, защита ORCH-071/073 как прежде) — `403`/`404`/реальный конфликт (`mergeable==False`). Kill-switch `merge_retry_enabled=false` → ровно один POST (байт-в-байт прежнее one-shot); флаги `ORCH_MERGE_RETRY_*` (`max_attempts=3`, `backoff_base_s=2`, `backoff_max_s=5`). Гард **already-in-main** в `ensure_open_pr` (leaf `_branch_fully_in_main`, `git merge-base --is-ancestor HEAD origin/main`): ветка целиком в `main` → исход `"already-in-main"` без создания мусорного пустого PR; `_handle_merge_verify` пропускает `merge_pr` и отдаёт авторитетному SHA-в-main довести до `done` (НЕ HOLD); git-ошибка → fail-OPEN на create-путь. Без отдельного флага (накрыт `merge_verify_autocreate_pr_enabled`). INV-4 (мерж только через Gitea PR-merge API, никогда push/force-push в `main`), never-raise, `STAGE_TRANSITIONS`/`QG_CHECKS`/схема БД — сохранены. Детали — `docs/work-items/ORCH-093/06-adr/ADR-001-merge-transient-retry-and-already-in-main-guard.md`, сквозной `docs/architecture/adr/adr-0027-merge-actor-transient-retry-and-already-in-main.md`.
|
||||
- Контейнеризация: Docker + Compose
|
||||
- CI/CD: Gitea Actions (`.gitea/workflows/`)
|
||||
- Деплой: docker compose на mva154
|
||||
@@ -41,6 +41,8 @@ created → analysis → architecture → development → review → testing →
|
||||
## Статусная модель Plane (ORCH-066) — индикация ≠ управление
|
||||
Статусы Plane — это **слой B (индикация)**, отдельный от **слоя A (машина стадий)** `src/stages.py::STAGE_TRANSITIONS`. Plane показывает наблюдателю осмысленную картину (`Backlog → Todo → Analysis → Architecture → Development → Code-Review → Testing → Awaiting Deploy → Deploying → Monitoring after Deploy → Done` + человеческие гейты `In Review/Approved`, `Confirm Deploy`), но НИКОГДА не управляет конвейером. Маппинг и сеттеры — `src/plane_sync.py` (6 новых ключей: `to_analyse/analysis/code_review/awaiting_deploy/deploying/monitoring`), с project-relative alias-fallback: на частично сконфигурированном проекте новый ключ деградирует на базовый UUID ТОГО ЖЕ проекта (нулевая регрессия для enduro-trails). Детали — `docs/architecture/README.md`.
|
||||
|
||||
**Terminal-window-aware гард deploy-статусов (ORCH-094).** Задача с БД `stage=done` и 0 активных job'ов стабильно держит Plane=`Done`: три deploy-фазовых сеттера (`set_issue_awaiting_deploy`/`set_issue_deploying`/`set_issue_monitoring`) были терминал-слепы и флаппили `Awaiting ⟷ Monitoring` (верифицировано на ORCH-061, task 47), т.к. любой стейл/двойной/неизвестный вызов под бот-токеном перезаписывал терминал промежуточным статусом. Новый leaf `src/deploy_status_guard.py` (чистая, never-raise, config-gated; по образцу `serial_gate`/`labels`/`cancel`) — `decide(work_item_id, target, reason) -> ALLOW | CONVERGE_DONE | SUPPRESS` на **входе** трёх сеттеров `plane_sync` (низкий чокпоинт ловит любой путь, включая неизвестный актор). Инвариант: deploy-статус легитимен ⇔ задача **нетерминальна** ИЛИ (`done` И активно пост-деплой-окно `post_deploy.window_active` = ARMED & не DONE); иначе для `done` — идемпотентное `CONVERGE_DONE` (сеттер зовёт `set_issue_done`), для `cancelled` — `SUPPRESS`. Чтобы легитимный первый `Monitoring` (БД уже `done` к моменту стр. 404) прошёл, арм-блок `post_deploy.arm_monitor` **перенесён выше** terminal-sync-блока в `advance_stage` (ADR-001 D3) → `window_active==True` до выставления `Monitoring`. Монитор-тик при БД `cancelled` мид-окно → закрыть окно без статус-PATCH (zombie-tick guard, FR-3). Наблюдаемость: BC-kwarg `reason` у трёх сеттеров + одна структурная лог-запись на вердикт (`work_item`/`caller`/`target`/`db_stage`/`window_active`/`verdict`; converge/suppress → WARNING). Read-only аксессор `db.get_task_by_work_item_id`. Флаги `deploy_status_guard_enabled` (kill-switch; `False` → 1:1 прежнее) / `deploy_status_guard_repos` (CSV; **пусто → self-hosting only**, enduro не затронут). `STAGE_TRANSITIONS`/`QG_CHECKS`/`check_*`/machine-verdict/схема БД — не тронуты. Детали — `docs/work-items/ORCH-094/06-adr/ADR-001-terminal-window-aware-deploy-status-guard.md`, сквозной `docs/architecture/adr/adr-0028-terminal-window-aware-deploy-status-guard.md`.
|
||||
|
||||
## Нотификации / Telegram live-tracker (ORCH-042/066/067/087)
|
||||
Каждая задача = **одна карточка** в Telegram (`src/notifications.py`). Поведение карточки:
|
||||
- **Дефолт `tracker_mode` — `bump`** (ORCH-067; `edit` доступен через `ORCH_TRACKER_MODE=edit`).
|
||||
@@ -151,6 +153,51 @@ created → analysis → architecture → development → review → testing →
|
||||
`docs/work-items/ORCH-090/06-adr/ADR-001-stop-cancel-task.md`,
|
||||
`docs/architecture/adr/adr-0026-stop-cancel-task.md`.
|
||||
|
||||
## Гейт покрытия тестами (ORCH-027)
|
||||
Существующие тестовые гейты (`check_ci_green`, `check_tests_passed`, merge-gate re-test) судят
|
||||
только по **факту** прохождения, не по **полноте** — ни один не замечает «300 строк кода, 0
|
||||
тестов», и при пакетном автономном прогоне (ORCH-088) покрытие монотонно деградирует. Введён
|
||||
**детерминированный (без LLM) под-гейт ребра `deploy-staging → deploy`** по образцу security-гейта
|
||||
(ORCH-022): leaf `src/coverage_gate.py` (never-raise) + тонкая обёртка `check_coverage_gate` в
|
||||
`QG_CHECKS` + врезка `_handle_coverage_gate` в `advance_stage`. **Инвариант:** `STAGE_TRANSITIONS` /
|
||||
семантика существующих `check_*` / machine-verdict ключи (`verdict:`/`result:`/`deploy_status:`/
|
||||
`staging_status:`/`security_status:`) — байт-в-байт прежние; новая БД-таблица аддитивна (NFR-5).
|
||||
- **Точка/порядок:** **ПОСЛЕ merge-gate** (покрытие меряется на догнанном `auto_rebase_onto_main`
|
||||
HEAD — ровно том коде, что landed в `main`) и **ДО image-freshness** (фейл до дорогого
|
||||
docker-rebuild). Порядок под-гейтов: **security → merge → coverage → image-freshness.** FAIL →
|
||||
штатный откат на `development` (+ инкремент developer-retry, cap `MAX_DEVELOPER_RETRIES`) **и
|
||||
освобождение merge-lease** (merge-gate держал его на своём PASS — зеркало image-freshness rollback).
|
||||
- **Измерение:** `python -m pytest tests/ --cov=src --cov-report=json` в изолированном per-branch
|
||||
worktree (`ensure_worktree`); метрика — `totals.percent_covered` (line coverage `src/`). Измеритель
|
||||
за `measure_coverage(repo, branch) -> float | None` (стек-расширяемость BR-6). Тайм-аут
|
||||
`coverage_run_timeout_s`. Новая pip-зависимость `pytest-cov`.
|
||||
- **Решение — чистая функция** `compute_coverage_verdict(measured, baseline, floor, policy, epsilon)
|
||||
-> (ok, reason)`: `absolute` → `measured ≥ floor−ε`; `baseline` → `measured ≥ baseline−ε`; `both`
|
||||
(дефолт) → оба; `baseline is None` (bootstrap) → baseline-условие не применяется. `epsilon` —
|
||||
допуск на шум измерения (анти-флап у границы).
|
||||
- **Базовая линия — аддитивная БД-таблица** `coverage_baseline(repo PK, coverage, source_sha,
|
||||
updated_at)` (`CREATE TABLE IF NOT EXISTS`; хелперы `db.get_coverage_baseline`/
|
||||
`ratchet_coverage_baseline`/`set_coverage_baseline`). Наращивание **только вверх** в choke-point
|
||||
подтверждённого merge `_handle_merge_verify` (ребро `deploy → done`): `ratchet_baseline_on_merge`
|
||||
читает измеренное из `18-coverage-report.md` (single source of truth), атомарный compare-and-set
|
||||
`UPDATE … WHERE coverage <= measured` под держимым merge-lease (ORCH-043) → базовая линия не падает
|
||||
даже при гонке; bootstrap засевается первым применимым merge.
|
||||
- **Условность (как ORCH-22/43/58):** `coverage_gate_enabled` (kill-switch; `False` → 1:1 как до
|
||||
ORCH-027) + `coverage_gate_repos` (CSV; **пусто → self-hosting only** `is_self_hosting_repo` →
|
||||
enduro не затронут, no-op `(True, "N/A")`); `applies(repo)` (локально) ПЕРВЫМ — дорогой прогон
|
||||
только при `applies==True`. Ошибка инструмента/непарсимая метрика → **fail-open + WARNING** по
|
||||
умолчанию (`coverage_tool_fail_closed=False`, анти-петля); флаг → fail-closed.
|
||||
- **Артефакт `18-coverage-report.md`** (frontmatter `coverage_status: PASS|FAIL` +
|
||||
`measured_coverage`/`baseline`/`floor`/`policy`/`epsilon`/`delta`), вердикт читается ТОЛЬКО из
|
||||
frontmatter через `src/frontmatter.py` (single source of truth, как `security_status:`).
|
||||
Наблюдаемость — read-only блок `coverage` в `GET /queue`; при FAIL — `send_telegram` с кликабельным
|
||||
номером, измеренным/порогом/дельтой; опциональный ручной override `POST /coverage/baseline`.
|
||||
Флаги `ORCH_COVERAGE_*` (`MIN_PERCENT`/`POLICY`/`EPSILON`/`TOOL_FAIL_CLOSED`/`RUN_TIMEOUT_S`).
|
||||
Self-hosting-безопасно: гейт только мерит/читает/пишет/решает — не деплоит/не рестартит прод/не
|
||||
пушит `main`. **Инфра-предусловие:** `pytest-cov` в прод/staging-образе. Детали —
|
||||
`docs/work-items/ORCH-027/06-adr/ADR-001-coverage-gate.md`,
|
||||
`docs/architecture/adr/adr-0029-coverage-gate.md`.
|
||||
|
||||
## Конвенции
|
||||
- Conventional Commits (`feat:`, `fix:`, `docs:`, `refactor:`, `test:`)
|
||||
- Ветки: `feature/ORCH-NNN-slug`, `fix/ORCH-NNN-slug`
|
||||
@@ -160,7 +207,7 @@ created → analysis → architecture → development → review → testing →
|
||||
- Машинные вердикты Quality Gate — строго YAML-frontmatter (`verdict:`, `deploy_status:`, `staging_status:`, `security_status:`), никогда проза. **ORCH-52c (ORCH-076):** парсинг frontmatter сведён к единому контракту `src/frontmatter.py` (reader `read_frontmatter_value` — BC; единый парс-примитив `parse_frontmatter`; writer `render/write_frontmatter`; валидатор схемы `validate_schema`/`REQUIRED_FIELDS` — warning-only по умолчанию, hard-fail только под kill-switch `frontmatter_validation_strict`, дефолт `False`). Пять вердикт-парсеров (`check_reviewer_verdict`, `_parse_tests_verdict`, `_parse_deploy_status`, `_parse_staging_status`, `parse_security_status`) читают через ОДНУ точку парсинга; семантика вердиктов и `STAGE_TRANSITIONS`/состав `QG_CHECKS` — 1:1. Формальная спека «стадия → обязательный выход» + обязательная frontmatter-схема — `docs/_standards/HANDOFF_PROTOCOL.md`
|
||||
|
||||
## Артефакты задачи (`docs/work-items/<plane-id>/`)
|
||||
`00-business-request.md`, `01-brd.md`, `02-trz.md`, `03-acceptance-criteria.md`, `04-test-plan.yaml`, `06-adr/ADR-NNN-slug.md`, `07-infra-requirements.md`, `08-data-requirements.md`, `10-tech-risks.md`, `12-review.md`, `13-test-report.md`, `14-deploy-log.md`, `15-staging-log.md`, `16-post-deploy-log.md` (post-deploy наблюдение, ORCH-021), `17-security-report.md` (security-гейт: `security_status:`/secrets/deps, ORCH-022).
|
||||
`00-business-request.md`, `01-brd.md`, `02-trz.md`, `03-acceptance-criteria.md`, `04-test-plan.yaml`, `06-adr/ADR-NNN-slug.md`, `07-infra-requirements.md`, `08-data-requirements.md`, `10-tech-risks.md`, `12-review.md`, `13-test-report.md`, `14-deploy-log.md`, `15-staging-log.md`, `16-post-deploy-log.md` (post-deploy наблюдение, ORCH-021), `17-security-report.md` (security-гейт: `security_status:`/secrets/deps, ORCH-022), `18-coverage-report.md` (coverage-гейт: `coverage_status:`/measured/baseline, ORCH-027).
|
||||
|
||||
**Стандарт документов (ORCH-075, ORCH-52b):** структура каждого дока, карта «стадия→агент→документ→гейт→machine-key» и конвенция ADR-naming зафиксированы в `docs/_standards/PIPELINE_DOCS.md` (golden source); копируемые скелеты — в `docs/_templates/`. Перед написанием номерного дока бери скелет из `docs/_templates/` и не меняй имя machine-key frontmatter (регистр чувствителен — иначе гейт упадёт ложно).
|
||||
|
||||
|
||||
@@ -2,7 +2,7 @@
|
||||
|
||||
> **Назначение.** Единая карта «стадия → агент → документ → категория → гейт/механизм →
|
||||
> frontmatter machine-key» + конвенция ADR-naming. Это **golden source структуры** номерных
|
||||
> документов work item (`00-business-request.md` … `17-security-report.md`), который каждая
|
||||
> документов work item (`00-business-request.md` … `18-coverage-report.md`), который каждая
|
||||
> агентская роль пишет на своей стадии.
|
||||
>
|
||||
> **Статус истины (важно).** Манифест **документирует** текущее поведение гейтов, но НЕ является
|
||||
@@ -60,6 +60,7 @@ check_tests_passed → check_staging_status → check_deploy_status`.
|
||||
| `15-staging-log.md` | deployer | required (self-hosting) | `deploy-staging` | `check_staging_status` (self-hosting; иначе N/A — ORCH-35) | `staging_status:` (`SUCCESS` \| `FAILED`) |
|
||||
| `16-post-deploy-log.md` | post-deploy-monitor | when-applicable | пост-`done` наблюдение (ORCH-021; не ребро `STAGE_TRANSITIONS`) | информационный (гейтом не парсится) | `post_deploy_status:` (`HEALTHY` \| `DEGRADED`) |
|
||||
| `17-security-report.md` | security-гейт (детерминированный, ORCH-022) | when-applicable | под-гейт ребра `deploy-staging→deploy` | `check_security_gate` (врезка в `advance_stage`) | `security_status:` (`PASS` \| `FAIL`) |
|
||||
| `18-coverage-report.md` | coverage-гейт (детерминированный, ORCH-027) | when-applicable | под-гейт ребра `deploy-staging→deploy` (ПОСЛЕ merge-gate, ДО image-freshness) | `check_coverage_gate` (врезка в `advance_stage`) | `coverage_status:` (`PASS` \| `FAIL`) |
|
||||
|
||||
### Примечания манифеста (нормативные)
|
||||
|
||||
@@ -86,6 +87,7 @@ check_tests_passed → check_staging_status → check_deploy_status`.
|
||||
| `14-deploy-log.md` | `deploy_status:` | `_parse_deploy_status` | `SUCCESS` → `done`; `FAILED` → откат (БАГ-8) |
|
||||
| `15-staging-log.md` | `staging_status:` | `_parse_staging_status` | `SUCCESS` → дальше; `FAILED` → откат (self-hosting; иначе N/A) |
|
||||
| `17-security-report.md` | `security_status:` | `check_security_gate` | `PASS` → дальше; `FAIL` → откат |
|
||||
| `18-coverage-report.md` | `coverage_status:` | `check_coverage_gate` | `PASS` → дальше; `FAIL` → откат на `development` |
|
||||
|
||||
**Информационные доки** — гейтом НЕ парсятся (структура ничего не блокирует):
|
||||
`00-business-request.md` (вход), `08-data-requirements.md`, `10-tech-risks.md`,
|
||||
|
||||
29
docs/_templates/18-coverage-report.md
vendored
Normal file
29
docs/_templates/18-coverage-report.md
vendored
Normal file
@@ -0,0 +1,29 @@
|
||||
---
|
||||
coverage_status: PASS # PASS | FAIL (machine-key — читает check_coverage_gate)
|
||||
work_item: ORCH-NNN
|
||||
measured_coverage: 0.0 # измеренное line coverage src/ (%, float)
|
||||
baseline: 0.0 # базовая линия main на момент измерения (%, или пусто при bootstrap)
|
||||
floor: 0.0 # абсолютный порог coverage_min_percent (%)
|
||||
policy: both # absolute | baseline | both
|
||||
epsilon: 0.5 # допуск на шум измерения (%)
|
||||
delta: 0.0 # measured − max(baseline, floor) (%, знаковая дельта)
|
||||
---
|
||||
|
||||
# Coverage Report — ORCH-NNN
|
||||
|
||||
> Детерминированный гейт покрытия (ORCH-027) — под-гейт ребра `deploy-staging→deploy` (врезка в
|
||||
> `advance_stage`, ПОСЛЕ merge-gate, ДО image-freshness; не строка `STAGE_TRANSITIONS`). Машинный
|
||||
> вердикт читается ТОЛЬКО из `coverage_status:`. `PASS` → дальше; `FAIL` → откат на `development`.
|
||||
> Измерение — `pytest --cov=src --cov-report=json` в изолированном worktree. Source of truth
|
||||
> измеренного значения для ratchet базовой линии (`_handle_merge_verify`, ребро `deploy→done`).
|
||||
|
||||
## Verdict
|
||||
<PASS / FAIL: measured X% vs floor F% / baseline B% (policy=…, epsilon=…), delta=±D%.>
|
||||
|
||||
## Measurement
|
||||
<Инструмент (pytest-cov/coverage.py), команда, line coverage src/ = X%; либо fail-open WARNING
|
||||
при ошибке инструмента (coverage_tool_fail_closed=False).>
|
||||
|
||||
## Policy
|
||||
<Режим (absolute|baseline|both), порог floor, базовая линия main, epsilon, какое условие
|
||||
нарушено при FAIL.>
|
||||
File diff suppressed because one or more lines are too long
@@ -0,0 +1,82 @@
|
||||
---
|
||||
work_item: ORCH-093
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# adr-0027: Merge-актор — ретрай транзиентных ошибок Gitea + гард «ветка уже в `main`»
|
||||
|
||||
Сквозной (cross-cutting) ADR. **Амендмент** к [adr-0013](adr-0013-merge-verify-gate.md) (merge-verify
|
||||
под-гейт), [adr-0014](adr-0014-merge-verify-sha-source-of-truth.md) (SHA-в-main как источник истины)
|
||||
и [adr-0016](adr-0016-ensure-open-pr-before-merge-verify.md) (гарантированный код-PR). Детальное
|
||||
решение задачи — `docs/work-items/ORCH-093/06-adr/ADR-001-merge-transient-retry-and-already-in-main-guard.md`.
|
||||
|
||||
> Регистрируется как сквозной, т.к. правит блок merge-актора с **3+ маркерами** (`ORCH-071`,
|
||||
> `ORCH-073`, `ORCH-082`) — анти-археология маркеров (`docs/_standards/TRACEABILITY.md`): сводный
|
||||
> ADR агрегирует эволюцию вместо перечисления work item в коде.
|
||||
|
||||
## Статус
|
||||
Proposed
|
||||
|
||||
## Контекст
|
||||
|
||||
Детерминированный merge-актор merge-verify под-гейта (`deploy → done`, self-hosting) состоит из
|
||||
`ensure_open_pr` → `merge_pr` → `verify_merged_to_main` (`src/merge_gate.py`). Инцидент **ORCH-063
|
||||
(09.06)** вскрыл два дефекта, оба сверены по коду прода:
|
||||
|
||||
1. `merge_pr` — **one-shot**: `POST /pulls/{index}/merge`, любой не-`200/201` → мгновенный `False`.
|
||||
Транзиентная икота Gitea (`405 "Please try again later"` при пересчёте `mergeable` сразу после
|
||||
пуша; `5xx`; таймаут) → ложный HOLD защиты ORCH-071/073 → ручной домерж.
|
||||
2. `ensure_open_pr` — после ручного мержа код-PR `closed`, открытый не найден → создаёт **новый
|
||||
пустой PR** на ветке, уже целиком в `main`.
|
||||
|
||||
Защита ORCH-071/073 («deploy succeeded but not merged») корректна и сохраняется; задача снижает
|
||||
лишь **ложные** срабатывания на транзиентах и устраняет мусорные PR. Это блокер автономного прогона
|
||||
(эпик ORCH-088).
|
||||
|
||||
## Решение
|
||||
|
||||
Аддитивно, без правки `STAGE_TRANSITIONS` / `QG_CHECKS` / схемы БД; INV-4 (мерж только через Gitea
|
||||
PR-merge API; никогда `push`/`force-push` в `main`) и never-raise сохранены.
|
||||
|
||||
- **Ретрай-loop вокруг `POST …/merge`** (только мутирующий вызов) до `merge_retry_max_attempts`
|
||||
(дефолт 3) с экспоненциальным backoff и потолком (`base 2`, `max 5`; суммарно ≤10 с). Классификатор
|
||||
**транзиент** (`405`/`408`/`5xx`/таймаут/сетевое; `409`/`422` при `mergeable==True`; `mergeable==None`
|
||||
→ транзиент-по-дефолту в рамках бюджета) vs **терминал** (`403`/`404`; `409`/`422` при
|
||||
`mergeable==False`) — по коду ответа **и** полю `mergeable` (`GET /pulls/{index}`). Терминал →
|
||||
быстрый честный `False` (защита ORCH-071/073 — как прежде). Образец — `check_ci_green`
|
||||
(`attempt i/N`) + transient-breaker агентов.
|
||||
- **Гард already-in-main в `ensure_open_pr`**: перед созданием PR — `git merge-base --is-ancestor
|
||||
<branch> origin/main` (rc==0 → ветка целиком в `main`) → новый исход `"already-in-main"`, PR не
|
||||
создаётся; git-ошибка/ambiguous → **fail-OPEN** на текущий create-путь (гард не должен превратить
|
||||
икоту git в ложный no-op мержа). `_handle_merge_verify` трактует `"already-in-main"` как «мержить
|
||||
нечего» → пропуск `merge_pr` → авторитетный SHA-в-main (`verify_merged_to_main`, ADR-0014) доводит
|
||||
до `done` без мусорного PR.
|
||||
- **Конфиг**: `merge_retry_enabled` (kill-switch; `False` → one-shot, нулевая регрессия),
|
||||
`merge_retry_max_attempts`, `merge_retry_backoff_base_s`, `merge_retry_backoff_max_s`
|
||||
(env `ORCH_MERGE_RETRY_*`). Гард already-in-main — без отдельного флага (накрыт существующим
|
||||
`merge_verify_autocreate_pr_enabled`).
|
||||
|
||||
Объём раската — реально только self-hosting (`merge_verify_applies`); на прочих репо мерж делает
|
||||
LLM-deployer → изменение нейтрально.
|
||||
|
||||
## Последствия
|
||||
|
||||
- **+** Транзиент Gitea переживается автоматически → нет ложного HOLD / ручного домержа в автономном
|
||||
конвейере; нет мусорных пустых PR; повтор финализатора идемпотентен.
|
||||
- **+** Реальный конфликт → быстрый честный HOLD; защита ORCH-071/073 и SHA-в-main (ADR-0014) —
|
||||
авторитетны и неизменны.
|
||||
- **−** Дефолт `mergeable==None → transient` может добавить ≤10 с до HOLD на реальном конфликте
|
||||
(бюджет жёстко ограничен); один лишний `GET /pulls/{index}` в редком ambiguous-кейсе.
|
||||
- **Откат:** `ORCH_MERGE_RETRY_ENABLED=false` → one-shot; `ORCH_MERGE_VERIFY_AUTOCREATE_PR_ENABLED=false`
|
||||
→ отключает врезку `ensure_open_pr` с гардом. Полный откат — revert PR.
|
||||
|
||||
## Ссылки
|
||||
- Детальный ADR: `docs/work-items/ORCH-093/06-adr/ADR-001-merge-transient-retry-and-already-in-main-guard.md`
|
||||
- Лехатая: [adr-0006](adr-0006-merge-gate.md), [adr-0013](adr-0013-merge-verify-gate.md),
|
||||
[adr-0014](adr-0014-merge-verify-sha-source-of-truth.md),
|
||||
[adr-0016](adr-0016-ensure-open-pr-before-merge-verify.md)
|
||||
- Код: `src/merge_gate.py`, `src/stage_engine.py::_handle_merge_verify`, `src/config.py`
|
||||
@@ -0,0 +1,96 @@
|
||||
---
|
||||
work_item: ORCH-094
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# adr-0028: Terminal-window-aware гард выставления deploy-фазовых статусов Plane
|
||||
|
||||
Сквозной (cross-cutting) ADR. **Амендмент** к [adr-0010](adr-0010-post-deploy-monitor.md)
|
||||
(post-deploy monitor, ORCH-021) и Plane-статусной модели (ORCH-066): вводит инвариант
|
||||
«deploy-фазовые Plane-статусы — terminal-window-aware» поверх общих сеттеров `plane_sync` и
|
||||
переупорядочивает блок `next_stage == "done"` в `advance_stage`. Детальное решение задачи —
|
||||
`docs/work-items/ORCH-094/06-adr/ADR-001-terminal-window-aware-deploy-status-guard.md`.
|
||||
|
||||
> Регистрируется как сквозной, т.к. правит **общие** сеттеры `set_issue_awaiting_deploy`/
|
||||
> `set_issue_deploying`/`set_issue_monitoring` (используются системно) и трогает маркированный блок с
|
||||
> `ORCH-021`/`ORCH-066` (`docs/_standards/TRACEABILITY.md`).
|
||||
|
||||
## Статус
|
||||
Proposed
|
||||
|
||||
## Контекст
|
||||
|
||||
Терминальная (`done`) задача в Plane **не держит `Done`**: непрерывный флапп
|
||||
`Awaiting Deploy ⟷ Monitoring after Deploy` (верифицировано живьём на **ORCH-061**, task 47, done с
|
||||
07.06 — 273 активности, само не затихает). Установлено по коду/логам/БД прода:
|
||||
|
||||
- Три code-писателя deploy-фазовых статусов (`src/stage_engine.py:404/1218/1316`) делегируют в тонкие
|
||||
сеттеры `src/plane_sync.py`, которые **БД-стадию не читают** ⇒ терминал-слепы: любой повторный вызов
|
||||
перезаписывает `Done` обратно на промежуточный статус.
|
||||
- **Ordering:** `update_task_stage("done")` (`stage_engine.py:369`) пишет `tasks.stage='done'`
|
||||
**раньше** легитимного `set_issue_monitoring` (стр. 404) ⇒ пост-деплой-окно ORCH-021 — by-design
|
||||
индикация поверх уже-`done` задачи. Наивный гард «stage==done → Done» ⇒ регресс легитимного окна.
|
||||
- Актор всех 273 переходов — бот-токен орка (`daf4d3f4-…`), не привязан к активной task/job; в БД нет
|
||||
активного post-deploy-monitor для task 47 (окно 15 мин закрыто). Реконсилятор F-1 пропускает
|
||||
`done`/`cancelled`, F-2 опрашивает только `[to_analyse, approved, rejected]` ⇒ механизма привести
|
||||
застрявшую на deploy-статусе done-задачу к `Done` нет.
|
||||
|
||||
## Решение
|
||||
|
||||
**Единый terminal-window-aware гард на низком чокпоинте** — на входе трёх deploy-фазовых сеттеров
|
||||
`plane_sync`. Чистую логику держит **новый leaf-модуль `src/deploy_status_guard.py`** (never-raise,
|
||||
config-gated; образец `serial_gate.py`/`labels.py`/`cancel.py`); сеттеры исполняют вердикт.
|
||||
|
||||
- **Инвариант легитимности:** deploy-фазовый статус легитимен ⇔ задача **нетерминальна** ИЛИ
|
||||
(`done` **И** активно пост-деплой-окно). Иначе — идемпотентное схождение к `Done`.
|
||||
`decide(work_item_id, target) -> ALLOW | CONVERGE_DONE | SUPPRESS`:
|
||||
kill-switch off / чужой issue / не-self репо / нетерминал → **ALLOW**; `cancelled` → **SUPPRESS**;
|
||||
`done` + `target==monitoring` + `window_active` → **ALLOW**; `done` иначе → **CONVERGE_DONE**
|
||||
(`set_issue_done`, идемпотентно); любое исключение → **ALLOW** + warning (never-raise).
|
||||
- **Новый helper** `post_deploy.window_active(repo, wi)` = `has_marker(ARMED) and not
|
||||
has_marker(DONE)` (restart-safe).
|
||||
- **Перенос арм-блока** (`post_deploy.arm_monitor`) **перед** terminal-sync в блоке
|
||||
`next_stage == "done"`: на стр. 404 `ARMED` уже записан ⇒ `window_active==True` ⇒ легитимный первый
|
||||
`Monitoring` проходит; re-drive после закрытия окна сходится к `Done`.
|
||||
- **Харднинг монитора:** идемпотентный страж `has_marker(...DONE)` (ранний return без PATCH/реэнкью)
|
||||
+ тик no-op при `cancelled` мид-окно; тики привязаны к активному job'у (нет job → нет тика).
|
||||
- **Наблюдаемость:** каждый вердикт логируется (`work_item`/`caller`/`target`/`db_stage`/
|
||||
`window_active`/вердикт); подавление/схождение — явно.
|
||||
- **Флаги** (`config.py`): `deploy_status_guard_enabled=True`
|
||||
(`ORCH_DEPLOY_STATUS_GUARD_ENABLED`, kill-switch → 1:1) + `deploy_status_guard_repos=""`
|
||||
(`ORCH_DEPLOY_STATUS_GUARD_REPOS`, пусто → self-hosting only) с локальным `applies(repo)`.
|
||||
|
||||
## Альтернативы
|
||||
|
||||
- **Гард в caller'ах `stage_engine`** — отвергнуто: не ловит неизвестный/стейл путь под бот-токеном,
|
||||
размазывает инвариант.
|
||||
- **Наивный «stage==done → Done» без предиката окна** — отвергнуто: регресс легитимного `Monitoring`.
|
||||
- **Bypass-флаг на доверенном вызове 404** — отвергнуто в пользу переноса арм-блока (один предикат).
|
||||
- **Активная сходимость в реконсиляторе F-2** — отвергнуто как основной механизм (лишний polling,
|
||||
правка маркированного F-2); гард на сеттере гасит непрерывный флапп.
|
||||
|
||||
## Последствия
|
||||
|
||||
- Терминальная задача стабильно держит `Done`; маятник гаснет за один цикл независимо от актора.
|
||||
- Легитимный пост-деплой `Monitoring` и рабочий self-deploy-цикл — 1:1 (предикат окна + перенос арм).
|
||||
- `STAGE_TRANSITIONS` / `QG_CHECKS` / `check_*` / machine-verdict ключи / схема БД — **не тронуты**.
|
||||
- `main`/force-push/прод-контейнер/detached-деплой — не тронуты; не-self репо инертны.
|
||||
- Ограничение: если актор флаппа — внешняя Plane-automation (вне кода орка), гард — буфер на стороне
|
||||
орка; локализация (FR-1) и итог документируются (BR-7).
|
||||
- **Откат:** `ORCH_DEPLOY_STATUS_GUARD_ENABLED=false` → поведение 1:1; полный — revert ветки.
|
||||
|
||||
## Связи
|
||||
|
||||
- [adr-0010](adr-0010-post-deploy-monitor.md) (ORCH-021 — пост-деплой-окно, sentinel `armed`/`done`,
|
||||
арм-блок) — амендмент: окно становится предикатом легитимности `Monitoring`.
|
||||
- ORCH-066 (Plane-статусная модель — слой B индикации; `deploy→done` self ⇒ `Monitoring`) — инвариант
|
||||
сохранён.
|
||||
- [adr-0026](adr-0026-stop-cancel-task.md) (ORCH-090 — терминал `cancelled`) — гард не штампует
|
||||
deploy-статус поверх `cancelled`.
|
||||
- ORCH-068/086 (терминал-скип реконсилятора) — этот ADR распространяет идею терминал-aware на
|
||||
выставление deploy-статусов.
|
||||
- Детально: `docs/work-items/ORCH-094/06-adr/ADR-001-terminal-window-aware-deploy-status-guard.md`.
|
||||
92
docs/architecture/adr/adr-0029-coverage-gate.md
Normal file
92
docs/architecture/adr/adr-0029-coverage-gate.md
Normal file
@@ -0,0 +1,92 @@
|
||||
---
|
||||
work_item: ORCH-027
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-10
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# adr-0029: Гейт покрытия тестами — edge sub-gate + ratchet-базовая линия
|
||||
|
||||
- **Статус:** proposed
|
||||
- **Дата:** 2026-06-10
|
||||
- **Задача:** ORCH-027
|
||||
- **Детальный ADR:** `docs/work-items/ORCH-027/06-adr/ADR-001-coverage-gate.md`
|
||||
|
||||
## Контекст
|
||||
Оркестратор автономен: `developer` пишет код без человека-фильтра, `tester` сам решает, хватает
|
||||
ли тестов. Существующие тестовые гейты судят только по факту прохождения, не по полноте:
|
||||
`check_ci_green` (exit-code CI), `check_tests_passed` (LLM-вердикт `tester`'а), merge-gate
|
||||
re-test (exit-code). Ни один не замечает «300 строк кода, 0 тестов». При пакетном автономном
|
||||
прогоне (ORCH-088) это монотонная деградация покрытия. Нужна детерминированная метрика — по духу
|
||||
как security-гейт (adr-0012).
|
||||
|
||||
## Решение
|
||||
Детерминированный (без LLM) **гейт покрытия как под-гейт ребра `deploy-staging → deploy`**,
|
||||
рядом с security-gate (ORCH-022), merge-gate (ORCH-043), image-freshness (ORCH-058). Паттерн —
|
||||
leaf-модуль `src/coverage_gate.py` (never-raise) + обёртка в `QG_CHECKS` (`check_coverage_gate`)
|
||||
+ врезка `_handle_coverage_gate` в `advance_stage`. `STAGE_TRANSITIONS` не меняется.
|
||||
|
||||
- **Порядок: security → merge → `coverage` → image-freshness.** Coverage идёт **ПОСЛЕ
|
||||
merge-gate** (ветка догнана на свежий `origin/main` → меряем покрытие того кода, что landed) и
|
||||
**ДО image-freshness** (фейлить дёшево до docker-rebuild). На этой точке merge-lease **held** →
|
||||
**FAIL обязан освободить lease** при откате (как image-freshness rollback; в отличие от
|
||||
security, который идёт до захвата lease).
|
||||
- **Измеритель:** `pytest-cov` (`coverage.py`), `python -m pytest tests/ --cov=src
|
||||
--cov-report=json` в изолированном worktree (`ensure_worktree`); метрика —
|
||||
`totals.percent_covered`. Тайм-аут `coverage_run_timeout_s`. Скоуп — `src/` (не тесты).
|
||||
- **Чистая функция** `compute_coverage_verdict(measured, baseline, floor, policy, epsilon)`:
|
||||
`absolute` (≥floor−ε), `baseline` (≥baseline−ε, ratchet), `both` (дефолт). `baseline=None` →
|
||||
bootstrap (только absolute). FAIL → откат на `development` + developer-retry (cap
|
||||
`MAX_DEVELOPER_RETRIES`), дословный reason в `task_desc` (ORCH-046).
|
||||
- **Базовая линия — аддитивная БД-таблица** `coverage_baseline(repo PK, coverage, source_sha,
|
||||
updated_at)` (`CREATE TABLE IF NOT EXISTS`, паттерн `repo_freeze`/`job_deps`). Выбор БД над
|
||||
файлом-в-репо: нет git-churn/конфликтов на ratchet, restart-safe, атомарное обновление.
|
||||
- **Ratchet-up** в choke-point подтверждённого merge `_handle_merge_verify` (ребро
|
||||
`deploy → done`, ORCH-071/073): читает измеренное покрытие из `18-coverage-report.md`,
|
||||
атомарный compare-and-set `UPDATE ... WHERE coverage <= measured` (базовая линия не падает).
|
||||
Под held merge-lease + per-repo сериализацией merge (ORCH-043) — двойная анти-гонка.
|
||||
- **Артефакт `18-coverage-report.md`** с frontmatter `coverage_status: PASS|FAIL` (+
|
||||
`measured_coverage`/`baseline`/`floor`/`policy`/`delta` + аддитивная 52c-схема); вердикт
|
||||
читается ТОЛЬКО из frontmatter через `src/frontmatter.py` (single source of truth).
|
||||
- **Условность (как ORCH-35/43/58):** `coverage_gate_enabled` + `coverage_gate_repos` (пусто →
|
||||
только self-hosting `orchestrator`); вне области → no-op pass. `applies(repo)` ПЕРВОЙ, дорогой
|
||||
прогон — только при applies.
|
||||
- **Ошибка инструмента → fail-open + WARNING** по умолчанию (`coverage_tool_fail_closed=False`,
|
||||
анти-петля как ORCH-061); флаг → fail-closed.
|
||||
- **Наблюдаемость:** read-only блок `coverage` в `GET /queue`; FAIL → Telegram (кликабельный
|
||||
номер, измеренное/порог/дельта). Опциональный `POST /coverage/baseline` (ручной override).
|
||||
- **never-raise**, гейт не деплоит/не рестартит прод/не пушит в `main` (NFR-3).
|
||||
|
||||
## Альтернативы
|
||||
- **CI-job (`check_ci_green`):** пороги/политика/baseline/артефакт плохо выражаются статусом
|
||||
коммита; ratchet требует записи в БД. Отклонено для v1 (точка расширения).
|
||||
- **Edge `testing → deploy-staging`:** ветка не догнана на свежий `main` → метрика неточна;
|
||||
откат не освобождает lease. Отклонено.
|
||||
- **Базовая линия в файле репо:** git-churn/конфликты на каждый ratchet. Отклонено.
|
||||
- **Новая стадия `coverage`:** «пустая» стадия без агента не имеет триггера (как ORCH-043/022).
|
||||
Отклонено.
|
||||
- **Жёсткий absolute-порог без baseline/epsilon:** массовые ложные заворота. Отклонено.
|
||||
|
||||
## Последствия
|
||||
- Класс «тихо просевшее покрытие» закрыт детерминированной метрикой; baseline только растёт.
|
||||
- Нулевая регрессия вне области (enduro-trails); `STAGE_TRANSITIONS`/`QG_CHECKS`-семантика/
|
||||
вердикт-ключи (`verdict:`/`result:`/`deploy_status:`/`staging_status:`/`security_status:`) —
|
||||
байт-в-байт прежние; новая БД-таблица аддитивна.
|
||||
- Плата: ещё один «скрытый» под-гейт ребра; новая pip-зависимость (`pytest-cov`); доп. прогон
|
||||
pytest (после merge-gate re-test, ограничен таймаутом, фейлит до rebuild); v1 — Python-only.
|
||||
- Дефолтный fail-open тихо пропускает при устойчивом сбое инструмента (с WARNING) —
|
||||
переключаемо `coverage_tool_fail_closed`.
|
||||
- Сквозное изменение (новый QG + edge-под-гейт + новая таблица + новый артефакт) →
|
||||
`arch:major-change`; прод-деплой строго через staging-гейт (8501), без рестарта прод-контейнера.
|
||||
- **Откат:** `coverage_gate_enabled=False` → полный no-op (мгновенный обратимый kill-switch).
|
||||
|
||||
## Связи
|
||||
adr-0012 (security-гейт — паттерн edge-под-гейта/leaf/never-raise/fail-open), adr-0006
|
||||
(merge-gate — edge-под-гейт/откат/merge-lease), adr-0008 (image-freshness — условность/
|
||||
fail-closed/release-lease-on-rollback), adr-0003 (условный гейт / `is_self_hosting_repo`),
|
||||
adr-0009 (анти-петля ложных FAIL, ORCH-061), adr-0013/adr-0014 (merge-verify / SHA-in-main как
|
||||
source of truth — точка ratchet), adr-0015/adr-0017 (per-repo сериализация merge/serial-gate),
|
||||
adr-0020 (frontmatter-контракт — парсинг `coverage_status:`), adr-0019 (PIPELINE_DOCS — артефакт
|
||||
`18-coverage-report.md`), ORCH-9/15 (мульти-стек — будущая зависимость BR-6).
|
||||
@@ -142,6 +142,8 @@ claude.exe --print --system-prompt --allowedTools Read,Write,Edit,Bash
|
||||
|
||||
**Кликабельный номер задачи (ORCH-067).** Номер в заголовке карточки И во всех уведомлениях орка, где упоминается `work_item_id`, — HTML-ссылка на issue в Plane через общий `plane_issue_link` / `link_for` (URL строит `_plane_issue_url` с loopback/workspace/project-гардами, переиспользуя резолв ORCH-017). Fail-safe: при нехватке любого из (web-base/не-loopback, workspace, project_id, plane_issue_id) → `html.escape(work_item_id)` без `<a>`; динамические части экранируются, `<a>`-разметка валидна под `parse_mode=HTML`. Алерты `stage_engine`/`launcher`/`security_gate`/`reconciler` переведены на `link_for` (резолвит `repo`+`plane_issue_id` из БД по `task_id` или `work_item_id`).
|
||||
|
||||
**HTML-безопасность данных карточки (ORCH-095).** Текст карточки шлётся с `parse_mode=HTML` и собирается из слотов двух категорий: **markup** (намеренная разметка — `num_html`/`plane_issue_link`, `link_for(...)`, `_done_link(...)`, уже-экранированный `esc_title`) и **data** (подставляемые значения — длительности `_fmt_minutes`/`_capped_review_str`, статус-лейбл `_card_status_label`, имя модели `short_model_name`, эффорт `_run_effort`, токены/стоимость `fmt_tokens`/`fmt_cost`). Инвариант: **каждый data-слот экранируется `html.escape` ровно один раз на границе рендера** (`render_task_tracker`/`_stage_line`); функции-источники остаются HTML-агностичными, markup-слоты не экранируются (двойное экранирование запрещено). Это устранило класс «неэкранированные данные в HTML-тексте»: до фикса `_fmt_minutes(<60s)` возвращал литерал `<1м`, который Telegram парсил как открывающий тег → `editMessageText` `400 can't parse entities` → `EDIT_FAILED` → ранний `return` (анти-дубль ORCH-087) → карточка застывала (инцидент ORCH-093). `_fmt_minutes` по-прежнему возвращает `<1м` — escape на границе (`<1м`) рендерит его визуально идентично; формат не меняется. Застрявшая (в окне) карточка авто-восстанавливается следующим безопасным рендером; `edit_telegram`/`update_task_tracker`/леджер сирот/режимы `bump`/`edit` не тронуты. Детали — [ORCH-095 ADR-001](../work-items/ORCH-095/06-adr/ADR-001-html-safe-card-data-render.md).
|
||||
|
||||
## Database Schema
|
||||
|
||||
```sql
|
||||
|
||||
287
docs/epics/self-evolution.md
Normal file
287
docs/epics/self-evolution.md
Normal file
@@ -0,0 +1,287 @@
|
||||
# 🧬 ЭПИК: Автономное саморазвитие платформы оркестратора
|
||||
|
||||
> **Статус:** концепция v2 (структура согласована Славой 09.06 → ждёт финального апрува → декомпозиция)
|
||||
> **Автор:** Стрим · **Дата:** 2026-06-09 · **Заказчик:** Слава
|
||||
> **Связанные:** ORCH-8 (петля самообучения), ORCH-83 (наблюдаемость), ORCH-54 (автономное внедрение, done)
|
||||
> **Источники:** память орка (инциденты 06–09.06), инвентаризация 94 задач Plane, мировые практики (STRATUS NeurIPS'25, ChaosEater ASE'25, self-healing LLM-agents arXiv'26, agentic AIOps, FinOps token-economics).
|
||||
|
||||
---
|
||||
|
||||
## 0. Зачем это (vision)
|
||||
|
||||
Оркестратор уже **автономно внедряет** (ORCH-54: задача проходит analysis→prod без человека). Но автономность исполнения ≠ автономное **развитие**. Сегодня платформу развивает связка Слава+Стрим вручную: ловим инциденты → формулируем уроки → заводим задачи → апрувим.
|
||||
|
||||
**Цель эпика:** управляемый самоподдерживающийся контур, где платформа сама замечает свои слабые места И возможности роста, предлагает улучшения как готовые задачи, проводит их через собственный конвейер (ORCH-7 self-hosting) — **под контролем человека на ключевых развилках** (safety > автономность).
|
||||
|
||||
**Принцип баланса (коррекция Славы 09.06):** саморазвитие — это НЕ только «не падать и не косячить». Стабильная платформа, которая не растёт в возможностях, — тупик. **Рост функционала (новые фичи, стеки, удобства для заказчиков) — равноценный домен, а не следствие надёжности.** Платформа развивается по двум рукам одновременно: крепнет (надёжность/качество/экономика) И раздаётся вширь (возможности/масштаб).
|
||||
|
||||
---
|
||||
|
||||
## 1. Архитектура эпика: фундамент + 5 доменов + 2 вертикали
|
||||
|
||||
```
|
||||
┌─────────────────────────────────────────────────────────────┐
|
||||
│ ВЕРТИКАЛЬ-ДВИГАТЕЛЬ 🧠 ВЕРТИКАЛЬ-ТОРМОЗ 🛑 │
|
||||
│ 🔄 уроки (крепнем) + governance / safety L0-L3 │
|
||||
│ 💡 генератор идей (растём) (ограничивает, апрувы) │
|
||||
│ ░░░░░░░░░░░░ проходят СКВОЗЬ все домены ░░░░░░░░░░░░░░░░░░░░░ │
|
||||
├─────────────────────────────────────────────────────────────┤
|
||||
│ ДОМЕНЫ РАЗВИТИЯ (равноценные, две руки роста) │
|
||||
│ │
|
||||
│ КРЕПНЕТ ───────────────────► РАЗДАЁТСЯ ВШИРЬ ────────► │
|
||||
│ 🛡️ D1 Надёжность 🚀 D4 Возможности (фичи) │
|
||||
│ ✅ D2 Качество/Доверие 📈 D5 Масштаб │
|
||||
│ 💰 D3 Экономика │
|
||||
├─────────────────────────────────────────────────────────────┤
|
||||
│ ФУНДАМЕНТ (слой 0): 👁️ Наблюдаемость + 📒 Журнал уроков │
|
||||
│ глаза и память — без них всё слепо │
|
||||
└─────────────────────────────────────────────────────────────┘
|
||||
Общая метрика-объединитель: 🌡️ ГРАДУСНИК АВТОНОМНОСТИ
|
||||
(каждый домен двигает её вверх контролируемо)
|
||||
```
|
||||
|
||||
### Что изменилось против v1 (мои же правки по критике)
|
||||
- **Наблюдаемость вынесена в фундамент** (была внутри M1) — она питает ВСЁ.
|
||||
- **M0 разбит на 2 вертикали:** двигатель (петля) и тормоз (governance) — у них противоположная логика, нельзя в одну коробку.
|
||||
- **Добавлен домен D2 Качество/Доверие** — была дыра: надёжная платформа может стабильно генерить говнокод. Надёжность инфры ≠ корректность результата.
|
||||
- **Рост (D4+D5) — равноценные домены, не «второй эшелон»** (коррекция Славы).
|
||||
- **Градусник автономности** — сквозная измеримая цель вместо абстракции.
|
||||
|
||||
---
|
||||
|
||||
## 🏗️ АРХИТЕКТУРНЫЕ РАМКИ наблюдаемости (решено Славой 09.06 — constraints для архитектора)
|
||||
|
||||
> Это НЕЗЫБЛЕМЫЕ границы (заказчик). Конкретные ADR (стек, формат метрик, точки врезки) — зона архитектора внутри этих рамок.
|
||||
|
||||
**Принцип:** наблюдатель ОТДЕЛЁН от наблюдаемого. Мониторинг НЕ живёт внутри орка — иначе орк упал/завис/съел память → мониторинг ляжет вместе с ним, и мы слепы в самый критичный момент.
|
||||
|
||||
**Решения Славы:**
|
||||
- **С-1. Sidecar-контейнер на том же хосте** (вариант A). Отдельный процесс/память/рестарт — орк падает, наблюдатель жив и РЕПОРТИТ это.
|
||||
- **С-1б. КОД sidecar — В РЕПО орка** (отдельная папка `watchdog/`), рантайм — ОТДЕЛЬНЫЙ контейнер. Изоляция — на уровне КОНТЕЙНЕРА, не репозитория. Плюсы: (1) конвейер орка пилит свой мониторинг сам (self-hosting ORCH-7); (2) контракт `/metrics`↔sidecar в одном репо — не разъедется (один PR/тесты); (3) один CI. Сборка: ОТДЕЛЬНЫЙ `watchdog/Dockerfile` + сервис `orchestrator-watchdog` в docker-compose.yml. Разовое инфра-действие: добавить сервис в compose + первый запуск (Слава/Стрим на хосте), дальше код watchdog катится через конвейер.
|
||||
- **С-2. Без внешнего плеча (L2).** Не усложняем второй площадкой. (Принятый риск: падёнвесь хост/Docker → наблюдатель тоже молчит; осознанно.)
|
||||
- **С-3. Тонкий стек.** НЕ Grafana+Prometheus (+5-6 контейнеров на забитый хост). Тонкий Python/Go sidecar. **Факт хоста 09.06: RAM 171Mi free / 7.7Gi, диск 92%** — ресурсы впритык, наблюдатель обязан быть лёгким.
|
||||
|
||||
**Разделение ответственности:**
|
||||
- **Орк отдаёт только сырьё:** лёгкий read-only `/metrics` (свои внутренние данные — стадии/очередь/agent-liveness/cost, что знает только он). БЕЗ логики мониторинга/алертов/хранения. Орк лёг → endpoint недоступен = САМ сигнал тревоги.
|
||||
- **Sidecar — мозг мониторинга:** читает `/metrics` орка + хост (диск/память/CPU) + контейнеры (docker.sock read-only) + пинг Plane/Gitea/Anthropic; хранит пороги, шлёт Telegram-алерты СО СВОИМ каналом (не зависит от кода орка).
|
||||
- **Журнал уроков (F2)** — исключение: это НЕ realtime-мониторинг, а историческая память петли → допустимо в БД орка (аддитивная таблица). Не критично к падению орка в момент (запись best-effort).
|
||||
|
||||
---
|
||||
|
||||
## 2. ФУНДАМЕНТ (слой 0) — 👁️ Глаза и 📒 Память
|
||||
|
||||
Без данных нечем ни чинить, ни считать, ни приоритизировать, ни учиться. Строится первым.
|
||||
|
||||
- **F1 Наблюдаемость** (ORCH-83 [ЭПИК]): метрики agent-liveness + очередь + стадии + хост (диск/память/CPU) + контейнеры + внешние деп (Plane/Gitea/Anthropic). Эндпоинты /health /status /queue → расширить до /metrics + дашборд.
|
||||
- **F2 Журнал уроков** (ORCH-8 шаг 1): машинная структурированная таблица отклонений (тип, контекст, корень, предложение, статус) — формализовать то, что сейчас в memory/. Это «топливо» для вертикали-двигателя.
|
||||
|
||||
---
|
||||
|
||||
## 3. ДОМЕН D1 — 🛡️ Надёжность (Self-Repairing)
|
||||
|
||||
**Есть:** reconciler (53), post-deploy monitor+rollback (21), merge-verify (71/73), reaper (65), disk-watchdog (63), build-prune (62).
|
||||
**Уроки:** фантом-merge, deploy-петли, транзиенты, флапп-статусы, зомби-jobs.
|
||||
|
||||
- **D1.1** Предиктивный мониторинг (causal, не порог): «диск заполнится через N ч».
|
||||
- **D1.2** Авто-ремедиация рантайма: каталог типовых фиксов (зомби-job→requeue, stale-lease→reclaim, флапп→форс-терминал).
|
||||
- **D1.3** Транзиент-резилентность everywhere (обобщение ORCH-93): единый retry+backoff для всех внешних вызовов.
|
||||
- **D1.4** Zero-downtime деплой платформы (blue-green/canary): резервное плечо вместо окна недоступности.
|
||||
- **D1.5** Авто-rollback по SLO (расширение 21): откат по деградации latency/error-rate, не только health.
|
||||
- **D1.6** Deep agent-liveness (self-healing LLM): «думает / завис / зациклился» по reasoning+CPU+прогрессу.
|
||||
- **D1.7** Backup/restore БД+worktree (recovery после краша хоста).
|
||||
|
||||
---
|
||||
|
||||
## 4. ДОМЕН D2 — ✅ Качество / Доверие результата
|
||||
|
||||
> Новый домен. Закрывает дыру: платформа может надёжно и дёшево производить плохой результат. Надёжность инфры ≠ корректность кода/аналитики.
|
||||
|
||||
**Есть:** security-гейт (22), reviewer/tester стадии, промпт-аудит (92).
|
||||
|
||||
- **D2.1** Code-coverage гейт (ORCH-27): защита от деградации покрытия.
|
||||
- **D2.2** Регресс-страж результата: не только «тесты зелёные», но «не сломали соседнюю фичу» (расширение regression-guard ORCH-73).
|
||||
- **D2.3** Качество аналитики: метрика «BRD не пришлось переделывать», сверка факт vs ТЗ (как сегодня ловила ложное P0).
|
||||
- **D2.4** Доверие к выходу: provenance артефактов, воспроизводимость, «деплой OK = прод реально работает» (урок ET-8).
|
||||
- **D2.5** Опциональная человеческая приёмка важных фич (ORCH-28).
|
||||
- **D2.6** Само-оценка агентов: уверенность в результате → эскалация при низкой.
|
||||
|
||||
---
|
||||
|
||||
## 5. ДОМЕН D3 — 💰 Экономика
|
||||
|
||||
**Боль (ORCH-38):** developer сжёг **$13.68 на мелочь** (cache_read 18.98M — слепое сканирование src/).
|
||||
|
||||
- **D3.1** Model-routing cascade (мир: −87%): классификатор сложности → дешёвая модель на простое, opus на сложное (ORCH-20+13).
|
||||
- **D3.2** Бюджет circuit-breaker (ORCH-23): хард-лимит $/токенов/времени → пауза+алерт.
|
||||
- **D3.3** Оценка задачи ДО старта (ORCH-20): прогноз $/время по истории.
|
||||
- **D3.4** Целевые файлы в задании (ORCH-38): analyst даёт точный список из TRZ → нет слепого сканирования. **Самый дешёвый высокий impact.**
|
||||
- **D3.5** Fast-track простых задач (ORCH-19): багфикс → урезанный цикл без architect, дешёвая модель.
|
||||
- **D3.6** Semantic caching / prompt compression (мир: −31%).
|
||||
- **D3.7** Cost-дашборд + детект аномалий.
|
||||
|
||||
---
|
||||
|
||||
## 6. ДОМЕН D4 — 🚀 Возможности (рост функционала)
|
||||
|
||||
> **Равноценный домен (акцент Славы).** Это то, ради чего платформой ПОЛЬЗУЮТСЯ. Без новых возможностей надёжность бессмысленна — нечего надёжно делать. Развивается параллельно с D1-D3, а не после.
|
||||
|
||||
**Backlog-зародыши:** ORCH-12/13/14/15/18/24/25.
|
||||
|
||||
- **D4.1** Стеки-плагины: профили стека (web/mobile/data/ML/embedded) → агенты адаптируют процесс. Расширяемо без правки ядра. **Открывает заказчикам новые типы проектов.**
|
||||
- **D4.2** Android/мобильный стек (ORCH-15): полноценная разработка приложений.
|
||||
- **D4.3** UX/UI-дизайнер (ORCH-14): дизайнер-агент генерит макеты на аналитике, согласование с BRD.
|
||||
- **D4.4** Интерактивный аналитик (ORCH-18): живой диалог Слава↔analyst — уточнение BRD, обсуждение вариантов до старта. Удобство + качество постановки.
|
||||
- **D4.5** Тяжёлые вычисления (ORCH-12): воркер/стадия для долгих расчётов (ML-обучение, миграции данных).
|
||||
- **D4.6** База знаний проекта (ORCH-24): RAG-контекст решений/архитектуры — агенты умнее (+экономия).
|
||||
- **D4.7** Декомпозиция эпиков (ORCH-25): эпик→задачи→сборка автоматически (этот документ — кандидат №1).
|
||||
- **D4.8** Новые роли-агенты: data-engineer, ML-инженер, DevOps — по мере типов проектов.
|
||||
- **D4.9** Мультипровайдерность моделей (ORCH-13): не только Claude — выбор под задачу/стек/бюджет.
|
||||
|
||||
---
|
||||
|
||||
## 7. ДОМЕН D5 — 📈 Масштаб
|
||||
|
||||
> Вторая «рука роста»: способность делать БОЛЬШЕ и ШИРЕ. Сейчас потолок — `max_concurrency=1`.
|
||||
|
||||
**Backlog-зародыши:** ORCH-9/10; done: ORCH-6 (multi-repo), ORCH-88 (serial-batch).
|
||||
|
||||
- **D5.1** Параллельная разработка (снять max_concurrency=1): безопасный N>1 (изоляция worktree есть, нужна merge-orchestration FIFO + защита main). **Много фич параллельно = быстрее растём.**
|
||||
- **D5.2** Turnkey-онбординг проекта (ORCH-9): команда → Plane+Gitea+агенты+инфра за минуты.
|
||||
- **D5.3** Тиражирование на новый хост (ORCH-10): перенос платформы на инфру нового заказчика (IaC-bundle).
|
||||
- **D5.4** Горизонтальный воркер-пул: очередь jobs (ORCH-1) → несколько воркеров/хостов.
|
||||
- **D5.5** Per-project лимиты ресурсов (concurrency/бюджет на проект).
|
||||
- **D5.6** Мультитенантность (отложено — SaaS-сценарий, по спросу).
|
||||
|
||||
---
|
||||
|
||||
## 8. ВЕРТИКАЛЬ-ДВИГАТЕЛЬ 🧠 — две турбины: реактивная + проактивная
|
||||
|
||||
> Двигатель питается из ДВУХ источников (коррекция Славы 09.06). Реактивная турбина (уроки из боли) кормит «крепнем» (D1-D3). Проактивная (генератор идей) кормит «растём» (D4-D5). Без второй турбины рост фич зависит только от Славы — бутылочное горлышко.
|
||||
|
||||
### 8A. Реактивная турбина 🔄 — петля самообучения из уроков (ORCH-8)
|
||||
```
|
||||
ДЕТЕКЦИЯ → ЖУРНАЛ урока → АНАЛИЗ/паттерны → ПРЕДЛОЖЕНИЕ задачи → [governance-гейт] → конвейер ORCH-7 → проверка эффекта → журнал
|
||||
```
|
||||
- **Детекция:** провал гейта, **ручное вмешательство (самый ценный сигнал — каждый ручной пинок = дыра автономности)**, ретраи/откаты/таймауты, ложные срабатывания, «деплой OK / прод сломан».
|
||||
- **Анализ (гибрид):** машина копит и предлагает черновик → Стрим фильтрует/оформляет → Слава апрувит.
|
||||
- **E1** Журнал уроков (=F2). **E2** Агент-ретроспективщик (анализ→предложение).
|
||||
|
||||
### 8B. Проактивная турбина 💡 — генератор идей новых возможностей (НОВОЕ — запрос Славы)
|
||||
|
||||
> Отдельный источник идей роста функционала — НЕ только требования от Славы. Проактивно предлагает новые фичи/возможности/удобства. Та же воронка: машина/агент генерит черновики → Стрим фильтрует → Слава решает.
|
||||
|
||||
**Источники идей (вход генератора):**
|
||||
- **I1 Гэпы реализации:** чего НЕ хватило для запрошенных проектов (enduro-trails, snowbike — что было тяжело/невозможно сделать платформой → кандидат в фичу).
|
||||
- **I2 Паттерны ручного труда:** что Слава/заказчики часто делают руками ВНЕ платформы → кандидат на автоматизацию/фичу.
|
||||
- **I3 Тренды и новые технологии:** сканирование новых моделей/стеков/инструментов (web-поиск, release-notes провайдеров) → «вышла модель X / фреймворк Y — даёт новую возможность».
|
||||
- **I4 Конкурентный/рыночный анализ:** что умеют другие AI-платформы разработки (Devin, Cursor, Copilot Workspace…) → чего нет у нас.
|
||||
- **I5 Анализ собственного бэклога/истории:** паттерны типов задач → «часто просят X → стоит сделать шаблон/фичу».
|
||||
- **I6 Обратная связь заказчиков:** явные пожелания/жалобы по реализованным проектам.
|
||||
- **I7 Саморефлексия Стрим:** я вижу работу платформы изнутри каждый день — предлагаю удобства/фичи из опыта ведения.
|
||||
|
||||
**Компоненты:**
|
||||
- **E4 Агент-идеатор (product-discovery):** по расписанию сканирует I1-I7 → генерит бэклог идей-черновиков фич (с обоснованием «зачем/кому/из какого источника»).
|
||||
- **E5 Банк идей:** отдельный реестр (не путать с журналом уроков): идея, источник, предполагаемая ценность, статус (new/отклонена/в работе).
|
||||
|
||||
### 8C. Общий выход двигателя
|
||||
- **E3 Приоритизатор RICE:** сводит ОБА потока (уроки из 8A + идеи из 8B) в единый ранжированный бэклог по impact/cost/risk — что брать первым по всем доменам. Баланс «крепнем vs растём» — настраиваемый (квота слотов на надёжность vs фичи).
|
||||
|
||||
---
|
||||
|
||||
## 9. ВЕРТИКАЛЬ-ТОРМОЗ 🛑 — Governance / Safety
|
||||
|
||||
> «Контроль и управление саморазвитием» (требование Славы). Двигатель жмёт газ — этот контур держит руль и тормоз.
|
||||
|
||||
**Принцип (ORCH-8, незыблемо):** самомодификация платформы (промпты/скиллы/конфиги агентов/ядро) — ТОЛЬКО через PR+ревью+апрув Славы. Орк ПРЕДЛАГАЕТ, ПРИМЕНЯЕТ через свой конвейер с гейтами.
|
||||
|
||||
**Уровни автономии (agentic AIOps maturity):**
|
||||
| Уровень | Что авто | Гейт |
|
||||
|---------|----------|------|
|
||||
| L0 reactive | только алерт | человек делает всё |
|
||||
| L1 assistive | предложить задачу+ТЗ | человек апрувит запуск |
|
||||
| L2 autonomous-bounded | гонит безопасные классы (бэкенд-фиксы) до прода | safety-гейты CI/staging/regression |
|
||||
| L3 self-modifying | менять агентов/ядро | **всегда** PR+апрув Славы, НИКОГДА не авто |
|
||||
|
||||
- **G1** Safety-политика L0-L3 + per-class правила (что можно само, что только через Славу). Лейблы autoApprove/autoDeploy (ORCH-89) = уже зародыш.
|
||||
- **G2** Бюджет на саморазвитие: лимит $/мес, чтобы контур не жёг бесконтрольно.
|
||||
- **G3** Дашборд эволюции: метрики 5 доменов в динамике — видно, КУДА развивается платформа.
|
||||
- **G4** Kill-switch петли: остановить самогенерацию задач одним флагом.
|
||||
|
||||
---
|
||||
|
||||
## 10. 🌡️ Градусник автономности (сквозная метрика)
|
||||
|
||||
Объединяющая измеримая цель эпика. Каждый домен двигает её вверх:
|
||||
- **% задач без ручного пинка** (сегодня было ~5 вмешательств: апрувы, домерж 063, sync 061).
|
||||
- **Ручных вмешательств / неделю** (тренд вниз).
|
||||
- **MTBF / MTTR** платформы (D1).
|
||||
- **$/задача, токены/задача, время/задача** (D3).
|
||||
- **Типов проектов/стеков поддержано** (D4).
|
||||
- **Задач параллельно** (D5).
|
||||
- **% уроков, ставших задачами** (двигатель).
|
||||
|
||||
---
|
||||
|
||||
## 11. Связь с Backlog (ничего не теряем)
|
||||
|
||||
| Backlog | Домен/вертикаль |
|
||||
|---------|-----------------|
|
||||
| ORCH-8 петля | 🧠 Двигатель (ядро) |
|
||||
| ORCH-83 наблюдаемость | Фундамент F1 |
|
||||
| ORCH-20/23/38/19 | 💰 D3 |
|
||||
| ORCH-27/28 | ✅ D2 |
|
||||
| ORCH-12/13/14/15/18/24/25 | 🚀 D4 |
|
||||
| ORCH-9/10 | 📈 D5 |
|
||||
| ORCH-94 флапп | 🛡️ D1.2 |
|
||||
| ORCH-89 авто-лейблы | 🛑 G1 |
|
||||
|
||||
~18 backlog-задач ложатся в структуру. Эпик их систематизирует и достраивает.
|
||||
|
||||
---
|
||||
|
||||
## 12. Дорожная карта (предложение)
|
||||
|
||||
1. **Фаза 0 (фундамент):** F1 наблюдаемость + F2 журнал. Без них рулить нечем.
|
||||
2. **Фаза 1 (две руки параллельно):**
|
||||
- крепнем: D3.4 целевые файлы + D3.2 бюджет-breaker (дешёвый impact)
|
||||
- растём: D4.1 стеки-плагины ИЛИ D4.4 интерактив-аналитик (по спросу)
|
||||
3. **Фаза 2:** D1 надёжность (транзиент-резилентность, авто-ремедиация) + D2 качество + D5.1 параллелизм.
|
||||
4. **Фаза 3 (мозг):** E2 ретроспективщик + E3 приоритизатор + G1 safety-политика → петля замыкается, дальше платформа предлагает сама.
|
||||
|
||||
---
|
||||
|
||||
## ⛓️ Реализация в Plane (решено 09.06)
|
||||
|
||||
**Ось ДОМЕНА → модули Plane** (1 задача = 1 модуль; slug в `external_id`, name с эмодзи для человека):
|
||||
|
||||
| Модуль (name) | slug (external_id) | module_id |
|
||||
|---|---|---|
|
||||
| 👁️ Фундамент | `foundation` | 74dee25a-a44b-4c3b-ab55-1b5638b8cc1f |
|
||||
| 🧠 Мозг | `brain` | ab1afa08-14ce-4b7d-8ebc-e45ac19b2ba7 |
|
||||
| 🛡️ Надёжность | `reliability` | abd7479e-4f9b-4a56-a926-cb2ece7558ca |
|
||||
| ✅ Качество | `quality` | cbf5f8ca-dc1a-4dee-9d35-555459de2b30 |
|
||||
| 💰 Экономика | `economy` | 9b4bbab3-95d6-4b8a-8d72-379a618ea2f3 |
|
||||
| 🚀 Возможности | `features` | baa6936c-6a39-4935-ad57-31ef5ffc3041 |
|
||||
| 📈 Масштаб | `scale` | 18373528-14fa-4627-a0f6-32497ff22177 |
|
||||
|
||||
**Ось ВЕРТИКАЛЬ → лейблы** (могут быть несколько, список короткий):
|
||||
- `engine` (36f398f7-5a1c-4eeb-847a-56c457e1da6b) — задача пришла от петли/идеатора.
|
||||
- `governance` (9eea4dd8-0fe7-473a-8c40-630fc3ab0d25) — требует апрува L3 / safety-внимания.
|
||||
- (+ существующие `autoApprove`/`autoDeploy` — ортогональны, режим автономности.)
|
||||
|
||||
**Правило раскладки:** каждая задача эпика = 1 модуль-домен (по slug) + 0..N вертикаль-лейблов. Орк ищет/привязывает по `external_id` (не по русскому имени).
|
||||
|
||||
⚠️ **Порядок модулей на доске:** Plane API игнорирует `sort_order` на запись (только drag-and-drop в UI). Сейчас порядок перевёрнут (Масштаб сверху) — Славе поправить мышкой (фундамент→мозг→надёжность→качество→экономика→возможности→масштаб). На машинную логику не влияет (орк по slug).
|
||||
|
||||
---
|
||||
|
||||
## 13. Открытые вопросы Славе
|
||||
|
||||
1. **Структура Plane:** мега-эпик с фундаментом+5 доменами+2 вертикалями? Или эпик на каждый домен?
|
||||
2. **D4 (возможности):** какой стек/фича приоритетны для тебя/заказчиков — Android, UX/UI, тяжёлые расчёты, интерактив-аналитик? С чего рост начинать?
|
||||
3. **Баланс «крепнем vs растём»:** идти строго параллельно обеими руками, или в каждой фазе перевес в одну сторону?
|
||||
4. **Safety L3:** подтверждаешь — самомодификация ядра/агентов всегда через твой апрув?
|
||||
5. **Двигатель (E2/E4):** ретроспективщик + агент-идеатор сразу как агенты, или сначала Стрим ведёт журнал/банк идей вручную?
|
||||
8. **Генератор идей (8B):** какие из источников I1-I7 тебе ценнее (гэпы проектов / тренды-технологии / конкуренты / саморефлексия Стрим)? Генерить автономно или только по твоему запросу?
|
||||
6. **Бюджет на эпик (G2):** лимит $/мес?
|
||||
7. **Первая задача** после апрува: F1 наблюдаемость, быстрая победа D3.4, или сразу рост D4.*?
|
||||
7
docs/work-items/ORCH-027/00-business-request.md
Normal file
7
docs/work-items/ORCH-027/00-business-request.md
Normal file
@@ -0,0 +1,7 @@
|
||||
# Business Request: Code coverage как гейт (защита от деградации покрытия тестами)
|
||||
|
||||
Work Item ID: ORCH-027
|
||||
|
||||
## Description
|
||||
|
||||
TBD
|
||||
166
docs/work-items/ORCH-027/01-brd.md
Normal file
166
docs/work-items/ORCH-027/01-brd.md
Normal file
@@ -0,0 +1,166 @@
|
||||
---
|
||||
work_item: ORCH-027
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-10
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 01 — BRD (бизнес-требования): ORCH-027 — Code coverage как гейт (защита от деградации покрытия тестами)
|
||||
|
||||
Work Item: **ORCH-027** · Repo: **orchestrator** · Стадия: analysis
|
||||
|
||||
## 1. Бизнес-контекст и проблема
|
||||
|
||||
Оркестратор ведёт **автономную** разработку: код пишет агент `developer` без человеческого
|
||||
фильтра, а на стадии `testing` агент `tester` сам решает, достаточно ли тестов. Существующие
|
||||
тестовые гейты проверяют только **факт прохождения** тестов, а не их **полноту**:
|
||||
|
||||
- `check_ci_green` (ребро `development → review`) — зелёный прогон `pytest tests/` в Gitea CI
|
||||
(`.gitea/workflows/ci.yml`), судит по exit-code, покрытие **не меряет**.
|
||||
- `check_tests_passed` (ребро `testing → deploy-staging`) — читает machine-verdict
|
||||
`result:`/`verdict:`/`status:` из `13-test-report.md`; это вердикт LLM-`tester`'а, а не
|
||||
измеренная метрика.
|
||||
- Merge-gate re-test (ORCH-043) — повторный `pytest` на догнанной ветке, тоже только exit-code.
|
||||
|
||||
Ни один гейт не замечает, что фича добавила 300 строк кода и 0 тестов, или что багфикс
|
||||
изменил поведение без регрессионного теста. При пакетном автономном прогоне (эпик ORCH-088,
|
||||
«10–20 задач за ночь») это означает **монотонную деградацию покрытия**: каждая задача может
|
||||
«срезать угол» на тестах, и за десятки задач проект тихо теряет тестируемость. Предложено
|
||||
Стрим, одобрено Славой (`00-business-request.md`).
|
||||
|
||||
**Задача вводит измеримый гейт покрытия**: покрытие тестами измеряется инструментально и не
|
||||
должно опускаться ниже политики (абсолютный порог и/или «не ниже базовой линии»). Это
|
||||
структурная защита от деградации, аналогичная по духу security-гейту (ORCH-022) —
|
||||
детерминированная метрика вместо доверия суждению агента.
|
||||
|
||||
> **Self-hosting.** Гейт работает на инструменте, который в проде обслуживает все проекты из
|
||||
> общей БД и очереди (`CLAUDE.md` §self-hosting). Измерение покрытия — это исполнение тест-сьюта
|
||||
> в изолированном worktree; оно **не трогает прод-контейнер и не касается `main`**.
|
||||
|
||||
## 2. Объём (scope)
|
||||
|
||||
### В объёме
|
||||
- Инструментальное измерение покрытия тестами для репозитория `orchestrator` (стек Python /
|
||||
pytest) перед слиянием ветки задачи в `main`.
|
||||
- Гейт-решение: покрытие **не ниже** заданной политики порога. Политика поддерживает два режима:
|
||||
абсолютный порог (`%`) и «не ниже базовой линии» (no-regression / ratchet), а также их
|
||||
комбинацию.
|
||||
- Хранение и обновление **базовой линии** покрытия (last-known покрытие `main`).
|
||||
- Наблюдаемость результата: артефакт-отчёт о покрытии с machine-readable вердиктом, строка в
|
||||
`GET /queue`, сигнал в Telegram при провале.
|
||||
- Конфигурируемость: kill-switch + per-repo область + настраиваемый порог/политика +
|
||||
поведение при ошибке инструмента (fail-open/closed).
|
||||
|
||||
### Вне объёма
|
||||
- Реализация измерения покрытия для НЕ-Python стеков (jest / jacoco для будущих репозиториев) —
|
||||
фактическая интеграция инструментов оставлена на будущее; в ORCH-027 закладывается лишь
|
||||
расширяемость (политика и хранилище не должны быть жёстко завязаны на Python).
|
||||
- Изменение существующей семантики `check_ci_green` / `check_tests_passed` /
|
||||
`check_reviewer_verdict` для репозиториев, где гейт покрытия выключен.
|
||||
- Принудительное доведение покрытия до 100% или установка агрессивного абсолютного порога —
|
||||
стартовая политика консервативна (см. NFR-4).
|
||||
- Покрытие самих тестовых файлов и мутационное тестирование.
|
||||
- Выбор конкретного инструмента/механизма интеграции и его расположения в конвейере как
|
||||
архитектурного решения — это зона архитектора (`06-adr/`); BRD/ТЗ фиксируют требования и
|
||||
кандидатные точки, выведенные из фактического кода.
|
||||
|
||||
## 3. Заинтересованные стороны
|
||||
|
||||
- **Заказчик / инициатор:** Стрим (предложение), Слава (одобрение).
|
||||
- **Затрагиваются:** конвейер `orchestrator` (self-hosting); агенты `developer`/`tester`
|
||||
(теперь обязаны держать покрытие); проект enduro-trails — **не должен быть затронут** (гейт
|
||||
по умолчанию неактивен вне сконфигурированных репозиториев).
|
||||
- **Принимает результат:** reviewer (стадия `review`) + финальная стадия конвейера; владелец
|
||||
(Owner) — по факту работы гейта в проде.
|
||||
|
||||
## 4. Бизнес-требования (BR)
|
||||
|
||||
- **BR-1 — Измерение покрытия.** Перед слиянием ветки задачи в `main` покрытие тестами
|
||||
репозитория измеряется инструментально (исполнением тест-сьюта под coverage-инструментацией),
|
||||
а не оценивается на глаз. Результат — числовая метрика покрытия (как минимум line coverage).
|
||||
- **BR-2 — Гейт деградации.** Если измеренное покрытие нарушает политику (ниже абсолютного
|
||||
порога ИЛИ ниже базовой линии — в зависимости от выбранного режима), конвейер **не
|
||||
пропускает** задачу дальше к деплою и инициирует штатный откат на `development` для доработки
|
||||
тестов.
|
||||
- **BR-3 — Базовая линия (ratchet).** Поддерживается режим «не ниже предыдущего»: гейт
|
||||
сравнивает покрытие ветки с зафиксированной базовой линией `main`. Базовая линия **обновляется
|
||||
вверх** при успешном слиянии задачи в `main` (покрытие может только расти или держаться, но
|
||||
не падать).
|
||||
- **BR-4 — Конфигурируемость и нулевая регрессия.** Гейт управляется kill-switch'ем и
|
||||
per-repo областью (по образцу `merge_gate`/`security_gate`/`image_freshness`,
|
||||
ORCH-035/043/058). Для репозиториев вне области (в частности enduro-trails) гейт — **полный
|
||||
no-op**, поведение конвейера 1:1 как до задачи. Порог, политика (absolute|baseline|both) и
|
||||
поведение при ошибке инструмента — настраиваемы.
|
||||
- **BR-5 — Наблюдаемость.** Результат измерения виден: (а) артефакт-отчёт о покрытии с
|
||||
machine-readable вердиктом в `docs/work-items/<id>/`; (б) read-only блок в `GET /queue`;
|
||||
(в) уведомление в Telegram при провале гейта (кликабельный номер задачи, как у прочих
|
||||
алертов). Сообщение указывает измеренное покрытие, порог/базовую линию и дельту.
|
||||
- **BR-6 — Стек-расширяемость.** Логика политики (PASS/FAIL по метрике/базовой линии) и
|
||||
хранилище базовой линии не зависят от конкретного инструмента; добавление измерителя для
|
||||
другого стека (jest/jacoco) в будущем не требует переписывания ядра гейта.
|
||||
|
||||
## 5. Нефункциональные требования (NFR)
|
||||
|
||||
- **NFR-1 — never-raise / fail-safe.** Ядро гейта — изолированный leaf-модуль (по образцу
|
||||
`src/security_gate.py`, `src/serial_gate.py`, `src/labels.py`): любая внутренняя ошибка
|
||||
обрабатывается, исключение **никогда** не всплывает в `advance_stage` и не роняет конвейер
|
||||
всех проектов.
|
||||
- **NFR-2 — Поведение при недоступности/ошибке инструмента.** По умолчанию ошибка измерения
|
||||
(coverage-инструмент упал/недоступен) → **fail-open + громкий warning** (анти-петля,
|
||||
прецедент ORCH-061/ORCH-022 dep-audit), переключаемое в fail-closed флагом. Дефолт не должен
|
||||
заклинивать автономный конвейер из-за инфраструктурного сбоя.
|
||||
- **NFR-3 — Self-hosting безопасность.** Гейт только исполняет тесты в изолированном worktree,
|
||||
читает метрику, пишет отчёт и принимает решение. Он **никогда** не вызывает деплой-хук, не
|
||||
перезапускает прод-контейнер, не пушит/форс-пушит в `main`.
|
||||
- **NFR-4 — Консервативный старт (анти-флап).** Стартовая политика не должна массово заворачивать
|
||||
существующие задачи: базовая линия инициализируется фактическим покрытием `main`, абсолютный
|
||||
порог — как мягкий backstop. Допускается малый отрицательный допуск (epsilon) на шум измерения,
|
||||
чтобы дрожание ±доли процента не заворачивало задачу.
|
||||
- **NFR-5 — Совместимость.** `STAGE_TRANSITIONS`, состав/семантика `QG_CHECKS` и `check_*`,
|
||||
machine-verdict ключи существующих доков (`verdict:`/`result:`/`deploy_status:`/
|
||||
`staging_status:`/`security_status:`) — не меняются. Любая новая БД-сущность — аддитивна
|
||||
(без миграции существующих таблиц). Restart-safe.
|
||||
- **NFR-6 — Детерминизм.** Решение гейта — чистая функция от (измеренное покрытие, базовая
|
||||
линия, порог, политика); без участия LLM в критическом пути (как security/merge/image-freshness
|
||||
под-гейты).
|
||||
|
||||
## 6. Допущения и ограничения
|
||||
|
||||
- Тест-сьют `orchestrator` запускается командой `python -m pytest tests/` из корня репозитория
|
||||
(подтверждено `.gitea/workflows/ci.yml`, `pytest.ini` `testpaths = tests`); измерение покрытия
|
||||
накладывается на этот же прогон.
|
||||
- Coverage-инструмент для Python (`coverage.py` / `pytest-cov`) добавляется как pip-зависимость;
|
||||
он не требует сети во время измерения.
|
||||
- Репозиторий `orchestrator` — единственный self-hosting (предикат `is_self_hosting_repo`);
|
||||
стартовая область гейта — он. enduro-trails и прочие репозитории по умолчанию вне области.
|
||||
- Базовая линия привязана к покрытию `main`; её первичная инициализация выполняется один раз
|
||||
(bootstrap) фактическим замером текущего `main`.
|
||||
- Тесты исполняются в per-branch worktree (`ensure_worktree`), что безопасно при параллельных
|
||||
активных задачах (прецедент `check_tests_local`/merge-gate re-test).
|
||||
|
||||
## 7. Критерии успеха
|
||||
|
||||
- Покрытие тестами `orchestrator` измеряется на каждой задаче и не может опуститься ниже
|
||||
политики, не заблокировав продвижение к деплою.
|
||||
- При выключенном флаге / вне области — конвейер ведёт себя 1:1 как до ORCH-027 (нулевая
|
||||
регрессия для enduro-trails).
|
||||
- Сбой coverage-инструмента не заклинивает автономный конвейер (дефолт fail-open + warning).
|
||||
- Результат измерения прозрачен (отчёт + `GET /queue` + Telegram при провале).
|
||||
|
||||
Детальные PASS/FAIL — `03-acceptance-criteria.md`.
|
||||
|
||||
## 8. Риски
|
||||
|
||||
- **Флап на шуме измерения** — недетерминированное покрытие (например, зависящее от порядка/
|
||||
окружения) может дрожать у границы → ложные заворота. Митигировать epsilon-допуском (NFR-4).
|
||||
- **Петля заворотов** — слишком высокий абсолютный порог завернёт многие задачи в бесконечный
|
||||
rework. Митигировать консервативной стартовой политикой и baseline-режимом.
|
||||
- **Гонка базовой линии** при параллельных слияниях — два слияния в `main` могут конкурентно
|
||||
обновлять baseline. Требуется атомарное/сериализованное обновление (опереться на окно
|
||||
сериализации merge-lease, ORCH-043).
|
||||
- **Инфраструктурная хрупкость** — coverage-инструмент недоступен/несовместим с версией pytest →
|
||||
закрыто требованием NFR-2 (fail-open + warning).
|
||||
|
||||
Детальная техническая проработка рисков — `10-tech-risks.md` (заполняет архитектор).
|
||||
156
docs/work-items/ORCH-027/02-trz.md
Normal file
156
docs/work-items/ORCH-027/02-trz.md
Normal file
@@ -0,0 +1,156 @@
|
||||
---
|
||||
work_item: ORCH-027
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-10
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 02 — ТЗ (TRZ): ORCH-027 — Code coverage как гейт
|
||||
|
||||
Work Item: **ORCH-027** · Repo: **orchestrator** · Стадия: analysis
|
||||
|
||||
> ТЗ описывает **конкретные требования к реализации**, выведенные из BRD и фактического кода.
|
||||
> Архитектурное обоснование и выбор механизма (где именно врезать гейт, как хранить базовую
|
||||
> линию, какой инструмент) — задача архитектора (`06-adr/`). Ниже зафиксированы требования и
|
||||
> **кандидатные** точки интеграции, грунтованные реальным кодом; финальное решение по каждой
|
||||
> отмеченной точке принимает архитектор.
|
||||
|
||||
## 1. Сводка изменения
|
||||
|
||||
Вводится **детерминированный гейт покрытия тестами** для репозитория `orchestrator`. Гейт
|
||||
измеряет покрытие исполнением тест-сьюта под coverage-инструментацией, сравнивает с политикой
|
||||
(абсолютный порог и/или базовая линия `main`) и блокирует продвижение задачи к деплою при
|
||||
деградации, инициируя штатный откат на `development`. Ядро — изолированный leaf-модуль с чистой
|
||||
логикой решения (по образцу `security_gate`/`serial_gate`), управляемый kill-switch'ем и per-repo
|
||||
областью; вне области — полный no-op. Базовая линия покрытия `main` хранится персистентно и
|
||||
обновляется вверх при слиянии (ratchet).
|
||||
|
||||
## 2. Задействованные модули / пути
|
||||
|
||||
| Путь | Действие | Назначение |
|
||||
|------|----------|-----------|
|
||||
| `requirements.txt` | изменить | добавить coverage-зависимость Python (`coverage.py` / `pytest-cov`; точный выбор — архитектор) |
|
||||
| `src/coverage_gate.py` | создать | **NEW leaf-модуль**: измерение покрытия (run suite под coverage в `ensure_worktree`), чистые функции `compute_coverage_verdict(measured, baseline, floor, policy, epsilon)` и классификация, чтение/запись отчёта; never-raise; импортирует только `config`/`git_worktree` (+ лениво `qg.checks.is_self_hosting_repo`/`notifications`) |
|
||||
| `src/config.py` | изменить | добавить флаги гейта (см. §6 ниже / раздел совместимости) |
|
||||
| `src/qg/checks.py` | изменить | зарегистрировать механизм проверки покрытия (новый `check_*` ЛИБО делегирование из под-гейта); **семантика существующих `check_*` не меняется** |
|
||||
| `src/stage_engine.py` | изменить *(кандидат)* | врезка под-гейта в `advance_stage` по образцу `_handle_security_gate`/`_handle_merge_gate` — если выбран механизм «edge sub-gate» (см. §3 FR-3) |
|
||||
| `src/db.py` | изменить *(кандидат)* | аддитивная таблица базовой линии покрытия (`coverage_baseline` per-repo), если базовая линия хранится в БД, а не в файле; `_ensure_column`/`CREATE TABLE IF NOT EXISTS` — без миграции существующих |
|
||||
| `.gitea/workflows/ci.yml` | изменить *(кандидат)* | если измерение делается в CI-шаге — добавить `--cov`/порог в прогон pytest; **точка измерения — решение архитектора** |
|
||||
| `src/main.py` | изменить | read-only блок `coverage` в `GET /queue` (наблюдаемость) |
|
||||
| `docs/work-items/<id>/<NN>-coverage-report.md` | создать (артефакт run-time) | отчёт о покрытии с machine-readable вердиктом (см. §4/§6); номер/имя и регистрация в `docs/_standards/PIPELINE_DOCS.md` + скелет в `docs/_templates/` — оформляет архитектор |
|
||||
| `tests/test_coverage_gate.py` | создать | unit/integration по `04-test-plan.yaml` |
|
||||
|
||||
## 3. Функциональные требования
|
||||
|
||||
### FR-1 — Измерение покрытия (привязка BR-1)
|
||||
Гейт исполняет тест-сьют `orchestrator` (`python -m pytest tests/`, см. `.gitea/workflows/ci.yml`)
|
||||
под coverage-инструментацией в изолированном per-branch worktree (`ensure_worktree`, прецедент
|
||||
`check_tests_local`) и извлекает числовую метрику покрытия (как минимум суммарный line coverage,
|
||||
`%`). Тайм-аут на прогон ограничен (по образцу `merge_retest_timeout_s` / `security_scan_timeout_s`).
|
||||
|
||||
### FR-2 — Решение гейта (привязка BR-2, BR-3)
|
||||
Чистая функция `compute_coverage_verdict(measured, baseline, floor, policy, epsilon) -> (ok, reason)`:
|
||||
- `policy = absolute` → PASS ⇔ `measured >= floor - epsilon`.
|
||||
- `policy = baseline` → PASS ⇔ `measured >= baseline - epsilon`.
|
||||
- `policy = both` (дефолт) → PASS ⇔ выполнены оба условия.
|
||||
- FAIL → гейт инициирует штатный откат на `development` для доработки тестов (по образцу
|
||||
`_handle_security_gate` / merge-gate rollback), с инкрементом счётчика developer-retry.
|
||||
- `epsilon` — малый неотрицательный допуск на шум измерения (NFR-4), настраиваемый.
|
||||
|
||||
### FR-3 — Точка в конвейере (привязка BR-2; **кандидат, решает архитектор**)
|
||||
Бизнес-запрос указывает «на testing-гейте». Грунтованные кодом кандидаты (выбрать один):
|
||||
- **(a) Edge sub-gate** в `advance_stage` на ребре `deploy-staging → deploy` (рядом с
|
||||
`_handle_security_gate`/`_handle_merge_gate`/`_handle_image_freshness`) — даёт гарантию «гейт
|
||||
ДО слияния в `main`», детерминирован, владеет исходом на вмешательстве. Предпочтительно для
|
||||
соответствия NFR-3/NFR-6.
|
||||
- **(b) Под-гейт/расширение на ребре `testing → deploy-staging`** (рядом с `check_tests_passed`).
|
||||
- **(c) CI-шаг** в `.gitea/workflows/ci.yml` (ребро `development → review`, читается
|
||||
`check_ci_green`) — порог проверяется самим pytest-прогоном.
|
||||
Требование, инвариантное к выбору: гейт обязан отработать **до фактического merge в `main`** и не
|
||||
пропускать деградацию в `main`.
|
||||
|
||||
### FR-4 — Базовая линия и её обновление (привязка BR-3)
|
||||
- Персистентное per-repo хранилище базовой линии покрытия `main` (БД-таблица ИЛИ файл в репо —
|
||||
решает архитектор; при БД — аддитивная таблица, NFR-5).
|
||||
- Bootstrap: первичная инициализация фактическим замером текущего `main`.
|
||||
- Ratchet-up: при успешном слиянии задачи в `main` базовая линия обновляется значением
|
||||
смёрженного покрытия, **только если оно ≥ текущей** (покрытие не откатывается вниз). Обновление
|
||||
должно быть атомарным/сериализованным относительно параллельных слияний (опереться на окно
|
||||
merge-lease, ORCH-043).
|
||||
|
||||
### FR-5 — Условность и kill-switch (привязка BR-4)
|
||||
- `coverage_gate_enabled=False` → гейт инертен, конвейер 1:1 как до ORCH-027.
|
||||
- `coverage_gate_repos` (CSV) — область применения; **пусто → только self-hosting**
|
||||
(`is_self_hosting_repo`, по образцу `merge_gate`/`security_gate`/`image_freshness`).
|
||||
- Вне области → no-op `(True, "Coverage gate N/A")` (прецедент `check_staging_status` для
|
||||
не-self-hosting, ORCH-035).
|
||||
- `applies(repo)` (локальная проверка) выполняется ПЕРВОЙ; дорогой прогон измерения — только при
|
||||
`applies==True`.
|
||||
|
||||
### FR-6 — Поведение при ошибке инструмента (привязка NFR-2)
|
||||
Ошибка/недоступность coverage-инструмента или невозможность распарсить метрику → по умолчанию
|
||||
**fail-open + WARNING** (`coverage_tool_fail_closed=False`, прецедент `security_dep_audit_fail_closed`);
|
||||
флаг переключает в fail-closed. Поведение логируется явной observability-строкой.
|
||||
|
||||
### FR-7 — Наблюдаемость (привязка BR-5)
|
||||
- Артефакт-отчёт `<NN>-coverage-report.md` с machine-readable вердиктом (см. §4).
|
||||
- Read-only блок `coverage` в `GET /queue` (per-repo: `enabled`/`policy`/`floor`/`baseline`/
|
||||
последнее измеренное/вердикт).
|
||||
- При FAIL — `send_telegram` (notifying) с кликабельным номером задачи (`plane_issue_link`),
|
||||
измеренным покрытием, порогом/базовой линией и дельтой.
|
||||
|
||||
## 4. Изменения API
|
||||
|
||||
- **`GET /queue`** — добавить read-only блок `coverage` (наблюдаемость; форма прочих блоков
|
||||
`serial_gate`/`security`/`merge`). Без изменения существующих полей ответа.
|
||||
- **Опционально (решает архитектор):** ручной эндпоинт сброса/override базовой линии
|
||||
(`POST /coverage/baseline?repo=…`) — по образцу `POST /serial-gate/unfreeze`, на случай
|
||||
легитимного разового снижения покрытия. Если не вводится — override выполняется через конфиг.
|
||||
- Существующие webhook-роуты (`/webhook/plane`, `/webhook/gitea`) — без изменений.
|
||||
|
||||
## 5. Изменения схемы БД
|
||||
|
||||
Зависит от выбора хранилища базовой линии (FR-4):
|
||||
- **Если БД:** аддитивная таблица `coverage_baseline(repo TEXT PRIMARY KEY, coverage REAL,
|
||||
updated_at, source_sha TEXT)` через `CREATE TABLE IF NOT EXISTS` (паттерн `repo_freeze`/
|
||||
`job_deps`). Существующие таблицы — **не мигрируются** (NFR-5).
|
||||
- **Если файл в репо:** изменений схемы БД нет (базовая линия — версионируемый файл вроде
|
||||
`.coverage-baseline.json`, читаемый/обновляемый под merge-lease).
|
||||
|
||||
Выбор — архитектор; ТЗ требует лишь: персистентность, restart-safe, аддитивность, атомарность
|
||||
обновления.
|
||||
|
||||
## 6. Требования к новым/изменённым QG checks
|
||||
|
||||
- **Новый машинный вердикт покрытия.** Если гейт реализован как edge sub-gate (FR-3a/b), он
|
||||
**сам вычисляет** вердикт (как `check_security_gate`) и пишет отчёт `<NN>-coverage-report.md`
|
||||
с frontmatter-ключом `coverage_status:` (`PASS` | `FAIL`), читаемым обратно из того же файла
|
||||
(single source of truth, по образцу `security_status:` в `17-security-report.md`). Имя ключа
|
||||
фиксируется и регистр чувствителен.
|
||||
- **Реестр `QG_CHECKS`.** Допустимо добавить `check_coverage_gate` в реестр (если механизм —
|
||||
зарегистрированный QG) ЛИБО оставить его врезкой-под-гейтом (как security/merge/image-freshness,
|
||||
которые в `QG_CHECKS` присутствуют, но исполняются как врезки). **Семантика и состав
|
||||
существующих `check_*` — без изменений** (NFR-5).
|
||||
- **Парсинг frontmatter** вердикта — через единый контракт `src/frontmatter.py`
|
||||
(`parse_frontmatter`/`read_frontmatter_value`), как все вердикт-парсеры (ORCH-052c). Если
|
||||
отчёт несёт обязательную 6-польную схему 52c — добавить её аддитивно, не трогая `coverage_status:`.
|
||||
|
||||
## 7. Совместимость / регресс
|
||||
|
||||
- **Обратная совместимость:** при `coverage_gate_enabled=False` или для репозитория вне
|
||||
`coverage_gate_repos` — поведение конвейера байт-в-байт прежнее; enduro-trails не затронут.
|
||||
- **Kill-switch + поэтапный раскат:** `coverage_gate_enabled` (глобальный), `coverage_gate_repos`
|
||||
(область). Старт — только `orchestrator`.
|
||||
- **Конфиг-флаги (итог §3/§6):** `coverage_gate_enabled` (bool), `coverage_gate_repos` (CSV),
|
||||
`coverage_min_percent` (float, абсолютный порог), `coverage_policy` (`absolute|baseline|both`,
|
||||
дефолт `both`), `coverage_epsilon` (float, допуск шума), `coverage_tool_fail_closed` (bool,
|
||||
дефолт `False`), `coverage_run_timeout_s` (int). Имена env — `ORCH_COVERAGE_*`.
|
||||
- **never-raise / fail-open в hot-path:** ядро не роняет `advance_stage`; ошибка инструмента →
|
||||
fail-open + warning по умолчанию (NFR-2). Прод-контейнер/`main`/force-push — не трогаются (NFR-3).
|
||||
- **Restart-safe:** базовая линия персистентна; in-flight измерение при рестарте переигрывается
|
||||
штатным механизмом стадии (idempotent).
|
||||
- **Документация (golden source):** при выборе механизма архитектор регистрирует артефакт
|
||||
`<NN>-coverage-report.md` и его machine-key в `docs/_standards/PIPELINE_DOCS.md` +
|
||||
`docs/_templates/`, и обновляет `docs/architecture/README.md` и `CHANGELOG.md` в том же PR.
|
||||
138
docs/work-items/ORCH-027/03-acceptance-criteria.md
Normal file
138
docs/work-items/ORCH-027/03-acceptance-criteria.md
Normal file
@@ -0,0 +1,138 @@
|
||||
---
|
||||
work_item: ORCH-027
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-10
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 03 — Критерии приёмки (Acceptance Criteria): ORCH-027 — Code coverage как гейт
|
||||
|
||||
Work Item: **ORCH-027** · Repo: **orchestrator** · Стадия: analysis
|
||||
|
||||
Формат: каждый критерий имеет **PASS** (что должно быть истинно для приёмки) и **FAIL**
|
||||
(что считается провалом). Любой машинный/ручной reviewer проверяет их буквально по файлам
|
||||
репозитория.
|
||||
|
||||
---
|
||||
|
||||
## AC-1 — Покрытие измеряется инструментально
|
||||
|
||||
**Условие:** на применимом репозитории конвейер измеряет покрытие тестами исполнением сьюта под
|
||||
coverage-инструментацией перед слиянием в `main`.
|
||||
- **PASS:** в коде есть путь, который запускает `pytest` под coverage в изолированном worktree и
|
||||
извлекает числовую метрику line coverage (`%`); coverage-зависимость добавлена в `requirements.txt`.
|
||||
- **FAIL:** покрытие не измеряется инструментально, метрика берётся из прозы/вердикта LLM, либо
|
||||
зависимость не объявлена.
|
||||
|
||||
---
|
||||
|
||||
## AC-2 — Гейт блокирует деградацию
|
||||
|
||||
**Условие:** покрытие ниже политики не пропускается дальше к деплою.
|
||||
- **PASS:** при измеренном покрытии ниже порога/базовой линии (с учётом epsilon) гейт даёт FAIL и
|
||||
инициирует штатный откат на `development` (инкремент developer-retry), задача не достигает `done`.
|
||||
- **FAIL:** задача с упавшим покрытием проходит гейт и продвигается к деплою/`done`.
|
||||
|
||||
---
|
||||
|
||||
## AC-3 — Чистая функция решения
|
||||
|
||||
**Условие:** вердикт — детерминированная чистая функция от (measured, baseline, floor, policy, epsilon).
|
||||
- **PASS:** `compute_coverage_verdict(...)` покрыта unit-тестами для всех режимов
|
||||
(`absolute`/`baseline`/`both`), границ (равно порогу), epsilon-допуска; без участия LLM.
|
||||
- **FAIL:** решение принимает LLM, либо логика недетерминирована/не покрыта тестами границ.
|
||||
|
||||
---
|
||||
|
||||
## AC-4 — Режим базовой линии (ratchet)
|
||||
|
||||
**Условие:** поддержан режим «не ниже предыдущего» с обновлением базовой линии вверх при слиянии.
|
||||
- **PASS:** базовая линия персистентна per-repo; при слиянии обновляется значением смёрженного
|
||||
покрытия только если оно ≥ текущей; bootstrap инициализирует её фактическим покрытием `main`;
|
||||
обновление атомарно/сериализовано относительно параллельных слияний.
|
||||
- **FAIL:** базовая линия не хранится / откатывается вниз / обновляется неатомарно (гонка двух
|
||||
слияний теряет/занижает значение).
|
||||
|
||||
---
|
||||
|
||||
## AC-5 — Условность и нулевая регрессия
|
||||
|
||||
**Условие:** вне области / при выключенном флаге — поведение конвейера 1:1 как до ORCH-027.
|
||||
- **PASS:** при `coverage_gate_enabled=False` или repo ∉ `coverage_gate_repos` гейт — no-op
|
||||
(`(True, "...N/A")`); существующая тестовая база (`pytest tests/`) зелёная; enduro-trails не
|
||||
затронут; `applies(repo)` проверяется до дорогого прогона.
|
||||
- **FAIL:** гейт срабатывает вне области, либо выключенный флаг меняет поведение, либо есть
|
||||
регресс существующих тестов.
|
||||
|
||||
---
|
||||
|
||||
## AC-6 — Fail-open по умолчанию при ошибке инструмента
|
||||
|
||||
**Условие:** сбой/недоступность coverage-инструмента не заклинивает автономный конвейер.
|
||||
- **PASS:** при ошибке измерения и `coverage_tool_fail_closed=False` гейт даёт PASS + WARNING-лог
|
||||
(observability-строка); флаг `=True` переключает в fail-closed (FAIL). Поведение покрыто тестом.
|
||||
- **FAIL:** ошибка инструмента по умолчанию заворачивает задачу (петля rework) либо роняет
|
||||
`advance_stage`.
|
||||
|
||||
---
|
||||
|
||||
## AC-7 — never-raise / self-hosting безопасность
|
||||
|
||||
**Условие:** ядро гейта не роняет конвейер и не трогает прод/`main`.
|
||||
- **PASS:** `src/coverage_gate.py` — leaf (не импортирует `stage_engine`); любое исключение
|
||||
перехвачено и не всплывает в `advance_stage`; код не вызывает деплой-хук, не перезапускает
|
||||
прод-контейнер, не пушит/форс-пушит в `main`/`master`.
|
||||
- **FAIL:** исключение из гейта всплывает в `advance_stage`; гейт трогает прод-контейнер или `main`.
|
||||
|
||||
---
|
||||
|
||||
## AC-8 — Совместимость контрактов
|
||||
|
||||
**Условие:** существующие машинные контракты не изменены.
|
||||
- **PASS:** `STAGE_TRANSITIONS`, семантика существующих `check_*`, machine-verdict ключи
|
||||
(`verdict:`/`result:`/`deploy_status:`/`staging_status:`/`security_status:`) — байт-в-байт
|
||||
прежние; любая новая БД-сущность аддитивна (без миграции существующих таблиц).
|
||||
- **FAIL:** изменена семантика/имя существующего гейта или вердикт-ключа; миграция ломает
|
||||
существующую схему.
|
||||
|
||||
---
|
||||
|
||||
## AC-9 — Машинный вердикт покрытия и наблюдаемость
|
||||
|
||||
**Условие:** результат измерения прозрачен и машинно читаем.
|
||||
- **PASS:** при FAIL — Telegram-алерт с кликабельным номером задачи, измеренным покрытием,
|
||||
порогом/базовой линией и дельтой; `GET /queue` несёт read-only блок `coverage`; артефакт-отчёт
|
||||
с machine-readable вердиктом (`coverage_status: PASS|FAIL`) записан и читается обратно из того
|
||||
же файла через `src/frontmatter.py`.
|
||||
- **FAIL:** результат не виден в `GET /queue`/Telegram, либо вердикт парсится из прозы, а не из
|
||||
frontmatter, либо имя ключа не зафиксировано (регистр).
|
||||
|
||||
---
|
||||
|
||||
## AC-10 — Документация обновлена (golden source)
|
||||
|
||||
**Условие:** документация синхронизирована с изменением в том же PR.
|
||||
- **PASS:** если введён артефакт-отчёт — он зарегистрирован в `docs/_standards/PIPELINE_DOCS.md`
|
||||
и `docs/_templates/`; обновлены `docs/architecture/README.md` (описание гейта/флагов) и
|
||||
`CHANGELOG.md`; новые/изменённые инварианты несут маркер `ORCH-027`.
|
||||
- **FAIL:** функционал введён без обновления обзорной/стандартной документации (reviewer →
|
||||
REQUEST_CHANGES, ORCH-079).
|
||||
|
||||
---
|
||||
|
||||
## Сводная матрица AC ↔ FR/BR
|
||||
|
||||
| AC | Покрывает |
|
||||
|----|-----------|
|
||||
| AC-1 | BR-1 / FR-1 |
|
||||
| AC-2 | BR-2 / FR-2, FR-3 |
|
||||
| AC-3 | BR-2 / FR-2 / NFR-6 |
|
||||
| AC-4 | BR-3 / FR-4 |
|
||||
| AC-5 | BR-4 / FR-5 / NFR-5 |
|
||||
| AC-6 | NFR-2 / FR-6 |
|
||||
| AC-7 | NFR-1 / NFR-3 |
|
||||
| AC-8 | NFR-5 / FR-6 (§6 ТЗ) |
|
||||
| AC-9 | BR-5 / FR-7 / §6 ТЗ |
|
||||
| AC-10 | Правила агентов §2/§6 (CLAUDE.md) |
|
||||
110
docs/work-items/ORCH-027/04-test-plan.yaml
Normal file
110
docs/work-items/ORCH-027/04-test-plan.yaml
Normal file
@@ -0,0 +1,110 @@
|
||||
work_item: ORCH-027
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-10
|
||||
model_used: claude-opus-4-8
|
||||
title: "Code coverage gate — защита от деградации покрытия тестами"
|
||||
framework: pytest
|
||||
scope: >
|
||||
Покрываются: чистая логика вердикта покрытия (режимы absolute/baseline/both, границы,
|
||||
epsilon), ratchet-обновление базовой линии, условность (kill-switch + per-repo область),
|
||||
fail-open/fail-closed при ошибке инструмента, never-raise, наблюдаемость (GET /queue,
|
||||
Telegram при FAIL), интеграция гейта в advance_stage / точку конвейера. Вне покрытия:
|
||||
фактические измерители не-Python стеков (jest/jacoco), мутационное тестирование.
|
||||
notes: >
|
||||
Тесты не должны исполнять реальный прод-деплой и не трогают prod-контейнер/main.
|
||||
Измерение покрытия в тестах мокается/стабится (фиктивная метрика), реальный pytest-прогон
|
||||
под coverage проверяется отдельным интеграционным тестом на минимальном фикстур-репо/worktree.
|
||||
Полный регресс tests/ должен оставаться зелёным (нулевая регрессия для enduro-trails).
|
||||
|
||||
tests:
|
||||
- id: TC-01
|
||||
type: unit
|
||||
description: "compute_coverage_verdict, policy=absolute: measured>=floor → PASS; measured<floor-epsilon → FAIL; ровно на пороге → PASS"
|
||||
module: tests/test_coverage_gate.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-02
|
||||
type: unit
|
||||
description: "compute_coverage_verdict, policy=baseline: measured>=baseline → PASS; ниже baseline-epsilon → FAIL (no-regression / ratchet)"
|
||||
module: tests/test_coverage_gate.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-03
|
||||
type: unit
|
||||
description: "compute_coverage_verdict, policy=both: PASS только при выполнении обоих условий; нарушение любого → FAIL"
|
||||
module: tests/test_coverage_gate.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-04
|
||||
type: unit
|
||||
description: "epsilon-допуск: дрожание покрытия в пределах epsilon у границы не заворачивает задачу (анти-флап, NFR-4)"
|
||||
module: tests/test_coverage_gate.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-05
|
||||
type: unit
|
||||
description: "Ratchet базовой линии: при слиянии baseline растёт до смёрженного покрытия только если >= текущей; меньшее значение не понижает baseline"
|
||||
module: tests/test_coverage_gate.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-06
|
||||
type: unit
|
||||
description: "Bootstrap базовой линии: первичная инициализация фактическим покрытием main при отсутствии сохранённого значения"
|
||||
module: tests/test_coverage_gate.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-07
|
||||
type: unit
|
||||
description: "Условность applies(repo): пустой coverage_gate_repos → только self-hosting (is_self_hosting_repo); repo вне области → no-op (True, 'N/A'), дорогой прогон не запускается"
|
||||
module: tests/test_coverage_gate.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-08
|
||||
type: unit
|
||||
description: "Kill-switch coverage_gate_enabled=False → гейт инертен, advance_stage ведёт себя 1:1 как до ORCH-027"
|
||||
module: tests/test_coverage_gate.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-09
|
||||
type: unit
|
||||
description: "Fail-open по умолчанию: ошибка/недоступность coverage-инструмента и coverage_tool_fail_closed=False → PASS + WARNING-лог; флаг True → FAIL (fail-closed)"
|
||||
module: tests/test_coverage_gate.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-10
|
||||
type: unit
|
||||
description: "never-raise: внутреннее исключение (битый вывод coverage, отсутствие worktree) перехватывается, не всплывает в advance_stage"
|
||||
module: tests/test_coverage_gate.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-11
|
||||
type: unit
|
||||
description: "Запись/чтение отчёта: write_coverage_report пишет coverage_status: PASS|FAIL во frontmatter; parse читает обратно из того же файла через src/frontmatter.py (single source of truth)"
|
||||
module: tests/test_coverage_gate.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-12
|
||||
type: unit
|
||||
description: "Self-hosting безопасность: гейт не вызывает деплой-хук, не перезапускает прод-контейнер, не пушит/форс-пушит в main/master"
|
||||
module: tests/test_coverage_gate.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-13
|
||||
type: integration
|
||||
description: "Гейт в конвейере: при measured ниже политики advance_stage не продвигает к деплою и инициирует откат на development (инкремент developer-retry); при PASS — продвигает штатно"
|
||||
module: tests/test_coverage_gate.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-14
|
||||
type: integration
|
||||
description: "Реальное измерение: pytest под coverage в ensure_worktree на минимальном фикстур-репо возвращает корректную метрику line coverage и тайм-аутится по coverage_run_timeout_s"
|
||||
module: tests/test_coverage_gate.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-15
|
||||
type: integration
|
||||
description: "Наблюдаемость: FAIL даёт Telegram-алерт с кликабельным номером (измеренное/порог/дельта); GET /queue несёт read-only блок coverage; совместимость — STAGE_TRANSITIONS/QG_CHECKS/существующие вердикт-ключи не изменены"
|
||||
module: tests/test_coverage_gate.py
|
||||
expected: PASS
|
||||
266
docs/work-items/ORCH-027/06-adr/ADR-001-coverage-gate.md
Normal file
266
docs/work-items/ORCH-027/06-adr/ADR-001-coverage-gate.md
Normal file
@@ -0,0 +1,266 @@
|
||||
---
|
||||
work_item: ORCH-027
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-10
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# ADR-001: Гейт покрытия тестами — edge sub-gate с ratchet-базовой линией
|
||||
|
||||
Work Item: **ORCH-027** — детерминированный гейт покрытия тестами, блокирующий деградацию
|
||||
покрытия перед слиянием ветки задачи в `main`.
|
||||
Стадия: **architecture**
|
||||
Сквозная регистрация: **`docs/architecture/adr/adr-0029-coverage-gate.md`** (решение
|
||||
кросс-каттинговое — вводит новый QG `check_coverage_gate`, новый edge-под-гейт ребра
|
||||
`deploy-staging→deploy`, новую аддитивную БД-таблицу `coverage_baseline` и новый артефакт
|
||||
`18-coverage-report.md`).
|
||||
|
||||
## Статус
|
||||
Proposed
|
||||
|
||||
---
|
||||
|
||||
## Контекст
|
||||
|
||||
Оркестратор ведёт **автономную** разработку: код пишет агент `developer` без человека-фильтра,
|
||||
а на стадии `testing` агент `tester` сам решает, достаточно ли тестов. Существующие тестовые
|
||||
гейты судят только по **факту прохождения**, не по **полноте** (сверено по коду):
|
||||
|
||||
- `check_ci_green` (`development → review`) — exit-code `pytest tests/` в Gitea CI
|
||||
(`.gitea/workflows/ci.yml`); покрытие не меряется.
|
||||
- `check_tests_passed` (`testing → deploy-staging`, `qg/checks.py::_parse_tests_verdict`) —
|
||||
читает machine-verdict LLM-`tester`'а из `13-test-report.md`, а не измеренную метрику.
|
||||
- Merge-gate re-test (ORCH-043, `src/merge_gate.py`) — повторный `pytest` на догнанной ветке,
|
||||
снова только exit-code.
|
||||
|
||||
Ни один гейт не замечает «300 строк кода, 0 тестов» или багфикс без регрессионного теста. При
|
||||
пакетном автономном прогоне (ORCH-088, «10–20 задач за ночь») это означает **монотонную
|
||||
деградацию покрытия**: каждая задача срезает угол на тестах, и за десятки задач проект тихо
|
||||
теряет тестируемость. Нужна детерминированная метрика вместо доверия суждению агента — по духу
|
||||
аналогично security-гейту (ORCH-022, adr-0012).
|
||||
|
||||
Требования (`01-brd.md`/`02-trz.md`/`03-acceptance-criteria.md`): измерять покрытие
|
||||
инструментально перед merge в `main` (BR-1/FR-1); блокировать деградацию относительно
|
||||
абсолютного порога и/или базовой линии (BR-2/BR-3/FR-2); хранить и наращивать базовую линию
|
||||
(ratchet, FR-4); kill-switch + per-repo область, нулевая регрессия для enduro-trails
|
||||
(BR-4/FR-5); fail-open по умолчанию при сбое инструмента (NFR-2/FR-6); never-raise и
|
||||
self-hosting-безопасность (NFR-1/NFR-3); неизменность существующих контрактов (NFR-5).
|
||||
|
||||
## Решение
|
||||
|
||||
### Сводка
|
||||
|
||||
Вводим **детерминированный (без LLM) гейт покрытия** как **под-гейт ребра
|
||||
`deploy-staging → deploy`** — рядом с security-gate (ORCH-022), merge-gate (ORCH-043) и
|
||||
image-freshness (ORCH-058), исполняемый **ПОСЛЕ merge-gate и ДО image-freshness**.
|
||||
`STAGE_TRANSITIONS` не меняется; в `QG_CHECKS` добавляется `check_coverage_gate`. Паттерн —
|
||||
1:1 как у соседних под-гейтов: leaf-модуль `src/coverage_gate.py` (never-raise) + тонкая
|
||||
обёртка в `QG_CHECKS` + врезка `_handle_coverage_gate` в `advance_stage`. Базовая линия `main`
|
||||
хранится в **аддитивной БД-таблице** `coverage_baseline` и наращивается **вверх** (ratchet) в
|
||||
choke-point подтверждённого merge `_handle_merge_verify` (ребро `deploy → done`). Вердикт
|
||||
пишется в артефакт `18-coverage-report.md` (frontmatter-ключ `coverage_status:`) и читается
|
||||
обратно из того же файла (single source of truth, как `security_status:`).
|
||||
|
||||
### D1 — Точка в конвейере: edge sub-gate `deploy-staging → deploy`, ПОСЛЕ merge-gate (FR-3a)
|
||||
|
||||
Из трёх кандидатов TRZ FR-3 выбран **(a) edge sub-gate** на ребре `deploy-staging → deploy`
|
||||
(`advance_stage`, `src/stage_engine.py`, блок `current_stage == "deploy-staging"`). Это даёт
|
||||
структурную гарантию «гейт ДО merge в `main`» (merge выполняется детерминированным merge-актором
|
||||
в `_handle_merge_verify` на ребре `deploy → done`), детерминизм и владение исходом на
|
||||
вмешательстве — полное соответствие NFR-3/NFR-6.
|
||||
|
||||
**Порядок среди под-гейтов: security → merge → `coverage` → image-freshness.** Обоснование:
|
||||
|
||||
- **ПОСЛЕ merge-gate (а не первым, как security).** Merge-gate выполняет догон ветки на свежий
|
||||
`origin/main` (`auto_rebase_onto_main` под merge-lease, ORCH-043/026). Покрытие имеет смысл
|
||||
мерить на **догнанном** HEAD — это ровно тот код, что landed в `main`; измерение до rebase
|
||||
показало бы покрытие устаревшей базы. Поэтому coverage **обязан** идти после merge-gate
|
||||
(в отличие от security, который специально фейлит дёшево ДО rebase).
|
||||
- **ДО image-freshness.** Прогон pytest под coverage дорог, но дешевле полного docker-rebuild
|
||||
staging-образа. Фейлить покрытие до rebuild — экономия (паттерн «fail before expensive
|
||||
rebuild», 07-infra security-гейта).
|
||||
- **Merge-lease held на этой точке.** Merge-gate уже захватил merge-lease (ORCH-043). Значит
|
||||
**FAIL coverage обязан освободить merge-lease** при откате — как делает image-freshness
|
||||
rollback (`merge_gate.release_merge_lease`, `stage_engine.py:1165`), и **в отличие** от
|
||||
security-gate rollback (тот идёт ДО захвата lease и lease не трогает). Это явный инвариант
|
||||
реализации (TR-2).
|
||||
|
||||
Привязка: BR-2/FR-3/AC-2; NFR-3/AC-7.
|
||||
|
||||
### D2 — Измеритель: `pytest-cov` (`coverage.py`), `--cov=src` (FR-1, BR-6)
|
||||
|
||||
В `requirements.txt` добавляется **`pytest-cov`** (плагин-обёртка над `coverage.py`). Измерение —
|
||||
прогон `python -m pytest tests/ --cov=src --cov-report=json:<tmp>/coverage.json
|
||||
--cov-report=` в изолированном per-branch worktree (`ensure_worktree`, прецедент
|
||||
`check_tests_local`/merge-gate re-test). Числовая метрика — `totals.percent_covered` из JSON
|
||||
(line coverage, `%`). Скоуп измерения — **`src/`** (не `tests/`: покрытие самих тестов вне
|
||||
объёма, BRD §«Вне объёма»). Сеть при измерении не нужна. Тайм-аут — `coverage_run_timeout_s`
|
||||
(по образцу `merge_retest_timeout_s`/`security_scan_timeout_s`).
|
||||
|
||||
**Стек-расширяемость (BR-6/AC-… BR-6):** измеритель инкапсулирован за функцией
|
||||
`measure_coverage(repo, branch) -> float | None`; чистая логика решения
|
||||
`compute_coverage_verdict(...)` и хранилище базовой линии **не зависят** от Python/pytest.
|
||||
Добавление jest/jacoco-измерителя для будущего стека — новая ветка `measure_*`, без переписывания
|
||||
ядра. Фактическая интеграция не-Python стеков — вне объёма ORCH-027.
|
||||
|
||||
### D3 — Чистая функция решения (FR-2, NFR-6, BR-2/BR-3)
|
||||
|
||||
`compute_coverage_verdict(measured, baseline, floor, policy, epsilon) -> (ok: bool, reason: str)` —
|
||||
детерминированная чистая функция (без LLM, без I/O):
|
||||
|
||||
- `policy = "absolute"` → PASS ⇔ `measured >= floor - epsilon`.
|
||||
- `policy = "baseline"` → PASS ⇔ `measured >= baseline - epsilon`.
|
||||
- `policy = "both"` (дефолт) → PASS ⇔ выполнены **оба** условия.
|
||||
- `baseline is None` (нет сохранённой базовой линии) → baseline-условие **не применяется**
|
||||
(bootstrap: нельзя регрессировать против пустоты) → решает только absolute-часть; измеренное
|
||||
значение засеет базовую линию при merge (D5).
|
||||
- `epsilon` — малый неотрицательный допуск на шум измерения (NFR-4/AC-4): дрожание ±доли
|
||||
процента у границы не заворачивает задачу.
|
||||
|
||||
FAIL → штатный откат на `development` + инкремент общего `_developer_retry_count` (cap
|
||||
`MAX_DEVELOPER_RETRIES`, затем `set_issue_blocked` + Telegram) — точно как security/merge-gate
|
||||
rollback. Дословный reason (измеренное/порог/базовая линия/дельта) встраивается в `task_desc`
|
||||
developer'а (паттерн ORCH-046). Привязка: AC-2/AC-3.
|
||||
|
||||
### D4 — Хранилище базовой линии: аддитивная БД-таблица `coverage_baseline` (FR-4, NFR-5)
|
||||
|
||||
Базовая линия `main` хранится в **БД**, не в файле репозитория:
|
||||
|
||||
```sql
|
||||
CREATE TABLE IF NOT EXISTS coverage_baseline (
|
||||
repo TEXT PRIMARY KEY,
|
||||
coverage REAL NOT NULL,
|
||||
source_sha TEXT,
|
||||
updated_at TEXT NOT NULL
|
||||
);
|
||||
```
|
||||
|
||||
(паттерн `repo_freeze`/`job_deps` — `CREATE TABLE IF NOT EXISTS`, существующие таблицы не
|
||||
мигрируются, NFR-5/AC-8; детали — `08-data-requirements.md`). **Почему БД, а не файл в репо**
|
||||
(`.coverage-baseline.json`): файл пришлось бы коммитить в `main` на каждый ratchet → git-churn,
|
||||
сам файл попадает в diff и может конфликтовать при параллельных merge, плюс он часть измеряемого
|
||||
дерева. БД-таблица — restart-safe, аддитивна, обновляется атомарно и не порождает коммитов.
|
||||
Таблица keyed by `repo` → общая прод-БД (self-hosting) безопасно разделяет базовые линии разных
|
||||
репозиториев.
|
||||
|
||||
### D5 — Ratchet-up в choke-point подтверждённого merge (FR-4, BR-3)
|
||||
|
||||
Базовая линия наращивается **только вверх** и **только при подтверждённом** слиянии в `main`.
|
||||
Единственный авторитетный choke-point подтверждённого merge — `_handle_merge_verify` (ребро
|
||||
`deploy → done`, ORCH-071/073, доказательство SHA-in-main). Туда добавляется never-raise врезка
|
||||
`coverage_gate.ratchet_baseline_on_merge(repo, work_item_id, branch, sha)`, вызываемая **после**
|
||||
того как merge подтверждён (`_handle_merge_verify` вернул `False` = confirmed) и **до** перехода
|
||||
в `done`:
|
||||
|
||||
1. Читает измеренное покрытие смёрженной ветки из артефакта `18-coverage-report.md` (single
|
||||
source of truth — то же значение, что гейт записал на ребре `deploy-staging→deploy`).
|
||||
2. **Атомарный compare-and-set:** `UPDATE coverage_baseline SET coverage=?, source_sha=?,
|
||||
updated_at=? WHERE repo=? AND coverage <= ?` (или `INSERT` при отсутствии строки —
|
||||
bootstrap). Условие `coverage <= measured` гарантирует, что базовая линия **никогда не
|
||||
падает** (FR-4), даже при гонке.
|
||||
|
||||
**Сериализация (анти-гонка, NFR-5/AC-4):** на этой точке merge-lease ещё **held** (release на
|
||||
`done`/rollback, `stage_engine.py:446`), а merge репо сериализован per-repo (ORCH-043). Плюс
|
||||
атомарный compare-and-set в SQL — **двойная защита**: даже без lease два параллельных merge не
|
||||
понизят и не потеряют значение. Bootstrap — первый merge применимого репо засевает базовую линию
|
||||
своим измеренным покрытием.
|
||||
|
||||
### D6 — Условность, kill-switch, наблюдаемость (FR-5/FR-7, BR-4/BR-5)
|
||||
|
||||
- **Флаги (`config.py`, env `ORCH_COVERAGE_*`):** `coverage_gate_enabled` (bool, kill-switch),
|
||||
`coverage_gate_repos` (CSV; **пусто → только self-hosting** `is_self_hosting_repo`, по образцу
|
||||
`merge_gate`/`security_gate`/`image_freshness`), `coverage_min_percent` (float, абсолютный
|
||||
порог-floor), `coverage_policy` (`absolute|baseline|both`, дефолт `both`), `coverage_epsilon`
|
||||
(float, дефолт малый, напр. `0.5`), `coverage_tool_fail_closed` (bool, дефолт `False`),
|
||||
`coverage_run_timeout_s` (int).
|
||||
- **`applies(repo)`** (локальная проверка) выполняется **ПЕРВОЙ**; дорогой прогон измерения —
|
||||
только при `applies==True`. Вне области → no-op `(True, "Coverage gate N/A")` (прецедент
|
||||
`check_staging_status` для не-self, ORCH-035). При `coverage_gate_enabled=False` — гейт инертен,
|
||||
конвейер 1:1 как до ORCH-027 (AC-5).
|
||||
- **FR-6 (ошибка инструмента):** `measure_coverage` вернул `None` (инструмент упал/недоступен/
|
||||
метрика не распарсилась) → по умолчанию **fail-open + WARNING** (observability-строка),
|
||||
`coverage_tool_fail_closed=True` → fail-closed (FAIL). Дефолт анти-петля (прецедент
|
||||
ORCH-061/ORCH-022 dep-audit), чтобы инфра-сбой не заклинил автономный конвейер.
|
||||
- **FR-7 (наблюдаемость):** артефакт `18-coverage-report.md` (frontmatter `coverage_status:
|
||||
PASS|FAIL` + `measured_coverage`/`baseline`/`floor`/`policy`/`delta`); read-only блок
|
||||
`coverage` в `GET /queue` (`src/main.py`); при FAIL — `send_telegram` с кликабельным номером
|
||||
(`plane_issue_link`/`link_for`), измеренным покрытием, порогом/базовой линией и дельтой.
|
||||
|
||||
### D7 — Машинный вердикт и парсинг (§6 ТЗ, AC-9)
|
||||
|
||||
Гейт **сам вычисляет** вердикт (как `check_security_gate`) и пишет
|
||||
`18-coverage-report.md` с YAML-frontmatter `coverage_status:` (`PASS` | `FAIL`); регистр
|
||||
чувствителен, имя фиксируется. Чтение обратно — через единый контракт `src/frontmatter.py`
|
||||
(`parse_frontmatter`/`read_frontmatter_value`, ORCH-052c), как все вердикт-парсеры. Артефакт
|
||||
несёт **аддитивно** обязательную 6-польную схему 52c, не трогая `coverage_status:`. В `QG_CHECKS`
|
||||
добавляется `check_coverage_gate` (тонкая обёртка, делегирующая в leaf); **семантика и состав
|
||||
существующих `check_*` / machine-verdict ключей (`verdict:`/`result:`/`deploy_status:`/
|
||||
`staging_status:`/`security_status:`) — байт-в-байт прежние** (NFR-5/AC-8).
|
||||
|
||||
### D8 — Опциональный override базовой линии (FR-4 / §4 API)
|
||||
|
||||
Для легитимного разового снижения покрытия (напр. удаление большого протестированного модуля)
|
||||
вводится опциональный ручной эндпоинт `POST /coverage/baseline?repo=<repo>&value=<float>` (по
|
||||
образцу `POST /serial-gate/unfreeze`) — устанавливает/сбрасывает базовую линию вручную.
|
||||
Альтернатива без эндпоинта — временно переключить `coverage_policy=absolute`. Эндпоинт
|
||||
рекомендован для эксплуатационной гибкости, но не критичен для v1.
|
||||
|
||||
## Альтернативы
|
||||
|
||||
- **Точка измерения — CI-job (`check_ci_green`, FR-3c).** Пороги/политика/базовая линия/артефакт
|
||||
плохо выражаются статусом коммита; ratchet требует записи в общую БД, недоступную из CI-раннера
|
||||
чисто. Коуплинг с раннером. Отклонено для v1 (точка расширения), как у security-гейта.
|
||||
- **Точка измерения — `testing → deploy-staging` (рядом с `check_tests_passed`, FR-3b).** Ветка
|
||||
ещё не догнана на свежий `main` → измеренное покрытие может не соответствовать landed-коду;
|
||||
откат отсюда не освобождает merge-lease иначе. Edge `deploy-staging→deploy` после merge-gate —
|
||||
точнее. Отклонено.
|
||||
- **Базовая линия в файле репо (`.coverage-baseline.json`).** Git-churn на каждый ratchet,
|
||||
конфликты при параллельных merge, файл — часть измеряемого дерева. Отклонено в пользу
|
||||
аддитивной БД-таблицы (D4).
|
||||
- **Складывание измерения в merge-gate re-test (один pytest-прогон).** Снижает дабл-ран, но
|
||||
коуплит coverage-логику с merge_gate; нарушает leaf-изоляцию ТЗ. Отклонено для v1 (возможный
|
||||
follow-up — измерять покрытие в том же прогоне).
|
||||
- **Новый stage `coverage`.** «Пустая» стадия без агента не имеет триггера (как в ORCH-043/022).
|
||||
Отклонено.
|
||||
- **Жёсткий абсолютный порог без baseline/epsilon.** Массовые ложные заворота → петля rework.
|
||||
Отклонено в пользу консервативного `both` + epsilon (NFR-4).
|
||||
|
||||
## Последствия
|
||||
|
||||
- **+** Класс «тихо просевшее покрытие» закрыт детерминированной метрикой; защита от монотонной
|
||||
деградации в пакетном автономном прогоне (ORCH-088). Базовая линия может только расти (ratchet).
|
||||
- **+** Нулевая регрессия: при выключенном флаге / вне области (enduro-trails) — конвейер
|
||||
байт-в-байт прежний; `STAGE_TRANSITIONS`/`QG_CHECKS`-семантика/вердикт-ключи не тронуты.
|
||||
- **+** Self-hosting-безопасно: гейт только мерит/читает/пишет/решает; не деплоит, не рестартит
|
||||
прод, не пушит/форс-пушит в `main` (NFR-3).
|
||||
- **−** Дополнительный прогон pytest под coverage на каждой применимой задаче (после merge-gate
|
||||
re-test) → ещё один полный тест-ран. Митигейшн: ограничен `coverage_run_timeout_s`; фейлит до
|
||||
дорогого image-rebuild; follow-up — слияние с merge-gate re-test.
|
||||
- **−** Ещё один «скрытый» под-гейт ребра (нет в `STAGE_TRANSITIONS`); новая pip-зависимость
|
||||
(`pytest-cov`); v1 — Python-only (мульти-стек — точка расширения BR-6).
|
||||
- **−** Дефолтный fail-open означает, что устойчивый сбой инструмента **тихо** пропускает задачи
|
||||
(с WARNING). Митигейшн: громкий лог + переключатель `coverage_tool_fail_closed`.
|
||||
- **Сквозное изменение** (новый QG + edge-под-гейт + новая БД-таблица + новый артефакт) →
|
||||
лейбл `arch:major-change`; прод-деплой ORCH-027 — строго через staging-гейт (8501), без
|
||||
рестарта прод-контейнера.
|
||||
- **Откат:** `coverage_gate_enabled=False` → полный no-op (мгновенный обратимый kill-switch).
|
||||
Полное удаление — снять врезки `_handle_coverage_gate`/`ratchet_baseline_on_merge`, удалить
|
||||
leaf-модуль, `check_coverage_gate` из `QG_CHECKS`, флаги, артефакт-шаблон; таблица
|
||||
`coverage_baseline` аддитивна и может остаться (инертна).
|
||||
|
||||
## Ссылки
|
||||
|
||||
- BRD: `docs/work-items/ORCH-027/01-brd.md`
|
||||
- TRZ: `docs/work-items/ORCH-027/02-trz.md`
|
||||
- Acceptance: `docs/work-items/ORCH-027/03-acceptance-criteria.md`
|
||||
- Data: `docs/work-items/ORCH-027/08-data-requirements.md`
|
||||
- Risks: `docs/work-items/ORCH-027/10-tech-risks.md`
|
||||
- Сквозной ADR: `docs/architecture/adr/adr-0029-coverage-gate.md`
|
||||
- Сверено по коду: `src/stage_engine.py` (`_handle_security_gate`/`_handle_merge_gate`/
|
||||
`_handle_image_freshness`/`_handle_merge_verify`), `src/security_gate.py`, `src/merge_gate.py`,
|
||||
`src/qg/checks.py`, `.gitea/workflows/ci.yml`, `pytest.ini`
|
||||
- Прецеденты: adr-0012 (security-гейт), adr-0006 (merge-gate — edge-под-гейт/откат/lease),
|
||||
adr-0008 (image-freshness — условность/fail-closed), adr-0003 (`is_self_hosting_repo`),
|
||||
adr-0009 (анти-петля ложных FAIL), adr-0014 (SHA-in-main как source of truth для merge)
|
||||
64
docs/work-items/ORCH-027/07-infra-requirements.md
Normal file
64
docs/work-items/ORCH-027/07-infra-requirements.md
Normal file
@@ -0,0 +1,64 @@
|
||||
---
|
||||
work_item: ORCH-027
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-10
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 07 — Инфраструктурные требования: ORCH-027 — Code coverage как гейт
|
||||
|
||||
Work Item: **ORCH-027** · Repo: **orchestrator** · Стадия: architecture
|
||||
|
||||
> When-applicable. Топология **не меняется** (всё в существующем Docker-контейнере на одном
|
||||
> сервере mva154, SQLite, собственная очередь). Затрагивается только зависимостный и
|
||||
> конфигурационный слой.
|
||||
|
||||
## Топология / окружение
|
||||
|
||||
- **Без изменений топологии** — никаких новых контейнеров/сервисов/нод. Гейт исполняется внутри
|
||||
существующего процесса оркестратора, измерение — в per-branch worktree (`ensure_worktree`),
|
||||
как merge-gate re-test. `docs/operations/INFRA.md` — без правок.
|
||||
- **Self-hosting безопасность (NFR-3):** гейт не вызывает деплой-хук, не рестартит прод-контейнер
|
||||
`orchestrator` (8500), не пушит в `main`. Прод-деплой ORCH-027 — **только** через
|
||||
staging-гейт (8501) → выделенный статус «Confirm Deploy» (ORCH-059), без рестарта прод
|
||||
случайным approve.
|
||||
|
||||
## Зависимости
|
||||
|
||||
| Зависимость | Где | Назначение |
|
||||
|-------------|-----|-----------|
|
||||
| `pytest-cov` (обёртка `coverage.py`) | `requirements.txt` | измерение line coverage прогоном `pytest --cov=src --cov-report=json`. Offline (сеть при измерении не нужна). Попадает в прод-образ при пересборке. |
|
||||
|
||||
- Версия фиксируется совместимой с текущим `pytest` (см. `requirements.txt`/`pytest.ini`).
|
||||
- Новых системных пакетов в `Dockerfile` не требуется (чистый pip-пакет).
|
||||
|
||||
## Конфигурация (env, `.env` на хосте)
|
||||
|
||||
Новые флаги (`config.py`, префикс `ORCH_COVERAGE_*`; дефолты безопасны — нулевая регрессия):
|
||||
|
||||
| Env | Дефолт | Назначение |
|
||||
|-----|--------|-----------|
|
||||
| `ORCH_COVERAGE_GATE_ENABLED` | `false` (раскат поэтапный) | kill-switch |
|
||||
| `ORCH_COVERAGE_GATE_REPOS` | пусто → только self-hosting | CSV область применения |
|
||||
| `ORCH_COVERAGE_MIN_PERCENT` | консервативно (напр. backstop) | абсолютный порог-floor |
|
||||
| `ORCH_COVERAGE_POLICY` | `both` | `absolute\|baseline\|both` |
|
||||
| `ORCH_COVERAGE_EPSILON` | малый (напр. `0.5`) | допуск на шум измерения |
|
||||
| `ORCH_COVERAGE_TOOL_FAIL_CLOSED` | `false` | поведение при сбое инструмента |
|
||||
| `ORCH_COVERAGE_RUN_TIMEOUT_S` | по образцу `merge_retest_timeout_s` | тайм-аут прогона |
|
||||
|
||||
## Эксплуатационные предусловия
|
||||
|
||||
- **Bootstrap базовой линии:** при первом merge применимого репо базовая линия `main`
|
||||
засевается автоматически фактическим измеренным покрытием (D5). Ручной первичный замер не
|
||||
обязателен; при необходимости — `POST /coverage/baseline?repo=orchestrator&value=<%>` (D8).
|
||||
- **Раскат:** включать `ORCH_COVERAGE_GATE_ENABLED=true` только после прод-деплоя кода и
|
||||
прогона на staging (8501); стартовая область — только `orchestrator`.
|
||||
- **Override (легитимное снижение покрытия):** `POST /coverage/baseline` (по образцу
|
||||
`POST /serial-gate/unfreeze`) либо временный `ORCH_COVERAGE_POLICY=absolute`.
|
||||
|
||||
## Секреты / сеть
|
||||
|
||||
- Новых секретов нет. Сетевого доступа при измерении нет (coverage offline).
|
||||
- enduro-trails и прочие репозитории — вне области по умолчанию, нулевое влияние.
|
||||
67
docs/work-items/ORCH-027/08-data-requirements.md
Normal file
67
docs/work-items/ORCH-027/08-data-requirements.md
Normal file
@@ -0,0 +1,67 @@
|
||||
---
|
||||
work_item: ORCH-027
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-10
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 08 — Требования к данным: ORCH-027 — Code coverage как гейт
|
||||
|
||||
Work Item: **ORCH-027** · Repo: **orchestrator** · Стадия: architecture
|
||||
|
||||
> When-applicable / информационный (гейтом не парсится). Затрагивается схема БД — вводится
|
||||
> **одна аддитивная таблица** базовой линии покрытия. Существующие таблицы не мигрируются.
|
||||
|
||||
## Изменения схемы БД
|
||||
|
||||
Новая аддитивная таблица `coverage_baseline` (паттерн `repo_freeze`/`job_deps` —
|
||||
`CREATE TABLE IF NOT EXISTS` в `init_db`, `src/db.py`; без `ALTER`/миграции существующих):
|
||||
|
||||
```sql
|
||||
CREATE TABLE IF NOT EXISTS coverage_baseline (
|
||||
repo TEXT PRIMARY KEY, -- репозиторий (напр. "orchestrator")
|
||||
coverage REAL NOT NULL, -- last-known базовая линия покрытия main (%, line coverage)
|
||||
source_sha TEXT, -- SHA main, на котором зафиксирована базовая линия (аудит)
|
||||
updated_at TEXT NOT NULL -- ISO-таймстамп последнего ratchet/bootstrap
|
||||
);
|
||||
```
|
||||
|
||||
Доступ — через аддитивные read-only/мутирующие хелперы `src/db.py`:
|
||||
- `get_coverage_baseline(repo) -> float | None` (None ⇒ bootstrap-режим, базовой линии ещё нет);
|
||||
- `ratchet_coverage_baseline(repo, coverage, sha) -> bool` — **атомарный compare-and-set**:
|
||||
`INSERT` при отсутствии строки; иначе `UPDATE ... SET coverage=?, source_sha=?, updated_at=?
|
||||
WHERE repo=? AND coverage <= ?` (базовая линия **никогда не понижается**);
|
||||
- `set_coverage_baseline(repo, coverage, sha)` — безусловная установка (ручной override D8 /
|
||||
`POST /coverage/baseline`).
|
||||
|
||||
## Новые/изменённые сущности
|
||||
|
||||
- **`coverage_baseline`** — одна строка на репозиторий; keyed by `repo`. Инвариант: `coverage`
|
||||
монотонно не убывает через `ratchet_coverage_baseline` (только `set_coverage_baseline`/ручной
|
||||
override может понизить — легитимный разовый случай, D8). На общей прод-БД (self-hosting)
|
||||
строки разных репозиториев изолированы первичным ключом.
|
||||
- **Артефакт `18-coverage-report.md`** — НЕ БД-сущность: файл в `docs/work-items/<id>/`,
|
||||
несёт frontmatter `coverage_status: PASS|FAIL` + `measured_coverage`/`baseline`/`floor`/
|
||||
`policy`/`delta`. Source of truth измеренного значения для ratchet (D5).
|
||||
|
||||
Существующие таблицы (`tasks`, `jobs`, `job_deps`, `repo_freeze`, `agent_runs`,
|
||||
`tracker_messages`, …) — **не изменяются** (NFR-5/AC-8).
|
||||
|
||||
## Совместимость данных / миграции
|
||||
|
||||
- **Аддитивность:** только `CREATE TABLE IF NOT EXISTS` — ни один существующий столбец/таблица
|
||||
не трогается; миграции существующих данных нет.
|
||||
- **Идемпотентность:** `CREATE TABLE IF NOT EXISTS` безопасен при повторном старте; bootstrap
|
||||
(первый `INSERT`) выполняется один раз на репозиторий.
|
||||
- **Restart-safe:** базовая линия персистентна; in-flight измерение при рестарте переигрывается
|
||||
штатным механизмом стадии (idempotent — гейт пересчитает вердикт, ratchet — атомарный
|
||||
compare-and-set, повтор не понизит и не задвоит).
|
||||
- **Атомарность / анти-гонка:** ratchet — единичный SQL `UPDATE ... WHERE coverage <= ?` (или
|
||||
`INSERT`), выполняется под held merge-lease (ORCH-043, per-repo сериализация merge) → двойная
|
||||
защита от параллельных слияний.
|
||||
- **Влияние на общую прод-БД:** одна маленькая таблица (≤ числа репозиториев строк); нулевой
|
||||
риск для enduro-trails и прочих проектов (строки изолированы по `repo`, гейт для них no-op).
|
||||
- При `coverage_gate_enabled=False` таблица может существовать пустой/инертной — нулевая
|
||||
регрессия.
|
||||
42
docs/work-items/ORCH-027/10-tech-risks.md
Normal file
42
docs/work-items/ORCH-027/10-tech-risks.md
Normal file
@@ -0,0 +1,42 @@
|
||||
---
|
||||
work_item: ORCH-027
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-10
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 10 — Технические риски: ORCH-027 — Code coverage как гейт
|
||||
|
||||
Work Item: **ORCH-027** · Repo: **orchestrator** · Стадия: architecture
|
||||
|
||||
> Информационный (гейтом не парсится). Перечисляет риски реализации и их митигейшн.
|
||||
|
||||
## Реестр рисков
|
||||
|
||||
| ID | Риск | Вер. | Влия. | Митигейшн |
|
||||
|----|------|------|-------|-----------|
|
||||
| TR-1 | **Флап на шуме измерения** — недетерминированное покрытие (порядок тестов/окружение) дрожит у границы → ложные заворота, петля rework. | Сред. | Сред. | `coverage_epsilon` (NFR-4/D3): дрожание ±доли % не заворачивает. Дефолт `policy=both` мягкий; абсолютный порог — backstop, не агрессивный. |
|
||||
| TR-2 | **Не освобождён merge-lease при FAIL.** Coverage идёт ПОСЛЕ merge-gate (lease уже held) — забытый release при откате заклинит serial-gate репо (другие задачи репо в defer навсегда). | Сред. | Выс. | Явный инвариант D1: rollback coverage вызывает `merge_gate.release_merge_lease` (как image-freshness rollback, `stage_engine.py:1165`); покрыто тестом TC-13. Backstop — crash-реклейм lease по возрасту (ORCH-043). |
|
||||
| TR-3 | **Гонка базовой линии** — два параллельных слияния в `main` конкурентно обновляют baseline, теряя/занижая значение. | Низ. | Сред. | Атомарный SQL compare-and-set `UPDATE ... WHERE coverage <= ?` (D5/08-data) + held merge-lease + per-repo сериализация merge (ORCH-043) → тройная защита. Покрыто TC-05. |
|
||||
| TR-4 | **Инфра-хрупкость инструмента** — `pytest-cov` несовместим с версией pytest / упал / метрика не парсится → конвейер клинит. | Низ. | Сред. | NFR-2/FR-6/D6: дефолт fail-open + громкий WARNING (анти-петля ORCH-061); `coverage_tool_fail_closed` для строгого режима. `measure_coverage`→`None` обрабатывается, не всплывает. Покрыто TC-09. |
|
||||
| TR-5 | **Исключение всплывает в `advance_stage`** — ошибка leaf-модуля роняет конвейер ВСЕХ проектов (общий прод-инстанс). | Низ. | Выс. | NFR-1/AC-7: `src/coverage_gate.py` — leaf (не импортирует `stage_engine`), контракт never-raise; любое исключение → `(False/True, reason)` по политике fail-open/closed. Покрыто TC-10. |
|
||||
| TR-6 | **Дабл-ран pytest** — coverage-прогон после merge-gate re-test удваивает время тестов на применимой задаче. | Выс. | Низ. | Ограничен `coverage_run_timeout_s`; фейлит ДО дорогого image-rebuild; follow-up — слияние измерения с merge-gate re-test (вне объёма v1). Влияет только на self-hosting `orchestrator`. |
|
||||
| TR-7 | **Стартовая петля заворотов** — высокий `coverage_min_percent` массово заворачивает существующие задачи в rework. | Сред. | Сред. | NFR-4/D3: bootstrap инициализирует baseline фактическим покрытием `main`; absolute-порог — мягкий backstop; cap `MAX_DEVELOPER_RETRIES` → Blocked+alert вместо бесконечной петли. |
|
||||
| TR-8 | **Self-hosting побочка** — гейт случайно трогает прод-контейнер/`main`/force-push. | Низ. | Выс. | NFR-3/AC-7: гейт только мерит/читает/пишет/решает в изолированном worktree; не вызывает деплой-хук, не рестартит прод, не пушит в `main`. Покрыто TC-12. |
|
||||
| TR-9 | **Регресс контрактов** — затронуты `STAGE_TRANSITIONS`/существующие `check_*`/вердикт-ключи. | Низ. | Выс. | NFR-5/AC-8: новый QG аддитивен, edge-врезка не меняет `STAGE_TRANSITIONS`; вердикт-ключи прежних доков байт-в-байт. Покрыто TC-15. |
|
||||
|
||||
## Сводный вывод
|
||||
|
||||
Доминирующий класс рисков — **эксплуатация автономного self-hosting-конвейера**: самые
|
||||
тяжёлые по влиянию (TR-2 заклинивание serial-gate, TR-5 падение конвейера всех проектов, TR-8
|
||||
побочка на прод) имеют **низкую вероятность** и закрыты структурными инвариантами, повторяющими
|
||||
проверенные паттерны соседних под-гейтов (security/merge/image-freshness): leaf never-raise,
|
||||
fail-open дефолт, явный release merge-lease при откате, kill-switch. Остаточный риск для
|
||||
прод-конвейера — **низкий** при условии тестового покрытия инвариантов TR-2/TR-5/TR-8
|
||||
(`04-test-plan.yaml` TC-09…TC-13) и поэтапного раската через staging-гейт (8501).
|
||||
|
||||
Решение **сквозное** (новый QG + edge-под-гейт + новая БД-таблица + новый артефакт) → эскалация
|
||||
лейблом **`arch:major-change`**. Возврат в анализ не требуется — ТЗ реализуемо без нарушения
|
||||
принципов архитектуры (Docker/один сервер/SQLite/собственная очередь сохранены).
|
||||
121
docs/work-items/ORCH-027/12-review.md
Normal file
121
docs/work-items/ORCH-027/12-review.md
Normal file
@@ -0,0 +1,121 @@
|
||||
---
|
||||
verdict: APPROVED
|
||||
work_item: ORCH-027
|
||||
stage: review
|
||||
author_agent: reviewer
|
||||
status: approved
|
||||
created_at: 2026-06-10
|
||||
model_used: claude-opus-4-8
|
||||
type: review
|
||||
work_item_id: ORCH-027
|
||||
version: 2
|
||||
---
|
||||
|
||||
# Review ORCH-027 — Code coverage как гейт
|
||||
|
||||
## Summary
|
||||
|
||||
Дисциплинированная реализация детерминированного coverage-гейта строго по образцу
|
||||
security/merge/image-freshness под-гейтов. Соответствие ТЗ/ADR — полное; код качественный,
|
||||
тесты содержательны (`test_coverage_gate.py` — 30 тестов; **полный регресс `tests/ -q`
|
||||
зелёный: 1466 passed**); документация обновлена исчерпывающе.
|
||||
|
||||
**Единственный прежний блокер закрыт.** Ревизия v1 выносила P1 за повреждённую (дословно
|
||||
продублированную) запись ORCH-095 в `CHANGELOG.md` — коммит `75c33ab docs(changelog): repair
|
||||
duplicated ORCH-095 entry body` устранил дубль: тело bullet ORCH-095 теперь присутствует ровно
|
||||
один раз (`git revert occurrences on line 16: 1`), артефакт чужой задачи восстановлен. Новых
|
||||
P0/P1 не выявлено.
|
||||
|
||||
Проверено: 4 оси (ТЗ / ADR / качество кода / документация) + трассировка маркеров + полный
|
||||
прогон тест-сьюта.
|
||||
|
||||
## Findings
|
||||
|
||||
### P0 — Blocker
|
||||
- (нет)
|
||||
|
||||
### P1 — Must fix
|
||||
- (нет) — прежний P1 (дубль записи ORCH-095 в CHANGELOG) исправлен коммитом `75c33ab`.
|
||||
|
||||
### P2 — Should fix
|
||||
- [ ] **Несоответствие формулировки ADR-001 D7 фактическому артефакту: 6-польная схема 52c
|
||||
не эмитится.** `ADR-001-coverage-gate.md` D7 утверждает: «Артефакт несёт **аддитивно**
|
||||
обязательную 6-польную схему 52c, не трогая `coverage_status:`». Фактически и генератор
|
||||
(`coverage_gate.render_coverage_report`), и скелет `docs/_templates/18-coverage-report.md`
|
||||
эмитят только `coverage_status`/`work_item` + coverage-поля; отсутствуют 5 из 6 полей схемы
|
||||
52c (`stage`/`author_agent`/`status`/`created_at`/`model_used`). **Почему не блокер:** (а)
|
||||
TRZ §6 формулирует это условно («*Если* отчёт несёт обязательную 6-польную схему 52c —
|
||||
добавить её аддитивно»), (б) валидация схемы warning-only по умолчанию
|
||||
(`frontmatter_validation_strict=False`), (в) гейт-генерируемые артефакты (прецедент
|
||||
`17-security-report.md`) исторически несут лишь свой machine-key — эпик 52c (ORCH-077)
|
||||
скоупил схему на 6 агент-промптов, не на машинные отчёты. Машинный вердикт читается из
|
||||
`coverage_status:` корректно, контракт не нарушен. **Действие (на усмотрение, не блокирует
|
||||
приёмку):** привести формулировку D7 к факту (отчёт несёт `coverage_status:` + coverage-поля,
|
||||
без полной 52c-схемы) ЛИБО добавить 5 полей в генератор+шаблон.
|
||||
|
||||
## Документация
|
||||
|
||||
**Статус: обновлена исчерпывающе** (golden source синхронизирован в том же PR, AC-10 PASS):
|
||||
|
||||
- `docs/architecture/README.md` — реестр `QG_CHECKS` дополнен `check_coverage_gate (ORCH-027)`;
|
||||
добавлен раздел «Coverage-гейт: защита от деградации покрытия» (точка/порядок, измерение,
|
||||
чистая функция, baseline+ratchet, условность/fail-open, артефакт/наблюдаемость). ✅
|
||||
- `docs/_standards/PIPELINE_DOCS.md` — диапазон доков `…18-coverage-report.md`; строка карты
|
||||
`стадия→агент→документ→гейт→machine-key` + строка таблицы вердикт-парсеров
|
||||
(`coverage_status:` → `check_coverage_gate`). ✅
|
||||
- `docs/_templates/18-coverage-report.md` — скелет с frontmatter зарегистрирован. ✅
|
||||
- `docs/work-items/ORCH-027/06-adr/ADR-001-coverage-gate.md` (D1…D8) +
|
||||
сквозной `docs/architecture/adr/adr-0029-coverage-gate.md`. ✅
|
||||
- `CHANGELOG.md` — детальная корректная запись ORCH-027; повреждение соседней записи ORCH-095
|
||||
устранено (v1-P1 закрыт). ✅
|
||||
- `CLAUDE.md` — паспортный блок «Гейт покрытия тестами (ORCH-027)» добавлен. ✅
|
||||
- `.env.example` / `src/config.py` — флаги `ORCH_COVERAGE_*` задокументированы. ✅
|
||||
- Маркеры `ORCH-027` проставлены в коде/доках (AC-10). ✅
|
||||
|
||||
`src/` изменён → документация обновлена в том же PR: **да** (P0-условие выполнено).
|
||||
**Обзорные доки (ORCH-079):** PR не закрывает ни один пункт `README.md` «Известные ограничения»
|
||||
(coverage-деградация там не значилась) → обновление витрины не требуется, finding отсутствует.
|
||||
|
||||
## Оси проверки (детально)
|
||||
|
||||
**1. Соответствие ТЗ (02-trz / 03-acceptance) — PASS.**
|
||||
AC-1 измерение инструментально (`measure_coverage` → `pytest --cov=src` → `totals.percent_covered`,
|
||||
`pytest-cov==5.0.0` в `requirements.txt`); AC-2 блокировка деградации + откат на `development` с
|
||||
release merge-lease (`_handle_coverage_gate`); AC-3 чистая функция `compute_coverage_verdict`
|
||||
покрыта по всем режимам/границам/epsilon (TC-01…04); AC-4 ratchet up-only + bootstrap + per-repo
|
||||
изоляция + атомарный compare-and-set `UPDATE … WHERE coverage <= ?` (`db.ratchet_coverage_baseline`);
|
||||
AC-5 kill-switch/scope + `applies(repo)` ПЕРВЫМ (дорогой прогон только при `applies==True`) —
|
||||
регресс зелёный, enduro не затронут; AC-6 fail-open дефолт / fail-closed по флагу; AC-7 never-raise
|
||||
+ leaf (не импортирует `stage_engine`) + AST-проверка отсутствия деплой/force-push токенов; AC-8
|
||||
контракты `STAGE_TRANSITIONS`/`check_*`/вердикт-ключи байт-в-байт, таблица `coverage_baseline`
|
||||
аддитивна; AC-9 вердикт только из frontmatter (`parse_coverage_status` через
|
||||
`frontmatter.parse_frontmatter`) + `GET /queue` блок `coverage` + Telegram с кликабельным номером.
|
||||
|
||||
**2. Соответствие ADR (ADR-001 D1…D8 / adr-0029) — PASS** (с P2-оговоркой по тексту D7).
|
||||
Порядок под-гейтов `security → merge → coverage → image-freshness` реализован ровно как в D1
|
||||
(врезка `_handle_coverage_gate` между merge-handling и ORCH-058 freshness в `advance_stage`);
|
||||
coverage ПОСЛЕ merge-gate (догнанный HEAD) и `merge_gate.release_merge_lease` при FAIL —
|
||||
соответствует D1/TR-2 (зеркало image-freshness rollback, в отличие от security — тот до захвата
|
||||
lease). Ratchet в choke-point `_handle_merge_verify` (ребро `deploy→done`, D5), БД-таблица
|
||||
`coverage_baseline` (D4), машинный вердикт/парсинг (D7), override `POST /coverage/baseline` (D8).
|
||||
Глобальные ADR (INV-4 merge только через Gitea API; не трогать `main`/прод) не нарушены — leaf
|
||||
только мерит/читает/пишет/решает.
|
||||
|
||||
**3. Качество кода — PASS.**
|
||||
Docstrings на всех публичных функциях; never-raise контракт выдержан последовательно (все
|
||||
внешние границы обёрнуты, исключение не всплывает в `advance_stage`); единый frontmatter-контракт
|
||||
переиспользован (нет дублирования парс-логики); тесты содержательные (режимы/границы/epsilon,
|
||||
ratchet up-only + bootstrap + per-repo изоляция, fail-open/closed, never-raise, write/read-back
|
||||
отчёта, self-hosting AST-инвариант, интеграция в `advance_stage` с откатом+release lease).
|
||||
Фикс `sys.executable` вместо bare `python` (коммит `8cd7c20`) корректен — pytest-cov живёт в
|
||||
интерпретаторе орка. Нет утечек/security-дыр; измерение offline. Замечание (не finding):
|
||||
синхронный `pytest --cov` в hot-path `advance_stage` (тайм-аут `coverage_run_timeout_s=900`)
|
||||
наследует established-паттерн merge-gate re-test/security-gate — нового класса риска не вводит.
|
||||
|
||||
**4. Документация — см. раздел «Документация» выше (P0-условие выполнено; обзорные доки N/A).**
|
||||
|
||||
**Трассировка маркеров (TRACEABILITY).** Правки рядом с маркерами `ORCH-022`/`ORCH-043`/`ORCH-058`
|
||||
в `advance_stage` — аддитивная врезка между merge-gate и image-freshness; инварианты соседних
|
||||
под-гейтов не сломаны (release-lease зеркалит image-freshness rollback, merge через Gitea API
|
||||
не тронут). Врезка в `_handle_merge_verify` (ORCH-071/073) — never-raise best-effort ratchet,
|
||||
SHA-in-main choke-point не изменён. Чужие артефакты не повреждены (восстановлена запись ORCH-095).
|
||||
76
docs/work-items/ORCH-027/13-test-report.md
Normal file
76
docs/work-items/ORCH-027/13-test-report.md
Normal file
@@ -0,0 +1,76 @@
|
||||
---
|
||||
result: PASS # PASS | FAIL — машинный вердикт, UPPERCASE
|
||||
work_item: ORCH-027
|
||||
stage: testing
|
||||
author_agent: tester
|
||||
status: pass
|
||||
created_at: 2026-06-10
|
||||
model_used: claude-opus-4-8
|
||||
type: test-report
|
||||
work_item_id: ORCH-027
|
||||
---
|
||||
|
||||
# Test Report — ORCH-027 — Code coverage как гейт
|
||||
|
||||
Work Item: **ORCH-027** · Repo: **orchestrator** · Branch: **feature/ORCH-027-code-coverage** · Стадия: testing
|
||||
Предусловие: `12-review.md` → `verdict: APPROVED` ✅ (проверено).
|
||||
|
||||
## Окружение
|
||||
- Python: 3.12.13
|
||||
- pytest: 8.3.3 (plugins: cov-5.0.0, anyio-4.13.0, asyncio-0.23.8)
|
||||
- Worktree: `/repos/_wt/orchestrator/feature_ORCH-027-code-coverage` (HEAD `619fd0c`)
|
||||
- Дата: 2026-06-10
|
||||
|
||||
## Smoke API (read-only)
|
||||
| Endpoint | Результат |
|
||||
|----------|-----------|
|
||||
| `GET /health` | PASS — `{"status":"ok","service":"orchestrator"}` |
|
||||
| `GET /status` | PASS — активные задачи отдаются, ORCH-027 в `testing` |
|
||||
| `GET /queue` | PASS — блоки `serial_gate` (ORCH-088) **и** `auto_labels` присутствуют в payload; добавлен read-only блок `coverage`-наблюдаемости по ТЗ FR-7 (через общий снапшот) |
|
||||
|
||||
`serial_gate.per_repo.orchestrator.active_task = ORCH-027 (testing)` — гейт сериализации виден, регресса смока нет.
|
||||
|
||||
## Результаты — покрытие ТЗ (каждый TC из 04-test-plan.yaml ↔ AC из 03-acceptance-criteria.md)
|
||||
|
||||
| TC ID | Тип | Описание | Тест-функция(и) | AC | Результат |
|
||||
|-------|-----|----------|-----------------|----|-----------|
|
||||
| TC-01 | unit | `compute_coverage_verdict` policy=absolute (порог/ниже/ровно) | `test_tc01_policy_absolute` | AC-3 | PASS |
|
||||
| TC-02 | unit | policy=baseline (no-regression / ratchet) | `test_tc02_policy_baseline` | AC-3/AC-4 | PASS |
|
||||
| TC-03 | unit | policy=both — оба условия | `test_tc03_policy_both` | AC-3 | PASS |
|
||||
| TC-04 | unit | epsilon-допуск (анти-флап, NFR-4) | `test_tc04_epsilon_tolerance` | AC-3 | PASS |
|
||||
| TC-05 | unit | Ratchet базовой линии up-only + per-repo изоляция | `test_tc05_ratchet_up_only`, `test_tc05_ratchet_per_repo_isolated` | AC-4 | PASS |
|
||||
| TC-06 | unit | Bootstrap baseline при отсутствии значения | `test_tc06_bootstrap` | AC-4 | PASS |
|
||||
| TC-07 | unit | `applies(repo)`: пустой CSV → self-hosting only; вне области → no-op без прогона | `test_tc07_applies_self_hosting_only`, `test_tc07_applies_csv_scope`, `test_tc07_out_of_scope_noop_no_measure` | AC-5 | PASS |
|
||||
| TC-08 | unit | Kill-switch `coverage_gate_enabled=False` → инертен (1:1 до ORCH-027) | `test_tc08_kill_switch_off` | AC-5 | PASS |
|
||||
| TC-09 | unit | Fail-open дефолт + fail-closed по флагу | `test_tc09_fail_open_default`, `test_tc09_fail_closed_when_configured` | AC-6 | PASS |
|
||||
| TC-10 | unit | never-raise: битый вывод/отсутствие worktree не всплывает | `test_tc10_verdict_never_raises_on_bad_inputs`, `test_tc10_parse_coverage_percent_tolerant`, `test_tc10_check_never_raises`, `test_tc10_ratchet_never_raises_on_missing_report` | AC-7 | PASS |
|
||||
| TC-11 | unit | write/read-back отчёта `coverage_status:` через `src/frontmatter.py` | `test_tc11_report_roundtrip`, `test_tc11_parse_missing_frontmatter`, `test_tc11_bootstrap_report_blank_baseline` | AC-9 | PASS |
|
||||
| TC-12 | unit | Self-hosting безопасность: leaf без engine-импорта; нет деплой/force-push | `test_tc12_leaf_no_engine_import`, `test_tc12_delta_signed` | AC-7 | PASS |
|
||||
| TC-13 | integration | Гейт в конвейере: FAIL → откат на development; PASS → штатное продвижение | `test_tc13_advance_rolls_back_on_fail`, `test_tc13_advance_passes_through_on_ok` | AC-2 | PASS |
|
||||
| TC-14 | integration | Реальное измерение pytest под coverage в worktree + тайм-аут | `test_tc14_real_measurement`, `test_tc14_measure_timeout_returns_none` | AC-1 | PASS |
|
||||
| TC-15 | integration | Наблюдаемость `GET /queue` блок coverage + контракты не изменены | `test_tc15_snapshot_shape`, `test_tc15_snapshot_never_raises`, `test_tc15_registry_and_transitions_unchanged` | AC-8/AC-9 | PASS |
|
||||
|
||||
**Итог покрытия ТЗ:** все 15 TC выполнены и сопоставлены с AC-1…AC-10; ни одного непокрытого/пропущенного TC.
|
||||
|
||||
## Вывод pytest
|
||||
|
||||
### Целевой набор — `tests/test_coverage_gate.py`
|
||||
```
|
||||
collected 29 items
|
||||
tests/test_coverage_gate.py::test_tc01_policy_absolute PASSED
|
||||
... (29 тестов, TC-01…TC-15) ...
|
||||
tests/test_coverage_gate.py::test_tc15_registry_and_transitions_unchanged PASSED
|
||||
======================== 29 passed, 1 warning in 2.28s =========================
|
||||
```
|
||||
|
||||
### Полный регресс — `pytest tests/ -q`
|
||||
```
|
||||
1466 passed, 1 warning in 48.89s
|
||||
```
|
||||
(Единственное предупреждение — PydanticDeprecatedSince20 в `src/config.py:8`, не связано с ORCH-027, регрессом не является.)
|
||||
|
||||
## Итог
|
||||
**PASS** — целевой набор coverage-гейта зелёный (29/29), полный регресс зелёный (1466/1466,
|
||||
нулевая регрессия для enduro-trails), smoke API read-only OK (`serial_gate` + `auto_labels`
|
||||
присутствуют). Каждый TC из `04-test-plan.yaml` выполнен и сопоставлен с критериями приёмки.
|
||||
Задача готова к продвижению на `deploy-staging`.
|
||||
12
docs/work-items/ORCH-027/14-deploy-log.md
Normal file
12
docs/work-items/ORCH-027/14-deploy-log.md
Normal file
@@ -0,0 +1,12 @@
|
||||
---
|
||||
deploy_status: SUCCESS
|
||||
work_item: ORCH-027
|
||||
hook_exit_code: 0
|
||||
deployed_by: deploy-finalizer
|
||||
---
|
||||
|
||||
# Deploy log — ORCH-036 executable self-deploy
|
||||
|
||||
Прод-деплой завершён хост-хуком с exit-code `0` -> `deploy_status: SUCCESS`.
|
||||
|
||||
Вердикт зафиксирован детерминированным finalizer'ом (Фаза C), не LLM.
|
||||
32
docs/work-items/ORCH-027/15-staging-log.md
Normal file
32
docs/work-items/ORCH-027/15-staging-log.md
Normal file
@@ -0,0 +1,32 @@
|
||||
---
|
||||
staging_status: SUCCESS
|
||||
work_item: ORCH-027
|
||||
stage: deploy-staging
|
||||
author_agent: deployer
|
||||
status: success
|
||||
created_at: 2026-06-10
|
||||
model_used: claude-opus-4-8
|
||||
timestamp: 2026-06-09T22:25:00Z
|
||||
base_url: http://localhost:8501
|
||||
---
|
||||
|
||||
# Staging Gate Log
|
||||
|
||||
Staging test suite completed against the live `orchestrator-staging` stand (8501), run canonically
|
||||
inside the container (`docker exec orchestrator-staging python3 /repos/orchestrator/scripts/staging_check.py
|
||||
--base-url http://localhost:8501 --mode stub`). **Exit code 0 → SUCCESS.** All REAL pipeline checks
|
||||
passed; the only failures are the two known waived sandbox-infra checks (C9a/C9b), tolerated under
|
||||
ORCH-061 because every REAL check is green.
|
||||
|
||||
INFRA-WAIVED: C9a Branch appears in orchestrator-sandbox, C9b Analyst job enqueued in staging queue (known sandbox-infra; real checks green)
|
||||
VERDICT: SUCCESS (exit 0) — SUCCESS (infra-waived): ['C9a Branch appears in orchestrator-sandbox', 'C9b Analyst job enqueued in staging queue'] are known sandbox-infra checks; all real checks green
|
||||
|
||||
## Results
|
||||
- **Block A (SMOKE)**: PASS — A1 `/health` 200 ok; A2 `/queue` 200 with counts/max_concurrency/resilience; A3 `ORCH_STAGING=true` (not prod).
|
||||
- **Block B (ACCESS)**: PASS — B4 Plane sandbox project accessible (sandbox=YES); B5 Gitea `orchestrator-sandbox` accessible push=true; B6 Registry isolation (sandbox present, prod ET/ORCH absent).
|
||||
- **Block C (E2E, mode=stub)**: C7 create issue in Plane SANDBOX PASS; C8 trigger pipeline via `/webhook/plane` PASS; C9a/C9b FAIL — **waived sandbox-infra** (SANDBOX bot-accounts not members of the sandbox Plane project; not a pipeline regression).
|
||||
|
||||
REAL failed: none.
|
||||
SANDBOX_INFRA failed (waived): C9a Branch appears in orchestrator-sandbox; C9b Analyst job enqueued in staging queue.
|
||||
|
||||
Result: 8/10 checks PASS, exit 0. Tolerance `staging_infra_tolerance_enabled=True`. Cleanup OK (Plane test issue deleted, HTTP 204; no branch created to delete).
|
||||
14
docs/work-items/ORCH-027/16-post-deploy-log.md
Normal file
14
docs/work-items/ORCH-027/16-post-deploy-log.md
Normal file
@@ -0,0 +1,14 @@
|
||||
---
|
||||
post_deploy_status: HEALTHY
|
||||
action_taken: NONE
|
||||
work_item: ORCH-027
|
||||
window_s: 900
|
||||
checks_total: 30
|
||||
checks_failed: 0
|
||||
---
|
||||
|
||||
# Post-deploy log — ORCH-021 post-deploy monitor
|
||||
|
||||
Наблюдение прода завершено: `post_deploy_status: HEALTHY`, `action_taken: NONE`.
|
||||
|
||||
Окно наблюдения: 900s; опросов всего: 30, из них с провалом: 0.
|
||||
12
docs/work-items/ORCH-091/14-deploy-log.md
Normal file
12
docs/work-items/ORCH-091/14-deploy-log.md
Normal file
@@ -0,0 +1,12 @@
|
||||
---
|
||||
deploy_status: SUCCESS
|
||||
work_item: ORCH-091
|
||||
hook_exit_code: 0
|
||||
deployed_by: deploy-finalizer
|
||||
---
|
||||
|
||||
# Deploy log — ORCH-036 executable self-deploy
|
||||
|
||||
Прод-деплой завершён хост-хуком с exit-code `0` -> `deploy_status: SUCCESS`.
|
||||
|
||||
Вердикт зафиксирован детерминированным finalizer'ом (Фаза C), не LLM.
|
||||
7
docs/work-items/ORCH-093/00-business-request.md
Normal file
7
docs/work-items/ORCH-093/00-business-request.md
Normal file
@@ -0,0 +1,7 @@
|
||||
# Business Request: BUG: merge-актор не ретраит транзиентные ошибки Gitea (405/5xx) → ложный HOLD + мусорные PR
|
||||
|
||||
Work Item ID: ORCH-093
|
||||
|
||||
## Description
|
||||
|
||||
TBD
|
||||
145
docs/work-items/ORCH-093/01-brd.md
Normal file
145
docs/work-items/ORCH-093/01-brd.md
Normal file
@@ -0,0 +1,145 @@
|
||||
---
|
||||
work_item: ORCH-093
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 01 — BRD (бизнес-требования): ORCH-093 — merge-актор не ретраит транзиентные ошибки Gitea (405/5xx) → ложный HOLD + мусорные PR
|
||||
|
||||
Work Item: **ORCH-093** · Repo: **orchestrator** · Стадия: analysis
|
||||
|
||||
## 1. Бизнес-контекст и проблема
|
||||
|
||||
Тип: **BUG** (надёжность self-deploy merge-фазы). Найдено по инциденту **ORCH-063 (09.06)**.
|
||||
|
||||
**Инцидент-первоисточник (ORCH-063, 09.06).** Прод-деплой self-hosting прошёл, staging OK, но при
|
||||
мерже PR в `main` Gitea вернул `HTTP 405 {"message":"Please try again later"}` — транзиентная икота
|
||||
(Gitea пересчитывал `mergeable` сразу после пуша). PR #98 был `open` + `mergeable=True`, конфликтов
|
||||
**не было**. Однако merge-актор `merge_gate.merge_pr()` — **one-shot**: на любой не-200/201 он сразу
|
||||
вернул `(False, "merge failed: HTTP 405")`. Сработала корректная защита ORCH-071/081 «deploy
|
||||
succeeded but not merged» → задача удержана на `deploy` (НЕ `done`), алерт, потребовался **ручной
|
||||
домерж** (повтор `merge_pr` вручную → смержилось с первого раза). Защита отработала верно, но
|
||||
**транзиент не должен был требовать человека**.
|
||||
|
||||
**Два дефекта, оба верифицированы по коду прода `src/merge_gate.py`:**
|
||||
|
||||
- **ДЕФЕКТ 1 — `merge_pr` не ретраит транзиентные HTTP-ошибки.** `merge_gate.merge_pr()`
|
||||
(`src/merge_gate.py` ~700) делает **один** `POST /pulls/{index}/merge`; на любой не-200/201
|
||||
(включая `405 "try again later"`, `5xx`, `409/422` «ещё считается mergeable») сразу
|
||||
`return False, "merge failed: HTTP {code}"` — без ретрая. Сравни: у Claude-агентов есть
|
||||
transient-breaker (`429/overload` ретраится), у merge-актора такого механизма нет → инфра-икота
|
||||
Gitea = ложный HOLD.
|
||||
- **ДЕФЕКТ 2 — `ensure_open_pr` плодит мусорные PR на уже влитой ветке.** При повторном прогоне
|
||||
финализатора **после** ручного мержа: PR #98 уже `merged+closed` → `ensure_open_pr`
|
||||
(`src/merge_gate.py` ~605) не находит открытого code-PR → **создаёт новый пустой PR #99** (ветка
|
||||
уже в `main`, diff пустой). Пришлось закрывать вручную.
|
||||
|
||||
**Боль:** ложные HOLD при инфра-икоте Gitea требуют ручного вмешательства в автономный конвейер
|
||||
(эпик ORCH-088 — пакетный автономный прогон) и оставляют мусорные пустые PR.
|
||||
|
||||
## 2. Объём (scope)
|
||||
|
||||
### В объёме
|
||||
- `merge_pr` ретраит **транзиентные** ошибки мержа (405/«try again», 408, `5xx`, таймаут/сетевые, а
|
||||
также `409/422` когда PR **всё ещё mergeable**) с ограниченным числом попыток и backoff — **перед**
|
||||
тем как вернуть `False`.
|
||||
- Различение «mergeable, но Gitea временно отказал» (ретраить) vs «реальный конфликт / не-mergeable»
|
||||
(НЕ ретраить, честный быстрый HOLD).
|
||||
- `ensure_open_pr` / merge-verify **не создаёт** новый PR, если ветка уже полностью в `main` (нет
|
||||
коммитов `origin/main..branch`) — возвращает исход «already-in-main»; финализатор сразу доводит до
|
||||
`done` без мусорного PR.
|
||||
- Конфигурируемость (число ретраев, backoff, kill-switch на ретрай-поведение); разумные дефолты.
|
||||
- Обновление `.env.example`, `CHANGELOG.md`, merge-gate-раздела документации.
|
||||
|
||||
### Вне объёма
|
||||
- ❌ Снятие/ослабление защиты ORCH-071/081 «deploy succeeded but not merged» — она корректна; задача
|
||||
лишь снижает **ложные** срабатывания на транзиентах.
|
||||
- ❌ Ретрай **реального** конфликта / не-mergeable — это законный HOLD, нужен человек.
|
||||
- ❌ Любые прямые `push`/`force-push` в `main` (инвариант INV-4 ORCH-071/073 — мерж только через
|
||||
Gitea PR-merge API).
|
||||
- ❌ Изменение `STAGE_TRANSITIONS`, состава `QG_CHECKS`, схемы БД.
|
||||
- ❌ Изменение SHA-in-main-доказательства мержа (`verify_merged_to_main`) как источника истины.
|
||||
|
||||
## 3. Заинтересованные стороны
|
||||
|
||||
- **Заказчик / оператор автономного конвейера (Owner, Стрим)** — меньше ручных домержей, чище список
|
||||
PR в Gitea.
|
||||
- **Self-hosting репо `orchestrator`** — основной потребитель merge-verify under-gate (ORCH-071);
|
||||
изменение в первую очередь касается self-deploy merge-фазы.
|
||||
- **Все проекты на общем инстансе** — косвенно: меньше зависших на `deploy` задач, держащих
|
||||
merge-lease и клинящих serial-gate репо (ORCH-088).
|
||||
- **Reviewer / tester** — принимают результат по AC и зелёному `pytest`.
|
||||
|
||||
## 4. Бизнес-требования (BR)
|
||||
|
||||
- **BR-1** — При транзиентной ошибке мержа (`405`/«Please try again later», `408`, `5xx`,
|
||||
таймаут/сетевая ошибка) `merge_pr` повторяет `POST …/merge` до `N` раз с backoff, прежде чем
|
||||
вернуть `(False, …)`; успешный повтор внутри бюджета → `(True, …)`, мерж выполнен.
|
||||
- **BR-2** — `merge_pr` различает «PR mergeable, Gitea временно отказал» (ретраить) и «реальный
|
||||
конфликт / PR не mergeable» (НЕ ретраить). Различение опирается на код ответа **и** поле
|
||||
`mergeable` PR (`GET /pulls/{n}`). Неоднозначный `409/422` классифицируется по `mergeable`.
|
||||
- **BR-3** — Терминальные ошибки (`404` нет PR / реальный конфликт / `403`) НЕ ретраятся — `merge_pr`
|
||||
возвращает `(False, …)` быстро; честный HOLD (защита ORCH-071/081) сохраняется.
|
||||
- **BR-4** — При исчерпании ретраев `merge_pr` возвращает `(False, …)` с понятным reason; защита
|
||||
«deploy succeeded but not merged» срабатывает как прежде (HOLD + алерт).
|
||||
- **BR-5** — Если ветка уже полностью в `main` (нет коммитов `origin/main..branch`), `ensure_open_pr`
|
||||
НЕ создаёт PR — возвращает исход «already-in-main»; merge-verify доводит задачу до `done` без
|
||||
мусорного пустого PR.
|
||||
- **BR-6** — Поведение ретрая конфигурируемо: число попыток, backoff и kill-switch; дефолты разумны
|
||||
(≈3 попытки, backoff 2–5 с) и задокументированы в `.env.example`.
|
||||
- **BR-7** — При выключенном ретрай-kill-switch поведение `merge_pr` идентично текущему (one-shot) —
|
||||
нулевая регрессия.
|
||||
|
||||
## 5. Нефункциональные требования (NFR)
|
||||
|
||||
- **NFR-1 (never-raise)** — Контракт never-raise `merge_pr` / `ensure_open_pr` сохранён: любая
|
||||
HTTP/parse/сетевая ошибка → `(False, …)` / `("failed"|"already-in-main", …)`, исключение никогда не
|
||||
пробрасывается в `_handle_merge_verify` / `advance_stage`.
|
||||
- **NFR-2 (self-hosting safety / INV-4)** — Никаких прямых `push`/`force-push` в `main`; мерж только
|
||||
через Gitea PR-merge API. Прод-контейнер `orchestrator` не перезапускается этой задачей.
|
||||
- **NFR-3 (обратимость / kill-switch)** — Ретрай-поведение полностью отключаемо одним флагом →
|
||||
откат к нынешнему one-shot без изменения кода.
|
||||
- **NFR-4 (ограниченность)** — Суммарное время ретраев ограничено (`N` × backoff_max) и не может
|
||||
«подвесить» monitor-поток, исполняющий merge-verify; backoff с верхним потолком.
|
||||
- **NFR-5 (идемпотентность)** — Повторный прогон финализатора на уже влитой ветке безопасен и
|
||||
бесследен (нет дублей PR, нет дублей мержа — переиспользуется `pr_already_merged`).
|
||||
- **NFR-6 (наблюдаемость)** — Каждый ретрай и его причина логируются (по образцу `check_ci_green`:
|
||||
`attempt i/N`); исход (успех/исчерпание/терминал) различим в логе.
|
||||
|
||||
## 6. Допущения и ограничения
|
||||
|
||||
- Gitea-код `405 {"message":"Please try again later"}` — **транзиент** (Gitea пересчитывает
|
||||
`mergeable` сразу после пуша); `5xx`/таймаут/сетевая — транзиент.
|
||||
- `409` (conflict) и `422` (unprocessable) **двойственны**: либо реальный конфликт, либо «ещё не
|
||||
пересчитан mergeable». Источник различения — поле `mergeable` из `GET /pulls/{n}` (а не только
|
||||
код): `mergeable==True` → транзиент (ретраить), `mergeable==False` → реальный конфликт (НЕ
|
||||
ретраить).
|
||||
- `404` (нет PR) обрабатывается раньше шагом «no open PR» и/или трактуется как терминал.
|
||||
- Образец паттерна ретрая уже есть в репо: `check_ci_green` (`src/qg/checks.py`, attempts + interval
|
||||
+ backoff) и transient-breaker агентов (`backoff_base_seconds`/`backoff_max_seconds`/
|
||||
`transient_max_attempts` в `config.py`).
|
||||
- Merge-verify under-gate (ORCH-071) реален только для self-hosting (`merge_verify_applies`); на
|
||||
прочих репо мерж делает LLM-deployer — там изменение `merge_pr` не задействуется.
|
||||
- Изменение **точечное** в `src/merge_gate.py` + флаги в `src/config.py`; `STAGE_TRANSITIONS`,
|
||||
`QG_CHECKS`, схема БД не трогаются.
|
||||
|
||||
## 7. Критерии успеха
|
||||
|
||||
`merge_pr` переживает транзиентную икоту Gitea (405/5xx/таймаут/«not mergeable yet») за счёт
|
||||
ограниченного ретрая с backoff и больше не даёт ложного HOLD; реальный конфликт по-прежнему даёт
|
||||
быстрый честный HOLD; `ensure_open_pr` не создаёт мусорных PR на уже влитой ветке; поведение
|
||||
конфигурируемо и отключаемо; never-raise сохранён; `pytest tests/ -q` зелёный; доки и `.env.example`
|
||||
обновлены. Детальные PASS/FAIL — `03-acceptance-criteria.md`.
|
||||
|
||||
## 8. Риски
|
||||
|
||||
- Слишком агрессивный ретрай реального конфликта → задержка честного HOLD (митигируется BR-2/BR-3:
|
||||
классификация по `mergeable`).
|
||||
- Ошибочная классификация транзиента как терминала (или наоборот) при неполном ответе Gitea
|
||||
(`mergeable=None`) — нужна осторожная дефолт-политика.
|
||||
- Гонка `ensure_open_pr` already-in-main vs параллельный мерж.
|
||||
|
||||
Детали и оценка — `10-tech-risks.md` (заполняет архитектор).
|
||||
142
docs/work-items/ORCH-093/02-trz.md
Normal file
142
docs/work-items/ORCH-093/02-trz.md
Normal file
@@ -0,0 +1,142 @@
|
||||
---
|
||||
work_item: ORCH-093
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 02 — ТЗ (TRZ): ORCH-093 — merge-актор ретраит транзиентные ошибки Gitea + гард «ветка уже в main»
|
||||
|
||||
Work Item: **ORCH-093** · Repo: **orchestrator** · Стадия: analysis
|
||||
|
||||
> ТЗ описывает **конкретные изменения к реализации**, выведенные из BRD и фактического кода
|
||||
> (`src/merge_gate.py`, `src/config.py`, `src/stage_engine.py`). Архитектурное обоснование (точный
|
||||
> алгоритм классификации, формат хелпера, выбор дефолтов) — задача архитектора (`06-adr`).
|
||||
|
||||
## 1. Сводка изменения
|
||||
|
||||
Две точечные доработки `src/merge_gate.py`:
|
||||
|
||||
1. **`merge_pr` (~700)** — обернуть `POST /pulls/{index}/merge` в **retry-loop** на транзиентных
|
||||
кодах (`405`/«try again», `408`, `5xx`, таймаут/сетевые, плюс `409/422` при `mergeable==True`) с
|
||||
ограниченным числом попыток и backoff; **терминальные** исходы (`404` нет PR, реальный конфликт /
|
||||
`mergeable==False`, `403`) → быстрый `(False, …)` без ретрая. По образцу `check_ci_green`
|
||||
(attempts + interval) и transient-breaker агентов.
|
||||
2. **`ensure_open_pr` (~605)** — добавить гард «ветка уже полностью в `main`» (нет коммитов
|
||||
`origin/main..branch`) → новый исход `"already-in-main"` **до** создания PR; в
|
||||
`_handle_merge_verify` этот исход трактуется как «мерж уже состоялся» → SHA-in-main подтверждает →
|
||||
`done` без мусорного PR.
|
||||
|
||||
Новые флаги ретрая в `src/config.py` (`ORCH_MERGE_RETRY_*`) + дескрипторы в `.env.example`. Контракт
|
||||
never-raise и INV-4 (никогда не `push`/`force-push` `main`) — сохраняются. `STAGE_TRANSITIONS`,
|
||||
`QG_CHECKS`, схема БД — **не трогаются**.
|
||||
|
||||
## 2. Задействованные модули / пути
|
||||
|
||||
| Путь | Действие |
|
||||
|------|----------|
|
||||
| `src/merge_gate.py` | изменить — `merge_pr` (retry-loop + классификатор транзиент/терминал); `ensure_open_pr` (гард already-in-main); при необходимости leaf-хелперы `_is_transient_merge_error()` / `_branch_fully_in_main()` |
|
||||
| `src/config.py` | изменить — добавить флаги ретрая мержа (`merge_retry_enabled`, `merge_retry_max_attempts`, `merge_retry_backoff_base_s`, `merge_retry_backoff_max_s`) по образцу `ci_poll_*` / `merge_pr_timeout_s` |
|
||||
| `src/stage_engine.py` | изменить (точечно) — `_handle_merge_verify` (~1447): обработать новый исход `ensure_open_pr == "already-in-main"` как «мерж уже состоялся» (пропустить `merge_pr`, дать `verify_merged_to_main` подтвердить → `done`) |
|
||||
| `.env.example` | изменить — новые дескрипторы `ORCH_MERGE_RETRY_*` |
|
||||
| `tests/test_merge_gate.py` | изменить — мок httpx-последовательностей (405×2→200; конфликт; already-in-main; исчерпание; kill-switch off) |
|
||||
| `CHANGELOG.md` | изменить — запись ORCH-093 |
|
||||
| `docs/architecture/README.md` (merge-gate раздел) / `CLAUDE.md` | изменить — описать ретрай и гард already-in-main |
|
||||
|
||||
## 3. Функциональные требования
|
||||
|
||||
### FR-1 — retry-loop транзиентных ошибок мержа в `merge_pr` (BR-1, BR-4, BR-6, BR-7)
|
||||
- Шаги `merge_pr` до `POST` (idempotency-guard `pr_already_merged`; `GET …/pulls?state=open` поиск
|
||||
code-PR `head==branch AND base==main`; `index is None → (False, "no open PR")`) — **без изменений**.
|
||||
- `POST /pulls/{index}/merge` выполняется в цикле до `merge_retry_max_attempts` попыток (дефолт `3`):
|
||||
- `200/201` → `(True, "merged PR #<n>")` (немедленный выход).
|
||||
- **транзиентный** исход (см. FR-2) И остались попытки → `sleep(backoff)` и повтор `POST`;
|
||||
`backoff` экспоненциальный от `merge_retry_backoff_base_s` (дефолт `2`) с потолком
|
||||
`merge_retry_backoff_max_s` (дефолт `5`).
|
||||
- **терминальный** исход (см. FR-2) → немедленно `(False, "merge failed: HTTP <code>")` без
|
||||
дальнейших попыток.
|
||||
- исчерпание попыток на транзиенте → `(False, "merge failed after <N> attempts: HTTP <code>")`.
|
||||
- **Kill-switch** `merge_retry_enabled=False` → ровно одна попытка `POST` (текущее one-shot
|
||||
поведение, BR-7).
|
||||
- Каждая попытка логируется (`attempt i/N`, код, transient/terminal) — образец `check_ci_green`.
|
||||
|
||||
### FR-2 — классификация транзиент vs терминал (BR-2, BR-3)
|
||||
- **Транзиентные** (ретраить): `405` («Please try again later»), `408` (timeout), любой `5xx`,
|
||||
`httpx`-таймаут / сетевая ошибка, **и** `409`/`422` когда PR **всё ещё mergeable**.
|
||||
- **Терминальные** (НЕ ретраить, быстрый `False`): `403` (нет прав), `404` (PR исчез), и `409`/`422`
|
||||
при **реальном конфликте** (`mergeable==False`).
|
||||
- Различение неоднозначного `409`/`422`: дополнительный `GET /pulls/{index}` → поле `mergeable`:
|
||||
- `mergeable==True` → транзиент (Gitea ещё не пересчитал) → ретрай.
|
||||
- `mergeable==False` → реальный конфликт → терминал.
|
||||
- `mergeable` отсутствует/`None` → консервативная дефолт-политика (рекомендация аналитика:
|
||||
трактовать как транзиент с тем же ограниченным бюджетом ретраев, т.к. сетевая икота Gitea —
|
||||
наблюдаемый кейс; финальное решение — архитектор в `06-adr`).
|
||||
- Сетевые/таймаут-исключения `httpx` внутри попытки ловятся (never-raise) и классифицируются как
|
||||
транзиент в рамках того же бюджета.
|
||||
|
||||
### FR-3 — гард «ветка уже полностью в main» в `ensure_open_pr` (BR-5)
|
||||
- Перед шагом «создать PR» (после того как открытый code-PR не найден) `ensure_open_pr` проверяет,
|
||||
что в ветке нет коммитов сверх `origin/main`: в per-branch worktree `git fetch origin main` +
|
||||
`git rev-list --count origin/main..<branch>` (или `git merge-base --is-ancestor <branch> origin/main`).
|
||||
- count `== 0` (ветка целиком в `main`) → `("already-in-main", "<reason>")` — **PR не создаётся**.
|
||||
- count `> 0` (есть невлитые коммиты) → текущий путь `POST …/pulls` (создать code-PR).
|
||||
- git/OS ошибка проверки → **не** блокировать (never-raise); деградировать на текущее поведение
|
||||
(попытаться создать PR) ИЛИ вернуть `failed` — точную fail-политику фиксирует архитектор. Гард
|
||||
не должен превратить инфра-икоту git в ложный no-op мержа.
|
||||
- Сигнатура возврата `ensure_open_pr` расширяется новым статусом `"already-in-main"` дополнительно к
|
||||
`"existed"|"created"|"failed"` (обратносовместимо для существующих веток вызова).
|
||||
|
||||
### FR-4 — обработка `already-in-main` в `_handle_merge_verify` (BR-5)
|
||||
- В `stage_engine._handle_merge_verify` (~1487): при `pr_status == "already-in-main"` —
|
||||
логировать, **пропустить** `merge_gate.merge_pr` (мержить нечего) и перейти сразу к
|
||||
`verify_merged_to_main` (SHA-in-main подтвердит факт мержа → `done`). Это НЕ `failed`-ветка (не
|
||||
HOLD): ветка уже в `main`, цель достигнута.
|
||||
- SHA-in-main (`verify_merged_to_main`) остаётся **авторитетным** доказательством мержа; гард только
|
||||
избегает мусорного PR и лишнего `merge_pr`.
|
||||
|
||||
### FR-5 — конфигурация и обратная совместимость (BR-6, BR-7)
|
||||
- Новые поля `settings` (см. §2) с дефолтами; читаются из env (`ORCH_MERGE_RETRY_*`).
|
||||
- При `merge_retry_enabled=False` — поведение `merge_pr` байт-в-байт как сейчас (one-shot).
|
||||
- Гард already-in-main также под флагом ИЛИ всегда-вкл (рекомендация: всегда-вкл, т.к. он лишь
|
||||
предотвращает создание заведомо пустого PR; решение — архитектор).
|
||||
|
||||
## 4. Изменения API
|
||||
|
||||
Нет (внешних HTTP-эндпоинтов оркестратора не добавляется/не меняется). Меняется только клиентское
|
||||
обращение к Gitea API внутри `merge_gate` (дополнительный `GET /pulls/{index}` для чтения
|
||||
`mergeable` при неоднозначном `409/422`; ретрай `POST …/merge`). Read-only блок merge-verify в
|
||||
`GET /queue` (`merge_verify_status()`) опционально может получить счётчик ретраев (необязательно).
|
||||
|
||||
## 5. Изменения схемы БД
|
||||
|
||||
Нет. (Merge-lease — файловый, не БД; счётчики `_MERGE_VERIFY_COUNTERS` — in-process. Новые поля —
|
||||
только в `config.Settings`, не в схеме.)
|
||||
|
||||
## 6. Требования к новым/изменённым QG checks
|
||||
|
||||
Нет. `STAGE_TRANSITIONS`, состав `QG_CHECKS`, exit-гейты рёбер и под-гейты ребра
|
||||
`deploy-staging → deploy` — **не трогаются**. Изменение целиком внутри детерминированного
|
||||
merge-актора `merge_pr`/`ensure_open_pr` (под-гейт-врезка `_handle_merge_verify` ребра
|
||||
`deploy → done`), который НЕ зарегистрирован в `QG_CHECKS`.
|
||||
|
||||
## 7. Совместимость / регресс
|
||||
|
||||
- **Kill-switch `merge_retry_enabled=False`** → one-shot `merge_pr` (текущее поведение) — нулевая
|
||||
регрессия.
|
||||
- **Защита ORCH-071/081** «deploy succeeded but not merged» сохраняется 1:1: после исчерпания
|
||||
ретраев / на терминальном конфликте `merge_pr` возвращает `False`, и при неподтверждённом
|
||||
SHA-in-main срабатывает прежний HOLD + алерт.
|
||||
- **INV-4 / self-hosting safety**: никаких `push`/`force-push` в `main`; мерж только через Gitea
|
||||
PR-merge API; прод-контейнер не перезапускается.
|
||||
- **never-raise**: `merge_pr` / `ensure_open_pr` ловят все исключения и возвращают безопасный
|
||||
кортеж — контракт сохранён (тесты на never-raise остаются зелёными).
|
||||
- **Идемпотентность**: `pr_already_merged` (idempotency-guard) и гард already-in-main делают
|
||||
повторный прогон финализатора бесследным (нет дублей PR/мержей).
|
||||
- **Область раската**: реально задействуется на merge-verify under-gate (self-hosting,
|
||||
`merge_verify_applies`); на прочих репо merge делает LLM-deployer — изменение нейтрально.
|
||||
- **Артефакты pipeline**: создаётся/обновляется только аналитический пакет (`01`–`04`); в
|
||||
development-стадии обновятся `CHANGELOG.md`, `.env.example`, merge-gate-раздел доки. ADR
|
||||
(`06-adr/`) — пишет архитектор.
|
||||
- Полный регресс `pytest tests/ -q` должен оставаться зелёным.
|
||||
114
docs/work-items/ORCH-093/03-acceptance-criteria.md
Normal file
114
docs/work-items/ORCH-093/03-acceptance-criteria.md
Normal file
@@ -0,0 +1,114 @@
|
||||
---
|
||||
work_item: ORCH-093
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 03 — Критерии приёмки (Acceptance Criteria): ORCH-093 — ретрай транзиентных merge-ошибок Gitea + гард already-in-main
|
||||
|
||||
Work Item: **ORCH-093** · Repo: **orchestrator** · Стадия: analysis
|
||||
|
||||
Формат: каждый критерий имеет **PASS** (что должно быть истинно для приёмки) и **FAIL** (что
|
||||
считается провалом). Reviewer/tester проверяет их буквально по файлам репозитория и тестам.
|
||||
|
||||
---
|
||||
|
||||
## AC-1 — ретрай транзиента 405/5xx/таймаут → успешный мерж
|
||||
|
||||
**Условие:** `merge_pr` при транзиентной ошибке мержа повторяет `POST …/merge` с backoff и
|
||||
доводит мерж до успеха в пределах бюджета.
|
||||
- **PASS:** мок httpx даёт на `POST …/merge` `405` дважды, затем `200` → `merge_pr` возвращает
|
||||
`(True, …)`, выполнено ровно 3 `POST`, ложного `False` нет. Аналогично для `5xx` и
|
||||
таймаута/сетевой ошибки в первых попытках.
|
||||
- **FAIL:** `merge_pr` возвращает `False` на первом `405`/`5xx`/таймауте (one-shot), не делая
|
||||
повторных `POST`.
|
||||
|
||||
---
|
||||
|
||||
## AC-2 — реальный конфликт / не-mergeable НЕ ретраится (быстрый честный HOLD)
|
||||
|
||||
**Условие:** `merge_pr` при реальном конфликте (`409`/`422` с `mergeable==False`) или `403` не
|
||||
зацикливается, а возвращает `(False, …)` быстро.
|
||||
- **PASS:** мок httpx даёт `409` на `POST …/merge` и `GET /pulls/{n}` с `mergeable=False` →
|
||||
`merge_pr` возвращает `(False, …)` без дополнительных `POST` (не более одной попытки мержа);
|
||||
reason различим как терминальный. `403` → немедленный `(False, …)`.
|
||||
- **FAIL:** `merge_pr` ретраит реальный конфликт до исчерпания бюджета (вечный/долгий цикл),
|
||||
задерживая честный HOLD.
|
||||
|
||||
---
|
||||
|
||||
## AC-3 — исчерпание ретраев → (False, …) + защита ORCH-071/081 как прежде
|
||||
|
||||
**Условие:** если транзиент не проходит за `N` попыток, `merge_pr` возвращает `(False, …)` с
|
||||
понятным reason; защита «deploy succeeded but not merged» срабатывает как раньше.
|
||||
- **PASS:** мок даёт `405` на всех `N` попытках → `merge_pr` возвращает
|
||||
`(False, "merge failed after <N> attempts: HTTP 405")` (или эквивалент); в `_handle_merge_verify`
|
||||
неподтверждённый SHA-in-main → HOLD + алерт (поведение ORCH-071/081 неизменно). Тест на
|
||||
не-merged HOLD остаётся зелёным.
|
||||
- **FAIL:** при исчерпании ретраев reason неинформативен; или защита HOLD не срабатывает / задача
|
||||
ошибочно уходит в `done`.
|
||||
|
||||
---
|
||||
|
||||
## AC-4 — гард «ветка уже в main» → нет мусорного PR, задача доходит до done
|
||||
|
||||
**Условие:** если ветка уже полностью в `main` (нет коммитов `origin/main..branch`),
|
||||
`ensure_open_pr` не создаёт PR и возвращает `already-in-main`; финализатор доводит до `done`.
|
||||
- **PASS:** мок: открытого code-PR нет, `git rev-list --count origin/main..branch == 0` →
|
||||
`ensure_open_pr` возвращает `("already-in-main", …)` и **не делает** `POST …/pulls`; в
|
||||
`_handle_merge_verify` этот статус пропускает `merge_pr` и `verify_merged_to_main` (SHA-in-main)
|
||||
подтверждает мерж → задача доходит до `done` без создания пустого PR.
|
||||
- **FAIL:** `ensure_open_pr` создаёт новый пустой PR на уже влитой ветке, либо статус
|
||||
`already-in-main` ошибочно трактуется как `failed` (ложный HOLD).
|
||||
|
||||
---
|
||||
|
||||
## AC-5 — kill-switch / конфиг ретраев; дефолты задокументированы
|
||||
|
||||
**Условие:** ретрай-поведение конфигурируемо (число попыток, backoff, kill-switch); при выключении —
|
||||
one-shot как сейчас; дефолты в `.env.example`.
|
||||
- **PASS:** в `src/config.py` есть поля `merge_retry_enabled` / `merge_retry_max_attempts` /
|
||||
`merge_retry_backoff_base_s` / `merge_retry_backoff_max_s` с разумными дефолтами (≈3 / 2 / 5);
|
||||
`.env.example` содержит дескрипторы `ORCH_MERGE_RETRY_*`; при `merge_retry_enabled=False` тест
|
||||
подтверждает ровно одну попытку `POST` (one-shot).
|
||||
- **FAIL:** ретрай захардкожен (нет флагов/kill-switch), или `.env.example` не обновлён, или при
|
||||
выключенном флаге поведение отличается от текущего one-shot.
|
||||
|
||||
---
|
||||
|
||||
## AC-6 — never-raise сохранён; регресс зелёный; доки обновлены
|
||||
|
||||
**Условие:** контракт never-raise `merge_pr`/`ensure_open_pr` цел; полный регресс зелёный;
|
||||
документация и `CHANGELOG` обновлены.
|
||||
- **PASS:** при любой HTTP/parse/сетевой ошибке (в т.ч. внутри ретрай-цикла и git-проверки гарда)
|
||||
функции возвращают безопасный кортеж, исключение не пробрасывается; `pytest tests/ -q` зелёный;
|
||||
merge-gate-раздел доки (`docs/architecture/README.md` / `CLAUDE.md`) и `CHANGELOG.md` описывают
|
||||
ретрай и гард already-in-main.
|
||||
- **FAIL:** исключение пробрасывается в `advance_stage`; падает любой тест в `tests/`; доки/CHANGELOG
|
||||
не отражают изменение.
|
||||
|
||||
---
|
||||
|
||||
## AC-7 — инварианты self-hosting / INV-4 не нарушены
|
||||
|
||||
**Условие:** изменение не вводит прямых `push`/`force-push` в `main` и не трогает
|
||||
`STAGE_TRANSITIONS`/`QG_CHECKS`/схему БД.
|
||||
- **PASS:** мерж по-прежнему идёт только через Gitea PR-merge API; `git diff` не содержит правок
|
||||
`STAGE_TRANSITIONS` / состава `QG_CHECKS` / схемы БД; никаких новых вызовов `git push … main`.
|
||||
- **FAIL:** появился прямой push в `main`, либо изменены `STAGE_TRANSITIONS`/`QG_CHECKS`/схема БД.
|
||||
|
||||
---
|
||||
|
||||
## Сводная матрица AC ↔ FR/BR
|
||||
| AC | Покрывает |
|
||||
|----|-----------|
|
||||
| AC-1 | BR-1 / FR-1, FR-2 |
|
||||
| AC-2 | BR-2, BR-3 / FR-2 |
|
||||
| AC-3 | BR-4 / FR-1 |
|
||||
| AC-4 | BR-5 / FR-3, FR-4 |
|
||||
| AC-5 | BR-6, BR-7 / FR-5 |
|
||||
| AC-6 | NFR-1, NFR-6 / FR-1…FR-5 |
|
||||
| AC-7 | NFR-2 / §6, §7 ТЗ |
|
||||
116
docs/work-items/ORCH-093/04-test-plan.yaml
Normal file
116
docs/work-items/ORCH-093/04-test-plan.yaml
Normal file
@@ -0,0 +1,116 @@
|
||||
work_item: ORCH-093
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
title: "Ретрай транзиентных merge-ошибок Gitea (405/5xx) + гард already-in-main"
|
||||
framework: pytest
|
||||
scope: >
|
||||
Покрывает src/merge_gate.py::merge_pr (retry-loop + классификация транзиент/терминал) и
|
||||
ensure_open_pr (гард «ветка уже в main»), новые флаги src/config.py (ORCH_MERGE_RETRY_*) и
|
||||
обработку already-in-main в stage_engine._handle_merge_verify. Вне покрытия: реальная сеть Gitea,
|
||||
STAGE_TRANSITIONS/QG_CHECKS, схема БД.
|
||||
notes: >
|
||||
httpx мокается monkeypatch'ем (по образцу tests/test_merge_gate.py / test_orch073_merge_pr.py):
|
||||
последовательности ответов на POST /pulls/{n}/merge и GET /pulls/{n}. time.sleep патчится в no-op,
|
||||
чтобы backoff не замедлял тесты. git-операции гарда (rev-list/merge-base) мокаются через
|
||||
monkeypatch subprocess.run. Полный регресс tests/ должен оставаться зелёным; считается регрессом
|
||||
любое падение существующих test_merge_gate*/test_merge_verify*/test_orch073*.
|
||||
|
||||
tests:
|
||||
- id: TC-01
|
||||
type: unit
|
||||
description: "merge_pr: POST даёт 405,405,200 -> возвращает (True, merged PR #n); ровно 3 POST; ложного False нет (AC-1)"
|
||||
module: tests/test_merge_gate.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-02
|
||||
type: unit
|
||||
description: "merge_pr: POST даёт 503 (5xx), затем 200 -> ретрай -> (True, ...) (AC-1)"
|
||||
module: tests/test_merge_gate.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-03
|
||||
type: unit
|
||||
description: "merge_pr: POST бросает httpx Timeout/сетевую ошибку в 1-й попытке, затем 200 -> ретрай -> (True, ...); never-raise (AC-1, AC-6)"
|
||||
module: tests/test_merge_gate.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-04
|
||||
type: unit
|
||||
description: "merge_pr: реальный конфликт 409 + GET /pulls/{n} mergeable=False -> (False, ...) без доп. POST (терминал, быстрый HOLD) (AC-2)"
|
||||
module: tests/test_merge_gate.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-05
|
||||
type: unit
|
||||
description: "merge_pr: неоднозначный 409 + GET /pulls/{n} mergeable=True -> классифицирован как транзиент -> ретрай -> 200 -> (True, ...) (AC-2)"
|
||||
module: tests/test_merge_gate.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-06
|
||||
type: unit
|
||||
description: "merge_pr: 403 (нет прав) -> немедленно (False, ...) без ретрая (терминал) (AC-2)"
|
||||
module: tests/test_merge_gate.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-07
|
||||
type: unit
|
||||
description: "merge_pr: 405 на всех N попытках -> (False, 'merge failed after N attempts: HTTP 405') с понятным reason (AC-3)"
|
||||
module: tests/test_merge_gate.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-08
|
||||
type: unit
|
||||
description: "merge_pr: kill-switch merge_retry_enabled=False -> ровно один POST (one-shot, как сейчас) при 405 -> (False, ...) (AC-5, AC-3)"
|
||||
module: tests/test_merge_gate.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-09
|
||||
type: unit
|
||||
description: "ensure_open_pr: открытого code-PR нет, rev-list --count origin/main..branch == 0 -> ('already-in-main', ...); POST /pulls НЕ вызывается (AC-4)"
|
||||
module: tests/test_merge_gate.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-10
|
||||
type: unit
|
||||
description: "ensure_open_pr: открытого PR нет, есть невлитые коммиты (count>0) -> создаёт PR ('created', ...) (регресс прежнего поведения) (AC-4)"
|
||||
module: tests/test_merge_gate.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-11
|
||||
type: unit
|
||||
description: "ensure_open_pr: git-ошибка проверки гарда -> never-raise, безопасный кортеж, без падения (AC-6)"
|
||||
module: tests/test_merge_gate.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-12
|
||||
type: unit
|
||||
description: "merge_pr/ensure_open_pr: любая непойманная httpx/parse ошибка -> (False/failed, ...) кортеж, исключение не пробрасывается (never-raise) (AC-6)"
|
||||
module: tests/test_merge_gate.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-13
|
||||
type: unit
|
||||
description: "config: дефолты merge_retry_enabled/merge_retry_max_attempts/backoff_base/backoff_max присутствуют и читаются из ORCH_MERGE_RETRY_* env (AC-5)"
|
||||
module: tests/test_config.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-14
|
||||
type: integration
|
||||
description: "_handle_merge_verify: ensure_open_pr -> 'already-in-main' пропускает merge_pr, verify_merged_to_main (SHA-in-main) подтверждает -> задача доходит до done без мусорного PR (AC-4)"
|
||||
module: tests/test_merge_verify.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-15
|
||||
type: integration
|
||||
description: "_handle_merge_verify: merge_pr исчерпал ретраи (False) и SHA-in-main не подтверждён -> HOLD + alert (ORCH-071/081 как прежде), задача удержана на deploy, не done (AC-3)"
|
||||
module: tests/test_merge_verify.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-16
|
||||
type: integration
|
||||
description: "_handle_merge_verify happy-path: транзиент 405x2->200 в merge_pr -> SHA-in-main подтверждён -> done без ложного HOLD (end-to-end под-гейта deploy->done) (AC-1)"
|
||||
module: tests/test_merge_verify.py
|
||||
expected: PASS
|
||||
@@ -0,0 +1,222 @@
|
||||
---
|
||||
work_item: ORCH-093
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# ADR-001: Ретрай транзиентных merge-ошибок Gitea + гард «ветка уже в `main`» (ORCH-093)
|
||||
|
||||
Work Item: **ORCH-093** — merge-актор не ретраит транзиентные ошибки Gitea (405/5xx) → ложный HOLD + мусорные PR
|
||||
Стадия: **architecture**
|
||||
Сквозная регистрация: **`docs/architecture/adr/adr-0027-merge-actor-transient-retry-and-already-in-main.md`**
|
||||
(амендмент к [adr-0013](../../../architecture/adr/adr-0013-merge-verify-gate.md) /
|
||||
[adr-0014](../../../architecture/adr/adr-0014-merge-verify-sha-source-of-truth.md) /
|
||||
[adr-0016](../../../architecture/adr/adr-0016-ensure-open-pr-before-merge-verify.md) — лехатая merge-verify под-гейта).
|
||||
|
||||
## Статус
|
||||
Proposed
|
||||
|
||||
## Контекст
|
||||
|
||||
Инцидент **ORCH-063 (09.06)**: self-deploy прошёл, staging OK, PR #98 был `open` + `mergeable=True`,
|
||||
конфликтов не было — но `POST /pulls/98/merge` вернул `HTTP 405 {"message":"Please try again later"}`
|
||||
(Gitea пересчитывал `mergeable` сразу после пуша). Сверено по коду прода `src/merge_gate.py`:
|
||||
|
||||
- **`merge_pr` (`src/merge_gate.py:700`) — one-shot.** Тело цикла отсутствует: единственный
|
||||
`POST /pulls/{index}/merge` (стр. 747-752); любой не-`200/201` → немедленно
|
||||
`return False, "merge failed: HTTP {code}"` (стр. 761). Транзиентная икота Gitea = мгновенный
|
||||
`False`. Сработала корректная защита ORCH-071/073 «deploy succeeded but not merged»
|
||||
(`_handle_merge_verify`, `src/stage_engine.py:1527`) → задача удержана на `deploy`, алерт,
|
||||
**потребовался ручной домерж** (повтор `merge_pr` вручную → влилось с первого раза).
|
||||
- **`ensure_open_pr` (`src/merge_gate.py:605`) — плодит мусорный PR.** При повторном прогоне
|
||||
финализатора **после** ручного мержа: код-PR уже `merged+closed` → `_find_open_code_pr()`
|
||||
(стр. 639) → `None` → шаг 2 `POST …/pulls` (стр. 663) создаёт **новый пустой PR** на ветке,
|
||||
которая уже целиком в `main` (diff пустой). Пришлось закрывать вручную.
|
||||
|
||||
Контраст: у Claude-агентов есть transient-breaker (`429/overload` ретраится,
|
||||
`config.transient_max_attempts`/`backoff_*`), у CI-гейта — `check_ci_green`
|
||||
(`src/qg/checks.py:82`, `ci_poll_max_attempts` × `ci_poll_interval_s` с логом `attempt i/N`).
|
||||
У детерминированного merge-актора аналога нет. Защита ORCH-071/073 отработала верно, но
|
||||
**транзиент не должен был требовать человека** — это блокер автономного прогона (эпик ORCH-088) и
|
||||
оставляет мусор в списке PR Gitea.
|
||||
|
||||
«Как есть» не годится: инфра-икота Gitea = ложный HOLD + ручное вмешательство в автономный конвейер.
|
||||
|
||||
## Решение
|
||||
|
||||
### Сводка
|
||||
|
||||
Две точечные доработки `src/merge_gate.py`, обе **аддитивны**, never-raise, под существующими
|
||||
kill-switch'ами; `STAGE_TRANSITIONS` / `QG_CHECKS` / схема БД — не трогаются; INV-4 (мерж только
|
||||
через Gitea PR-merge API, никогда `push`/`force-push` в `main`) сохранён.
|
||||
|
||||
1. **`merge_pr`** — обернуть **только** `POST …/merge` в ограниченный retry-loop на транзиентных
|
||||
исходах; терминальные → быстрый честный `False` (защита ORCH-071/073 — как прежде).
|
||||
2. **`ensure_open_pr`** — гард «ветка уже полностью в `main`» **до** создания PR → новый исход
|
||||
`"already-in-main"`; `_handle_merge_verify` трактует его как «мержить нечего» и даёт
|
||||
авторитетному SHA-in-main (`verify_merged_to_main`) довести до `done` без мусорного PR.
|
||||
|
||||
### D1 — retry-loop вокруг `POST …/merge` в `merge_pr` (BR-1, BR-4, BR-6, BR-7 / FR-1)
|
||||
|
||||
Шаги `merge_pr` **до** POST — без изменений (идемпотентность `pr_already_merged`; `GET …/pulls?state=open`
|
||||
поиск код-PR `head==branch AND base==main`; `index is None → (False, "no open PR")`). Ретраится
|
||||
**исключительно** мутирующий `POST /pulls/{index}/merge`:
|
||||
|
||||
- Цикл `for attempt in range(1, N+1)`, `N = settings.merge_retry_max_attempts` (дефолт `3`).
|
||||
- `200/201` → немедленный `(True, "merged PR #<n>")`.
|
||||
- **транзиентный** исход (D2) И `attempt < N` → лог `attempt i/N` (образец `check_ci_green`) →
|
||||
`time.sleep(backoff(attempt))` → повтор POST.
|
||||
- **терминальный** исход (D2) → немедленно `(False, "merge failed: HTTP <code>")`, без ретрая.
|
||||
- исчерпание на транзиенте → `(False, "merge failed after <N> attempts: HTTP <code>")`.
|
||||
|
||||
**Backoff** — экспоненциальный c потолком (идиома transient-breaker агентов, ограничен NFR-4):
|
||||
`backoff(i) = min(merge_retry_backoff_base_s * 2**(i-1), merge_retry_backoff_max_s)`
|
||||
(дефолты base `2`, max `5`). Суммарный сон ограничен `(N-1) × backoff_max ≤ 10 с`; плюс
|
||||
`merge_pr_timeout_s` на POST → верхняя граница задержки детерминирована и **не подвешивает**
|
||||
monitor-поток, исполняющий merge-verify (NFR-4).
|
||||
|
||||
**Kill-switch** `merge_retry_enabled=False` → ровно одна попытка POST = байт-в-байт текущее one-shot
|
||||
поведение (BR-7, нулевая регрессия). Реализуется как `N_eff = N if merge_retry_enabled else 1` без
|
||||
ветвления тела цикла.
|
||||
|
||||
Привязка: AC-1 (405×2→200 = 3 POST, `True`), AC-3 (405×N → `False` + понятный reason), AC-5
|
||||
(kill-switch → 1 POST).
|
||||
|
||||
### D2 — классификация транзиент vs терминал (BR-2, BR-3 / FR-2)
|
||||
|
||||
Leaf-хелпер `_classify_merge_response(repo, branch, index, status_code) -> "transient" | "terminal"`
|
||||
(never-raise). Дерево решений:
|
||||
|
||||
| Исход POST | Класс | Действие |
|
||||
|------------|-------|----------|
|
||||
| `405` («try again later»), `408`, любой `5xx` | **transient** | ретрай |
|
||||
| `httpx`-таймаут / сетевое исключение | **transient** | ретрай (ловится внутри попытки, never-raise) |
|
||||
| `403` (нет прав), `404` (PR исчез) | **terminal** | быстрый `False` |
|
||||
| `409` / `422` | **ambiguous** → доп. `GET /pulls/{index}` → поле `mergeable` | см. ниже |
|
||||
|
||||
Разрешение неоднозначного `409/422` по `GET /pulls/{index}` → `mergeable`:
|
||||
- `mergeable == True` → **transient** (Gitea ещё не пересчитал — корневой кейс ORCH-063) → ретрай.
|
||||
- `mergeable == False` → **terminal** (реальный конфликт) → быстрый честный HOLD.
|
||||
- `mergeable` отсутствует / `None` / сам `GET` упал → **transient** в рамках того же ограниченного
|
||||
бюджета (см. дефолт-политику ниже).
|
||||
|
||||
**Дефолт-политика для `mergeable == None`/недоступного — транзиент** (принято от рекомендации
|
||||
аналитика, FR-2). Обоснование: (а) цель задачи — не давать ложного HOLD на икоте Gitea, а икота —
|
||||
именно наблюдаемый кейс с неполным/запаздывающим `mergeable`; (б) цена ошибки ограничена — даже
|
||||
если за `None` скрывается реальный конфликт, бюджет ретраев конечен (`≤10 с`), после чего
|
||||
`merge_pr` всё равно вернёт `False` → срабатывает **та же** защита ORCH-071/073 (HOLD + алерт);
|
||||
(в) обратный выбор (терминал по `None`) воспроизводит ровно тот ложный HOLD, что чинит задача.
|
||||
Таким образом дефолт fail-OPEN-в-ретрай безопасен: автономность выигрывает, корректность
|
||||
backstop'а сохранена.
|
||||
|
||||
Привязка: AC-1 (транзиент → ретрай), AC-2 (`409`+`mergeable=False`/`403` → терминал, ≤1 POST).
|
||||
|
||||
### D3 — гард «ветка уже полностью в `main`» в `ensure_open_pr` (BR-5 / FR-3)
|
||||
|
||||
Новый leaf-хелпер `_branch_fully_in_main(repo, branch) -> bool | None` (never-raise), вызывается в
|
||||
`ensure_open_pr` **после** того как `_find_open_code_pr()` вернул `None` и **до** `POST …/pulls`:
|
||||
|
||||
- В per-branch worktree (`ensure_worktree`, изоляция ORCH-2): `git fetch origin main` →
|
||||
`git merge-base --is-ancestor <branch-HEAD> origin/main` (идиома уже используется в
|
||||
`branch_is_behind_main` / `verify_merged_to_main`; эквивалент `git rev-list --count origin/main..HEAD == 0`).
|
||||
- `rc == 0` → ветка целиком в `main` → `True`.
|
||||
- `rc == 1` → есть невлитые коммиты → `False`.
|
||||
- git/OS-ошибка / ambiguous rc → `None`.
|
||||
|
||||
Маппинг в `ensure_open_pr`:
|
||||
- `True` → новый исход `("already-in-main", "<reason>")` — **PR не создаётся**.
|
||||
- `False` → текущий путь шага 2 (`POST …/pulls` создать код-PR) — без изменений.
|
||||
- `None` (**fail-OPEN**) → деградировать на текущее поведение (попытаться создать PR), **НЕ**
|
||||
блокировать. Обоснование: единственная цель гарда — избежать заведомо пустого PR; вернуть
|
||||
`"failed"` на git-икоте значило бы превратить инфра-икоту git в ложный no-op/HOLD мержа — ровно
|
||||
анти-паттерн, против которого предостерегает BRD. SHA-in-main downstream остаётся авторитетным:
|
||||
даже если на git-ошибке гард ошибётся и создаст пустой PR, это лишь косметика, не ложный `done`.
|
||||
|
||||
Сигнатура `ensure_open_pr` расширяется исходом `"already-in-main"` дополнительно к
|
||||
`"existed"|"created"|"failed"` (обратносовместимо для существующих веток вызова).
|
||||
|
||||
**Без отдельного флага:** гард — чистый fail-OPEN correctness-guard, уже целиком накрыт
|
||||
существующим kill-switch'ем `merge_verify_autocreate_pr_enabled` (вся врезка `ensure_open_pr` в
|
||||
`_handle_merge_verify` под ним — `src/stage_engine.py:1486`). Отдельный флаг был бы избыточной
|
||||
конфиг-поверхностью (принято от рекомендации FR-5: «всегда-вкл»).
|
||||
|
||||
Привязка: AC-4 (count==0 → `already-in-main`, нет POST …/pulls).
|
||||
|
||||
### D4 — обработка `already-in-main` в `_handle_merge_verify` (BR-5 / FR-4)
|
||||
|
||||
В `stage_engine._handle_merge_verify` (`src/stage_engine.py:1486-1495`): при
|
||||
`pr_status == "already-in-main"` — лог, **пропустить** `merge_gate.merge_pr` (мержить нечего) и
|
||||
сразу к `verify_merged_to_main` (SHA-in-main подтвердит факт мержа → `done`). Это **НЕ** `failed`-ветка
|
||||
(не HOLD): цель уже достигнута, ветка в `main`. Реализуется флагом `skip_merge`, обнуляющим вызов
|
||||
`merge_pr` на строке 1498; ветка `verify_merged_to_main` (стр. 1503) и весь нижестоящий код —
|
||||
без изменений. SHA-in-main остаётся **авторитетным** доказательством мержа (ADR-0014); гард только
|
||||
избегает мусорного PR и лишнего `merge_pr`.
|
||||
|
||||
Деградация safety: если по какой-то причине SHA не в `main` при `already-in-main` (не должно случаться,
|
||||
т.к. `sha = validated_revision = worktree HEAD`, а ветка целиком в `main`), срабатывает прежний
|
||||
HOLD (стр. 1527) — fail-closed, безопасно.
|
||||
|
||||
Привязка: AC-4 (`already-in-main` → пропуск `merge_pr`, SHA-in-main → `done`).
|
||||
|
||||
### D5 — конфигурация (BR-6, BR-7 / FR-5)
|
||||
|
||||
Новые поля `src/config.Settings` (по образцу `ci_poll_*` / `merge_pr_timeout_s`), читаются из env:
|
||||
|
||||
| Поле | env | Дефолт |
|
||||
|------|-----|--------|
|
||||
| `merge_retry_enabled` | `ORCH_MERGE_RETRY_ENABLED` | `True` (kill-switch; `False` → one-shot) |
|
||||
| `merge_retry_max_attempts` | `ORCH_MERGE_RETRY_MAX_ATTEMPTS` | `3` |
|
||||
| `merge_retry_backoff_base_s` | `ORCH_MERGE_RETRY_BACKOFF_BASE_S` | `2` |
|
||||
| `merge_retry_backoff_max_s` | `ORCH_MERGE_RETRY_BACKOFF_MAX_S` | `5` |
|
||||
|
||||
Дескрипторы добавляются в `.env.example`. Гард already-in-main — без отдельного флага (D3).
|
||||
|
||||
## Альтернативы
|
||||
|
||||
- **Ретрай всех steps `merge_pr` (включая `GET …/pulls?state=open`)** — отвергнуто: ретраить нужно
|
||||
только мутирующий POST; список PR — дешёвый идемпотентный GET, его транзиент-ретрай усложняет
|
||||
логику без выгоды (повторный POST сам перечитает при необходимости через `pr_already_merged`).
|
||||
- **Терминал по `mergeable == None`** — отвергнуто: воспроизводит ложный HOLD, который чинит задача
|
||||
(см. D2); бюджет ретраев конечен, backstop ORCH-071/073 сохранён.
|
||||
- **Фиксированный interval-backoff (как `check_ci_green`)** — отвергнуто в пользу экспоненциального
|
||||
с потолком: merge-икота короткая, экспонента с малым потолком (`5 с`) быстрее проходит первую
|
||||
попытку и жёстко ограничена сверху (NFR-4).
|
||||
- **`"failed"` на git-ошибке гарда already-in-main** — отвергнуто: превращает икоту git в ложный
|
||||
no-op/HOLD мержа (анти-паттерн BRD); выбран fail-OPEN-в-create (D3).
|
||||
- **Отдельный kill-switch для гарда already-in-main** — отвергнуто: уже накрыт
|
||||
`merge_verify_autocreate_pr_enabled`; лишняя конфиг-поверхность.
|
||||
- **Снять/ослабить защиту ORCH-071/081** — вне объёма и неверно: защита корректна, задача лишь
|
||||
снижает **ложные** срабатывания.
|
||||
|
||||
## Последствия
|
||||
|
||||
- **+** Транзиентная икота Gitea (405/5xx/таймаут/«not mergeable yet») переживается автоматически →
|
||||
нет ложного HOLD, нет ручного домержа в автономном прогоне (ORCH-088).
|
||||
- **+** Нет мусорных пустых PR на уже влитой ветке; повторный прогон финализатора идемпотентен (NFR-5).
|
||||
- **+** Реальный конфликт по-прежнему даёт быстрый честный HOLD (≤1 POST); защита ORCH-071/073 — 1:1.
|
||||
- **+** Наблюдаемость: каждый ретрай логируется `attempt i/N` + класс (transient/terminal) (NFR-6).
|
||||
- **−** Доп. `GET /pulls/{index}` на неоднозначном `409/422` (один лишний дешёвый запрос только в
|
||||
редком ambiguous-кейсе) — приемлемо.
|
||||
- **−** Дефолт-политика `mergeable==None → transient` может на реальном конфликте добавить ≤10 с
|
||||
до HOLD. Митигейшн: бюджет жёстко ограничен; HOLD всё равно срабатывает.
|
||||
- **−** Расширение возврата `ensure_open_pr` новым исходом — все вызовы перечислены, BC сохранён.
|
||||
- **Откат:** `ORCH_MERGE_RETRY_ENABLED=false` → one-shot `merge_pr` (нынешнее поведение);
|
||||
`ORCH_MERGE_VERIFY_AUTOCREATE_PR_ENABLED=false` отключает врезку `ensure_open_pr` целиком (вместе
|
||||
с гардом). Полный откат кода — revert PR; флаги дают мгновенный runtime-откат без деплоя кода.
|
||||
|
||||
## Ссылки
|
||||
- BRD: `docs/work-items/ORCH-093/01-brd.md`
|
||||
- TRZ: `docs/work-items/ORCH-093/02-trz.md`
|
||||
- Acceptance: `docs/work-items/ORCH-093/03-acceptance-criteria.md`
|
||||
- Tech-risks: `docs/work-items/ORCH-093/10-tech-risks.md`
|
||||
- Сквозной ADR: `docs/architecture/adr/adr-0027-merge-actor-transient-retry-and-already-in-main.md`
|
||||
- Лехатая merge-verify: [adr-0013](../../../architecture/adr/adr-0013-merge-verify-gate.md),
|
||||
[adr-0014](../../../architecture/adr/adr-0014-merge-verify-sha-source-of-truth.md),
|
||||
[adr-0016](../../../architecture/adr/adr-0016-ensure-open-pr-before-merge-verify.md)
|
||||
- Сверено по коду: `src/merge_gate.py` (`merge_pr:700`, `ensure_open_pr:605`,
|
||||
`branch_is_behind_main:53`, `verify_merged_to_main:767`), `src/stage_engine.py`
|
||||
(`_handle_merge_verify:1447`), `src/qg/checks.py` (`check_ci_green:82`), `src/config.py`
|
||||
(`ci_poll_*:140`, `merge_pr_timeout_s:549`, `transient_max_attempts:77`)
|
||||
36
docs/work-items/ORCH-093/10-tech-risks.md
Normal file
36
docs/work-items/ORCH-093/10-tech-risks.md
Normal file
@@ -0,0 +1,36 @@
|
||||
---
|
||||
work_item: ORCH-093
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 10 — Технические риски: ORCH-093 — ретрай транзиентных merge-ошибок Gitea + гард already-in-main
|
||||
|
||||
Work Item: **ORCH-093** · Repo: **orchestrator** · Стадия: architecture
|
||||
|
||||
> Информационный (гейтом не парсится). Перечисляет риски реализации и их митигейшн.
|
||||
|
||||
## Реестр рисков
|
||||
|
||||
| ID | Риск | Вер. | Влия. | Митигейшн |
|
||||
|----|------|------|-------|-----------|
|
||||
| TR-1 | Ошибочная классификация реального конфликта как транзиента (`mergeable==None`/неполный ответ) → лишние ретраи перед HOLD | Сред. | Низ. | D2: бюджет ретраев жёстко ограничен (`(N-1)×backoff_max ≤ 10 с`); после исчерпания — тот же HOLD ORCH-071/073. Цена ≤10 с задержки, не ложный `done`. |
|
||||
| TR-2 | Слишком агрессивный/долгий ретрай подвешивает monitor-поток, исполняющий merge-verify | Низ. | Сред. | D1/NFR-4: экспон. backoff с потолком `merge_retry_backoff_max_s`; суммарный сон детерминирован; `merge_pr_timeout_s` ограничивает каждый POST. |
|
||||
| TR-3 | Гонка гарда already-in-main vs параллельный мерж (ветка влита между `_find_open_code_pr` и `_branch_fully_in_main`) | Низ. | Низ. | SHA-в-main (`verify_merged_to_main`, ADR-0014) остаётся авторитетным; гард лишь избегает пустого PR. Ложный `done` невозможен — решает SHA, не гард. |
|
||||
| TR-4 | git-икота гарда (`fetch`/`merge-base` падает) → ложный `already-in-main` → пропуск реального мержа | Низ. | Выс. | D3: fail-OPEN — `None` деградирует на create-PR, НЕ на `already-in-main`; ложный пропуск мержа структурно невозможен (для `already-in-main` нужен rc==0, не ошибка). |
|
||||
| TR-5 | Регрессия one-shot поведения при `merge_retry_enabled=False` | Низ. | Сред. | BR-7: `N_eff = 1` без ветвления тела цикла; тест AC-5 подтверждает ровно один POST. |
|
||||
| TR-6 | Расширение возврата `ensure_open_pr` (`already-in-main`) ломает необработанную ветку вызова | Низ. | Сред. | Все вызовы перечислены (`_handle_merge_verify`, `launcher._ensure_pr`); BC: новый исход обрабатывается явно, прочие пути 1:1. Покрытие — тест AC-4. |
|
||||
| TR-7 | Лишний `GET /pulls/{index}` на ambiguous `409/422` сам транзиентно падает → неверный класс | Низ. | Низ. | never-raise: сбой `GET` → дефолт transient в рамках бюджета (D2); никогда не исключение в `advance_stage`. |
|
||||
|
||||
## Сводный вывод
|
||||
|
||||
Доминирующий класс — **корректность классификации транзиент/терминал** (TR-1, TR-4): обе ветки
|
||||
спроектированы fail-safe в сторону, противоположную багу (ретрай-с-бюджетом и fail-OPEN-в-create),
|
||||
с авторитетным backstop'ом SHA-в-main + защитой ORCH-071/073, которые не трогаются. Остаточный риск
|
||||
для прод-конвейера (self-hosting) **низкий**: изменение точечное, аддитивное, полностью отключаемо
|
||||
двумя существующими/новыми kill-switch'ами без деплоя кода; `STAGE_TRANSITIONS`/`QG_CHECKS`/схема БД
|
||||
не затронуты. Эскалация `arch:major-change` **не требуется**; возврат в анализ **не требуется** —
|
||||
ТЗ реализуемо без нарушения принципов архитектуры.
|
||||
89
docs/work-items/ORCH-093/12-review.md
Normal file
89
docs/work-items/ORCH-093/12-review.md
Normal file
@@ -0,0 +1,89 @@
|
||||
---
|
||||
verdict: APPROVED
|
||||
work_item: ORCH-093
|
||||
stage: review
|
||||
author_agent: reviewer
|
||||
status: approved
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
type: review
|
||||
work_item_id: ORCH-093
|
||||
version: 1
|
||||
---
|
||||
|
||||
# Review ORCH-093
|
||||
|
||||
## Summary
|
||||
|
||||
Две точечные доработки детерминированного merge-актора (`src/merge_gate.py`), чинящие инцидент
|
||||
**ORCH-063** (ложный HOLD на транзиентном `HTTP 405` от Gitea + мусорный пустой PR на уже влитой
|
||||
ветке): (1) retry-loop вокруг мутирующего `POST …/merge` с классификатором транзиент/терминал;
|
||||
(2) гард `already-in-main` в `ensure_open_pr` + врезка в `_handle_merge_verify`.
|
||||
|
||||
Реализация **полностью соответствует** ТЗ (FR-1…FR-5), критериям приёмки (AC-1…AC-7) и ADR-001
|
||||
(D1…D5). Контракты сохранены: never-raise, INV-4 (мерж только через Gitea PR-merge API, никогда
|
||||
`push`/`force-push` в `main`), `STAGE_TRANSITIONS`/`QG_CHECKS`/схема БД — байт-в-байт не тронуты
|
||||
(проверено `git diff`: затронуты только `src/merge_gate.py`, `src/config.py` и точечно
|
||||
`src/stage_engine.py`). Защита ORCH-071/073/081 («deploy succeeded but not merged») сохранена 1:1:
|
||||
терминал/исчерпание ретраев → `(False, …)` → прежний HOLD+alert.
|
||||
|
||||
**Тесты содержательные и зелёные:** `tests/test_merge_gate.py` (TC-01…TC-12), `tests/test_config.py`
|
||||
(TC-13), `tests/test_merge_verify.py` (TC-14…TC-16), обновлён `tests/test_orch082_ensure_pr.py`.
|
||||
Локальный прогон затронутых сьютов — **72 passed**. Каждый AC покрыт буквально (405×2→200=3 POST;
|
||||
5xx→200; network→200; реальный конфликт/403 терминал без ретрая; ambiguous-409+mergeable=True ретрай;
|
||||
исчерпание; kill-switch one-shot; already-in-main без POST; fail-OPEN на git-ошибке гарда;
|
||||
never-raise).
|
||||
|
||||
**Трассировка (TRACEABILITY.md):** правки в блоках с маркерами ORCH-071/073/082 сверены с их
|
||||
инвариантами — SHA-in-main остаётся единственным авторитетным доказательством мержа (ADR-0014),
|
||||
idempotency-guard `pr_already_merged`, фильтр `base==main` для code-PR, never-raise — сохранены.
|
||||
В append-only `MAIN_REGRESSION_MARKERS` корректно добавлена строка
|
||||
`("ORCH-093", "_classify_merge_response", "src/merge_gate.py")` — без слома существующих маркеров.
|
||||
|
||||
Документация обновлена (CHANGELOG, `.env.example`, `CLAUDE.md`, локальный ADR-001 + сквозной
|
||||
adr-0027, `docs/architecture/README.md`). Один P2 по гигиене документации (дубль секции в README) —
|
||||
не блокирует приёмку.
|
||||
|
||||
## Findings
|
||||
|
||||
### P0 — Blocker
|
||||
- Нет.
|
||||
|
||||
### P1 — Must fix
|
||||
- Нет.
|
||||
|
||||
### P2 — Should fix
|
||||
- [ ] **Дубль секции ORCH-093 в `docs/architecture/README.md`.** Один и тот же заголовок
|
||||
`#### Ретрай транзиентных merge-ошибок Gitea + гард already-in-main (ORCH-093 — фикс ложного HOLD
|
||||
на 405/5xx)` встречается **дважды** — строки **480–516** и **518–550** — с почти идентичным,
|
||||
перекрывающимся содержимым и совпадающим markdown-anchor'ом. Подтверждено `git diff` (на `origin/main`
|
||||
— 0 вхождений, на ветке — 2), т.е. обе секции добавлены этим PR (вероятно случайная вставка/дубль
|
||||
блока при правке golden-source). README — обзорная витрина архитектуры; дублирующий блок с
|
||||
коллизией заголовков следует схлопнуть в одну секцию (оставить вариант 480–516 или 518–550, не оба).
|
||||
Правило: `CLAUDE.md` §2 «документация = golden source», стандарт обзорных доков (ORCH-079).
|
||||
|
||||
### P3 — Nice to have
|
||||
- [ ] **`tests/test_merge_gate.py::_PostSeq`** обращается к `self._items_last` до его первой
|
||||
инициализации, если конструктору передать пустой список (атрибут ставится только после первого
|
||||
`pop`). Сейчас не срабатывает (все вызовы передают непустую последовательность), но защититься
|
||||
дефолтом `self._items_last = None` в `__init__` дешевле, чем потенциальный `AttributeError` при
|
||||
будущем редактировании теста.
|
||||
|
||||
## Документация
|
||||
|
||||
Проверка обязательна (изменён `src/`). Статус — **обновлена** (golden source синхронизирован с кодом):
|
||||
|
||||
| Артефакт | Статус |
|
||||
|----------|--------|
|
||||
| `CHANGELOG.md` | ✅ запись ORCH-093 (`[Unreleased]`) с детализацией retry/guard/конфиг/тесты |
|
||||
| `.env.example` | ✅ дескрипторы `ORCH_MERGE_RETRY_*` (4 поля) + пояснительный блок |
|
||||
| `CLAUDE.md` | ✅ абзац ORCH-093 в секции «Очередь задач» |
|
||||
| `docs/architecture/README.md` | ⚠️ обновлена, но **секция продублирована** (P2 — схлопнуть) |
|
||||
| `docs/work-items/ORCH-093/06-adr/ADR-001-…md` | ✅ локальный ADR (proposed) |
|
||||
| `docs/architecture/adr/adr-0027-…md` | ✅ сквозной ADR (amends 0013/0014/0016) |
|
||||
|
||||
API / `STAGE_TRANSITIONS` / QG / схема БД не менялись → доп. обновлений не требуется. Пункт
|
||||
`README.md` «Известные ограничения» данным PR не закрывается (ORCH-079 не применим).
|
||||
|
||||
**Вывод:** P0/P1 нет; единственный P2 — косметический дубль секции README (не блокирует). Verdict —
|
||||
`APPROVED`. Рекомендую попутно схлопнуть дубль перед мержем.
|
||||
83
docs/work-items/ORCH-093/13-test-report.md
Normal file
83
docs/work-items/ORCH-093/13-test-report.md
Normal file
@@ -0,0 +1,83 @@
|
||||
---
|
||||
result: PASS
|
||||
work_item: ORCH-093
|
||||
stage: testing
|
||||
author_agent: tester
|
||||
status: pass
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
type: test-report
|
||||
work_item_id: ORCH-093
|
||||
---
|
||||
|
||||
# Test Report — ORCH-093
|
||||
|
||||
merge-актор ретраит транзиентные ошибки Gitea (405/5xx/таймаут) + гард «ветка уже в main».
|
||||
|
||||
## Окружение
|
||||
- Python: 3.12.13
|
||||
- pytest: 8.3.3
|
||||
- Worktree: `/repos/_wt/orchestrator/feature_ORCH-093-bug-merge-gitea-405-5xx-hold-p`
|
||||
- Branch: `feature/ORCH-093-bug-merge-gitea-405-5xx-hold-p`
|
||||
- Дата: 2026-06-09
|
||||
|
||||
## Предусловия
|
||||
- Review verdict: **APPROVED** (`12-review.md`, P0/P1 нет; единственный P2 — косметический дубль секции README, не блокирует).
|
||||
|
||||
## Smoke API (read-only, prod 8500)
|
||||
| Эндпоинт | Результат |
|
||||
|----------|-----------|
|
||||
| `GET /health` | `{"status":"ok","service":"orchestrator"}` — OK |
|
||||
| `GET /status` | OK (active_tasks отдаётся; ORCH-093 task#78 в `testing`) |
|
||||
| `GET /queue` | OK — блок `serial_gate` **присутствует** (ORCH-088), `auto_labels` **присутствует** (ORCH-089), `stop` присутствует (ORCH-090). Регресса смока нет. |
|
||||
|
||||
## Результаты (покрытие ТЗ — каждый TC из 04-test-plan.yaml)
|
||||
|
||||
| TC ID | Описание (AC) | Тест | Результат |
|
||||
|-------|---------------|------|-----------|
|
||||
| TC-01 | merge_pr: 405,405,200 → (True, …); ровно 3 POST; ложного False нет (AC-1) | `test_merge_gate.py::test_tc01_merge_retries_405_then_succeeds` | PASS |
|
||||
| TC-02 | merge_pr: 503 (5xx)→200 → ретрай → (True, …) (AC-1) | `test_merge_gate.py::test_tc02_merge_retries_5xx_then_succeeds` | PASS |
|
||||
| TC-03 | merge_pr: httpx Timeout/сетевая→200 → ретрай; never-raise (AC-1, AC-6) | `test_merge_gate.py::test_tc03_merge_retries_network_error_then_succeeds` | PASS |
|
||||
| TC-04 | merge_pr: 409 + GET mergeable=False → (False, …) без доп. POST (терминал) (AC-2) | `test_merge_gate.py::test_tc04_real_conflict_terminal_no_retry` | PASS |
|
||||
| TC-05 | merge_pr: ambiguous 409 + GET mergeable=True → транзиент → ретрай → 200 (AC-2) | `test_merge_gate.py::test_tc05_ambiguous_409_mergeable_true_retries` | PASS |
|
||||
| TC-06 | merge_pr: 403 → немедленно (False, …) без ретрая (терминал) (AC-2) | `test_merge_gate.py::test_tc06_403_terminal_no_retry` | PASS |
|
||||
| TC-07 | merge_pr: 405 на всех N → (False, 'merge failed after N attempts…') понятный reason (AC-3) | `test_merge_gate.py::test_tc07_exhausts_retries_clear_reason` | PASS |
|
||||
| TC-08 | merge_pr: kill-switch off → ровно один POST (one-shot) при 405 (AC-5, AC-3) | `test_merge_gate.py::test_tc08_killswitch_off_one_shot` | PASS |
|
||||
| TC-09 | ensure_open_pr: count==0 → ('already-in-main', …); POST /pulls НЕ вызван (AC-4) | `test_merge_gate.py::test_tc09_ensure_already_in_main_no_post` | PASS |
|
||||
| TC-10 | ensure_open_pr: count>0 → создаёт PR (регресс прежнего поведения) (AC-4) | `test_merge_gate.py::test_tc10_ensure_creates_when_commits_beyond_main` | PASS |
|
||||
| TC-11 | ensure_open_pr: git-ошибка гарда → never-raise, fail-open (AC-6) | `test_merge_gate.py::test_tc11_ensure_guard_git_error_fail_open`, `::test_tc11_branch_fully_in_main_never_raises` | PASS |
|
||||
| TC-12 | merge_pr/ensure_open_pr: любая httpx/parse ошибка → безопасный кортеж, never-raise (AC-6) | `test_merge_gate.py::test_tc12_merge_pr_never_raises`, `::test_tc12_ensure_open_pr_never_raises` | PASS |
|
||||
| TC-13 | config: дефолты merge_retry_* + чтение ORCH_MERGE_RETRY_* env (AC-5) | `test_config.py::test_merge_retry_settings_defaults`, `::test_merge_retry_settings_env_override` | PASS |
|
||||
| TC-14 | _handle_merge_verify: 'already-in-main' пропускает merge_pr, SHA-in-main → done (AC-4) | `test_merge_verify.py::test_tc14_already_in_main_skips_merge_pr_then_done` | PASS |
|
||||
| TC-15 | _handle_merge_verify: merge_pr исчерпал ретраи + SHA не подтверждён → HOLD+alert (ORCH-071/081) (AC-3) | `test_merge_verify.py::test_tc15_merge_failed_and_not_in_main_holds` | PASS |
|
||||
| TC-16 | _handle_merge_verify happy-path: 405x2→200 → SHA-in-main → done без ложного HOLD (AC-1) | `test_merge_verify.py::test_tc16_transient_retry_success_then_done` | PASS |
|
||||
|
||||
**Сопоставление с `03-acceptance-criteria.md`:** AC-1 (TC-01/02/03/16), AC-2 (TC-04/05/06),
|
||||
AC-3 (TC-07/15), AC-4 (TC-09/10/14), AC-5 (TC-08/13), AC-6 (TC-11/12 + зелёный регресс),
|
||||
AC-7 (`STAGE_TRANSITIONS`/`QG_CHECKS`/сигнатуры неизменны — `test_config.py::test_tc19_*` зелёные).
|
||||
Все 16 TC выполнены и сопоставлены.
|
||||
|
||||
## Вывод pytest
|
||||
|
||||
Полный регресс из worktree ветки задачи:
|
||||
|
||||
```
|
||||
$ cd /repos/_wt/orchestrator/feature_ORCH-093-bug-merge-gitea-405-5xx-hold-p && pytest tests/ -v --tb=short
|
||||
...
|
||||
======================= 1389 passed, 1 warning in 44.62s =======================
|
||||
```
|
||||
|
||||
Целевые сьюты ORCH-093 (`test_merge_gate.py`, `test_config.py`, `test_merge_verify.py`,
|
||||
`test_orch082_ensure_pr.py`):
|
||||
|
||||
```
|
||||
======================== 72 passed, 1 warning in 1.84s =========================
|
||||
```
|
||||
|
||||
Единственный warning — `PydanticDeprecatedSince20` (class-based config, существующий, не связан с ORCH-093).
|
||||
Падений и регрессов `test_merge_gate*/test_merge_verify*/test_orch08*/test_config*` нет.
|
||||
|
||||
## Итог
|
||||
|
||||
PASS — все 1389 тестов зелёные, целевые TC-01…TC-16 PASS и сопоставлены с AC-1…AC-7,
|
||||
smoke read-only OK (`serial_gate`/`auto_labels` присутствуют в `/queue`). Задача переходит на `deploy-staging`.
|
||||
12
docs/work-items/ORCH-093/14-deploy-log.md
Normal file
12
docs/work-items/ORCH-093/14-deploy-log.md
Normal file
@@ -0,0 +1,12 @@
|
||||
---
|
||||
deploy_status: SUCCESS
|
||||
work_item: ORCH-093
|
||||
hook_exit_code: 0
|
||||
deployed_by: deploy-finalizer
|
||||
---
|
||||
|
||||
# Deploy log — ORCH-036 executable self-deploy
|
||||
|
||||
Прод-деплой завершён хост-хуком с exit-code `0` -> `deploy_status: SUCCESS`.
|
||||
|
||||
Вердикт зафиксирован детерминированным finalizer'ом (Фаза C), не LLM.
|
||||
38
docs/work-items/ORCH-093/15-staging-log.md
Normal file
38
docs/work-items/ORCH-093/15-staging-log.md
Normal file
@@ -0,0 +1,38 @@
|
||||
---
|
||||
staging_status: SUCCESS
|
||||
work_item: ORCH-093
|
||||
stage: deploy-staging
|
||||
author_agent: deployer
|
||||
status: success
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
timestamp: 2026-06-09T19:44:29Z
|
||||
base_url: http://localhost:8501
|
||||
---
|
||||
|
||||
# Staging Gate Log
|
||||
|
||||
> Машинный вердикт читается ТОЛЬКО из `staging_status:` во frontmatter. `SUCCESS` → дальше; `FAILED` → откат.
|
||||
|
||||
Staging test suite completed against the live staging instance. All REAL pipeline checks passed.
|
||||
Run canonically **inside the `orchestrator-staging` container** (8501) via the Docker Engine API
|
||||
exec endpoint (the `docker` CLI is absent in this agent environment, so the exec was driven over
|
||||
`/var/run/docker.sock`; semantics identical to `docker exec` — the script ran with the
|
||||
container's own `.env.staging` process-env, so B6 registry-isolation is authoritative).
|
||||
|
||||
Command (in-container):
|
||||
`python3 /repos/orchestrator/scripts/staging_check.py --base-url http://localhost:8501 --mode stub`
|
||||
|
||||
**Exit code: 0 → SUCCESS.**
|
||||
|
||||
## Results — 8/10 checks PASS
|
||||
|
||||
- **Block A (SMOKE)**: PASS — A1 `/health` 200 ok · A2 `/queue` 200 with counts/max_concurrency/resilience · A3 `ORCH_STAGING=true`.
|
||||
- **Block B (ACCESS)**: PASS — B4 Plane sandbox project accessible · B5 Gitea `orchestrator-sandbox` accessible, push=true · B6 Registry isolation (sandbox=YES, prod-ET=NO, prod-ORCH=NO).
|
||||
- **Block C (E2E, mode=stub)**: C7 create issue in Plane SANDBOX PASS · C8 trigger pipeline via `/webhook/plane` PASS · C9a/C9b FAILED (sandbox-infra, **waived** per ORCH-061). Cleanup OK (Plane issue deleted, no branch to delete).
|
||||
|
||||
REAL failed: **none**.
|
||||
|
||||
INFRA-WAIVED: C9a Branch appears in orchestrator-sandbox, C9b Analyst job enqueued in staging queue (known sandbox-infra; real checks green)
|
||||
|
||||
VERDICT: SUCCESS (exit 0) — SUCCESS (infra-waived): ['C9a Branch appears in orchestrator-sandbox', 'C9b Analyst job enqueued in staging queue'] are known sandbox-infra checks; all real checks green.
|
||||
7
docs/work-items/ORCH-094/00-business-request.md
Normal file
7
docs/work-items/ORCH-094/00-business-request.md
Normal file
@@ -0,0 +1,7 @@
|
||||
# Business Request: BUG: терминальная (done) задача флаппит deploy-статусы в Plane (Awaiting↔Monitoring), не держит Done
|
||||
|
||||
Work Item ID: ORCH-094
|
||||
|
||||
## Description
|
||||
|
||||
TBD
|
||||
155
docs/work-items/ORCH-094/01-brd.md
Normal file
155
docs/work-items/ORCH-094/01-brd.md
Normal file
@@ -0,0 +1,155 @@
|
||||
---
|
||||
work_item: ORCH-094
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 01 — BRD (бизнес-требования): ORCH-094 — терминальная (done) задача флаппит deploy-статусы в Plane (Awaiting↔Monitoring), не держит Done
|
||||
|
||||
Work Item: **ORCH-094** · Repo: **orchestrator** · Стадия: analysis
|
||||
|
||||
## 1. Бизнес-контекст и проблема
|
||||
|
||||
**Тип:** BUG — рассинхрон БД↔Plane / «зомби»-цикл post-deploy-статуса (self-hosting).
|
||||
|
||||
**Симптом (верифицирован живьём 09.06 на ORCH-061):**
|
||||
Задача ORCH-061 в БД оркестратора = `done` с 07.06 (task 47; фикс задеплоен в прод; конвейер её
|
||||
не трогает — 0 активных job'ов). При этом карточка задачи в **Plane не держит Done**: непрерывно
|
||||
флаппит `Monitoring after Deploy ⟷ Awaiting Deploy` парами (туда-обратно за ~2 сек), каждые
|
||||
несколько минут. Накоплено 273 активности. Доходило до абсурда: 09.06 14:56 встала в `Done` →
|
||||
15:48 её выдернуло обратно `Done → Awaiting Deploy`. Воспроизводится детерминированно: ручной
|
||||
sync 061→Done (PATCH 200, 16:47) → через ~60 сек снова `Done → Awaiting Deploy → Monitoring`
|
||||
(16:48). Само **не затихает**.
|
||||
|
||||
**Установленные факты (по логам/БД прода + чтение кода ветки):**
|
||||
- **Сам оркестратор не инициирует переходы из своих штатных стадийных обработчиков для done-задачи.**
|
||||
В момент флаппа лог орка показывает только **входящие** webhook-и Plane
|
||||
(`issue … updated to state … (Awaiting Deploy) → no pipeline action`, затем `(Monitoring) →
|
||||
no pipeline action`). Обработчик `webhooks/plane.py::handle_issue_updated` для статусов
|
||||
Awaiting/Monitoring логирует «no pipeline action» и **сам статус не переотправляет** (echo-loop
|
||||
обработчика исключён).
|
||||
- **Actor всех 273 переходов** = `daf4d3f4-55df-4016-9095-0cf9ddd8fd28` — бот-актор оркестратора
|
||||
(тот же токен, под которым орк делает гигиену доски / sync). То есть PATCH-и шлёт **что-то под
|
||||
токеном орка**, не привязанное к активной task/job в БД.
|
||||
- В БД орка **нет активного post-deploy-monitor** для task 47 (pdm активен только у текущей
|
||||
063/task 74). `orchestrator-staging` (8501) — не источник (task 061 в его БД отсутствует).
|
||||
- В коде ветки **единственные три писателя** deploy-статусов — `src/stage_engine.py`:
|
||||
`set_issue_monitoring` (строка 404, на переходе `deploy → done` для self-hosting),
|
||||
`set_issue_awaiting_deploy` (строка 1218, Phase A), `set_issue_deploying` (строка 1316, Phase B).
|
||||
Все три — **внутри стадийных обработчиков** (`advance_stage` / `_handle_self_deploy_phase_*`),
|
||||
ни один не сидит в фоновом цикле, независимом от таблицы `jobs`.
|
||||
- `notifications.py::_live_plane_branch_override` **только читает** живой Plane-статус (для рендера
|
||||
карточки) — писателем не является.
|
||||
- Реконсилятор: F-1 пропускает задачи со `stage in ('done','cancelled')` (terminal-skip ORCH-086);
|
||||
F-2 опрашивает issue **только** в статусах `[to_analyse, approved, rejected]` — статусы
|
||||
`Monitoring`/`Awaiting` он не перебирает. **Механизма «привести done-задачу, застрявшую на
|
||||
deploy-статусе, обратно к Done» (идемпотентного схождения) — нет.**
|
||||
|
||||
**Боль:** карточка вводит наблюдателя в заблуждение («задача деплоится», хотя она в проде и done),
|
||||
шумит активностью (273 события на одной задаче), **вечно жжёт API-вызовы Plane** флаппом и
|
||||
маскирует реальное состояние доски. Конвейер технически не нарушен (задача в проде), поэтому
|
||||
приоритет **MEDIUM**, но дефект бессрочный и самовоспроизводящийся.
|
||||
|
||||
**Родственные задачи:** ORCH-091 (врущие/застывшие статусы карточки), ORCH-068/086 (терминал-скип
|
||||
как защита инвариантов). ORCH-094 распространяет идею терминал-скипа на deploy-статусы и закрывает
|
||||
источник флаппа.
|
||||
|
||||
## 2. Объём (scope)
|
||||
|
||||
### В объёме
|
||||
- **G1 — устранить источник** PATCH-ей deploy-статуса на задачу, у которой в БД `stage=done` и нет
|
||||
активного job'а. Терминальная (done) задача в Plane должна стабильно держать `Done` и не получать
|
||||
`Awaiting`/`Monitoring`.
|
||||
- **G2 — идемпотентность sync/setter'ов:** если БД=`done`, любой sync/монитор/реконсилятор/прямой
|
||||
вызов приводит Plane к `Done` (не к промежуточному deploy-статусу) — терминал-скип/схождение,
|
||||
распространённые на статусы `Monitoring`/`Awaiting` (как ORCH-068/086 для других статусов).
|
||||
- **G3 — детерминированный конец post-deploy-monitor:** монитор завершается чётко (HEALTHY / N тиков
|
||||
→ Done) и не оставляет «зомби»-таймеров, переживающих завершение задачи/рестарт; тики монитора
|
||||
привязаны к активному job'у в БД (нет job → нет тиков, нет статус-PATCH).
|
||||
- **G4 — наблюдаемость:** лог однозначно показывает, **кто и почему** ставит deploy-статус
|
||||
(caller/функция + причина), для будущей диагностики таких флаппов.
|
||||
- Инструментальная локализация фактического актора флаппа на проде (воспроизведение на 061) и его
|
||||
документирование (что это было) — в рамках выполнения задачи (developer/architect).
|
||||
|
||||
### Вне объёма
|
||||
- Изменение конвейера стадий (`STAGE_TRANSITIONS`), состава `QG_CHECKS`, семантики machine-verdict
|
||||
ключей (`deploy_status:`/`staging_status:`/…) — **не трогать**.
|
||||
- Изменение рабочего deploy-цикла для **реально деплоящейся** задачи (Phase A→B→C, post-deploy
|
||||
HEALTHY-окно) — поведение должно сохраниться 1:1 (регресс, AC-4).
|
||||
- Поведение для не-self-hosting репозиториев (enduro-trails) — нулевая регрессия.
|
||||
- Архитектурное решение «где именно поставить гард» (на уровне setter'а в `plane_sync` vs на уровне
|
||||
вызывающего в `stage_engine` vs реконсилятор) — определяет **архитектор** в `06-adr/`.
|
||||
|
||||
## 3. Заинтересованные стороны
|
||||
|
||||
- **Заказчик/репортёр:** Слава (владелец) — обнаружил на ORCH-061 09.06.
|
||||
- **Затрагивает:** всех наблюдателей доски Plane проекта ORCH (ложная индикация); лимиты Plane API
|
||||
(вечный флапп жжёт вызовы под общим бот-токеном).
|
||||
- **Принимает результат:** Owner / CI на финальной стадии конвейера.
|
||||
- **Особый риск:** self-hosting — правка идёт в инструмент, обслуживающий прод всех проектов из
|
||||
общего инстанса; рабочий deploy-цикл нельзя сломать.
|
||||
|
||||
## 4. Бизнес-требования (BR)
|
||||
|
||||
- **BR-1** — Терминальная задача (БД `stage=done`, 0 активных job'ов), выставленная в Plane=`Done`,
|
||||
**остаётся `Done`** и не получает авто-переходов в `Awaiting Deploy`/`Monitoring after Deploy`.
|
||||
- **BR-2** — Любой источник синхронизации (реконсилятор, монитор, прямой вызов setter'а deploy-статуса)
|
||||
для задачи с БД=`done` приводит Plane к **`Done` идемпотентно**, а не к промежуточному deploy-статусу;
|
||||
повторные срабатывания не качают маятник.
|
||||
- **BR-3** — Post-deploy-monitor имеет **детерминированный конец** (HEALTHY / исчерпание N тиков → Done,
|
||||
или DEGRADED → Blocked+freeze) и после завершения **не производит ни одного** последующего
|
||||
статус-PATCH для этой задачи; не оставляет таймера/состояния, переживающего завершение или рестарт.
|
||||
- **BR-4** — Тики post-deploy-monitor **привязаны к активному job'у** в таблице `jobs`: нет активного
|
||||
job'а для задачи → нет тиков → нет статус-PATCH. «Зомби»-монитор (тики без соответствующего активного
|
||||
job'а) исключён.
|
||||
- **BR-5** — Для **реально деплоящейся** задачи (063-подобной) deploy-окно
|
||||
`Awaiting → Deploying → Monitoring → Done` работает в точности как раньше (нет регресса).
|
||||
- **BR-6** — Каждый вызов, выставляющий deploy-статус, оставляет в логе однозначную запись **кто
|
||||
(функция/путь) и почему** ставит статус (наблюдаемость для будущей диагностики флаппов).
|
||||
- **BR-7** — Фактический источник флаппа на проде локализован и **задокументирован** (что это было)
|
||||
в `06-adr/` и/или `CHANGELOG.md`.
|
||||
|
||||
## 5. Нефункциональные требования (NFR)
|
||||
|
||||
- **NFR-1 — never-raise:** вся новая логика (гарды/терминал-скип/идемпотентность) не бросает
|
||||
исключений в горячих путях; сетевая ошибка Plane при сверке статуса → безопасная деградация
|
||||
(не флаппить и не падать), а не блокировка конвейера всех проектов.
|
||||
- **NFR-2 — self-hosting безопасность:** не перезапускать/не ронять прод-контейнер; не трогать
|
||||
`main`/force-push/прод-деплой; правка не меняет рабочий критический путь self-deploy.
|
||||
- **NFR-3 — обратимость:** поведение под kill-switch (или иным обратимым флагом) — при выключении
|
||||
возврат к прежнему поведению; нулевая регрессия для не-self репозиториев.
|
||||
- **NFR-4 — restart-safe:** состояние монитора/гардов корректно после рестарта контейнера (нет
|
||||
«воскрешения» тиков для уже завершённой задачи).
|
||||
- **NFR-5 — `pytest tests/ -q` зелёный**; `STAGE_TRANSITIONS` / `QG_CHECKS` / machine-verdict ключи /
|
||||
схема БД (если без миграции) — без изменений или строго аддитивно.
|
||||
|
||||
## 6. Допущения и ограничения
|
||||
|
||||
- Допущение: статусы `Monitoring after Deploy` / `Awaiting Deploy` существуют в Plane-проекте ORCH
|
||||
как реальные статусы (иначе alias-fallback маппит их на базовые UUID — это часть диагностики
|
||||
терминал-детекта).
|
||||
- Допущение: бот-токен орка (`daf4d3f4-…`) — единственный актор переходов; внешняя Plane-automation
|
||||
под другим токеном считается отдельной гипотезой и проверяется при локализации (H-внешнее).
|
||||
- Ограничение: установленные факты выше **не изобретать** — они верифицированы на проде; точный
|
||||
актор флаппа требует инструментального воспроизведения (фикс — после локализации).
|
||||
- Ограничение: правка строго в зоне self-hosting deploy/post-deploy/sync; конвейер и гейты неизменны.
|
||||
|
||||
## 7. Критерии успеха
|
||||
|
||||
Терминальная задача стабильно держит `Done` ≥10 мин без авто-переходов (AC-1); любой sync для done
|
||||
идемпотентно сходится к `Done` (AC-2); post-deploy-monitor завершается детерминированно и не
|
||||
оставляет тиков/таймеров (AC-3); рабочий deploy-цикл 063-подобной задачи не регрессирует (AC-4);
|
||||
never-raise + зелёный pytest + источник флаппа задокументирован (AC-5). Детальные PASS/FAIL — в
|
||||
`03-acceptance-criteria.md`.
|
||||
|
||||
## 8. Риски
|
||||
|
||||
- Гард терминал-скипа поставлен слишком широко → подавит легитимный `Monitoring` у реально
|
||||
деплоящейся задачи (регресс AC-4). Митигировать тонкой привязкой к БД `stage=done` + активность job.
|
||||
- Фактический актор флаппа окажется внешней Plane-automation (вне кода орка) → код-фикс не закроет
|
||||
G1 полностью; нужно зафиксировать в ADR и, при необходимости, защититься идемпотентным схождением
|
||||
к Done (BR-2) как буфером.
|
||||
- Детали — `10-tech-risks.md` (заполняет архитектор).
|
||||
129
docs/work-items/ORCH-094/02-trz.md
Normal file
129
docs/work-items/ORCH-094/02-trz.md
Normal file
@@ -0,0 +1,129 @@
|
||||
---
|
||||
work_item: ORCH-094
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 02 — ТЗ (TRZ): ORCH-094 — устранение флаппа deploy-статусов у терминальной (done) задачи
|
||||
|
||||
Work Item: **ORCH-094** · Repo: **orchestrator** · Стадия: analysis
|
||||
|
||||
> ТЗ описывает **конкретные изменения к реализации**, выведенные из BRD и фактического кода ветки.
|
||||
> Архитектурное обоснование (ГДЕ ставить гард: setter `plane_sync` vs caller `stage_engine` vs
|
||||
> реконсилятор) — задача архитектора (`06-adr/`). Здесь — ЧТО должно выполняться и ГДЕ искать.
|
||||
|
||||
## 1. Сводка изменения
|
||||
|
||||
Задача с БД `stage=done` и 0 активных job'ов в Plane стабильно держит `Done`: нужно (а) закрыть
|
||||
источник, который шлёт ей PATCH-и deploy-статусов (`Awaiting Deploy`/`Monitoring after Deploy`),
|
||||
(б) сделать выставление любого **deploy-фазового** статуса **терминал-aware / идемпотентным** —
|
||||
для задачи, чья БД-стадия терминальна (`done`/`cancelled`), любой sync/монитор/прямой вызов
|
||||
сходится к `Done`, а не к промежуточному статусу, (в) гарантировать детерминированный конец
|
||||
post-deploy-monitor с привязкой тиков к активному job'у (нет job → нет тиков), (г) добавить
|
||||
наблюдаемость «кто/почему ставит deploy-статус».
|
||||
|
||||
Изменение **аддитивное, под обратимым флагом, never-raise**, в зоне self-hosting deploy/post-deploy/sync.
|
||||
`STAGE_TRANSITIONS` / `QG_CHECKS` / machine-verdict ключи — **не трогаются**.
|
||||
|
||||
## 2. Задействованные модули / пути
|
||||
|
||||
| Путь | Действие | Зачем |
|
||||
|------|----------|-------|
|
||||
| `src/plane_sync.py` | изменить | Сеттеры `set_issue_awaiting_deploy` (~954), `set_issue_deploying` (~964), `set_issue_monitoring` (~974), `set_issue_done` (~913) — кандидат на единый терминал-aware гард (FR-2). Терминал-детект статуса (группа/UUID, ORCH-068) уже здесь. |
|
||||
| `src/stage_engine.py` | изменить | Три писателя deploy-статуса: `advance_stage` стр. 404 (`set_issue_monitoring` на `deploy→done`), `_handle_self_deploy_phase_a` стр. 1218, `_handle_self_deploy_phase_b` стр. 1316. `run_post_deploy_monitor` (~1698–1850) — детерминированный конец, привязка к job. `arm_monitor`-вызов (~431). Логирование caller/причины (FR-4). |
|
||||
| `src/post_deploy.py` | изменить (вероятно) | `arm_monitor` (~388–411), маркеры `armed`/`series`/`done`, `enqueue_job("post-deploy-monitor", …)` — гарантия отсутствия «зомби»-тиков и привязки к активному job (FR-3). |
|
||||
| `src/reconciler.py` | изменить (вероятно) | F-2 опрашивает только `[to_analyse, approved, rejected]` (стр. ~387). Нет схождения «done-задача на deploy-статусе → Done». Добавить идемпотентное схождение/терминал-детект для deploy-статусов (FR-1/FR-2) ИЛИ убедиться, что гард в setter'е делает это излишним. |
|
||||
| `src/config.py` | изменить | Kill-switch/флаг новой логики (FR-5). |
|
||||
| `src/webhooks/plane.py` | прочитать (диагностика) | `handle_issue_updated` (~129–180): подтверждено, что для `Awaiting`/`Monitoring` логирует «no pipeline action» и не переотправляет — echo-loop исключён; править не требуется (если локализация не покажет иное). |
|
||||
| `tests/test_*` | создать/изменить | Анти-регресс по FR-1…FR-5 (см. `04-test-plan.yaml`). |
|
||||
| `CHANGELOG.md`, `docs/architecture/README.md`, `CLAUDE.md` | изменить | Документация = golden source; зафиксировать фикс + локализованный источник флаппа (BR-7). |
|
||||
|
||||
> **Трассировка маркеров (CLAUDE.md прав. 9):** перед правкой строк с маркерами `ORCH-066`/`ORCH-068`/
|
||||
> `ORCH-086`/`ORCH-036`/`ORCH-059`/`ORCH-071`/`ORCH-088` прочитать их `06-adr/` и не сломать инвариант
|
||||
> (особенно: deploy→done ставит `Monitoring`, монитор-close ставит `Done`; терминал-скип реконсилятора;
|
||||
> post-deploy DEGRADED → freeze ORCH-088).
|
||||
|
||||
## 3. Функциональные требования
|
||||
|
||||
### FR-1 — Источник флаппа локализован и устранён
|
||||
Инструментально воспроизвести флапп на ORCH-061 (или эквивалентной терминальной задаче), определить
|
||||
**фактического актора** (функция/путь под бот-токеном орка ИЛИ внешняя Plane-automation) и устранить
|
||||
его так, чтобы терминальная задача не получала deploy-статус-PATCH-ей.
|
||||
- Зацепки (BR diagnostics): единственные code-писатели — `stage_engine.py:404/1218/1316`; реконсилятор
|
||||
F-1 done-skip есть, F-2 эти статусы не перебирает; live-overlay `notifications.py` — read-only.
|
||||
- Если актор — внешняя Plane-automation (вне кода орка), это **фиксируется в ADR** (BR-7) и закрывается
|
||||
буфером FR-2 (идемпотентное схождение к Done гасит маятник на стороне орка).
|
||||
- Привязка: BR-1, BR-7.
|
||||
|
||||
### FR-2 — Терминал-aware идемпотентность выставления deploy-статуса
|
||||
Любая попытка выставить **deploy-фазовый** статус (`Awaiting Deploy`/`Deploying`/`Monitoring after
|
||||
Deploy`) для задачи, чья БД-стадия **терминальна** (`stage IN ('done','cancelled')`), должна вместо
|
||||
этого привести Plane к `Done` (для `done`) либо к корректному терминалу (для `cancelled`) —
|
||||
идемпотентно. Повторные вызовы не качают маятник: уже-`Done` → no-op.
|
||||
- Гард — терминал-aware (по БД-стадии задачи, не по живому Plane-статусу), чтобы НЕ подавлять
|
||||
легитимный `Monitoring` у реально деплоящейся (нетерминальной) задачи (BR-5/AC-4).
|
||||
- Реализация-кандидат (решает архитектор): единая точка в setter'ах `plane_sync` (требует доступа к
|
||||
БД-стадии по `work_item_id`) ИЛИ в caller'ах `stage_engine`/`reconciler`. ТЗ требует **результат**:
|
||||
done-задача сходится к Done из любого пути.
|
||||
- never-raise: невозможность определить стадию/сетевая ошибка → безопасная деградация (не флаппить).
|
||||
- Привязка: BR-1, BR-2.
|
||||
|
||||
### FR-3 — Детерминированный конец post-deploy-monitor + привязка тиков к активному job
|
||||
- Монитор завершается детерминированно: HEALTHY+исчерпание `post_deploy_budget` тиков → `set_issue_done`
|
||||
+ маркер `done`; DEGRADED → штатный путь (Blocked/freeze ORCH-088); после завершения — **ни одного**
|
||||
последующего статус-PATCH (маркер `done` — идемпотентный страж, ~стр. 1729).
|
||||
- Тик монитора **обязан** проверять, что задача не терминальна и для неё есть основание тикать (нет
|
||||
активного основания/job → тик no-op, новый тик не ставится в очередь). «Зомби»-тик (тик без
|
||||
соответствующего активного job'а/при БД=done) → немедленный no-op без статус-PATCH.
|
||||
- Гарантировать, что `arm_monitor` не может быть вызван/перезапущен для задачи, уже находящейся в `done`,
|
||||
способом, который заново ставит `Monitoring` (повторный `deploy→done` re-drive).
|
||||
- restart-safe: после рестарта контейнера нет воскрешения тиков для завершённого окна.
|
||||
- Привязка: BR-3, BR-4, NFR-4.
|
||||
|
||||
### FR-4 — Наблюдаемость выставления deploy-статуса
|
||||
Каждый вызов, выставляющий deploy-фазовый статус, логирует структурно: **work_item, caller
|
||||
(функция/путь), целевой статус, причина/триггер, БД-стадия задачи на момент вызова**. Достаточно,
|
||||
чтобы по логу однозначно определить «кто и почему» при будущем флаппе. Терминал-aware-подавление
|
||||
(FR-2) тоже логируется (что подавили и почему).
|
||||
- Привязка: BR-6, G4.
|
||||
|
||||
### FR-5 — Обратимость и совместимость
|
||||
- Новая логика — под kill-switch/флагом в `config.py` (env-override); `False` → прежнее поведение
|
||||
1:1 (нулевая регрессия).
|
||||
- Условность self-hosting, как ORCH-035/036/043/088: для не-self репозиториев — no-op / прежнее
|
||||
поведение.
|
||||
- Привязка: NFR-3, BR-5.
|
||||
|
||||
## 4. Изменения API
|
||||
|
||||
Нет новых внешних эндпоинтов конвейера. Допустимо (на усмотрение архитектора) аддитивное read-only
|
||||
поле наблюдаемости в `GET /queue` (напр. блок `post_deploy`/`deploy_status_guard` со счётчиками
|
||||
подавлений), по образцу существующих блоков `serial_gate`/`reconcile`/`reaper`. Не обязательно.
|
||||
|
||||
## 5. Изменения схемы БД
|
||||
|
||||
Ожидается **без миграции схемы**: терминал-aware гард читает существующую `tasks.stage`; привязка
|
||||
тиков к job — существующая таблица `jobs`; состояние монитора — существующие sentinel-файлы
|
||||
(`post_deploy.py`). Если архитектор сочтёт необходимым durable-счётчик/маркер — строго аддитивно
|
||||
(`_ensure_column`, по образцу ORCH-088/090), без изменения существующих колонок.
|
||||
|
||||
## 6. Требования к новым/изменённым QG checks
|
||||
|
||||
**Нет.** `QG_CHECKS` и `check_*` (включая `check_deploy_status`/`check_staging_status`) — **не
|
||||
трогаются**; machine-verdict ключи (`deploy_status:`/`staging_status:`/…) — байт-в-байт. ORCH-094 —
|
||||
фикс индикации/идемпотентности sync, не гейт.
|
||||
|
||||
## 7. Совместимость / регресс
|
||||
|
||||
- **Kill-switch** (FR-5): выключение → прежнее поведение 1:1.
|
||||
- **Регресс деплоя (AC-4):** рабочий цикл 063-подобной задачи `Awaiting→Deploying→Monitoring→Done`
|
||||
сохраняется — гард срабатывает строго на терминальной БД-стадии, нетерминальная задача проходит
|
||||
как раньше.
|
||||
- **Не-self репозитории:** условность self-hosting → нулевая регрессия (enduro-trails).
|
||||
- **`STAGE_TRANSITIONS`/`QG_CHECKS`/machine-verdict/схема БД** — без изменений (или строго аддитивно).
|
||||
- **never-raise / self-hosting безопасность:** не трогать `main`/force-push/прод-контейнер/детач-деплой.
|
||||
- **Артефакты pipeline:** обновляются `CHANGELOG.md`, обзорные доки (`README.md`/`docs/architecture/
|
||||
README.md`), `CLAUDE.md`; `06-adr/ADR-NNN-…` с локализованным источником флаппа (BR-7).
|
||||
94
docs/work-items/ORCH-094/03-acceptance-criteria.md
Normal file
94
docs/work-items/ORCH-094/03-acceptance-criteria.md
Normal file
@@ -0,0 +1,94 @@
|
||||
---
|
||||
work_item: ORCH-094
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 03 — Критерии приёмки (Acceptance Criteria): ORCH-094 — флапп deploy-статусов у терминальной (done) задачи
|
||||
|
||||
Work Item: **ORCH-094** · Repo: **orchestrator** · Стадия: analysis
|
||||
|
||||
Формат: каждый критерий имеет **PASS** (что должно быть истинно для приёмки) и **FAIL** (что
|
||||
считается провалом). Reviewer/CI проверяет их буквально по файлам репозитория и/или прод-проверкой.
|
||||
|
||||
---
|
||||
|
||||
## AC-1 — Терминальная задача стабильно держит Done
|
||||
|
||||
**Условие:** задача с БД `stage=done` и 0 активных job'ов, выставленная в Plane=`Done`, наблюдается
|
||||
≥10 минут (воспроизводящий тест на 061-подобной фикстуре и/или прод-проверка на ORCH-061).
|
||||
- **PASS:** за окно наблюдения **ни одного** авто-перехода в `Awaiting Deploy`/`Monitoring after
|
||||
Deploy`; статус остаётся `Done`. В тесте: после выставления `Done` ни один кодовый путь орка не
|
||||
порождает PATCH deploy-статуса для этой задачи.
|
||||
- **FAIL:** зафиксирован хотя бы один авто-переход done-задачи в `Awaiting`/`Monitoring`, либо флапп
|
||||
продолжается.
|
||||
|
||||
---
|
||||
|
||||
## AC-2 — Идемпотентное схождение к Done для done-задачи
|
||||
|
||||
**Условие:** для задачи с БД `stage IN ('done','cancelled')` инициируется любой источник sync
|
||||
(реконсилятор-тик, монитор-тик, прямой вызов setter'а deploy-статуса).
|
||||
- **PASS:** результат — `Done` (для `done`) / корректный терминал (для `cancelled`); промежуточный
|
||||
deploy-статус (`Awaiting`/`Deploying`/`Monitoring`) **не** выставляется; повторный вызов на
|
||||
уже-`Done` — no-op (без PATCH-маятника). Подавление логируется (что/почему).
|
||||
- **FAIL:** sync для done-задачи выставляет промежуточный deploy-статус, либо повторные вызовы
|
||||
качают `Done ⟷ deploy-статус`.
|
||||
|
||||
---
|
||||
|
||||
## AC-3 — Детерминированный конец post-deploy-monitor, без «зомби»-тиков
|
||||
|
||||
**Условие:** post-deploy-monitor отрабатывает свой жизненный цикл (HEALTHY до исчерпания
|
||||
`post_deploy_budget` тиков, либо DEGRADED).
|
||||
- **PASS:** по достижении HEALTHY/N-тиков → `set_issue_done` + маркер `done`; **после завершения —
|
||||
0 последующих статус-PATCH** для этой задачи (тест: монитор отработал → последующих
|
||||
`set_issue_*`-вызовов нет). Тик при БД=`done`/отсутствии активного основания → немедленный no-op
|
||||
без PATCH. После рестарта контейнера тики завершённого окна не воскресают.
|
||||
- **FAIL:** после завершения монитора фиксируется хотя бы один статус-PATCH; либо «зомби»-тик
|
||||
выполняется без активного job'а/при БД=done и шлёт статус; либо `arm_monitor` повторно ставит
|
||||
`Monitoring` уже-done-задаче.
|
||||
|
||||
---
|
||||
|
||||
## AC-4 — Регресс: рабочий deploy-цикл реально деплоящейся задачи
|
||||
|
||||
**Условие:** реально деплоящаяся 063-подобная задача проходит self-deploy.
|
||||
- **PASS:** последовательность статусов `Awaiting Deploy → Deploying → Monitoring after Deploy →
|
||||
Done` работает в точности как до ORCH-094; Phase A/B/C, merge-gate, post-deploy HEALTHY-окно,
|
||||
freeze-на-DEGRADED (ORCH-088) — не затронуты; терминал-aware гард (FR-2) **не** подавляет
|
||||
легитимный `Monitoring` у нетерминальной задачи.
|
||||
- **FAIL:** любой шаг рабочего deploy-цикла нетерминальной задачи изменён/подавлён/сломан.
|
||||
|
||||
---
|
||||
|
||||
## AC-5 — Наблюдаемость, безопасность, документация, зелёный pytest
|
||||
|
||||
**Условие:** реализация завершена.
|
||||
- **PASS:**
|
||||
- Лог однозначно показывает **кто (функция/путь) и почему** ставит deploy-статус, и что/почему
|
||||
подавлено терминал-aware гардом (FR-4).
|
||||
- never-raise: новая логика не бросает исключений в горячих путях; сетевая ошибка Plane → безопасная
|
||||
деградация. Не трогаются `main`/force-push/прод-контейнер/детач-деплой.
|
||||
- `STAGE_TRANSITIONS` / `QG_CHECKS` / machine-verdict ключи — без изменений; новая логика под
|
||||
kill-switch (`False` → прежнее поведение 1:1); не-self репозитории не затронуты.
|
||||
- `pytest tests/ -q` зелёный; добавлены тесты по `04-test-plan.yaml`.
|
||||
- **Источник флаппа задокументирован** (что это было) в `06-adr/ADR-NNN-…` + `CHANGELOG.md`;
|
||||
обновлены `CLAUDE.md` / `docs/architecture/README.md` (golden source).
|
||||
- **FAIL:** нет логирования caller/причины; new-логика бросает/без флага; тронуты гейты/verdict-ключи;
|
||||
красный pytest; источник флаппа не задокументирован; затронут не-self репозиторий.
|
||||
|
||||
---
|
||||
|
||||
## Сводная матрица AC ↔ FR/BR
|
||||
|
||||
| AC | Покрывает |
|
||||
|----|-----------|
|
||||
| AC-1 | BR-1 / FR-1 |
|
||||
| AC-2 | BR-2 / FR-2 |
|
||||
| AC-3 | BR-3, BR-4 / FR-3 |
|
||||
| AC-4 | BR-5 / FR-2, FR-5 |
|
||||
| AC-5 | BR-6, BR-7 / FR-4, FR-5, NFR-1…NFR-5 |
|
||||
97
docs/work-items/ORCH-094/04-test-plan.yaml
Normal file
97
docs/work-items/ORCH-094/04-test-plan.yaml
Normal file
@@ -0,0 +1,97 @@
|
||||
work_item: ORCH-094
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
title: "Тест-план: терминальная (done) задача не флаппит deploy-статусы, держит Done"
|
||||
framework: pytest
|
||||
scope: >
|
||||
Покрывается: терминал-aware идемпотентность выставления deploy-статусов
|
||||
(Awaiting/Deploying/Monitoring) для задач с БД stage=done/cancelled; детерминированный
|
||||
конец post-deploy-monitor и отсутствие "зомби"-тиков/статус-PATCH после завершения;
|
||||
привязка тиков монитора к активному job; наблюдаемость caller/причины; обратимость
|
||||
(kill-switch) и регресс рабочего deploy-цикла реально деплоящейся задачи.
|
||||
Вне покрытия: изменение STAGE_TRANSITIONS/QG_CHECKS/machine-verdict ключей (не трогаются);
|
||||
поведение не-self репозиториев (проверяется как нулевая регрессия). Точный актор флаппа на
|
||||
проде локализуется инструментально (developer) и фиксируется в ADR — на это отдельный
|
||||
smoke/прод-чек, не unit.
|
||||
notes: >
|
||||
Полный регресс tests/ должен оставаться зелёным (pytest tests/ -q). Setter'ы Plane и сетевые
|
||||
вызовы — мокать (никаких реальных PATCH в Plane из тестов). Регресс = любой авто-переход
|
||||
done-задачи в deploy-статус, либо статус-PATCH после завершения монитора, либо подавление
|
||||
легитимного Monitoring у нетерминальной задачи. Тесты опираются на фикстуры задач со стадиями
|
||||
done/deploy и на счётчики вызовов set_issue_* (через мок).
|
||||
|
||||
tests:
|
||||
- id: TC-01
|
||||
type: unit
|
||||
description: "deploy-статус для задачи с БД stage=done сходится к Done: попытка set_issue_monitoring/awaiting/deploying при terminal-стадии выставляет Done (или no-op, если уже Done), а не промежуточный статус."
|
||||
module: tests/test_deploy_status_terminal_guard.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-02
|
||||
type: unit
|
||||
description: "Идемпотентность: повторный вызов терминал-aware setter'а на уже-Done задаче — no-op (0 дополнительных PATCH), маятник Done<->deploy-статус не возникает."
|
||||
module: tests/test_deploy_status_terminal_guard.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-03
|
||||
type: unit
|
||||
description: "Нетерминальная задача (stage=deploy) не подавляется: set_issue_monitoring/awaiting/deploying проходит штатно (регресс AC-4)."
|
||||
module: tests/test_deploy_status_terminal_guard.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-04
|
||||
type: unit
|
||||
description: "Kill-switch выключен -> прежнее поведение 1:1 (терминал-aware гард не вмешивается); включён -> done-задача сходится к Done."
|
||||
module: tests/test_deploy_status_terminal_guard.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-05
|
||||
type: unit
|
||||
description: "never-raise: при невозможности определить БД-стадию / сетевой ошибке Plane сеттер деградирует безопасно (не флаппит, не бросает исключение)."
|
||||
module: tests/test_deploy_status_terminal_guard.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-06
|
||||
type: unit
|
||||
description: "post-deploy-monitor: после завершения окна (HEALTHY, ticks==budget -> set_issue_done + маркер done) последующих статус-PATCH для задачи нет (0 set_issue_* вызовов)."
|
||||
module: tests/test_post_deploy_monitor_termination.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-07
|
||||
type: unit
|
||||
description: "post-deploy-monitor тик при БД stage=done / отсутствии активного основания -> немедленный no-op без статус-PATCH и без постановки следующего тика ('зомби'-тик исключён)."
|
||||
module: tests/test_post_deploy_monitor_termination.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-08
|
||||
type: unit
|
||||
description: "arm_monitor не пере-арминг для задачи, уже находящейся в done: повторный deploy->done re-drive не выставляет Monitoring заново (маркер armed/done -> no-op)."
|
||||
module: tests/test_post_deploy_monitor_termination.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-09
|
||||
type: unit
|
||||
description: "Наблюдаемость: каждый вызов выставления deploy-статуса логирует work_item, caller/путь, целевой статус, причину и БД-стадию; подавление терминал-aware гардом тоже логируется."
|
||||
module: tests/test_deploy_status_observability.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-10
|
||||
type: integration
|
||||
description: "Реконсилятор/sync для задачи с БД=done и Plane=Monitoring приводит к Done идемпотентно (а не к промежуточному deploy-статусу) и не качает маятник на повторных тиках."
|
||||
module: tests/test_reconciler_done_deploy_convergence.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-11
|
||||
type: integration
|
||||
description: "Регресс рабочего deploy-цикла: реально деплоящаяся (нетерминальная) 063-подобная задача проходит Awaiting -> Deploying -> Monitoring -> Done без подавления (Phase A/B/C, post-deploy HEALTHY-окно как раньше)."
|
||||
module: tests/test_self_deploy_cycle_regression.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-12
|
||||
type: integration
|
||||
description: "Не-self репозиторий (enduro-подобный): нулевая регрессия — терминал-aware гард deploy-статусов инертен (условность self-hosting)."
|
||||
module: tests/test_deploy_status_terminal_guard.py
|
||||
expected: PASS
|
||||
@@ -0,0 +1,232 @@
|
||||
---
|
||||
work_item: ORCH-094
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# ADR-001: Terminal-window-aware гард выставления deploy-фазовых статусов Plane
|
||||
|
||||
Work Item: **ORCH-094** — терминальная (done) задача флаппит deploy-статусы в Plane
|
||||
(`Awaiting Deploy ⟷ Monitoring after Deploy`), не держит `Done`.
|
||||
Стадия: **architecture**
|
||||
Сквозная регистрация: **`docs/architecture/adr/adr-0028-terminal-window-aware-deploy-status-guard.md`**
|
||||
(кросс-каттинг: правит общие сеттеры `plane_sync` + переупорядочивает маркированный блок
|
||||
`next_stage == "done"` ORCH-021/066).
|
||||
|
||||
## Статус
|
||||
Proposed
|
||||
|
||||
## Контекст
|
||||
|
||||
Сверено по коду ветки `feature/ORCH-094-…`:
|
||||
|
||||
- **Три code-писателя deploy-фазовых статусов** — все в `src/stage_engine.py`, все вызывают
|
||||
тонкие сеттеры `src/plane_sync.py`, которые делегируют в общий `_set_issue_state_direct`
|
||||
(PATCH issue.state; never-raise; **БД-стадию не читает**):
|
||||
- `set_issue_awaiting_deploy` (Phase A, `stage_engine.py:1218`),
|
||||
- `set_issue_deploying` (Phase B, `stage_engine.py:1316`),
|
||||
- `set_issue_monitoring` (terminal-sync `deploy → done` для self-hosting, `stage_engine.py:404`).
|
||||
- `set_issue_done` (`plane_sync.py:913`) — **терминальная цель**, отдельно.
|
||||
- **Критический факт ordering'а:** в `advance_stage` строка **369** `update_task_stage(task_id, "done")`
|
||||
пишет `tasks.stage='done'` **РАНЬШЕ**, чем строка **404** `set_issue_monitoring(...)`. То есть в
|
||||
момент **легитимного** первого выставления `Monitoring after Deploy` задача в БД **уже `done`**.
|
||||
Пост-деплой-окно ORCH-021 — это by-design индикация поверх уже-терминальной (`done`) задачи
|
||||
(«ответственность ЗА `done`»). ⇒ **наивный гард «stage==done → редирект на Done» подавил бы
|
||||
легитимный `Monitoring` → регресс AC-4.**
|
||||
- **Арм пост-деплой-монитора** (`stage_engine.py:431` → `post_deploy.arm_monitor`) выполняется
|
||||
**ПОСЛЕ** строки 404. Sentinel `ARMED` пишется в `arm_monitor`; окно закрывается sentinel'ом
|
||||
`DONE` (`post_deploy.mark_done`); идемпотентный страж `has_marker(...DONE)` в
|
||||
`run_post_deploy_monitor` (~1729).
|
||||
- **Симптом (верифицирован живьём на ORCH-061, task 47, done с 07.06):** Plane не держит `Done` —
|
||||
непрерывный флапп `Awaiting ⟷ Monitoring` парами каждые ~сек, 273 активности, само не затихает.
|
||||
В БД **нет активного post-deploy-monitor** для task 47 (окно 15 мин давно закрыто); реконсилятор
|
||||
F-1 пропускает `done`/`cancelled`, F-2 опрашивает только `[to_analyse, approved, rejected]` —
|
||||
механизма «привести застрявшую на deploy-статусе done-задачу обратно к Done» нет. Актор всех 273
|
||||
переходов — бот-токен орка (`daf4d3f4-…`), т.е. PATCH-и шлёт **что-то под токеном орка**, не
|
||||
привязанное к активной task/job. Точный актор подлежит инструментальной локализации (FR-1,
|
||||
developer); фикс должен быть **буфером, гасящим маятник на стороне орка независимо от актора**.
|
||||
|
||||
**Почему «как есть» не годится:** сеттеры deploy-статусов терминал-слепы — любой повторный вызов
|
||||
(стейл-job, двойной webhook, неизвестный внутренний путь под бот-токеном) перезаписывает `Done`
|
||||
обратно на промежуточный deploy-статус, и наоборот, бесконечно. Нет ни идемпотентного схождения к
|
||||
`Done` для терминальной задачи, ни наблюдаемости «кто/почему» ставит статус.
|
||||
|
||||
## Решение
|
||||
|
||||
### Сводка
|
||||
|
||||
Вводим **единый terminal-window-aware гард на самом низком чокпоинте** — на входе трёх
|
||||
deploy-фазовых сеттеров `plane_sync`. Решение принимает **новый leaf-модуль
|
||||
`src/deploy_status_guard.py`** (чистая, never-raise, config-gated логика; по образцу
|
||||
`serial_gate.py`/`labels.py`/`cancel.py`), сеттеры лишь исполняют вердикт. Ключевой инвариант:
|
||||
**deploy-фазовый статус легитимен ⇔ задача нетерминальна ИЛИ (`done` И активно пост-деплой-окно)**;
|
||||
иначе — идемпотентное схождение к `Done`. Чтобы легитимный первый `Monitoring` на строке 404
|
||||
проходил, **арм-блок переносится перед terminal-sync-блоком** (предикат «окно активно» становится
|
||||
истинным до выставления `Monitoring`). Всё под kill-switch, аддитивно, в зоне self-hosting; реестры
|
||||
конвейера не тронуты.
|
||||
|
||||
### D1 — Где гард: единый чокпоинт в deploy-фазовых сеттерах `plane_sync`
|
||||
|
||||
Гард ставится на входе **`set_issue_awaiting_deploy` / `set_issue_deploying` / `set_issue_monitoring`**
|
||||
(а НЕ в caller'ах `stage_engine`). Это перехватывает **любой** путь к этим статусам — известные
|
||||
(stage_engine), будущие и **неизвестный актор под бот-токеном** (если он проходит через код орка) —
|
||||
одной точкой. `set_issue_done` **не гардится** (это цель схождения). Привязка: **FR-2, BR-1, BR-2**.
|
||||
|
||||
> Альтернатива «гард в caller'ах stage_engine» отвергнута: не ловит неизвестный/стейл путь, который
|
||||
> и есть подозреваемый источник 061-флаппа; размазывает инвариант по трём местам. См. «Альтернативы».
|
||||
|
||||
### D2 — Предикат легитимности: терминал **И окно**, не только стадия
|
||||
|
||||
Вердикт `deploy_status_guard.decide(work_item_id, target_status) -> ALLOW | CONVERGE_DONE | SUPPRESS`:
|
||||
|
||||
1. `not settings.deploy_status_guard_enabled` → **ALLOW** (kill-switch off ⇒ поведение 1:1).
|
||||
2. `task = <lookup по work_item_id>`; `task is None` → **ALLOW** (чужой/не наш issue — не вмешиваемся).
|
||||
3. `not deploy_status_guard.applies(task.repo)` → **ALLOW** (не-self репо ⇒ нулевая регрессия; для них
|
||||
`Monitoring`/`Awaiting`/`Deploying` и так не выставляются — terminal-sync идёт сразу в `Done`).
|
||||
4. `stage = task.stage`; `stage NOT IN ('done','cancelled')` → **ALLOW** (нетерминальная задача —
|
||||
легитимный рабочий deploy-цикл; **AC-4**).
|
||||
5. `stage == 'cancelled'` → **SUPPRESS** (не штампуем deploy-статус поверх терминала `cancelled`;
|
||||
cancel-flow ORCH-090 уже привёл Plane к своему терминалу — гард лишь не затирает его).
|
||||
6. `stage == 'done'`:
|
||||
- `target == 'monitoring'` **И** `post_deploy.window_active(repo, work_item_id)` → **ALLOW**
|
||||
(легитимное пост-деплой-окно — `Monitoring` корректен; **AC-4**);
|
||||
- иначе → **CONVERGE_DONE** (для `done` `Awaiting`/`Deploying` всегда спуриозны — Phase A/B
|
||||
случаются строго **до** `deploy → done`; и `Monitoring` при закрытом/неарм'ленном окне —
|
||||
спуриозен, как 061).
|
||||
7. **Любое исключение / невозможность определить стадию** → **ALLOW** + `logger.warning`
|
||||
(never-raise, fail-safe к прежнему поведению; **NFR-1**). БД-чтение локальное (SQLite) и надёжное —
|
||||
в штатном случае стадия читается, маятник не возникает.
|
||||
|
||||
Сеттер исполняет вердикт: `ALLOW` → штатный PATCH; `CONVERGE_DONE` → `set_issue_done(work_item_id)`
|
||||
(идемпотентно — уже-`Done` ⇒ no-op PATCH-эквивалент); `SUPPRESS` → ничего не патчим. Привязка:
|
||||
**FR-2, BR-1, BR-2, AC-1, AC-2, AC-4**.
|
||||
|
||||
**Новый helper** `post_deploy.window_active(repo, wi) -> bool` = `has_marker(ARMED) and not
|
||||
has_marker(DONE)` (never-raise; restart-safe — sentinel'ы на диске переживают рестарт; **NFR-4**).
|
||||
|
||||
### D3 — Перенос арм-блока перед terminal-sync (чтобы D2 пропускал легитимный первый `Monitoring`)
|
||||
|
||||
В `advance_stage`, внутри ветки `next_stage == "done"`, **арм-блок** (`post_deploy.arm_monitor`,
|
||||
сейчас стр. 431) перемещается **выше** terminal-sync-блока (`set_issue_monitoring`, стр. 404). После
|
||||
переноса в момент строки 404: `ARMED` уже записан, `DONE` отсутствует ⇒ `window_active==True` ⇒
|
||||
вердикт **ALLOW** ⇒ легитимный `Monitoring` проходит как раньше. Re-drive `deploy → done` **после**
|
||||
закрытия окна (`DONE` присутствует) ⇒ `window_active==False` ⇒ **CONVERGE_DONE** (не воскрешает
|
||||
`Monitoring`).
|
||||
|
||||
Перенос безопасен: `arm_monitor` лишь пишет sentinel + ставит отложенный job — не зависит ни от
|
||||
Plane-статуса, ни от merge-lease (release остаётся после terminal-sync). Инварианты ORCH-021
|
||||
(идемпотентный арм по `ARMED`) и ORCH-066 (`deploy → done` для self ⇒ `Monitoring`, не `Done`)
|
||||
сохранены. Привязка: **AC-4, BR-5**; маркеры `ORCH-021`/`ORCH-066` (прочитаны: `06-adr/ADR-001`,
|
||||
`adr-0010`).
|
||||
|
||||
> Альтернатива «bypass-флаг `force=True` на доверенном вызове 404 вместо переноса» отвергнута: плодит
|
||||
> два определения «легитимности» и доверенный обход; перенос оставляет **один** предикат «окно активно».
|
||||
|
||||
### D4 — Харднинг пост-деплой-монитора: нет «зомби»-тиков/PATCH после закрытия окна
|
||||
|
||||
`run_post_deploy_monitor` (`stage_engine.py` ~1698): сохранить существующий идемпотентный страж
|
||||
`has_marker(...DONE)` (~1729; первым — ранний `return` без PATCH/реэнкью). Аддитивно: тик
|
||||
**no-op без PATCH и без перепостановки**, если задача стала терминальной аномально (`stage ==
|
||||
'cancelled'` мид-окно → закрыть окно `mark_done`, без статус-PATCH). Перепостановка тика остаётся
|
||||
строго при `HEALTHY and ticks < budget` — тики **привязаны к активному job'у** (тик и есть job; нет
|
||||
job → нет тика). После закрытия окна (`DONE`) или исчерпания бюджета — **0 последующих** статус-PATCH;
|
||||
любой стейл-вызов `set_issue_monitoring` теперь добивается гардом D2 (`window_active==False` →
|
||||
CONVERGE_DONE). `arm_monitor` уже идемпотентен по `ARMED` (повторный арм done-задачи → no-op). Привязка:
|
||||
**FR-3, BR-3, BR-4, AC-3, NFR-4**.
|
||||
|
||||
### D5 — Наблюдаемость «кто/почему» (FR-4)
|
||||
|
||||
Каждый вердикт гарда логируется структурно одной записью: `work_item`, `caller` (короткая причина —
|
||||
аддитивный BC-kwarg `reason: str | None = None` у трёх сеттеров; call-site передаёт напр.
|
||||
`"advance:deploy->done"`/`"phase_a"`/`"phase_b"`/`"monitor-tick"`), `target_status`, `db_stage`,
|
||||
`window_active`, итоговый вердикт (`ALLOW`/`CONVERGE_DONE`/`SUPPRESS`). Подавление/схождение
|
||||
(`CONVERGE_DONE`/`SUPPRESS`) логируется **явно** («что подавили и почему»). Достаточно, чтобы по
|
||||
логу однозначно атрибутировать будущий флапп. Привязка: **FR-4, BR-6, AC-5**.
|
||||
|
||||
### D6 — Обратимость, скоуп, флаги (FR-5)
|
||||
|
||||
`src/config.py` (по образцу ORCH-088/090):
|
||||
- `deploy_status_guard_enabled: bool = True` — env `ORCH_DEPLOY_STATUS_GUARD_ENABLED` (kill-switch;
|
||||
`False` → сеттеры терминал-слепы, поведение **1:1** прежнее).
|
||||
- `deploy_status_guard_repos: str = ""` — env `ORCH_DEPLOY_STATUS_GUARD_REPOS` (CSV; **пусто →
|
||||
self-hosting only**). `applies(repo)` (локальный, без сети) — единственная точка скоупа.
|
||||
|
||||
Дефолт `enabled=True` + `repos=""` ⇒ активен только для self-hosting (`orchestrator`), где deploy-фазовые
|
||||
статусы вообще выставляются; не-self репо (enduro-trails) гард не трогает (D2 шаг 3). Привязка: **NFR-3,
|
||||
BR-5, FR-5, AC-4, AC-5**.
|
||||
|
||||
### D7 — Что НЕ трогаем (инварианты)
|
||||
|
||||
`STAGE_TRANSITIONS` / `QG_CHECKS` / `check_*` / machine-verdict ключи
|
||||
(`deploy_status:`/`staging_status:`/`security_status:`) — **байт-в-байт**. Схема БД — **без миграции**
|
||||
(гард читает существующую `tasks.stage`; окно — существующие sentinel'ы `post_deploy.py`; привязка к
|
||||
job — существующая таблица `jobs`). `main`/force-push/прод-контейнер/detached-деплой — **не трогаются**.
|
||||
Рабочий критический путь self-deploy (Phase A→B→C, merge-gate, freeze-на-DEGRADED ORCH-088) —
|
||||
сохранён 1:1. Реконсилятор F-1/F-2 — **без изменений** (гард на сеттере субсумирует «sync → Done»:
|
||||
любой путь, дёрнувший deploy-сеттер для done-задачи, сходится к `Done`). Привязка: **NFR-2, NFR-5, AC-5**.
|
||||
|
||||
### D8 — Лукап задачи по `work_item_id` (реализационная заметка для developer)
|
||||
|
||||
Сеттеры принимают `work_item_id` (напр. `"ORCH-061"`). В `src/db.py` существующий
|
||||
`get_task_by_plane_id` матчит `plane_id`/`plane_issue_id` (UUID-ы), **не** человекочитаемый
|
||||
`work_item_id`. Developer добавляет минимальный **read-only** аксессор
|
||||
`get_task_by_work_item_id(work_item_id)` (`SELECT * FROM tasks WHERE work_item_id = ?`; живой ряд
|
||||
матчит точно — тумбстоны ORCH-090 имеют суффикс `#cancelled-<id>`), **без изменения схемы**. Один
|
||||
локальный SELECT отдаёт и `repo`, и `stage` для D2.
|
||||
|
||||
## Альтернативы
|
||||
|
||||
- **Гард в caller'ах `stage_engine` (а не в сеттерах)** — отвергнуто: не ловит неизвестный/стейл
|
||||
актор под бот-токеном (вероятный источник 061-флаппа), размазывает инвариант по трём врезкам,
|
||||
слабее как буфер BR-2 «сходимость из любого пути».
|
||||
- **Наивный гард «stage==done → редирект на Done» (без предиката окна)** — отвергнуто: подавляет
|
||||
легитимный пост-деплой `Monitoring` (он by-design поверх уже-`done` задачи, стр. 369 < 404) ⇒
|
||||
прямой регресс **AC-4**.
|
||||
- **Bypass-флаг `force=True` на доверенном вызове 404** (вместо переноса арм-блока) — отвергнуто:
|
||||
два определения легитимности + доверенный обход; перенос даёт один предикат «окно активно».
|
||||
- **Активная сходимость в реконсиляторе (F-2 опрашивает Awaiting/Monitoring → set_issue_done)** —
|
||||
отвергнуто как **основной** механизм (лишний Plane-polling, правка маркированного F-2). Гард на
|
||||
сеттере уже гасит непрерывный флапп (каждый вызов актора сходится к `Done` за один цикл). Возможен
|
||||
как **необязательный** follow-up для разовой зачистки quiescent-застрявшего статуса (вне scope —
|
||||
такой кейс чинится разовым ручным sync; наблюдаемый дефект — непрерывный флапп, который буфер
|
||||
покрывает).
|
||||
- **Колонка-маркер в `tasks` для состояния окна** — отвергнуто: миграция на проде; sentinel'ы
|
||||
`post_deploy.py` уже restart-safe (как ORCH-021/036).
|
||||
|
||||
## Последствия
|
||||
|
||||
- **+** Терминальная (`done`) задача стабильно держит `Done`: любой deploy-сеттер для неё сходится к
|
||||
`Done` идемпотентно, маятник гаснет за один цикл независимо от актора (буфер BR-1/BR-2, AC-1/AC-2).
|
||||
- **+** Легитимный пост-деплой `Monitoring` сохранён точно (предикат «окно активно» + перенос
|
||||
арм-блока); рабочий deploy-цикл 1:1 (AC-4).
|
||||
- **+** Наблюдаемость: лог однозначно атрибутирует «кто/почему» при будущем флаппе (AC-5).
|
||||
- **+** Единый низкий чокпоинт ловит и неизвестный внутренний путь под бот-токеном.
|
||||
- **−** Один локальный SELECT (`tasks`) на каждый deploy-фазовый PATCH-вызов self-репо. Митигейшн:
|
||||
читается тот же ряд, что даёт `repo` для `applies`; SQLite-чтение пренебрежимо против сетевого PATCH;
|
||||
для не-self/выключенного флага — ранний ALLOW без лукапа окна.
|
||||
- **−** Если фактический актор флаппа — **внешняя** Plane-automation под другим токеном (вне кода
|
||||
орка), code-фикс не закроет G1 полностью. Митигейшн: гард — буфер на стороне орка; локализация
|
||||
актора (FR-1) и итог документируются (BR-7) — этот ADR фиксирует гипотезу «под бот-токеном орка».
|
||||
- **−** Перенос арм-блока меняет порядок внутри маркированного блока ORCH-021/066. Митигейшн:
|
||||
инварианты обоих ADR проверены сохранёнными (D3); анти-регресс — TC-11 (рабочий цикл) + структурные
|
||||
тесты.
|
||||
- **Откат:** `ORCH_DEPLOY_STATUS_GUARD_ENABLED=false` → сеттеры терминал-слепы, поведение 1:1
|
||||
прежнее (D2 шаг 1). Полный откат — revert ветки (перенос арм-блока + leaf + config + сеттер-врезки).
|
||||
|
||||
## Ссылки
|
||||
|
||||
- BRD: `docs/work-items/ORCH-094/01-brd.md`
|
||||
- TRZ: `docs/work-items/ORCH-094/02-trz.md`
|
||||
- Acceptance: `docs/work-items/ORCH-094/03-acceptance-criteria.md`
|
||||
- Tech-risks: `docs/work-items/ORCH-094/10-tech-risks.md`
|
||||
- Сквозной ADR: `docs/architecture/adr/adr-0028-terminal-window-aware-deploy-status-guard.md`
|
||||
- Сверено по коду: `src/stage_engine.py` (369/404/431/1218/1316/~1698-1729),
|
||||
`src/plane_sync.py` (913/954/964/974, `_set_issue_state_direct`), `src/post_deploy.py`
|
||||
(`arm_monitor`/`has_marker`/`ARMED`/`DONE`/`state_dir`), `src/reconciler.py` (F-1/F-2),
|
||||
`src/config.py` (флаги ORCH-088/021/036), `src/db.py` (`get_task_by_plane_id`).
|
||||
- Маркеры (прочитаны, не сломаны): ORCH-021 (`adr-0010` / `06-adr/ADR-001`), ORCH-066
|
||||
(`06-adr/ADR-001-plane-status-model`), ORCH-086/068 (терминал-скип), ORCH-088 (freeze),
|
||||
ORCH-090 (cancelled-терминал).
|
||||
90
docs/work-items/ORCH-094/10-tech-risks.md
Normal file
90
docs/work-items/ORCH-094/10-tech-risks.md
Normal file
@@ -0,0 +1,90 @@
|
||||
---
|
||||
work_item: ORCH-094
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 10 — Технические риски: ORCH-094 — terminal-window-aware гард deploy-статусов
|
||||
|
||||
Work Item: **ORCH-094** · Repo: **orchestrator** · Стадия: architecture
|
||||
|
||||
Формат: каждый риск — **вероятность × влияние**, причина, **митигейшн**, привязка к AC/ADR-решению.
|
||||
|
||||
---
|
||||
|
||||
## R-1 — Гард подавляет ЛЕГИТИМНЫЙ `Monitoring` у реально деплоящейся задачи (регресс AC-4)
|
||||
- **Вероятность:** средняя (без точного предиката — высокая) · **Влияние:** высокое.
|
||||
- **Причина:** `update_task_stage("done")` (стр. 369) выполняется **раньше** `set_issue_monitoring`
|
||||
(стр. 404) ⇒ в момент легитимного `Monitoring` задача в БД уже `done`. Наивный гард
|
||||
«stage==done → Done» затёр бы легитимную индикацию.
|
||||
- **Митигейшн:** предикат **«терминал И НЕ активное окно»** (D2 шаг 6) + **перенос арм-блока перед
|
||||
terminal-sync** (D3): `window_active==True` на стр. 404 ⇒ ALLOW. Анти-регресс — **TC-11**
|
||||
(рабочий цикл `Awaiting→Deploying→Monitoring→Done` без подавления) + **TC-03** (stage=deploy
|
||||
проходит).
|
||||
|
||||
## R-2 — Фактический актор флаппа — внешняя Plane-automation (вне кода орка)
|
||||
- **Вероятность:** низкая · **Влияние:** среднее (G1 закрыт не полностью).
|
||||
- **Причина:** все 273 перехода — под бот-токеном орка; гипотеза H-внешнее не исключена до
|
||||
инструментальной локализации (FR-1).
|
||||
- **Митигейшн:** гард — **буфер на стороне орка** (BR-2): если PATCH идёт через код орка — гасится;
|
||||
developer локализует актора (FR-1) и фиксирует в ADR/CHANGELOG (BR-7). Если актор реально внешний —
|
||||
это документируется как known-limitation, гард остаётся защитой от внутренних путей.
|
||||
|
||||
## R-3 — Перенос арм-блока ломает инвариант ORCH-021/066
|
||||
- **Вероятность:** низкая · **Влияние:** высокое (self-hosting прод).
|
||||
- **Причина:** правка порядка внутри маркированного блока `next_stage == "done"`.
|
||||
- **Митигейшн:** `arm_monitor` не зависит от Plane-статуса/merge-lease (пишет sentinel + ставит
|
||||
отложенный job); merge-lease release остаётся после terminal-sync; идемпотентность арма по `ARMED`
|
||||
и инвариант ORCH-066 (`deploy→done` self ⇒ `Monitoring`) сохранены (D3). Прочитаны `adr-0010` +
|
||||
`06-adr/ADR-001-plane-status-model`. Тесты TC-06/TC-08 + TC-11.
|
||||
|
||||
## R-4 — `never-raise`-деградация маскирует флапп (fail-safe = ALLOW)
|
||||
- **Вероятность:** низкая · **Влияние:** низкое.
|
||||
- **Причина:** при ошибке лукапа стадии / сетевой ошибке гард делает ALLOW (прежнее поведение), что
|
||||
в теории не гасит маятник.
|
||||
- **Митигейшн:** БД-чтение — локальный SQLite (надёжно; ошибка редка); в штатном случае стадия
|
||||
читается ⇒ сходимость работает. Деградация **логируется** `warning` (D5) ⇒ видно в диагностике.
|
||||
NFR-1 приоритезирует «не падать/не блокировать конвейер всех проектов» над агрессивным подавлением.
|
||||
Тест TC-05.
|
||||
|
||||
## R-5 — «Зомби»-тик пост-деплой-монитора после рестарта/стейл-job шлёт статус-PATCH
|
||||
- **Вероятность:** низкая · **Влияние:** среднее.
|
||||
- **Причина:** стейл-job `post-deploy-monitor` в очереди после закрытия окна/рестарта мог бы дёрнуть
|
||||
`set_issue_monitoring`.
|
||||
- **Митигейшн:** идемпотентный страж `has_marker(...DONE)` (ранний return без PATCH/реэнкью, ~1729) +
|
||||
тик no-op при `cancelled` мид-окно (D4) + **гард D2** (`window_active==False` ⇒ CONVERGE_DONE).
|
||||
restart-safe (sentinel'ы на диске). Тесты TC-06/TC-07.
|
||||
|
||||
## R-6 — Стоимость лукапа `tasks` на каждый deploy-PATCH
|
||||
- **Вероятность:** низкая · **Влияние:** пренебрежимое.
|
||||
- **Причина:** новый SELECT на каждый вызов deploy-сеттера self-репо.
|
||||
- **Митигейшн:** тот же ряд даёт `repo` для `applies`; SQLite-чтение ничтожно против сетевого PATCH;
|
||||
не-self/выключенный флаг → ранний ALLOW. Без кэша (корректность > микро-оптимизация).
|
||||
|
||||
## R-7 — Регресс не-self репозиториев (enduro-trails)
|
||||
- **Вероятность:** очень низкая · **Влияние:** среднее.
|
||||
- **Причина:** общий инстанс/БД; правка общих сеттеров `plane_sync`.
|
||||
- **Митигейшн:** `applies(repo)` (D2 шаг 3, `deploy_status_guard_repos=""` → self-hosting only);
|
||||
для не-self deploy-фазовые статусы и так не выставляются (terminal-sync сразу `Done`). Тест TC-12.
|
||||
|
||||
## R-8 — Лукап по `work_item_id` не матчит (нет аксессора)
|
||||
- **Вероятность:** низкая · **Влияние:** низкое (деградирует в ALLOW).
|
||||
- **Причина:** `get_task_by_plane_id` матчит UUID-ключи, не человекочитаемый `work_item_id`.
|
||||
- **Митигейшн:** developer добавляет read-only `get_task_by_work_item_id` (D8, без миграции); при
|
||||
промахе — ALLOW (never-raise). Тумбстоны ORCH-090 (`#cancelled-<id>`) не коллизируют с живым рядом.
|
||||
|
||||
---
|
||||
|
||||
## Сводка по инвариантам (не нарушены)
|
||||
|
||||
| Инвариант | Статус |
|
||||
|-----------|--------|
|
||||
| `STAGE_TRANSITIONS` / `QG_CHECKS` / `check_*` / machine-verdict ключи | не тронуты (D7) |
|
||||
| Схема БД | без миграции (read-only аксессор) (D7/D8) |
|
||||
| `main` / force-push / прод-контейнер / detached-деплой | не тронуты (D7, NFR-2) |
|
||||
| Рабочий self-deploy (Phase A→B→C, merge-gate, freeze ORCH-088) | 1:1 (D7, AC-4) |
|
||||
| Реконсилятор F-1/F-2 | без изменений (гард субсумирует sync→Done) (D7) |
|
||||
| Обратимость (kill-switch → 1:1) | `ORCH_DEPLOY_STATUS_GUARD_ENABLED` (D6) |
|
||||
102
docs/work-items/ORCH-094/12-review.md
Normal file
102
docs/work-items/ORCH-094/12-review.md
Normal file
@@ -0,0 +1,102 @@
|
||||
---
|
||||
verdict: APPROVED
|
||||
work_item: ORCH-094
|
||||
stage: review
|
||||
author_agent: reviewer
|
||||
status: approved
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
type: review
|
||||
work_item_id: ORCH-094
|
||||
version: 1
|
||||
---
|
||||
|
||||
# Review ORCH-094 — terminal-window-aware гард deploy-статусов
|
||||
|
||||
## Summary
|
||||
|
||||
PR устраняет флапп deploy-статусов у терминальной (`done`) задачи в Plane через единый
|
||||
terminal-window-aware гард на входе трёх deploy-фазовых сеттеров `plane_sync`. Реализация
|
||||
**точно следует** ADR-001 (D1–D8): новый leaf `src/deploy_status_guard.py` (чистый, never-raise,
|
||||
config-gated), перенос арм-блока перед terminal-sync, харднинг пост-деплой-монитора, наблюдаемость
|
||||
через `reason`-kwarg. Все 4 оси проверки — без P0/P1.
|
||||
|
||||
Проверено по коду ветки: `deploy_status_guard.py`, `plane_sync.py` (врезка `_deploy_status_guarded` +
|
||||
3 сеттера), `stage_engine.py` (перенос арм-блока D3 + zombie-tick guard D4 + `reason`-call-sites),
|
||||
`post_deploy.py` (`window_active`), `db.py` (`get_task_by_work_item_id`), `config.py` (2 флага).
|
||||
|
||||
## Findings
|
||||
|
||||
### P0 — Blocker
|
||||
- Нет.
|
||||
|
||||
### P1 — Must fix
|
||||
- Нет.
|
||||
|
||||
### P2 — Should fix
|
||||
- Нет.
|
||||
|
||||
### P3 — Nice-to-have (информационно, вердикт не меняет)
|
||||
- [ ] `post_deploy.window_active` при внутреннем исключении (`has_marker`-чтение sentinel'а) →
|
||||
`False` → внутри `decide` шаг 6 даёт `CONVERGE_DONE`. Это **асимметрия** относительно общего
|
||||
fail-safe-к-ALLOW контракта `decide` (шаг 7): транзиентная ошибка чтения sentinel'а в момент
|
||||
легитимного первого `Monitoring` свела бы его к `Done` (индикация-глитч, не флапп). Поведение
|
||||
**намеренное и задокументировано** (docstring `window_active`: «doubt → window closed → converge
|
||||
to Done — safe-for-indication default»), безопасно к терминальному состоянию; SQLite/диск-чтение
|
||||
локальное и надёжное. Оставлено как осознанный дизайн-выбор, фиксации не требует.
|
||||
|
||||
## Соответствие ТЗ (`02-trz.md` / `03-acceptance-criteria.md`)
|
||||
|
||||
- **FR-1 / AC-1** (источник флаппа локализован, done держит Done) — ✅ актор задокументирован
|
||||
(BR-7: code-писатели `stage_engine.py:404/1218/1316`, F-2 не перебирает, live-overlay read-only;
|
||||
гипотеза «под бот-токеном» в ADR), гард — буфер сходимости. Тесты TC-01/02/10.
|
||||
- **FR-2 / AC-2** (терминал-aware идемпотентность) — ✅ `decide → ALLOW|CONVERGE_DONE|SUPPRESS`,
|
||||
предикат «нетерминал ИЛИ (`done` И окно)», `done`-иначе → `set_issue_done` идемпотентно, повтор
|
||||
на уже-`Done` → no-op. Тесты TC-01/02/12.
|
||||
- **FR-3 / AC-3** (детерминированный конец монитора, нет зомби-тиков) — ✅ страж `has_marker(DONE)`
|
||||
сохранён; добавлен `cancelled`-мид-окно → `mark_done` без PATCH и без перепостановки; тик ≡ job.
|
||||
Тесты TC-06/07/08.
|
||||
- **FR-4 / AC-5** (наблюдаемость) — ✅ BC-kwarg `reason` у 3 сеттеров; ровно одна структурная запись
|
||||
на вердикт (`work_item`/`caller`/`target`/`db_stage`/`window_active`/`verdict`; converge/suppress →
|
||||
WARNING). Тест TC-09 (полная атрибуция).
|
||||
- **FR-5 / AC-4** (обратимость, регресс рабочего цикла) — ✅ kill-switch
|
||||
`deploy_status_guard_enabled` (`False` → 1:1) + self-hosting-only по дефолту (`repos=""`);
|
||||
нетерминальный `Awaiting/Deploying/Monitoring` проходит как раньше. Тесты TC-04/11/12 — особо
|
||||
TC-11 (end-to-end `run_deploy_finalizer`: легитимный `Monitoring` НЕ свёрнут к Done).
|
||||
|
||||
## Соответствие ADR (`06-adr/ADR-001` + сквозной `adr-0028`)
|
||||
|
||||
- D1 (гард на входе сеттеров `plane_sync`, не в caller'ах) — ✅.
|
||||
- D2 (предикат терминал **И** окно; 7 шагов) — ✅ реализован 1:1 в `decide`.
|
||||
- D3 (перенос арм-блока выше terminal-sync) — ✅ подтверждён в diff `advance_stage`; merge-lease
|
||||
release остаётся после terminal-sync; инварианты ORCH-021/066 сохранены.
|
||||
- D4 (харднинг монитора) — ✅. D5 (наблюдаемость) — ✅. D6 (флаги) — ✅. D7 (что НЕ трогаем) — ✅
|
||||
(проверено: `src/stages.py`/`src/qg/`/`src/reconciler.py` — нулевой diff; machine-verdict ключи
|
||||
байт-в-байт). D8 (`get_task_by_work_item_id` read-only) — ✅.
|
||||
- **Трассировка маркеров (CLAUDE.md прав. 9 / TRACEABILITY):** правка маркированного блока
|
||||
`next_stage=="done"` (ORCH-021/066/043/088) — ADR прочитаны, инварианты не сломаны (deploy→done
|
||||
self ⇒ Monitoring; монитор-close ⇒ Done; терминал-набор `{done,cancelled}`; merge-lease release
|
||||
не сдвинут относительно terminal-sync). Слома инвариантов нет.
|
||||
|
||||
## Качество кода
|
||||
|
||||
- Leaf-модуль `deploy_status_guard.py` — чистый, never-raise (двойная защита: `decide` + wrapper
|
||||
`_deploy_status_guarded`), нет рекурсии (`set_issue_done` не гардится), docstrings на всех публичных
|
||||
функциях, образец `serial_gate`/`labels`/`cancel` выдержан.
|
||||
- Тесты содержательные (не тривиальные): 5 новых файлов, TC-01..12; TC-11 — реальный прогон
|
||||
`run_deploy_finalizer` с проверкой стадии и единственного `Monitoring`-PATCH; обновлены
|
||||
анти-регресс-ассерты под `reason`-kwarg. `pytest tests/ -q` — **1413 passed**.
|
||||
|
||||
## Документация
|
||||
|
||||
`src/` изменён → документация обновлена **в том же PR** (golden source соблюдён):
|
||||
- ✅ `CHANGELOG.md` — детальная запись ORCH-094 (FR/AC/D-разбивка).
|
||||
- ✅ `docs/architecture/README.md` — новый раздел «Terminal-window-aware гард deploy-статусов».
|
||||
- ✅ `CLAUDE.md` — врезка в блок статусной модели Plane.
|
||||
- ✅ `.env.example` — `ORCH_DEPLOY_STATUS_GUARD_ENABLED` / `_REPOS` с описанием.
|
||||
- ✅ `docs/work-items/ORCH-094/06-adr/ADR-001-…md` (work-item) + сквозной
|
||||
`docs/architecture/adr/adr-0028-…md` (кросс-каттинг) — оба присутствуют.
|
||||
- ✅ Обзорные доки (ORCH-079): PR — баг-фикс индикации, не закрывает пункт `README.md`
|
||||
«Известные ограничения»; обновления корневого `README.md` не требуется.
|
||||
|
||||
Документация полная и согласована с реализацией. Расхождений код ↔ доки не найдено.
|
||||
84
docs/work-items/ORCH-094/13-test-report.md
Normal file
84
docs/work-items/ORCH-094/13-test-report.md
Normal file
@@ -0,0 +1,84 @@
|
||||
---
|
||||
result: PASS # PASS | FAIL — машинный вердикт, UPPERCASE
|
||||
work_item: ORCH-094
|
||||
stage: testing
|
||||
author_agent: tester
|
||||
status: pass
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
type: test-report
|
||||
work_item_id: ORCH-094
|
||||
---
|
||||
|
||||
# Test Report — ORCH-094 — terminal-window-aware гард deploy-статусов
|
||||
|
||||
## Окружение
|
||||
- Python: 3.12.13
|
||||
- pytest: 8.3.3
|
||||
- Дата: 2026-06-09
|
||||
- Worktree (база прогона): `/repos/_wt/orchestrator/feature_ORCH-094-bug-done-deploy-plane-awaiting`
|
||||
- Ветка: `feature/ORCH-094-bug-done-deploy-plane-awaiting`
|
||||
- HEAD: `11de318` (поверх `3738888 fix(deploy): terminal-window-aware guard … (ORCH-094)`)
|
||||
- Review: `12-review.md` → `verdict: APPROVED` (P0/P1 — нет).
|
||||
|
||||
> Прогон выполнен из worktree ветки задачи (не из общего `/repos/orchestrator`) — анти-гонка checkout.
|
||||
|
||||
## Smoke API (read-only)
|
||||
| Проверка | Результат |
|
||||
|----------|-----------|
|
||||
| `GET /health` | PASS — `{"status":"ok","service":"orchestrator"}` |
|
||||
| `GET /status` | PASS — отвечает, отдаёт `active_tasks` |
|
||||
| `GET /queue` | PASS — блок `serial_gate` присутствует (ORCH-088), `auto_labels` присутствует (ORCH-089) |
|
||||
|
||||
Деструктивные операции не выполнялись (read-only smoke).
|
||||
|
||||
## Результаты (покрытие тест-плана `04-test-plan.yaml` ↔ `03-acceptance-criteria.md`)
|
||||
|
||||
| TC ID | Тип | Описание | AC | Тест | Результат |
|
||||
|-------|-----|----------|----|------|-----------|
|
||||
| TC-01 | unit | done-задача сходится к Done (monitoring/awaiting/deploying при terminal → Done/no-op) | AC-2 | `test_deploy_status_terminal_guard::test_tc01_*` | PASS |
|
||||
| TC-02 | unit | Идемпотентность: повтор на уже-Done → no-op, нет маятника | AC-2 | `test_deploy_status_terminal_guard::test_tc02_idempotent_no_pendulum` | PASS |
|
||||
| TC-03 | unit | Нетерминальная (stage=deploy) не подавляется (регресс) | AC-4 | `test_deploy_status_terminal_guard::test_tc03_non_terminal_not_suppressed` | PASS |
|
||||
| TC-04 | unit | Kill-switch: off → 1:1 прежнее; on → done сходится к Done | AC-5 | `test_deploy_status_terminal_guard::test_tc04_kill_switch` | PASS |
|
||||
| TC-05 | unit | never-raise: неизвестная стадия / ошибка БД → безопасная деградация | AC-5 | `test_deploy_status_terminal_guard::test_tc05_*` | PASS |
|
||||
| TC-06 | unit | После завершения окна монитора (HEALTHY, ticks==budget) → 0 последующих PATCH | AC-3 | `test_post_deploy_monitor_termination::test_tc06_clean_finish_then_no_more_patches` | PASS |
|
||||
| TC-07 | unit | Тик при БД=done/cancelled / нет основания → no-op без PATCH и без перепостановки | AC-3 | `test_post_deploy_monitor_termination::test_tc07_*` | PASS |
|
||||
| TC-08 | unit | `arm_monitor` не пере-арминг для done; re-drive не выставляет Monitoring заново | AC-3 | `test_post_deploy_monitor_termination::test_tc08_*` | PASS |
|
||||
| TC-09 | unit | Наблюдаемость: лог work_item/caller/target/reason/db_stage; подавление логируется | AC-5 | `test_deploy_status_observability::test_tc09_*` | PASS |
|
||||
| TC-10 | integration | Реконсилятор/sync для done+Plane=Monitoring → Done идемпотентно, без маятника | AC-2 | `test_reconciler_done_deploy_convergence::test_tc10_repeated_sync_converges_no_pendulum` | PASS |
|
||||
| TC-11 | integration | Регресс рабочего цикла: нетерминальная задача Awaiting→Deploying→Monitoring→Done не подавлена | AC-4 | `test_self_deploy_cycle_regression::test_tc11_*` | PASS |
|
||||
| TC-12 | integration | Не-self репо (enduro-подобный): гард инертен (условность self-hosting) | AC-4/AC-5 | `test_deploy_status_terminal_guard::test_tc12_*` | PASS |
|
||||
|
||||
**Все 12 TC выполнены и сопоставлены с критериями приёмки. Непокрытых TC нет.**
|
||||
|
||||
Покрытие AC:
|
||||
- **AC-1** (done держит Done; нет авто-перехода в Awaiting/Monitoring) — TC-01/02/10 ✅
|
||||
- **AC-2** (идемпотентное схождение к Done) — TC-01/02/10/12 ✅
|
||||
- **AC-3** (детерминированный конец монитора, нет зомби-тиков) — TC-06/07/08 ✅
|
||||
- **AC-4** (регресс рабочего deploy-цикла нетерминальной задачи) — TC-03/11/12 ✅
|
||||
- **AC-5** (наблюдаемость, kill-switch, never-raise, зелёный pytest) — TC-04/05/09 + полный регресс ✅
|
||||
|
||||
## Вывод pytest
|
||||
|
||||
Целевые модули ORCH-094:
|
||||
```
|
||||
tests/test_deploy_status_terminal_guard.py ........... (11)
|
||||
tests/test_post_deploy_monitor_termination.py ..... (5)
|
||||
tests/test_deploy_status_observability.py ... (3)
|
||||
tests/test_reconciler_done_deploy_convergence.py . (1)
|
||||
tests/test_self_deploy_cycle_regression.py .. (2)
|
||||
======================== 22 passed, 1 warning in 1.43s =========================
|
||||
```
|
||||
|
||||
Полный регресс (`pytest tests/ -v --tb=short`):
|
||||
```
|
||||
======================= 1413 passed, 1 warning in 44.34s =======================
|
||||
```
|
||||
> Единственное предупреждение — PydanticDeprecatedSince20 (class-based config в `src/config.py`),
|
||||
> не связано с ORCH-094, не является ошибкой.
|
||||
|
||||
## Итог
|
||||
|
||||
**PASS** — полный регресс зелёный (1413 passed), все 12 TC из `04-test-plan.yaml` выполнены,
|
||||
сопоставлены с AC и зелёные; smoke API (`/health`, `/status`, `/queue` c блоком `serial_gate`) OK.
|
||||
Задача переходит на стадию `deploy-staging`.
|
||||
12
docs/work-items/ORCH-094/14-deploy-log.md
Normal file
12
docs/work-items/ORCH-094/14-deploy-log.md
Normal file
@@ -0,0 +1,12 @@
|
||||
---
|
||||
deploy_status: SUCCESS
|
||||
work_item: ORCH-094
|
||||
hook_exit_code: 0
|
||||
deployed_by: deploy-finalizer
|
||||
---
|
||||
|
||||
# Deploy log — ORCH-036 executable self-deploy
|
||||
|
||||
Прод-деплой завершён хост-хуком с exit-code `0` -> `deploy_status: SUCCESS`.
|
||||
|
||||
Вердикт зафиксирован детерминированным finalizer'ом (Фаза C), не LLM.
|
||||
30
docs/work-items/ORCH-094/15-staging-log.md
Normal file
30
docs/work-items/ORCH-094/15-staging-log.md
Normal file
@@ -0,0 +1,30 @@
|
||||
---
|
||||
staging_status: SUCCESS
|
||||
work_item: ORCH-094
|
||||
stage: deploy-staging
|
||||
author_agent: deployer
|
||||
status: success
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
timestamp: 2026-06-09T20:38:21Z
|
||||
base_url: http://localhost:8501
|
||||
---
|
||||
|
||||
# Staging Gate Log
|
||||
|
||||
Staging test suite completed against the live `orchestrator-staging` stand (8501), run canonically
|
||||
inside the container via `docker exec orchestrator-staging python3 /repos/orchestrator/scripts/staging_check.py --base-url http://localhost:8501 --mode stub`.
|
||||
|
||||
Exit code **0** → `staging_status: SUCCESS`. All REAL pipeline checks passed; the only failures are
|
||||
the two known sandbox-infra checks (C9a/C9b), waived under ORCH-061 tolerance.
|
||||
|
||||
INFRA-WAIVED: C9a Branch appears in orchestrator-sandbox, C9b Analyst job enqueued in staging queue (known sandbox-infra; real checks green)
|
||||
VERDICT: SUCCESS (exit 0) — SUCCESS (infra-waived): ['C9a Branch appears in orchestrator-sandbox', 'C9b Analyst job enqueued in staging queue'] are known sandbox-infra checks; all real checks green
|
||||
|
||||
## Results
|
||||
- **Block A (SMOKE)**: PASS — A1 `/health`→200 `status=ok`; A2 `/queue`→200 (counts/max_concurrency/resilience); A3 `ORCH_STAGING=true`.
|
||||
- **Block B (ACCESS)**: PASS — B4 Plane sandbox accessible (sandbox=YES); B5 Gitea `orchestrator-sandbox` accessible, push=true; B6 registry isolation OK (sandbox present, prod ET/ORCH absent).
|
||||
- **Block C (E2E, mode=stub)**: C7 create issue in Plane SANDBOX PASS; C8 trigger pipeline via `/webhook/plane` PASS; **C9a/C9b FAIL — waived** (sandbox-infra: SANDBOX bot-accounts not members of the sandbox project; not a pipeline regression). CLEANUP: Plane issue deleted (HTTP 204), no branch to delete.
|
||||
|
||||
REAL failed: none.
|
||||
Result: 8/10 checks PASS (2 waived sandbox-infra).
|
||||
7
docs/work-items/ORCH-095/00-business-request.md
Normal file
7
docs/work-items/ORCH-095/00-business-request.md
Normal file
@@ -0,0 +1,7 @@
|
||||
# Business Request: BUG: карточка трекера застывает — HTML-инъекция «<1м» в render_task_tracker (parse_mode=HTML)
|
||||
|
||||
Work Item ID: ORCH-095
|
||||
|
||||
## Description
|
||||
|
||||
TBD
|
||||
154
docs/work-items/ORCH-095/01-brd.md
Normal file
154
docs/work-items/ORCH-095/01-brd.md
Normal file
@@ -0,0 +1,154 @@
|
||||
---
|
||||
work_item: ORCH-095
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 01 — BRD (бизнес-требования): ORCH-095 — HTML-инъекция «<1м» в render_task_tracker застывает live-карточку
|
||||
|
||||
Work Item: **ORCH-095** · Repo: **orchestrator** · Стадия: analysis
|
||||
|
||||
## 1. Бизнес-контекст и проблема
|
||||
|
||||
Live-трекер задачи (`src/notifications.py::render_task_tracker`) — **основной канал
|
||||
видимости конвейера для оператора**. Слава узнаёт состояние каждой задачи по её единственной
|
||||
карточке в Telegram (инвариант «одна карточка на задачу», ORCH-042/067/087). Если карточка
|
||||
перестаёт обновляться — оператор слепнет: задача реально идёт/завершилась, а карточка врёт.
|
||||
|
||||
**Установленный факт (воспроизведён детерминированно 09.06, сырой ответ Telegram).**
|
||||
Прямой вызов `editMessageText` для застрявшей карточки ORCH-093 (`message_id 18854`) вернул:
|
||||
|
||||
```
|
||||
400 Bad Request: can't parse entities: Unsupported start tag "1м" at byte offset 500
|
||||
```
|
||||
|
||||
В тексте карточки на позиции ~379 присутствует подстрока `<1м · …` — длительность стадии
|
||||
«меньше одной минуты», которую `_fmt_minutes` (`src/notifications.py:288-289`) рендерит как
|
||||
литерал **`<1м`**. Карточка отправляется с `parse_mode=HTML` (`editMessageText`,
|
||||
`notifications.py:175`). Telegram трактует `<1м` как **открывающий HTML-тег** → парсинг падает
|
||||
с `400` → `edit_telegram` возвращает `EDIT_FAILED` → `update_task_tracker` по ветке
|
||||
`EDIT_FAILED` (`notifications.py:733-739`) делает `return`, **не** отправляя новую карточку
|
||||
(защита от дублей, ORCH-087) → карточка **застывает** на стейте, где `<1м` впервые попал в текст.
|
||||
|
||||
**Цепочка отказа** (по коду):
|
||||
`_fmt_minutes(<60s) → "<1м"` → интерполируется в HTML без экранирования → `editMessageText`
|
||||
`400 can't parse entities` → `edit_telegram → EDIT_FAILED` → `update_task_tracker` ранний
|
||||
`return` → карточка не обновляется до конца жизни задачи.
|
||||
|
||||
**Почему проявляется не на каждой задаче.** Баг ловится **только** когда хотя бы одна
|
||||
длительность стадии < 1 мин (`seconds < 60`) и эта строка попадает в текст, который затем
|
||||
редактируется. Карточки ORCH-090/091 редактировались успешно (на момент `edit` в их тексте
|
||||
`<1м` не было); ORCH-093 — упала. Это объясняет «плавающую» природу симптома.
|
||||
|
||||
**Корневой класс дефекта — шире одного `<1м`.** Текст карточки собирается с `parse_mode=HTML`
|
||||
из смеси (а) намеренной разметки-обёртки (`<a href>` номер задачи, `<b>`) и (б) подставляемых
|
||||
**данных**. Намеренная разметка экранироваться **не должна**; данные — должны. Сейчас
|
||||
экранирован только заголовок (`esc_title`, `notifications.py:428`) и href/label внутри
|
||||
`plane_issue_link`. Прочие данные — длительности (`_fmt_minutes`), метрики токенов/стоимости
|
||||
(`fmt_tokens`/`fmt_cost`), имя модели (`short_model_name`), статус-лейбл
|
||||
(`_card_status_label`) — вставляются **без** `html.escape`. `<1м` — первый сработавший
|
||||
экземпляр этого класса; задача закрывает класс, а не единичный символ.
|
||||
|
||||
## 2. Объём (scope)
|
||||
|
||||
### В объёме
|
||||
- Устранить HTML-инъекцию в `render_task_tracker`: любые **данные**, попадающие в текст
|
||||
карточки с `parse_mode=HTML`, не должны ломать парсер Telegram (`< > &` в данных
|
||||
безопасны).
|
||||
- Привести формат «длительность < 1 мин» к HTML-безопасному виду (экранированный `<1м`
|
||||
ИЛИ переформулировка `<1м` → `~0м` / `< 1 мин` с экранированием).
|
||||
- Сохранить работоспособность **намеренной** разметки карточки (`<a href>` номер задачи,
|
||||
жирный/прочее форматирование) — экранируются только данные, не обёртка.
|
||||
- Восстановить обновления уже застрявших карточек (после фикса карточка возобновляет
|
||||
обновления или переотправляется свежей).
|
||||
- Юнит-покрытие HTML-безопасности всех динамических полей; зелёный регресс `pytest tests/ -q`;
|
||||
запись в `CHANGELOG.md`.
|
||||
|
||||
### Вне объёма
|
||||
- Изменение `STAGE_TRANSITIONS`, `QG_CHECKS`, `check_*`, схемы БД — **не трогаются** (баг
|
||||
чисто в слое рендера уведомлений).
|
||||
- Изменение режима трекера (`bump`/`edit`), логики леджера сирот (ORCH-087), статусной модели
|
||||
ORCH-066, транспортных примитивов (`send_telegram`/`edit_telegram`/`delete_telegram`) —
|
||||
кроме точечной HTML-безопасности самого текста.
|
||||
- Редизайн раскладки/состава карточки, новые метрики, перевод строк.
|
||||
- Изменение машинных вердиктов / frontmatter-контракта.
|
||||
|
||||
## 3. Заинтересованные стороны
|
||||
|
||||
- **Заказчик / репортёр:** Слава (оператор) — обнаружил баг 09.06 (карточка ORCH-093 застряла,
|
||||
«по 91 уже нету»).
|
||||
- **Затронуты:** все наблюдатели Telegram-трекера по **всем** проектам (self-hosting: общий
|
||||
прод-инстанс обслуживает и enduro-trails — карточки их задач так же уязвимы при стадии < 1 мин).
|
||||
- **Принимает результат:** reviewer/tester конвейера ORCH; финальная приёмка — оператор
|
||||
(карточки снова обновляются в реальном времени).
|
||||
|
||||
## 4. Бизнес-требования (BR)
|
||||
|
||||
- **BR-1** — Карточка трекера, в тексте которой есть стадия длительностью < 1 мин, должна
|
||||
успешно редактироваться (`editMessageText` → `200`, не `400 can't parse entities`). Источник
|
||||
отказа — литерал `<1м` от `_fmt_minutes` — устранён. (⇒ G1, G2)
|
||||
- **BR-2** — **Все** динамические значения, вставляемые в текст карточки с `parse_mode=HTML`
|
||||
(длительности, метрики токенов/стоимости, имя модели/эффорта, имена/лейблы стадий,
|
||||
статус-лейбл, заголовок задачи), HTML-безопасны: символы `< > &` в **данных** не
|
||||
интерпретируются Telegram как разметка. (⇒ G1)
|
||||
- **BR-3** — Длительность «меньше минуты» рендерится так, чтобы не выглядеть открывающим
|
||||
HTML-тегом: экранированный `<1м` **ИЛИ** переформулировка (`~0м` / `< 1 мин`) с
|
||||
экранированием. Видимое оператору значение остаётся осмысленным («меньше минуты»). (⇒ G2)
|
||||
- **BR-4** — **Регресс намеренной разметки:** кликабельный номер задачи (`<a href>`,
|
||||
`plane_issue_link`) и любое форматирование-обёртка (`<b>` и т.п.) продолжают рендериться и
|
||||
оставаться кликабельными/валидными — экранируются только подставляемые данные, не разметка. (⇒ G3)
|
||||
- **BR-5** — Уже застрявшая карточка (класс ORCH-093) после деплоя фикса **возобновляет
|
||||
обновления**: либо успешный `editMessageText` на следующем переходе стадии, либо
|
||||
переотправка свежей карточки. Конкретный механизм восстановления (текст снова валиден →
|
||||
edit проходит, ИЛИ классификация `can't parse entities` как пересоздаваемой) — решение
|
||||
архитектора; бизнес-требование — карточка перестаёт быть «замёрзшей сиротой». (⇒ G... / AC-4)
|
||||
|
||||
## 5. Нефункциональные требования (NFR)
|
||||
|
||||
- **NFR-1 (never-raise):** `render_task_tracker` и весь путь уведомлений сохраняют контракт
|
||||
«никогда не роняют конвейер» — любая ошибка рендера/экранирования деградирует к
|
||||
fallback-строке, не исключение.
|
||||
- **NFR-2 (нулевая регрессия разметки):** существующие зелёные тесты трекера
|
||||
(`test_telegram_tracker.py`, `test_tracker_*`, `test_notifications_orphans.py`,
|
||||
`test_notify_issue_links.py`) остаются зелёными; кликабельность номера и формат строк не
|
||||
деградируют визуально (кроме намеренной смены вида «<1м»).
|
||||
- **NFR-3 (self-hosting):** фикс — изменение **только** слоя рендера уведомлений; прод-контейнер
|
||||
`orchestrator` не перезапускается в рамках стадий разработки; обязательна страховка
|
||||
`deploy-staging` перед прод-деплоем. Машина стадий/гейты/схема БД не затрагиваются.
|
||||
- **NFR-4 (совместимость):** изменение обратносовместимо по данным/схеме; не требует миграций;
|
||||
применяется к новым рендерам сразу после деплоя.
|
||||
|
||||
## 6. Допущения и ограничения
|
||||
|
||||
- Карточка всегда отправляется с `parse_mode=HTML` (`send_telegram:58`, `edit_telegram:175`) —
|
||||
это инвариант (ссылки/жирный требуют HTML); переход на `parse_mode=None`/MarkdownV2 **не**
|
||||
рассматривается (сломает намеренную разметку, шире объёма).
|
||||
- `fmt_tokens`/`fmt_cost` сейчас выдают только цифры/`.`/`k`/`M`/`$` (HTML-безопасно), но
|
||||
требование BR-2 покрывает их **defence-in-depth** на случай будущих изменений формата.
|
||||
- Telegram-лимит 48ч: карточки старше 48ч физически неудаляемы/неперезаписываемы — для них
|
||||
восстановление недостижимо (known-limitation, унаследовано от ORCH-087); BR-5 относится к
|
||||
карточкам в пределах окна.
|
||||
- Источник `<1м` — `_fmt_minutes` (единственная функция, эмитящая литерал `<`); прочие данные
|
||||
лишь потенциально опасны. Точка(и) внесения экранирования — решение архитектора (централизовать
|
||||
в `_fmt_minutes`/на точке рендера/обёрткой-хелпером).
|
||||
|
||||
## 7. Критерии успеха
|
||||
|
||||
Карточка задачи со стадией < 1 мин успешно редактируется (нет `400 can't parse entities`);
|
||||
все динамические поля HTML-безопасны; намеренная разметка (ссылка-номер, форматирование)
|
||||
рендерится и кликабельна; застрявшие карточки возобновляют обновления; `never-raise` сохранён;
|
||||
`pytest tests/ -q` зелёный; `CHANGELOG.md` обновлён. Детальные PASS/FAIL — `03-acceptance-criteria.md`.
|
||||
|
||||
## 8. Риски
|
||||
|
||||
- **Двойное экранирование** уже экранированных полей (`esc_title`, href/label в
|
||||
`plane_issue_link`) → `&lt;` в выводе. Митигировать на стадии архитектуры (экранировать
|
||||
ровно один раз на источник данных).
|
||||
- **Случайное экранирование разметки-обёртки** (`<a>`, `<b>`) → ссылки/жирный перестают
|
||||
работать (регресс BR-4). Чёткая граница «данные vs обёртка».
|
||||
- Изменение вида «<1м» меняет визуал карточки — согласовать формулировку с оператором (BR-3
|
||||
допускает оба варианта).
|
||||
- Детали/перечень — `10-tech-risks.md` (заполняет архитектор).
|
||||
132
docs/work-items/ORCH-095/02-trz.md
Normal file
132
docs/work-items/ORCH-095/02-trz.md
Normal file
@@ -0,0 +1,132 @@
|
||||
---
|
||||
work_item: ORCH-095
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 02 — ТЗ (TRZ): ORCH-095 — HTML-безопасность динамических полей render_task_tracker
|
||||
|
||||
Work Item: **ORCH-095** · Repo: **orchestrator** · Стадия: analysis
|
||||
|
||||
> ТЗ описывает **конкретные изменения к реализации**, выведенные из BRD и фактического кода.
|
||||
> Архитектурное обоснование/выбор точки внесения экранирования — задача архитектора (06-adr).
|
||||
|
||||
## 1. Сводка изменения
|
||||
|
||||
Текст live-карточки (`render_task_tracker`) собирается с `parse_mode=HTML` из намеренной
|
||||
разметки-обёртки (`<a href>` номер задачи, форматирование) и подставляемых **данных**. Сейчас
|
||||
экранирован только заголовок (`esc_title`) и href/label внутри `plane_issue_link`; остальные
|
||||
данные вставляются сырыми. Литерал `<1м` (длительность < 1 мин), возвращаемый `_fmt_minutes`,
|
||||
Telegram парсит как открывающий тег → `editMessageText` падает `400 can't parse entities` →
|
||||
`edit_telegram → EDIT_FAILED` → `update_task_tracker` делает ранний `return` → карточка
|
||||
застывает.
|
||||
|
||||
Требуется: (а) сделать формат «< 1 мин» HTML-безопасным; (б) гарантировать HTML-безопасность
|
||||
**всех** данных, попадающих в текст карточки, **не** экранируя намеренную разметку-обёртку;
|
||||
(в) обеспечить возобновление обновлений ранее застрявших карточек. Изменение локализовано в
|
||||
слое уведомлений; машина стадий/гейты/схема БД не затрагиваются.
|
||||
|
||||
## 2. Задействованные модули / пути
|
||||
|
||||
| Путь | Действие |
|
||||
|------|----------|
|
||||
| `src/notifications.py` | **изменить** — `_fmt_minutes` (~280) и/или точки рендера в `render_task_tracker` (~355): HTML-безопасность данных |
|
||||
| `src/notifications.py::render_task_tracker` | **изменить** — экранировать данные: длительности (`dur`), `status_label`, `model`/`effort`, метрики (defence-in-depth); НЕ трогать `num_html`, `_done_link`-разметку |
|
||||
| `src/notifications.py::_card_status_label` (~1173) | **проверить/экранировать на потребителе** — статус-лейбл вставляется в `status_line` сырым |
|
||||
| `src/notifications.py::edit_telegram` (~157) | **возможно изменить** (на усмотрение архитектора) — классификация `can't parse entities` для восстановления застрявших карточек (BR-5/AC-4) |
|
||||
| `src/notifications.py::update_task_tracker` (~650) | **возможно затронуть** — ветка `EDIT_FAILED` vs пересоздание при перманентном parse-фейле (BR-5/AC-4) |
|
||||
| `tests/test_telegram_tracker.py` (или новый `tests/test_tracker_html_escape.py`) | **создать/дополнить** — юнит HTML-безопасности всех динамических полей |
|
||||
| `CHANGELOG.md` | **изменить** — запись о фиксе |
|
||||
|
||||
> Примечание: `fmt_tokens`/`fmt_cost`/`short_model_name` живут в `src/usage.py`; их выход
|
||||
> сейчас HTML-безопасен (цифры/`.`/`k`/`M`/`$`/имя модели). Менять `src/usage.py` **не
|
||||
> требуется** — defence-in-depth экранирование делается на потребителе в `notifications.py`.
|
||||
|
||||
## 3. Функциональные требования
|
||||
|
||||
### FR-1 — HTML-безопасный формат «меньше минуты» (⇒ BR-1, BR-3)
|
||||
Длительность стадии < 60 с не должна порождать подстроку, которую Telegram трактует как
|
||||
открывающий тег. Текущий `_fmt_minutes(seconds)` при `0 < seconds < 60` возвращает литерал
|
||||
`"<1м"` (`notifications.py:288-289`). Поведение должно стать одним из (выбор — архитектор):
|
||||
- экранированный вывод `<1м` (видится оператору как `<1м`), **либо**
|
||||
- переформулировка `~0м` / `< 1 мин` с последующим экранированием.
|
||||
Инвариант: для **любого** входа `_fmt_minutes` (включая `0м`, `Nм`, `~Nм` от
|
||||
`_capped_review_str`) результат, попав в `parse_mode=HTML`, не ломает парсер. `_fmt_minutes`
|
||||
сохраняет never-raise (нечисловой/None вход → `0м`).
|
||||
|
||||
### FR-2 — HTML-безопасность всех данных карточки (⇒ BR-2)
|
||||
Каждое **подставляемое значение-данные**, попадающее в текст `render_task_tracker`,
|
||||
экранируется `html.escape(...)` ровно один раз перед вставкой в HTML-текст. Перечень полей-данных:
|
||||
|
||||
| Поле | Источник | Текущий статус |
|
||||
|------|----------|----------------|
|
||||
| Заголовок задачи | `title` → `esc_title` | уже экранирован ✓ (не дублировать) |
|
||||
| Длительности стадий / BRD / done | `_fmt_minutes`, `_capped_review_str` | **дыра** (FR-1) |
|
||||
| Статус-лейбл карточки | `_card_status_label` → `status_label` | **дыра** — экранировать |
|
||||
| Имя модели | `short_model_name(last["model"])` | экранировать (defence-in-depth) |
|
||||
| Эффорт | `_run_effort(last)` | экранировать (defence-in-depth) |
|
||||
| Токены / стоимость | `fmt_tokens`/`fmt_cost` | HTML-безопасны; экранировать defence-in-depth |
|
||||
| Метка «попытка N» / лейблы стадий | статические константы `_TRACKER_STAGES`/`_BRD_LABEL` | статичны; не требуют, но безопасно |
|
||||
|
||||
Инвариант FR-2: после рендера **ни один** символ `< > &`, пришедший из данных, не остаётся
|
||||
неэкранированным в выходном тексте.
|
||||
|
||||
### FR-3 — Сохранность намеренной разметки-обёртки (⇒ BR-4)
|
||||
Намеренные HTML-фрагменты **не** экранируются:
|
||||
- `num_html` = `plane_issue_link(...)` — кликабельный `<a href>` номер задачи (внутри уже
|
||||
экранированы href через `html.escape(url, quote=True)` и label);
|
||||
- `link_for(...)` в строке «⏳ ждёт …» — намеренные ссылки;
|
||||
- `_done_link(...)` — строка `🔗 PR #n · 📦 Внедрено`.
|
||||
После фикса эти фрагменты рендерятся как валидный HTML и остаются кликабельными. Запрещено
|
||||
двойное экранирование уже экранированных полей (`esc_title`, внутренности `plane_issue_link`).
|
||||
|
||||
### FR-4 — Возобновление обновлений застрявших карточек (⇒ BR-5)
|
||||
После деплоя фикса карточка, ранее застрявшая на `400 can't parse entities`, должна
|
||||
возобновить обновления. Достаточное условие по умолчанию: текст следующего рендера больше не
|
||||
содержит небезопасной подстроки → `editMessageText` проходит (`200`) на ближайшем переходе
|
||||
стадии. Опционально (решение архитектора): классифицировать перманентный parse-фейл в
|
||||
`edit_telegram`/`update_task_tracker` как повод **переотправить** свежую карточку вместо
|
||||
тихого `return` по `EDIT_FAILED` — но **без** регресса защиты от дублей (ORCH-087: транзиентные
|
||||
фейлы по-прежнему НЕ плодят карточки). Если выбирается переклассификация — она должна отличать
|
||||
перманентный `can't parse entities` от транзиентного (network/timeout/5xx).
|
||||
|
||||
### FR-5 — never-raise (⇒ NFR-1)
|
||||
Все изменённые функции сохраняют контракт «никогда не роняют конвейер»: ошибка
|
||||
экранирования/рендера → деградация к существующему fallback (`f"task-{task_id}"` /
|
||||
пропуск строки), не исключение наружу.
|
||||
|
||||
## 4. Изменения API
|
||||
|
||||
Нет. HTTP-эндпоинты не добавляются/не меняются. (Внешний вызов — только исходящий
|
||||
`editMessageText`/`sendMessage` к Telegram Bot API; контракт вызова не меняется, меняется
|
||||
лишь безопасность `text`.)
|
||||
|
||||
## 5. Изменения схемы БД
|
||||
|
||||
Нет. Таблицы `tasks`/`agent_runs`/`tracker_messages` не затрагиваются; миграций нет.
|
||||
|
||||
## 6. Требования к новым/изменённым QG checks
|
||||
|
||||
Нет. `QG_CHECKS` / `check_*` / `STAGE_TRANSITIONS` / машинные вердикты не затрагиваются. Баг —
|
||||
в слое рендера уведомлений, вне Quality Gate.
|
||||
|
||||
## 7. Совместимость / регресс
|
||||
|
||||
- **Обратная совместимость:** изменение чисто в формировании строки текста карточки; данные
|
||||
БД, схема, режимы трекера (`bump`/`edit`), леджер сирот (ORCH-087), статусная модель
|
||||
(ORCH-066) — без изменений.
|
||||
- **Область раската:** все проекты на общем прод-инстансе (self-hosting) — фикс применяется к
|
||||
каждому новому рендеру сразу после деплоя; не требует миграции/бэкфилла.
|
||||
- **Kill-switch:** не требуется (исправление дефекта корректности, а не новая фича-ветка). Если
|
||||
архитектор выбирает переклассификацию parse-фейла в `update_task_tracker` (FR-4 опц.) —
|
||||
оценить целесообразность флага; по умолчанию изменение поведения минимально и безопасно.
|
||||
- **Обратимость:** изменение откатывается обычным revert PR (только `notifications.py` +
|
||||
тесты + CHANGELOG); прод-контейнер не требует ручных операций над данными.
|
||||
- **Артефакты pipeline:** обновляются `12-review.md` (reviewer), `13-test-report.md` (tester),
|
||||
`06-adr/ADR-001-*.md` (архитектор — выбор точки экранирования и стратегии FR-4),
|
||||
`CHANGELOG.md`. Машинные вердикты гейтов — без изменений.
|
||||
- **Self-hosting:** обязательна стадия `deploy-staging` (8501) перед прод-деплоем; прод
|
||||
`orchestrator` не рестартуется в рамках разработки.
|
||||
97
docs/work-items/ORCH-095/03-acceptance-criteria.md
Normal file
97
docs/work-items/ORCH-095/03-acceptance-criteria.md
Normal file
@@ -0,0 +1,97 @@
|
||||
---
|
||||
work_item: ORCH-095
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 03 — Критерии приёмки (Acceptance Criteria): ORCH-095 — HTML-инъекция «<1м» в render_task_tracker
|
||||
|
||||
Work Item: **ORCH-095** · Repo: **orchestrator** · Стадия: analysis
|
||||
|
||||
Формат: каждый критерий имеет **PASS** (что должно быть истинно для приёмки) и **FAIL**
|
||||
(что считается провалом). Любой машинный/ручной reviewer проверяет их буквально по файлам
|
||||
репозитория.
|
||||
|
||||
---
|
||||
|
||||
## AC-1 — Стадия < 1 мин не ломает парсер Telegram
|
||||
|
||||
**Условие:** `render_task_tracker` для задачи, у которой хотя бы одна стадия длилась < 60 с,
|
||||
выдаёт текст, безопасный для `parse_mode=HTML` (нет неэкранированного `<` в данных длительности).
|
||||
- **PASS:** В выходном тексте подстрока длительности «меньше минуты» представлена как `<1м`
|
||||
(или переформулированный безопасный вид `~0м` / `< 1 мин` без сырого `<`); `editMessageText`
|
||||
с этим текстом не вернул бы `400 can't parse entities: Unsupported start tag "1м"`. Юнит-тест
|
||||
на `_fmt_minutes(30)` / `render_task_tracker(...)` подтверждает отсутствие сырого `<` от
|
||||
длительности.
|
||||
- **FAIL:** Текст содержит сырой `<1м` (или иной литерал `<`+нецифра) из данных длительности;
|
||||
тест на парсинг/наличие сырого `<` падает.
|
||||
|
||||
---
|
||||
|
||||
## AC-2 — Все динамические поля карточки HTML-безопасны (юнит)
|
||||
|
||||
**Условие:** Существует юнит-тест, проверяющий, что каждое подставляемое **данные-поле**
|
||||
`render_task_tracker` экранировано: длительность, токены, стоимость (`$`), заголовок с
|
||||
спецсимволами `< > &`, статус-лейбл, имя модели/эффорт.
|
||||
- **PASS:** Тест рендерит карточку с заголовком, содержащим `<`, `>`, `&` (напр.
|
||||
`"A <b>x</b> & <1"`), и стадией < 1 мин; ассертит, что эти спецсимволы из ДАННЫХ
|
||||
присутствуют в выводе только в экранированном виде (`<`/`>`/`&`) и НЕ как
|
||||
сырые теги; одновременно нет двойного экранирования (`&lt;`).
|
||||
- **FAIL:** Тест отсутствует, либо любое из перечисленных данных-полей попадает в текст без
|
||||
экранирования, либо обнаруживается двойное экранирование.
|
||||
|
||||
---
|
||||
|
||||
## AC-3 — Регресс намеренной разметки (ссылка-номер, форматирование)
|
||||
|
||||
**Условие:** После фикса намеренная HTML-разметка карточки продолжает рендериться валидной и
|
||||
кликабельной.
|
||||
- **PASS:** Кликабельный номер задачи (`<a href="…">ORCH-095</a>` от `plane_issue_link`)
|
||||
присутствует в выводе как валидный незаэкранированный `<a>`-тег; строки `🔗 PR #n`/`📦`
|
||||
(`_done_link`) и любое форматирование-обёртка рендерятся; существующие тесты
|
||||
`test_tracker_issue_link.py`/`test_notify_issue_links.py`/`test_telegram_tracker.py`
|
||||
зелёные. Двойного экранирования href/label нет.
|
||||
- **FAIL:** Номер задачи перестал быть кликабельным (`<a>` заэкранирован в `<a>`), либо
|
||||
любой регресс-тест разметки красный.
|
||||
|
||||
---
|
||||
|
||||
## AC-4 — Застрявшая карточка возобновляет обновления
|
||||
|
||||
**Условие:** Карточка, ранее застрявшая на `400 can't parse entities` (класс ORCH-093), после
|
||||
фикса снова обновляется.
|
||||
- **PASS:** На следующем переходе стадии текст рендера больше не содержит небезопасной
|
||||
подстроки → `editMessageText` проходит (`200`); ИЛИ (если выбрана стратегия FR-4-опц.)
|
||||
перманентный parse-фейл классифицируется как повод переотправить свежую карточку, и
|
||||
`update_task_tracker` отправляет новую. Поведение покрыто тестом (рендер валиден → edit-путь
|
||||
не возвращает `EDIT_FAILED` из-за parse-ошибки).
|
||||
- **FAIL:** После фикса карточка с прежним содержимым по-прежнему даёт `EDIT_FAILED` и не
|
||||
обновляется/не переотправляется; либо защита от дублей (ORCH-087) сломана — транзиентный
|
||||
фейл теперь плодит дубликаты карточек.
|
||||
|
||||
---
|
||||
|
||||
## AC-5 — never-raise, зелёный регресс, CHANGELOG
|
||||
|
||||
**Условие:** Контракт надёжности и гигиена изменения сохранены.
|
||||
- **PASS:** `render_task_tracker`/`update_task_tracker`/`edit_telegram` не выбрасывают
|
||||
исключение наружу при любом входе (включая «битый» заголовок/None); `pytest tests/ -q`
|
||||
полностью зелёный; в `CHANGELOG.md` есть запись о фиксе ORCH-095; `STAGE_TRANSITIONS`/
|
||||
`QG_CHECKS`/`check_*`/схема БД не изменены (diff их не трогает).
|
||||
- **FAIL:** Любой тест в `tests/` красный; обнаружено непойманное исключение в пути рендера;
|
||||
тронуты машина стадий/гейты/схема БД; нет записи в `CHANGELOG.md`.
|
||||
|
||||
---
|
||||
|
||||
## Сводная матрица AC ↔ FR/BR
|
||||
|
||||
| AC | Покрывает |
|
||||
|----|-----------|
|
||||
| AC-1 | BR-1, BR-3 / FR-1 |
|
||||
| AC-2 | BR-2 / FR-2 |
|
||||
| AC-3 | BR-4 / FR-3 |
|
||||
| AC-4 | BR-5 / FR-4 |
|
||||
| AC-5 | NFR-1, NFR-2 / FR-5 |
|
||||
95
docs/work-items/ORCH-095/04-test-plan.yaml
Normal file
95
docs/work-items/ORCH-095/04-test-plan.yaml
Normal file
@@ -0,0 +1,95 @@
|
||||
work_item: ORCH-095
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
title: "HTML-безопасность динамических полей render_task_tracker (фикс инъекции «<1м»)"
|
||||
framework: pytest
|
||||
scope: >
|
||||
Покрывается: HTML-безопасность всех подставляемых данных в render_task_tracker
|
||||
(длительности < 1 мин, токены/стоимость, имя модели/эффорт, статус-лейбл, заголовок со
|
||||
спецсимволами), сохранность намеренной разметки (<a href> номер задачи, _done_link),
|
||||
возобновление обновлений застрявшей карточки, never-raise. Вне покрытия: реальная сеть к
|
||||
Telegram Bot API (мокируется httpx), изменения STAGE_TRANSITIONS/QG_CHECKS/схемы БД (не
|
||||
трогаются).
|
||||
notes: >
|
||||
Тесты — изоляция от сети: httpx.post/get мокируются; БД — временная SQLite-фикстура с
|
||||
задачей и agent_runs (стадия < 60 с). Полный регресс pytest tests/ -q должен оставаться
|
||||
зелёным, включая существующие test_telegram_tracker.py / test_tracker_*.py /
|
||||
test_notifications_orphans.py / test_notify_issue_links.py. Регрессом считается: красный
|
||||
любой существующий тест трекера, заэкранированная намеренная разметка, двойное
|
||||
экранирование, непойманное исключение в пути рендера.
|
||||
|
||||
tests:
|
||||
- id: TC-01
|
||||
type: unit
|
||||
description: "_fmt_minutes для длительности < 60 с (напр. 30) не возвращает сырой '<1м': результат HTML-безопасен (<1м либо переформулированный '~0м'/'< 1 мин' без сырого '<')."
|
||||
module: tests/test_tracker_html_escape.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-02
|
||||
type: unit
|
||||
description: "_fmt_minutes для граничных входов (0, None, нечисловое, ровно 60, большое значение) — never-raise и HTML-безопасный вывод во всех ветках."
|
||||
module: tests/test_tracker_html_escape.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-03
|
||||
type: unit
|
||||
description: "render_task_tracker для задачи со стадией < 1 мин: в выходном тексте нет неэкранированного '<' из данных длительности; подстрока длительности безопасна для parse_mode=HTML."
|
||||
module: tests/test_tracker_html_escape.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-04
|
||||
type: unit
|
||||
description: "render_task_tracker с заголовком, содержащим спецсимволы '<', '>', '&' (напр. 'A <b>x</b> & <1'): спецсимволы данных присутствуют только экранированными (</>/&), не как сырые теги; двойного экранирования (&lt;) нет."
|
||||
module: tests/test_tracker_html_escape.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-05
|
||||
type: unit
|
||||
description: "Статус-лейбл (_card_status_label) и имя модели/эффорт, попадающие в текст карточки, экранированы (defence-in-depth): спецсимволы в них не ломают HTML."
|
||||
module: tests/test_tracker_html_escape.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-06
|
||||
type: unit
|
||||
description: "Метрики токенов/стоимости (fmt_tokens/fmt_cost) в карточке HTML-безопасны: '$' и числовой формат не порождают сырых тегов."
|
||||
module: tests/test_tracker_html_escape.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-07
|
||||
type: unit
|
||||
description: "Регресс намеренной разметки: кликабельный номер задачи (plane_issue_link -> <a href>) присутствует в выводе как валидный незаэкранированный <a>-тег; href/label не задвоены экранированием."
|
||||
module: tests/test_tracker_html_escape.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-08
|
||||
type: unit
|
||||
description: "Регресс _done_link: для завершённой задачи строка '🔗 PR #n · 📦 Внедрено' рендерится валидной (ссылочная разметка не экранирована)."
|
||||
module: tests/test_tracker_html_escape.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-09
|
||||
type: integration
|
||||
description: "update_task_tracker (edit-режим) с замоканным editMessageText: текст карточки со стадией < 1 мин принимается (мок ассертит отсутствие 'can't parse entities'-триггера, т.е. нет сырого '<1м' в payload text)."
|
||||
module: tests/test_tracker_html_escape.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-10
|
||||
type: integration
|
||||
description: "Возобновление застрявшей карточки (AC-4): после фикса валидный рендер проходит edit-путь без EDIT_FAILED из-за parse-ошибки; защита от дублей сохранена — транзиентный (network) фейл по-прежнему НЕ плодит новую карточку."
|
||||
module: tests/test_tracker_html_escape.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-11
|
||||
type: unit
|
||||
description: "never-raise: render_task_tracker на 'битых' входах (отсутствует задача, None-заголовок, нечисловые длительности) возвращает fallback-строку, не выбрасывает исключение."
|
||||
module: tests/test_tracker_html_escape.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-12
|
||||
type: integration
|
||||
description: "Полный регресс существующих тестов трекера (test_telegram_tracker.py, test_tracker_issue_link.py, test_tracker_status_line.py, test_notifications_orphans.py, test_notify_issue_links.py) остаётся зелёным после фикса."
|
||||
module: tests/test_telegram_tracker.py
|
||||
expected: PASS
|
||||
@@ -0,0 +1,209 @@
|
||||
---
|
||||
work_item: ORCH-095
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: accepted
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# ADR-001: HTML-безопасный рендер данных live-карточки трекера (устранение инъекции «<1м»)
|
||||
|
||||
Work Item: **ORCH-095** — HTML-инъекция `<1м` в `render_task_tracker` застывает live-карточку
|
||||
Стадия: **architecture**
|
||||
Сквозная регистрация: **N/A — локальное решение задачи.** Изменение целиком в слое рендера
|
||||
уведомлений (`src/notifications.py`); новой стадии/QG/компонента/смены БД нет, инварианты
|
||||
`STAGE_TRANSITIONS`/`QG_CHECKS`/схемы не затрагиваются → глобальный `adr-NNNN` не заводится
|
||||
(прецедент — ORCH-091, такой же indication-only фикс рендера, тоже без сквозного ADR).
|
||||
|
||||
## Статус
|
||||
Accepted
|
||||
|
||||
## Контекст
|
||||
|
||||
Live-карточка задачи (`src/notifications.py::render_task_tracker`) — основной канал видимости
|
||||
конвейера для оператора, инвариант «одна карточка на задачу» (ORCH-042/067/087). Карточка
|
||||
отправляется и редактируется с `parse_mode=HTML` (`send_telegram:58`, `edit_telegram:175`).
|
||||
|
||||
**Сверено по коду.** `_fmt_minutes(seconds)` (`notifications.py:280-290`) при `0 < seconds < 60`
|
||||
возвращает литерал `"<1м"`:
|
||||
|
||||
```python
|
||||
if seconds < 60:
|
||||
return "<1м"
|
||||
```
|
||||
|
||||
Эта подстрока интерполируется в HTML-текст карточки **без экранирования** (`_stage_line`:
|
||||
`dur = _fmt_minutes(dur_sum)` → строка `f"✅ {label:<13} {dur} · …"`; те же `_fmt_minutes` /
|
||||
`_capped_review_str` в строке BRD и в итоговой строке времени). Telegram трактует `<1м` как
|
||||
открывающий HTML-тег → `editMessageText` отвечает `400 Bad Request: can't parse entities:
|
||||
Unsupported start tag "1м"`. В `edit_telegram` неизвестный `400` классифицируется как
|
||||
`EDIT_FAILED` (`notifications.py:203`), а `update_task_tracker` по ветке `EDIT_FAILED` делает
|
||||
ранний `return` (анти-дубль ORCH-087) → **карточка застывает** (воспроизведено детерминированно
|
||||
09.06 на ORCH-093, `message_id 18854`).
|
||||
|
||||
**Корневой класс шире одного `<1м`.** Текст карточки — смесь (а) намеренной разметки-обёртки
|
||||
(`<a href>` номер задачи `num_html`, `link_for`, `_done_link`; заголовок уже экранирован как
|
||||
`esc_title`, `notifications.py:428`) и (б) подставляемых **данных**. Экранирована только
|
||||
категория-обёртка (href/label в `plane_issue_link` через `html.escape(..., quote=True)`) и
|
||||
заголовок. Прочие данные — длительности (`_fmt_minutes`/`_capped_review_str`), статус-лейбл
|
||||
(`_card_status_label` → `status_label`), имя модели (`short_model_name`), эффорт (`_run_effort`),
|
||||
токены/стоимость (`fmt_tokens`/`fmt_cost`) — вставляются сырыми. `<1м` — первый сработавший
|
||||
экземпляр класса «неэкранированные данные в HTML-тексте»; ТЗ требует закрыть класс, а не символ
|
||||
(BR-2/FR-2).
|
||||
|
||||
«Как есть» не годится: симптом плавающий (ловится только когда хотя бы одна стадия длилась
|
||||
< 60 с и её строка попадает в редактируемый текст), а отказ перманентный для конкретной карточки
|
||||
до конца жизни задачи — оператор слепнет.
|
||||
|
||||
## Решение
|
||||
|
||||
### Сводка
|
||||
|
||||
Локализуем HTML-безопасность в **границе рендера**: каждое подставляемое **данные-значение**
|
||||
экранируется `html.escape(...)` ровно один раз в точке интерполяции в `render_task_tracker`;
|
||||
функции-источники данных (`_fmt_minutes`, `short_model_name`, `_run_effort`, `fmt_tokens`,
|
||||
`fmt_cost`, `_card_status_label`) остаются **HTML-агностичными** (производят данные, не разметку).
|
||||
Намеренная разметка-обёртка (`num_html`, `link_for(...)`, `_done_link`, уже-экранированный
|
||||
`esc_title`) через экранирование **не** проходит. Литерал `<1м` в `_fmt_minutes` **сохраняется
|
||||
как есть**: будучи экранированным на границе (`<1м`), он рендерится оператору визуально
|
||||
идентично (`<1м`) → видимый формат не меняется, согласование формулировки не требуется.
|
||||
|
||||
### D1 — Точка внесения экранирования: граница рендера, не источник данных (⇒ FR-1, FR-2)
|
||||
|
||||
Экранирование делается на **потребителе** (внутри `render_task_tracker`/`_stage_line`), а не
|
||||
внутри функций-источников. Модель «слотов»: текст карточки собирается из слотов двух категорий —
|
||||
|
||||
- **Категория M (markup, НЕ экранировать):** `num_html` (`plane_issue_link`, внутри уже
|
||||
экранированы href+label), `link_for(...)` в строке «⏳ ждёт …», `_done_link(...)`
|
||||
(«🔗 PR #n · 📦 Внедрено»), `esc_title` (уже экранирован в строке 428).
|
||||
- **Категория D (data, экранировать ровно один раз):** `dur` (`_fmt_minutes`/`_capped_review_str`),
|
||||
`status_label` (`_card_status_label`), `model` (`short_model_name`), `effort` (`_run_effort`),
|
||||
`in_tok`/`out_tok` (`fmt_tokens`), `cost` (`fmt_cost`), а также числовые `attempt` и static-лейблы
|
||||
стадий (`_TRACKER_STAGES`/`_BRD_LABEL` — статичны и безопасны, но проходят через D ради
|
||||
единообразного инварианта).
|
||||
|
||||
Рекомендуемая реализация (необязательна к буквальному следованию — выбор формы за developer):
|
||||
завести тонкий модуль-локальный хелпер `def _esc(x): return html.escape(str(x))` (never-raise:
|
||||
на исключении `str()` → пустая строка/исходный fallback) и обернуть им каждый D-слот в момент
|
||||
присваивания, например `dur = _esc(_fmt_minutes(dur_sum))`, `model = _esc(short_model_name(...))`,
|
||||
`status_label = _esc(status_label)`. Источники данных НЕ трогаются (в т.ч. `src/usage.py` —
|
||||
`fmt_tokens`/`fmt_cost`/`short_model_name` остаются как есть; defence-in-depth делается на
|
||||
потребителе, как зафиксировано в ТЗ §2).
|
||||
|
||||
**Почему граница рендера, а не источник.** (1) Single-responsibility: `_fmt_minutes` и
|
||||
`short_model_name` используются и вне HTML-контекста (логи, потенциально иные потребители) —
|
||||
вшивать `<` в их вывод сделало бы данные «грязными» в не-HTML-контексте. (2) Инвариант FR-2
|
||||
формулируется и тестируется как свойство ОДНОЙ функции (`render_task_tracker`): «ни один символ
|
||||
`< > &` из данных не остаётся неэкранированным в выходе» — а не как разрозненные контракты пяти
|
||||
источников. (3) Экранирование на границе по построению исключает двойное экранирование: каждый
|
||||
D-слот экранируется в ровно одной точке; M-слоты не экранируются вовсе.
|
||||
|
||||
**Инвариант D1:** видимый оператору формат всех D-полей не меняется (escape `<1м`→`<1м`
|
||||
рендерится как `<1м`; `~Nм`, `Nм`, токены/стоимость/модель символов `< > &` не содержат →
|
||||
escape для них no-op).
|
||||
|
||||
### D2 — Сохранение `<1м` в источнике; формат-источник `_fmt_minutes` не меняется (⇒ FR-1, BR-3)
|
||||
|
||||
BR-3/FR-1 допускают два пути: (а) экранировать `<1м`, либо (б) переформулировать (`~0м` /
|
||||
`< 1 мин`). Выбираем **(а)**: `_fmt_minutes` продолжает возвращать `"<1м"`, безопасность даёт
|
||||
escape на границе (D1). Это минимизирует поверхность изменения (никаких правок числовой/строковой
|
||||
логики `_fmt_minutes`, `_capped_review_str`, тестов формата длительности) и сохраняет видимый
|
||||
оператору вид `<1м` без согласования новой формулировки. `_fmt_minutes` сохраняет never-raise
|
||||
(нечисловой/None → `0м`) без изменений.
|
||||
|
||||
### D3 — Defence-in-depth: экранируются ВСЕ D-поля, включая сейчас-безопасные (⇒ FR-2, BR-2)
|
||||
|
||||
Экранируются все поля категории D, в т.ч. сейчас гарантированно безопасные (`fmt_tokens`/
|
||||
`fmt_cost` дают только цифры/`.`/`k`/`M`/`$`; `short_model_name` — `^claude-…$`). Стоимость
|
||||
нулевая (escape безопасной строки — no-op), выгода — **структурный инвариант**: «каждый D-слот
|
||||
карточки экранирован», который защищает от регрессии при будущей смене формата любого источника
|
||||
(напр. если в имя модели/эффорта когда-нибудь попадёт пользовательский ввод). Тест AC-2 ассертит
|
||||
инвариант, а не отдельные поля.
|
||||
|
||||
### D4 — FR-4 (восстановление застрявших карточек): авто-recovery следующим рендером; парс-фейл НЕ переклассифицируется (⇒ BR-5, FR-4)
|
||||
|
||||
Механизм восстановления — **достаточное условие по умолчанию** из FR-4: после деплоя фикса на
|
||||
ближайшем переходе стадии `update_task_tracker` рендерит НОВЫЙ безопасный текст и вызывает
|
||||
`edit_telegram(mid, new_text)` → Telegram отвечает `200` → застрявшая карточка (класс ORCH-093)
|
||||
обновляется на месте. **Нового кода не требуется.**
|
||||
|
||||
Опциональную переклассификацию `can't parse entities` в `edit_telegram`/`update_task_tracker`
|
||||
(переотправка свежей карточки вместо `EDIT_FAILED`) **отвергаем**:
|
||||
|
||||
- **Не помогает.** Если текст всё ещё небезопасен, `send_telegram` упадёт на том же `400`
|
||||
идентично `editMessageText` (тот же `parse_mode=HTML`) и вернёт `None` → новой карточки нет.
|
||||
После фикса D1–D3 источник `can't parse entities` из НАШИХ данных структурно устранён, поэтому
|
||||
отдельная ветка восстановления лечит несуществующий после фикса случай.
|
||||
- **Риск.** Любое касание ветки `EDIT_FAILED`/леджера сирот рискует инвариантом ORCH-087
|
||||
(транзиентный фейл НЕ должен плодить карточки). Минимальная поверхность безопаснее.
|
||||
|
||||
`edit_telegram`, `update_task_tracker`, `send_telegram`, леджер `tracker_messages`, режимы
|
||||
`bump`/`edit` — **не трогаются**. Known-limitation (унаследовано ORCH-087): для карточки, у
|
||||
которой после фикса больше НЕ будет переходов стадии (задача завершилась до деплоя), повторного
|
||||
рендера не возникнет → карточка остаётся замёрзшей; Telegram-лимит 48ч делает её неперезаписываемой
|
||||
вне окна. BR-5 относится к карточкам в пределах окна с предстоящими переходами.
|
||||
|
||||
### D5 — Граница «данные vs обёртка»: M-слоты неприкосновенны, двойное экранирование запрещено (⇒ FR-3, BR-4)
|
||||
|
||||
`num_html` (`plane_issue_link`), `link_for(...)`, `_done_link(...)` и `esc_title` через `_esc`
|
||||
НЕ проходят — остаются валидным HTML, номер задачи кликабелен. Внутренности `plane_issue_link`
|
||||
(href `html.escape(url, quote=True)`, label `html.escape(work_item_id)`) уже экранированы — повторно
|
||||
их не экранируем (иначе `&lt;`, регресс AC-2/AC-3). Граница явная и тестируемая: D-слот → `_esc`;
|
||||
M-слот → as-is.
|
||||
|
||||
### D6 — Трассировка и инварианты соседних маркеров (⇒ NFR-2, NFR-3)
|
||||
|
||||
`render_task_tracker`/`_stage_line` несут маркеры ORCH-042/067/087/091. Изменение ORCH-095
|
||||
**аддитивно** к ним и обязано сохранить их инварианты: «одна карточка на задачу», леджер сирот и
|
||||
анти-дубль (ORCH-087), отражение откатов + суммирование метрик `_stage_line` (ORCH-091), строка
|
||||
Plane-статуса/кликабельный номер (ORCH-067). Поскольку ORCH-095 лишь оборачивает уже вычисленные
|
||||
D-значения в `_esc`, не меняя ни состава строк, ни порядка, ни логики подавления/суммирования —
|
||||
инварианты сохраняются по построению. Новые/изменённые строки помечаются маркером `ORCH-095`;
|
||||
блок остаётся читаемым (не вводим 3+ новых маркера в один блок → сводный сквозной ADR не требуется,
|
||||
TRACEABILITY анти-археология соблюдена).
|
||||
|
||||
## Альтернативы
|
||||
|
||||
- **Экранировать в источнике (`_fmt_minutes` возвращает `<1м`)** — отвергнуто: пачкает данные
|
||||
в не-HTML-контексте (логи), размазывает инвариант FR-2 по пяти функциям, усложняет защиту от
|
||||
двойного экранирования (D1).
|
||||
- **Переформулировать `<1м` → `~0м`/`< 1 мин`** — отвергнуто: меняет видимый оператору формат
|
||||
(требует согласования), трогает логику/тесты `_fmt_minutes`; escape на границе достигает того же
|
||||
при меньшей поверхности и нулевом визуальном изменении (D2).
|
||||
- **Переключить карточку на `parse_mode=None`/MarkdownV2** — отвергнуто (вне объёма BRD §6):
|
||||
сломает намеренную разметку (`<a href>` номер, `<b>`), MarkdownV2 требует экранирования ещё
|
||||
большего набора символов.
|
||||
- **Переклассификация `can't parse entities` → переотправка** — отвергнуто (D4): не помогает
|
||||
(send падает идентично), риск инварианту анти-дубля ORCH-087.
|
||||
|
||||
## Последствия
|
||||
|
||||
- **+** Класс «неэкранированные данные в HTML-тексте карточки» закрыт целиком (BR-2); `<1м` и
|
||||
любые будущие `< > &` из данных безопасны; карточка со стадией < 1 мин редактируется (`200`).
|
||||
- **+** Структурный defence-in-depth инвариант («каждый D-слот экранирован»), тестируемый одним
|
||||
свойством `render_task_tracker` (AC-2), устойчив к будущим сменам формата источников.
|
||||
- **+** Видимый формат карточки и намеренная разметка (кликабельный номер, `_done_link`) без
|
||||
изменений (BR-3/BR-4); никаких миграций/правок схемы/гейтов (NFR-3/NFR-4).
|
||||
- **+** Застрявшие (в окне) карточки авто-восстанавливаются следующим рендером без нового кода
|
||||
(BR-5).
|
||||
- **−** Точечная дисциплина «D-слот → `_esc`, M-слот → as-is» вносит точку для будущих ошибок
|
||||
(можно забыть обернуть новый D-слот или по ошибке обернуть M-слот → двойное экранирование).
|
||||
Митигейшн: тест-инвариант AC-2 (нет сырого `< > &` из данных И нет `&lt;`) ловит обе
|
||||
ошибки; явный реестр M-слотов в D5.
|
||||
- **−** Карточки задач, завершившихся до деплоя фикса, не восстанавливаются (нет будущего
|
||||
рендера) — known-limitation, унаследовано ORCH-087/Telegram-48ч; вне управляемого.
|
||||
- **Откат:** обычный revert PR (только `src/notifications.py` + тесты + `CHANGELOG.md` +
|
||||
doc-правки); прод-контейнер `orchestrator` не требует ручных операций над данными/БД.
|
||||
|
||||
## Ссылки
|
||||
- BRD: `docs/work-items/ORCH-095/01-brd.md`
|
||||
- TRZ: `docs/work-items/ORCH-095/02-trz.md`
|
||||
- Acceptance: `docs/work-items/ORCH-095/03-acceptance-criteria.md`
|
||||
- Tech-risks: `docs/work-items/ORCH-095/10-tech-risks.md`
|
||||
- Сверено по коду: `src/notifications.py` (`_fmt_minutes:280-290`, `_capped_review_str:315-336`,
|
||||
`render_task_tracker:355-610`, `_stage_line:467-507`, `_card_status_label:1173-1186`,
|
||||
`plane_issue_link:932-949`, `_done_link:613-647`, `link_for:952-984`, `edit_telegram:157-207`,
|
||||
`update_task_tracker:650-746`, `send_telegram:42-71`, `esc_title:428`)
|
||||
- Инварианты соседей: ORCH-042/067 (карточка/номер), ORCH-087 (леджер сирот/анти-дубль),
|
||||
ORCH-091 (откаты/суммирование `_stage_line`) — `docs/architecture/internals.md` §7
|
||||
37
docs/work-items/ORCH-095/10-tech-risks.md
Normal file
37
docs/work-items/ORCH-095/10-tech-risks.md
Normal file
@@ -0,0 +1,37 @@
|
||||
---
|
||||
work_item: ORCH-095
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: accepted
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 10 — Технические риски: ORCH-095 — HTML-безопасность данных live-карточки
|
||||
|
||||
Work Item: **ORCH-095** · Repo: **orchestrator** · Стадия: architecture
|
||||
|
||||
> Информационный (гейтом не парсится). Перечисляет риски реализации и их митигейшн.
|
||||
|
||||
## Реестр рисков
|
||||
|
||||
| ID | Риск | Вер. | Влия. | Митигейшн |
|
||||
|----|------|------|-------|-----------|
|
||||
| TR-1 | **Двойное экранирование** уже-экранированных полей (`esc_title`, href/label внутри `plane_issue_link`) → `&lt;` в выводе, визуальный мусор / регресс AC-2 | Сред. | Сред. | D1/D5: явный реестр M-слотов (markup) — через `_esc` НЕ проходят; `esc_title` остаётся единственной точкой escape заголовка; тест AC-2 ассертит отсутствие `&lt;` |
|
||||
| TR-2 | **Случайное экранирование разметки-обёртки** (`num_html`/`link_for`/`_done_link`) → `<a>` превращается в `<a>`, номер задачи перестаёт быть кликабельным (регресс BR-4/AC-3) | Низ. | Выс. | D5: M-слоты неприкосновенны; регресс-тесты `test_tracker_issue_link.py`/`test_notify_issue_links.py`/`test_telegram_tracker.py` зелёные; AC-3 проверяет наличие валидного `<a href>` в выводе |
|
||||
| TR-3 | **Пропущен новый/существующий D-слот** (забыли обернуть `_esc`) → инъекция возвращается на другом поле | Низ. | Сред. | D3 defence-in-depth (обернуть ВСЕ D-поля разом); тест-инвариант AC-2 рендерит карточку с `< > &` в данных и ассертит отсутствие сырых спецсимволов из данных в выводе (свойство `render_task_tracker`, не пер-поле) |
|
||||
| TR-4 | **Регресс never-raise**: `_esc(str(x))` на «битом» входе (объект с падающим `__str__`) бросает исключение в пути рендера (нарушение NFR-1) | Низ. | Сред. | FR-5: `_esc` сам never-raise (try/except → fallback-строка); путь `render_task_tracker`/`update_task_tracker` уже обёрнут `try/except` (строки 654/745); тест AC-5 с «битым» входом |
|
||||
| TR-5 | **Застрявшая карточка не восстановилась** (задача завершилась до деплоя → нет будущего рендера) | Сред. | Низ. | Принятая known-limitation (D4): авто-recovery работает только при предстоящем переходе стадии; вне окна — Telegram-48ч (унаследовано ORCH-087); BR-5 ограничен карточками в окне |
|
||||
| TR-6 | **Скрытая регрессия инвариантов соседних маркеров** (ORCH-087 анти-дубль, ORCH-091 суммирование `_stage_line`) при правке тела `_stage_line`/`render_task_tracker` | Низ. | Выс. | D6: изменение аддитивно (лишь оборачивает уже вычисленные значения в `_esc`), не меняет состав/порядок строк, логику подавления откатов и суммирования; полный регресс `pytest tests/ -q` зелёный (NFR-2) |
|
||||
| TR-7 | **Self-hosting**: фикс деплоится на общий прод-инстанс (затронуты и enduro-trails) | Низ. | Сред. | NFR-3: изменение только слоя рендера; `STAGE_TRANSITIONS`/`QG_CHECKS`/схема БД не тронуты; обязательная страховка `deploy-staging` (8501) перед прод-деплоем; прод `orchestrator` не рестартится в рамках разработки |
|
||||
|
||||
## Сводный вывод
|
||||
|
||||
Доминирующий класс рисков — **регресс рендера** (двойное экранирование / случайное экранирование
|
||||
разметки / пропущенный D-слот), полностью покрываемый тест-инвариантом AC-2 + существующими
|
||||
регресс-тестами трекера (AC-3/AC-5). Изменение **локализовано** в `src/notifications.py` (слой
|
||||
рендера уведомлений), аддитивно к маркерам ORCH-042/067/087/091, не затрагивает машину стадий,
|
||||
Quality Gates, схему БД, транспортные примитивы и режимы трекера. Остаточный риск для
|
||||
прод-конвейера (self-hosting) — **низкий**: контракт never-raise сохранён, откат — обычный revert
|
||||
PR без операций над данными. Эскалация `arch:major-change` **не требуется**; возврат в анализ
|
||||
**не требуется** (ТЗ реализуемо без нарушения архитектурных принципов).
|
||||
81
docs/work-items/ORCH-095/12-review.md
Normal file
81
docs/work-items/ORCH-095/12-review.md
Normal file
@@ -0,0 +1,81 @@
|
||||
---
|
||||
verdict: APPROVED
|
||||
work_item: ORCH-095
|
||||
stage: review
|
||||
author_agent: reviewer
|
||||
status: approved
|
||||
created_at: 2026-06-10
|
||||
model_used: claude-opus-4-8
|
||||
type: review
|
||||
work_item_id: ORCH-095
|
||||
version: 1
|
||||
---
|
||||
|
||||
# Review ORCH-095
|
||||
|
||||
## Summary
|
||||
|
||||
Фикс HTML-инъекции `<1м` в live-карточке трекера. Точечное, аддитивное, never-raise изменение
|
||||
в индикативном слое (`src/notifications.py`): новый модуль-локальный хелпер `_esc(x) =
|
||||
html.escape(str(x))` оборачивает каждый **data**-слот (`dur`/`_fmt_minutes`/`_capped_review_str`,
|
||||
`status_label`, `model`, `effort`, токены/стоимость) ровно один раз на границе рендера
|
||||
(`render_task_tracker`/`_stage_line`); **markup**-слоты (`num_html`/`link_for`/`_done_link`/
|
||||
уже-экранированный `esc_title`) не трогаются. Источники (`_fmt_minutes`, `src/usage.py`) остаются
|
||||
HTML-агностичными.
|
||||
|
||||
Проверены все четыре оси. Реализация соответствует ТЗ (FR-1…FR-5) и ADR-001 (D1…D6) буквально;
|
||||
все 5 AC выполнены. `STAGE_TRANSITIONS` / `QG_CHECKS` / `check_*` / схема БД / транспорт нотификаций
|
||||
— не тронуты (`git diff` пуст по `src/stages.py`, `src/qg/`, `src/stage_engine.py`, `src/db.py`).
|
||||
Полный регресс `pytest tests/ -q` зелёный (**1437 passed**), новый `tests/test_tracker_html_escape.py`
|
||||
(TC-01…TC-11) — зелёный.
|
||||
|
||||
**Соответствие осям:**
|
||||
1. **ТЗ / AC** — FR-1/AC-1 (`<1м`→`<1м` на границе, источник не меняется), FR-2/AC-2 (все
|
||||
D-слоты экранированы — сверено по коду стр. 471/517-523/529/594/607/614-615/620-621/629),
|
||||
FR-3/AC-3 (M-слоты не экранированы, двойного экранирования нет), FR-4/AC-4 (авто-восстановление
|
||||
следующим рендером, без рискованной переклассификации `EDIT_FAILED` — корректно, защищает
|
||||
инвариант ORCH-087), FR-5/AC-5 (never-raise + зелёный регресс + CHANGELOG). ✓
|
||||
2. **ADR + трассировка** — реализация 1:1 с ADR-001 (escape на границе рендера, не в источнике;
|
||||
M-слоты неприкосновенны). Блоки с маркерами ORCH-042/067/087/091 правлены аддитивно: код лишь
|
||||
оборачивает уже вычисленные D-значения в `_esc`, не меняя состав строк/порядок/логику подавления
|
||||
и суммирования — инварианты сохранены по построению. Сквозной `adr-NNNN` обоснованно не заведён
|
||||
(локальный indication-only фикс). ✓
|
||||
3. **Качество кода** — `_esc` с docstring и never-raise; тесты содержательные (11 TC покрывают
|
||||
каждый AC, включая регресс кликабельного `<a href>`-номера, `_done_link` и анти-дубль ORCH-087
|
||||
на транзиентном фейле). ✓
|
||||
4. **Документация** — обновлены в том же PR: `CHANGELOG.md`, `docs/architecture/README.md`
|
||||
(блок Notifications/Live-tracker), `docs/architecture/internals.md` §7, ADR-001. ✓
|
||||
|
||||
## Findings
|
||||
|
||||
### P0 — Blocker
|
||||
- Нет.
|
||||
|
||||
### P1 — Must fix
|
||||
- Нет.
|
||||
|
||||
### P2 — Should fix
|
||||
- Нет.
|
||||
|
||||
### P3 — Nice-to-have
|
||||
- [ ] `attempt` (`f"… попытка {attempt} …"`, ~стр. 572) и статичные лейблы стадий
|
||||
(`_TRACKER_STAGES`/`_BRD_LABEL`) не проходят через `_esc`. ADR-001 D1 упоминает их в категории D
|
||||
«ради единообразного инварианта», но `attempt` — всегда `int` (`len(agent_runs)`), а лейблы —
|
||||
статичные константы → фактической поверхности инъекции нет, расхождение безвредно. Не блокирует;
|
||||
можно унифицировать при будущем касании блока (оставляю на усмотрение, не требую правки).
|
||||
|
||||
## Документация
|
||||
|
||||
**Обновлена полностью в том же PR — требование правила 6 (CLAUDE.md) выполнено:**
|
||||
- `CHANGELOG.md` — детальная запись ORCH-095 (механизм бага, D1–D5, восстановление, трассировка, тесты).
|
||||
- `docs/architecture/README.md` — компонент «Notifications / Live-tracker» дополнен абзацем ORCH-095
|
||||
(data/markup-слоты, инвариант экранирования на границе, ссылка на ADR).
|
||||
- `docs/architecture/internals.md` §7 — новая подсекция «HTML-безопасность данных карточки (ORCH-095)».
|
||||
- `docs/work-items/ORCH-095/06-adr/ADR-001-html-safe-card-data-render.md` — архитектурное обоснование
|
||||
(выбор точки экранирования, альтернативы, последствия).
|
||||
|
||||
Пункт `README.md` «Известные ограничения» данным фиксом не закрывается (баг корректности, не числился
|
||||
в витрине ограничений) → обновление обзорной витрины (ORCH-079) не требуется.
|
||||
|
||||
**Вывод:** `src/` изменён — документация обновлена синхронно. P0 «документация не обновлена» не
|
||||
применяется.
|
||||
92
docs/work-items/ORCH-095/13-test-report.md
Normal file
92
docs/work-items/ORCH-095/13-test-report.md
Normal file
@@ -0,0 +1,92 @@
|
||||
---
|
||||
result: PASS # PASS | FAIL — машинный вердикт, UPPERCASE
|
||||
work_item: ORCH-095
|
||||
stage: testing
|
||||
author_agent: tester
|
||||
status: pass
|
||||
created_at: 2026-06-10
|
||||
model_used: claude-opus-4-8
|
||||
type: test-report
|
||||
work_item_id: ORCH-095
|
||||
---
|
||||
|
||||
# Test Report — ORCH-095
|
||||
|
||||
Фикс HTML-инъекции «<1м» в live-карточке трекера (`render_task_tracker`). Прогон полного
|
||||
регресса + профильной сюиты, smoke read-only API. Review-вердикт — `APPROVED` (12-review.md).
|
||||
|
||||
## Окружение
|
||||
- Python: 3.12.13
|
||||
- pytest: 8.3.3
|
||||
- Дата: 2026-06-10
|
||||
- Worktree: `/repos/_wt/orchestrator/feature_ORCH-095-bug-html-1-render-task-tracker`
|
||||
(ветка `feature/ORCH-095-bug-html-1-render-task-tracker` — код именно этой задачи, не общий чекаут)
|
||||
|
||||
## Smoke API (read-only, прод-контейнер не трогается)
|
||||
- `GET /health` → `{"status":"ok","service":"orchestrator"}` ✓
|
||||
- `GET /status` → активная задача ORCH-095 (id=80) на стадии `testing`, agent_running=null ✓
|
||||
- `GET /queue` → блок `serial_gate` **присутствует** (ORCH-088): `enabled=true`, репо
|
||||
`orchestrator` — active_task ORCH-095 `testing`, `frozen=false`, waiting пуст; блок
|
||||
`auto_labels` **присутствует** (ORCH-089). Регресса смока нет. ✓
|
||||
|
||||
## Результаты
|
||||
|
||||
### Полный регресс
|
||||
`cd <worktree> && pytest tests/ -v --tb=short` → **1437 passed, 1 warning in 46.89s**.
|
||||
Единственное предупреждение — PydanticDeprecatedSince20 (унаследованное, не относится к задаче).
|
||||
|
||||
### Профильная сюита (ORCH-095)
|
||||
`pytest tests/test_tracker_html_escape.py -v` → **24 passed** (новый файл, TC-01…TC-11).
|
||||
|
||||
### Регресс существующих тестов трекера (TC-12)
|
||||
`pytest tests/test_telegram_tracker.py tests/test_tracker_issue_link.py
|
||||
tests/test_tracker_status_line.py tests/test_notifications_orphans.py
|
||||
tests/test_notify_issue_links.py -q` → **91 passed**.
|
||||
|
||||
### Сопоставление с тест-планом (04-test-plan.yaml)
|
||||
|
||||
| TC ID | Описание | Тест-функция | Результат |
|
||||
|-------|----------|--------------|-----------|
|
||||
| TC-01 | `_fmt_minutes(<60с)` → HTML-безопасно, без сырого `<1м` | `test_tc01_sub_minute_duration_escaped_at_boundary` | PASS |
|
||||
| TC-02 | `_fmt_minutes` граничные входы (0/None/нечисло/60/большое/-5/59/61) — never-raise + безопасно | `test_tc02_fmt_minutes_never_raise_and_safe[*]` (9 кейсов) | PASS |
|
||||
| TC-03 | `render_task_tracker` со стадией < 1 мин — нет неэкранированного `<` из длительности | `test_tc03_render_sub_minute_stage_is_safe` | PASS |
|
||||
| TC-04 | Заголовок со спецсимволами `< > &` — только экранированно, без двойного экранирования | `test_tc04_title_special_chars_escaped_no_double` | PASS |
|
||||
| TC-05 | Статус-лейбл / имя модели / эффорт экранированы (defence-in-depth) | `test_tc05_status_label_escaped`, `test_tc05_model_escaped`, `test_tc05_effort_escaped` | PASS |
|
||||
| TC-06 | Токены/стоимость (`$`, числа) HTML-безопасны | `test_tc06_token_cost_metrics_safe` | PASS |
|
||||
| TC-07 | Регресс намеренной разметки: `<a href>` номер задачи остаётся кликабельным, не задвоен | `test_tc07_issue_number_stays_clickable` | PASS |
|
||||
| TC-08 | Регресс `_done_link`: строка `🔗 PR #n · 📦 Внедрено` валидна, не экранирована | `test_tc08_done_link_markup_preserved` | PASS |
|
||||
| TC-09 | `update_task_tracker` (edit) — payload text не содержит сырого `<1м`-триггера | `test_tc09_edit_payload_is_parse_safe` | PASS |
|
||||
| TC-10 | Возобновление застрявшей карточки + анти-дубль ORCH-087 на транзиентном фейле | `test_tc10_valid_render_edits_in_place_no_new_card`, `test_tc10_transient_fail_does_not_duplicate` | PASS |
|
||||
| TC-11 | never-raise на битых входах (нет задачи / None-заголовок / битые timestamps / `_esc`) | `test_tc11_never_raise_missing_task`, `test_tc11_never_raise_none_title_and_bad_timestamps`, `test_tc11_esc_never_raises` | PASS |
|
||||
| TC-12 | Полный регресс существующих тестов трекера остаётся зелёным | suite (91 passed) + полный регресс (1437 passed) | PASS |
|
||||
|
||||
**Все 12 TC выполнены и сопоставлены.**
|
||||
|
||||
### Сопоставление с критериями приёмки (03-acceptance-criteria.md)
|
||||
|
||||
| AC | Содержание | Покрытие | Результат |
|
||||
|----|------------|----------|-----------|
|
||||
| AC-1 | Стадия < 1 мин не ломает парсер Telegram (`<1м`) | TC-01, TC-03, TC-09 | PASS |
|
||||
| AC-2 | Все динамические поля HTML-безопасны, без двойного экранирования | TC-02, TC-04, TC-05, TC-06 | PASS |
|
||||
| AC-3 | Регресс намеренной разметки (`<a href>` номер, `_done_link`, форматирование) | TC-07, TC-08, TC-12 | PASS |
|
||||
| AC-4 | Застрявшая карточка возобновляет обновления; анти-дубль ORCH-087 цел | TC-10 | PASS |
|
||||
| AC-5 | never-raise, зелёный регресс, CHANGELOG, машина стадий/гейты/схема БД не тронуты | TC-11, TC-12, полный регресс 1437 passed | PASS |
|
||||
|
||||
## Вывод pytest
|
||||
```
|
||||
======================= 1437 passed, 1 warning in 46.89s =======================
|
||||
```
|
||||
Профильная сюита:
|
||||
```
|
||||
======================== 24 passed, 1 warning in 1.31s =========================
|
||||
```
|
||||
Регресс трекера (TC-12):
|
||||
```
|
||||
91 passed, 1 warning in 4.32s
|
||||
```
|
||||
|
||||
## Итог
|
||||
PASS — полный регресс зелёный (1437 passed), профильная сюита ORCH-095 зелёная (24 passed),
|
||||
каждый TC из тест-плана выполнен и сопоставлен с критериями приёмки, smoke API read-only
|
||||
(`/health`, `/status`, `/queue` с блоками `serial_gate` + `auto_labels`) без регресса.
|
||||
Обоснованных FAIL/смок-сбоев нет → `result: PASS` → задача переходит на `deploy-staging`.
|
||||
12
docs/work-items/ORCH-095/14-deploy-log.md
Normal file
12
docs/work-items/ORCH-095/14-deploy-log.md
Normal file
@@ -0,0 +1,12 @@
|
||||
---
|
||||
deploy_status: SUCCESS
|
||||
work_item: ORCH-095
|
||||
hook_exit_code: 0
|
||||
deployed_by: deploy-finalizer
|
||||
---
|
||||
|
||||
# Deploy log — ORCH-036 executable self-deploy
|
||||
|
||||
Прод-деплой завершён хост-хуком с exit-code `0` -> `deploy_status: SUCCESS`.
|
||||
|
||||
Вердикт зафиксирован детерминированным finalizer'ом (Фаза C), не LLM.
|
||||
39
docs/work-items/ORCH-095/15-staging-log.md
Normal file
39
docs/work-items/ORCH-095/15-staging-log.md
Normal file
@@ -0,0 +1,39 @@
|
||||
---
|
||||
staging_status: SUCCESS
|
||||
work_item: ORCH-095
|
||||
stage: deploy-staging
|
||||
author_agent: deployer
|
||||
status: success
|
||||
created_at: 2026-06-10
|
||||
model_used: claude-opus-4-8
|
||||
timestamp: 2026-06-09T21:15:53Z
|
||||
base_url: http://localhost:8501
|
||||
---
|
||||
|
||||
# Staging Gate Log
|
||||
|
||||
> Машинный вердикт читается ТОЛЬКО из `staging_status:` во frontmatter. Реален для self-hosting
|
||||
> (`orchestrator`). `SUCCESS` → дальше; `FAILED` → откат.
|
||||
|
||||
Staging test suite completed against the live `orchestrator-staging` stand (8501). Run canonically
|
||||
**inside the container** via the Docker Engine API over `/var/run/docker.sock` (the `docker` CLI
|
||||
binary is unavailable in the agent sandbox; the exec was driven through the socket — equivalent to
|
||||
`docker exec orchestrator-staging python3 /repos/orchestrator/scripts/staging_check.py
|
||||
--base-url http://localhost:8501 --mode stub`). **Exit code 0 → `staging_status: SUCCESS`.**
|
||||
|
||||
All REAL pipeline checks passed. The two non-passing checks are the known sandbox-infra checks
|
||||
(C9a/C9b), waived per ORCH-061 (SANDBOX bot accounts are not members of the sandbox Plane project —
|
||||
this is not a pipeline regression). Verdict line from the script:
|
||||
|
||||
```
|
||||
INFRA-WAIVED: C9a Branch appears in orchestrator-sandbox, C9b Analyst job enqueued in staging queue (known sandbox-infra; real checks green)
|
||||
VERDICT: SUCCESS (exit 0) — SUCCESS (infra-waived): ['C9a Branch appears in orchestrator-sandbox', 'C9b Analyst job enqueued in staging queue'] are known sandbox-infra checks; all real checks green
|
||||
```
|
||||
|
||||
## Results — 8/10 checks PASS (exit 0)
|
||||
- **Block A (SMOKE)**: A1 `/health` 200 ok · A2 `/queue` 200 with counts/max_concurrency/resilience · A3 `ORCH_STAGING=true`. All PASS.
|
||||
- **Block B (ACCESS)**: B4 Plane sandbox accessible (sandbox=YES) · B5 Gitea `orchestrator-sandbox` accessible push=true · B6 Registry isolation (sandbox=YES, prod-ET=NO, prod-ORCH=NO). All PASS.
|
||||
- **Block C (E2E, stub)**: C7 Create issue in Plane SANDBOX PASS · C8 Trigger pipeline via `/webhook/plane` PASS · C9a/C9b FAIL → **waived** (sandbox-infra). Cleanup: Plane issue deleted (HTTP 204).
|
||||
|
||||
REAL failed: **none**.
|
||||
SANDBOX_INFRA waived: C9a (branch in orchestrator-sandbox), C9b (analyst job enqueued).
|
||||
@@ -4,6 +4,10 @@ pydantic-settings==2.5.0
|
||||
httpx==0.27.0
|
||||
pytest==8.3.3
|
||||
pytest-asyncio==0.23.8
|
||||
# ORCH-027: coverage measurement for the coverage-gate. pytest-cov wraps coverage.py;
|
||||
# the gate runs `pytest --cov=src --cov-report=json` in the per-branch worktree and
|
||||
# reads totals.percent_covered (line coverage). Offline — no network at measure time.
|
||||
pytest-cov==5.0.0
|
||||
# ORCH-022: dependency audit (OSV/PyPI advisory) for the security-gate. Needs the
|
||||
# network at scan time -> an unreachable feed degrades fail-open + warning by
|
||||
# default (ADR-001 Р-3 / 07-infra I-2). gitleaks (secret-scan) is a pinned Go
|
||||
|
||||
@@ -259,6 +259,38 @@ class Settings(BaseSettings):
|
||||
security_dep_audit_fail_closed: bool = False
|
||||
security_secrets_block: bool = True
|
||||
|
||||
# ORCH-027: deterministic test-coverage gate on the deploy-staging -> deploy edge
|
||||
# (AFTER the merge-gate, BEFORE image-freshness). Measures line coverage of src/
|
||||
# under pytest-cov in the per-branch worktree, compares to an absolute floor and/or
|
||||
# the ratchet baseline of `main`, and FAILs (rollback to development + developer
|
||||
# retry) on degradation. Leaf src/coverage_gate.py (never-raise); machine verdict in
|
||||
# 18-coverage-report.md frontmatter (coverage_status:). See ADR-001-coverage-gate.md.
|
||||
# coverage_gate_enabled -> SINGLE kill-switch; False -> pipeline 1:1 as before
|
||||
# ORCH-027 for everyone. Env ORCH_COVERAGE_GATE_ENABLED.
|
||||
# coverage_gate_repos -> CSV of repos where the gate is REAL; empty -> only
|
||||
# the self-hosting repo (orchestrator). Mirrors
|
||||
# security_gate_repos / image_freshness_repos.
|
||||
# coverage_min_percent -> absolute floor (% line coverage) for policy
|
||||
# absolute/both. Default 0.0 -> safe rollout: the
|
||||
# ratchet baseline drives no-regression, the floor
|
||||
# never false-fails day one.
|
||||
# coverage_policy -> absolute | baseline | both (default both): which
|
||||
# condition(s) must hold (D3).
|
||||
# coverage_epsilon -> small non-negative noise tolerance (%) so jitter at
|
||||
# the boundary does not bounce a task (NFR-4).
|
||||
# coverage_tool_fail_closed -> strict mode: a coverage-tool error -> FAIL instead
|
||||
# of the default fail-open + warning (FR-6). Default
|
||||
# False (anti-loop, precedent ORCH-061/022).
|
||||
# coverage_run_timeout_s -> wall-clock budget for the pytest --cov run (mirrors
|
||||
# merge_retest_timeout_s / security_scan_timeout_s).
|
||||
coverage_gate_enabled: bool = True
|
||||
coverage_gate_repos: str = ""
|
||||
coverage_min_percent: float = 0.0
|
||||
coverage_policy: str = "both"
|
||||
coverage_epsilon: float = 0.5
|
||||
coverage_tool_fail_closed: bool = False
|
||||
coverage_run_timeout_s: int = 900
|
||||
|
||||
# ORCH-061: tolerate KNOWN sandbox-infra FAILs (C9a/C9b) in the staging suite.
|
||||
# The self-hosting deploy-staging stage looped because scripts/staging_check.py
|
||||
# exited non-zero on ANY failed check, so two infra-only failures (sandbox bot
|
||||
@@ -549,6 +581,31 @@ class Settings(BaseSettings):
|
||||
merge_pr_timeout_s: int = 60
|
||||
merge_verify_timeout_s: int = 60
|
||||
|
||||
# ORCH-093: deterministic merge-actor retry of TRANSIENT Gitea merge errors.
|
||||
# The incident ORCH-063 had a green self-deploy + an open, mergeable PR, yet
|
||||
# POST /pulls/{n}/merge returned HTTP 405 ("Please try again later") because
|
||||
# Gitea was still recomputing `mergeable` right after the push — the one-shot
|
||||
# merge_pr returned False, the ORCH-071/081 backstop HELD the task on `deploy`,
|
||||
# and a human had to re-merge by hand. merge_pr now wraps ONLY the mutating
|
||||
# POST in a bounded exponential-backoff retry-loop on TRANSIENT outcomes
|
||||
# (405/408/5xx/network-timeout, and 409|422 while the PR is still mergeable);
|
||||
# TERMINAL outcomes (403/404/real conflict) -> fast honest False (the HOLD
|
||||
# protection is unchanged). Mirrors the ci_poll_* idiom of check_ci_green.
|
||||
# merge_retry_enabled -> kill-switch; False -> exactly one POST
|
||||
# (byte-for-byte the prior one-shot behaviour,
|
||||
# env ORCH_MERGE_RETRY_ENABLED).
|
||||
# merge_retry_max_attempts -> max POST attempts on a transient outcome
|
||||
# (env ORCH_MERGE_RETRY_MAX_ATTEMPTS).
|
||||
# merge_retry_backoff_base_s -> exponential backoff base seconds
|
||||
# (env ORCH_MERGE_RETRY_BACKOFF_BASE_S).
|
||||
# merge_retry_backoff_max_s -> per-sleep backoff ceiling seconds; total sleep
|
||||
# is bounded by (N-1) * max so the monitor-thread
|
||||
# is never wedged (env ORCH_MERGE_RETRY_BACKOFF_MAX_S).
|
||||
merge_retry_enabled: bool = True
|
||||
merge_retry_max_attempts: int = 3
|
||||
merge_retry_backoff_base_s: int = 2
|
||||
merge_retry_backoff_max_s: int = 5
|
||||
|
||||
# ORCH-026: intra-repo merge serialisation (Level A) + declarative task
|
||||
# dependencies (Level B). Level A reuses the ORCH-043/065 merge-lease window
|
||||
# (no new mechanism) — the merge-lease already serialises "merge -> main-updated"
|
||||
@@ -624,6 +681,32 @@ class Settings(BaseSettings):
|
||||
stop_status_enabled: bool = True
|
||||
stop_status_repos: str = ""
|
||||
|
||||
# ORCH-094: terminal-window-aware guard for deploy-phase Plane status setters.
|
||||
# A task with DB stage='done' (and 0 active jobs) was flapping in Plane between
|
||||
# `Awaiting Deploy` and `Monitoring after Deploy` instead of holding `Done`,
|
||||
# because the three deploy-phase setters (set_issue_awaiting_deploy /
|
||||
# set_issue_deploying / set_issue_monitoring) are terminal-blind: any stale /
|
||||
# duplicate / unknown caller under the bot token re-stamps an intermediate
|
||||
# deploy status over the terminal Done. ORCH-094 puts a single low choke-point
|
||||
# guard on the entry of those three setters (leaf src/deploy_status_guard.py):
|
||||
# for a task whose DB stage is terminal it converges to Done idempotently
|
||||
# (CONVERGE_DONE), EXCEPT the legitimate post-deploy `Monitoring` while the
|
||||
# window is still active (ARMED & not DONE). Additive, never-raise; reads the
|
||||
# existing tasks.stage (no migration); STAGE_TRANSITIONS / QG_CHECKS /
|
||||
# machine-verdict keys are NOT touched. See
|
||||
# docs/work-items/ORCH-094/06-adr/ADR-001-terminal-window-aware-deploy-status-guard.md
|
||||
# and the cross-cutting docs/architecture/adr/adr-0028-…md.
|
||||
# deploy_status_guard_enabled -> kill-switch (env ORCH_DEPLOY_STATUS_GUARD_ENABLED).
|
||||
# False -> the setters are terminal-blind, behaviour
|
||||
# strictly 1:1 as before ORCH-094 (zero regression).
|
||||
# deploy_status_guard_repos -> CSV scope (env ORCH_DEPLOY_STATUS_GUARD_REPOS).
|
||||
# Empty -> applies ONLY to the self-hosting repo
|
||||
# (orchestrator), where deploy-phase statuses are set
|
||||
# at all; non-empty -> only the listed repos. Tokens
|
||||
# are sanitised (^[A-Za-z0-9._-]+$) by the guard leaf.
|
||||
deploy_status_guard_enabled: bool = True
|
||||
deploy_status_guard_repos: str = ""
|
||||
|
||||
# ORCH-073 (ADR-001 Р-4): main-integrity regression guard. After the merge-verify
|
||||
# under-gate confirms the deployed SHA is an ancestor of origin/main (FR-1), a
|
||||
# secondary deterministic (no-LLM) guard checks that a declarative set of markers
|
||||
|
||||
620
src/coverage_gate.py
Normal file
620
src/coverage_gate.py
Normal file
@@ -0,0 +1,620 @@
|
||||
"""Coverage-gate core (ORCH-027): deterministic test-coverage gate before merge.
|
||||
|
||||
Background
|
||||
----------
|
||||
The orchestrator runs autonomous development: the ``developer`` agent writes code
|
||||
with no human filter, and on ``testing`` the ``tester`` agent decides for itself
|
||||
whether the tests are enough. The existing test gates judge only by the FACT of
|
||||
passing, never by COMPLETENESS: ``check_ci_green`` and ``check_tests_passed`` and
|
||||
the merge-gate re-test all look at a pytest exit code. None of them notices "300
|
||||
lines of new code, 0 tests". Across a batch autonomous run (ORCH-088) that means a
|
||||
monotonic erosion of coverage — every task shaves a corner on tests and the project
|
||||
silently loses testability.
|
||||
|
||||
This module provides the deterministic (no-LLM) primitives that the quality-gate
|
||||
``check_coverage_gate`` (src/qg/checks.py) composes on the ``deploy-staging ->
|
||||
deploy`` edge — run **AFTER the merge-gate** (so coverage is measured on the
|
||||
caught-up HEAD that actually lands in ``main``) and **BEFORE image-freshness** (fail
|
||||
before the expensive docker rebuild), mirroring the security-gate (ORCH-022):
|
||||
|
||||
* ``measure_coverage`` -> run ``pytest --cov=src`` in the per-branch
|
||||
worktree (offline) -> line coverage ``%`` or
|
||||
``None`` on tool error.
|
||||
* ``compute_coverage_verdict`` -> pure: compare (measured, baseline, floor) under
|
||||
a policy + epsilon -> ``(ok, reason)``.
|
||||
* ``write_coverage_report`` / ``parse_coverage_status`` -> write the
|
||||
``18-coverage-report.md`` artefact and read its machine verdict back (single
|
||||
source of truth: the gate returns exactly the frontmatter it wrote, AC-9).
|
||||
* ``ratchet_baseline_on_merge`` -> on a CONFIRMED merge (``_handle_merge_verify``,
|
||||
``deploy -> done`` edge) raise the per-repo baseline UP from the merged branch's
|
||||
measured coverage (atomic compare-and-set, never decreases — FR-4 / D5).
|
||||
* ``check_coverage_gate`` -> the orchestrating entry the QG wrapper delegates
|
||||
to.
|
||||
|
||||
Invariants (ADR-001 §7, never broken):
|
||||
* **Tool error -> fail-open + WARNING by default** (FR-6/AC-6): a coverage-tool
|
||||
failure / unparseable metric degrades fail-open (anti-loop, precedent
|
||||
ORCH-061/022 dep-audit); ``coverage_tool_fail_closed`` flips it to strict.
|
||||
* **never-raise** (AC-7): any internal error is swallowed; an exception never
|
||||
escapes into ``advance_stage``.
|
||||
* **Baseline never decreases** (FR-4): the ratchet is an atomic SQL compare-and-set
|
||||
under the held merge-lease (ORCH-043), so two parallel merges can never lower or
|
||||
lose the value.
|
||||
* **Self-hosting safety** (AC-7): the gate only measures / reads / writes the
|
||||
artefact / decides. It never calls the deploy hook, never restarts the prod
|
||||
container, never pushes / force-pushes ``main``.
|
||||
|
||||
This module is a **leaf**: it imports only ``config`` / ``git_worktree`` and lazily
|
||||
``qg.checks.is_self_hosting_repo`` / ``db`` / ``notifications``; it never imports
|
||||
``stage_engine``.
|
||||
"""
|
||||
|
||||
import json
|
||||
import logging
|
||||
import os
|
||||
import subprocess
|
||||
import sys
|
||||
|
||||
from .config import settings
|
||||
from .git_worktree import ensure_worktree, get_worktree_path
|
||||
|
||||
logger = logging.getLogger("orchestrator.coverage_gate")
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# Conditionality (mirrors security_gate_applies / _merge_gate_applies)
|
||||
# ---------------------------------------------------------------------------
|
||||
def coverage_gate_applies(repo: str) -> bool:
|
||||
"""Whether the coverage-gate is REAL for this repo (conditional rollout).
|
||||
|
||||
Mirrors the ORCH-22 / ORCH-43 / ORCH-58 pattern:
|
||||
* ``coverage_gate_enabled=False`` -> always False (kill-switch; pipeline is
|
||||
1:1 as before ORCH-027 for everyone).
|
||||
* ``coverage_gate_repos`` (CSV) non-empty -> real only for the listed repos.
|
||||
* empty CSV -> real ONLY for the self-hosting repo (``orchestrator``).
|
||||
Never raises (AC-7): any error -> False (the safe no-op default).
|
||||
"""
|
||||
try:
|
||||
if not settings.coverage_gate_enabled:
|
||||
return False
|
||||
raw = (settings.coverage_gate_repos or "").strip()
|
||||
if raw:
|
||||
allowed = {r.strip().lower() for r in raw.split(",") if r.strip()}
|
||||
return (repo or "").strip().lower() in allowed
|
||||
# Lazy import keeps this module a leaf (no qg import at module load).
|
||||
from .qg.checks import is_self_hosting_repo
|
||||
return is_self_hosting_repo(repo)
|
||||
except Exception as e: # noqa: BLE001 - never-raise contract
|
||||
logger.warning("coverage_gate_applies error for %s: %s", repo, e)
|
||||
return False
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# Measurement (pytest --cov=src in the per-branch worktree) — FR-1 / D2
|
||||
# ---------------------------------------------------------------------------
|
||||
def parse_coverage_percent(data) -> float | None:
|
||||
"""Pure: extract ``totals.percent_covered`` (line coverage ``%``) from a
|
||||
coverage.py JSON dict. Returns ``None`` if the shape is missing / unparseable.
|
||||
Never raises.
|
||||
"""
|
||||
try:
|
||||
if not isinstance(data, dict):
|
||||
return None
|
||||
totals = data.get("totals")
|
||||
if not isinstance(totals, dict):
|
||||
return None
|
||||
pct = totals.get("percent_covered")
|
||||
if pct is None:
|
||||
return None
|
||||
return float(pct)
|
||||
except (TypeError, ValueError):
|
||||
return None
|
||||
|
||||
|
||||
def measure_coverage(repo: str, branch: str) -> float | None:
|
||||
"""Run ``pytest --cov=src`` in the per-branch worktree -> line coverage ``%``.
|
||||
|
||||
Scope is ``src/`` only (the tests themselves are out of scope, BRD §«Вне
|
||||
объёма»). Offline — coverage needs no network. The measurer is intentionally
|
||||
encapsulated here so the pure decision logic and the baseline storage are
|
||||
stack-agnostic (a future jest/jacoco measurer is a new ``measure_*`` branch,
|
||||
BR-6).
|
||||
|
||||
The coverage metric is read from the ``--cov-report=json`` file regardless of
|
||||
the pytest exit code: a non-zero exit because of *failing tests* is already
|
||||
caught upstream (``check_ci_green`` / merge-gate re-test), and a partial run
|
||||
still produces a meaningful coverage JSON. A genuine tool error (missing
|
||||
plugin / timeout / no JSON / unparseable) -> ``None`` (the caller degrades
|
||||
fail-open by default, FR-6). Never raises (AC-7).
|
||||
"""
|
||||
try:
|
||||
wt = ensure_worktree(repo, branch)
|
||||
except Exception as e: # noqa: BLE001 - never-raise contract
|
||||
logger.warning("measure_coverage: worktree error for %s/%s: %s", repo, branch, e)
|
||||
return None
|
||||
|
||||
cov_json = os.path.join(wt, ".coverage-report.json")
|
||||
# Remove a stale report so we never read a previous pass's metric.
|
||||
try:
|
||||
if os.path.isfile(cov_json):
|
||||
os.remove(cov_json)
|
||||
except OSError:
|
||||
pass
|
||||
|
||||
# Use the SAME interpreter that runs the orchestrator (sys.executable), not a
|
||||
# bare "python" — the prod container / CI runner expose "python3", and the
|
||||
# pytest-cov plugin lives in exactly this interpreter's environment.
|
||||
cmd = [
|
||||
sys.executable, "-m", "pytest", "tests/",
|
||||
"--cov=src",
|
||||
f"--cov-report=json:{cov_json}",
|
||||
"--cov-report=", # suppress the terminal cov report (json only)
|
||||
"-q",
|
||||
]
|
||||
timeout = settings.coverage_run_timeout_s
|
||||
try:
|
||||
subprocess.run(cmd, cwd=wt, capture_output=True, text=True, timeout=timeout)
|
||||
except subprocess.TimeoutExpired:
|
||||
logger.warning(
|
||||
"measure_coverage: pytest --cov timed out after %ss for %s/%s",
|
||||
timeout, repo, branch,
|
||||
)
|
||||
return None
|
||||
except FileNotFoundError:
|
||||
logger.warning(
|
||||
"measure_coverage: pytest / pytest-cov not available for %s/%s", repo, branch
|
||||
)
|
||||
return None
|
||||
except (subprocess.SubprocessError, OSError) as e:
|
||||
logger.warning("measure_coverage: pytest --cov error for %s/%s: %s", repo, branch, e)
|
||||
return None
|
||||
|
||||
data = None
|
||||
try:
|
||||
if not os.path.isfile(cov_json):
|
||||
logger.warning(
|
||||
"measure_coverage: no coverage json produced for %s/%s", repo, branch
|
||||
)
|
||||
return None
|
||||
with open(cov_json, "r", encoding="utf-8") as f:
|
||||
data = json.load(f)
|
||||
except (OSError, ValueError) as e:
|
||||
logger.warning(
|
||||
"measure_coverage: cannot parse coverage json for %s/%s: %s", repo, branch, e
|
||||
)
|
||||
return None
|
||||
finally:
|
||||
try:
|
||||
if os.path.isfile(cov_json):
|
||||
os.remove(cov_json)
|
||||
except OSError:
|
||||
pass
|
||||
|
||||
return parse_coverage_percent(data)
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# Pure decision (FR-2 / D3) — the core of the unit tests
|
||||
# ---------------------------------------------------------------------------
|
||||
def compute_coverage_verdict(measured, baseline, floor, policy, epsilon) -> tuple[bool, str]:
|
||||
"""Pure: decide PASS/FAIL from (measured, baseline, floor, policy, epsilon).
|
||||
|
||||
Deterministic, no LLM, no I/O. Returns ``(ok: bool, reason: str)``.
|
||||
|
||||
* ``policy = "absolute"`` -> PASS ⇔ ``measured >= floor - epsilon``.
|
||||
* ``policy = "baseline"`` -> PASS ⇔ ``measured >= baseline - epsilon``.
|
||||
* ``policy = "both"`` (default) -> PASS ⇔ BOTH conditions hold.
|
||||
* ``baseline is None`` (no stored baseline / bootstrap) -> the baseline
|
||||
condition does NOT apply (cannot regress against nothing); only the
|
||||
absolute part decides. For ``policy = "baseline"`` with no baseline this is
|
||||
a bootstrap PASS (the measured value seeds the baseline at merge, D5).
|
||||
* ``epsilon`` — a small non-negative tolerance so jitter at the boundary does
|
||||
not bounce a task (NFR-4).
|
||||
|
||||
Never raises: bad inputs -> ``(False, reason)`` (a verdict cannot be computed ->
|
||||
conservative FAIL for the pure function; the orchestrating entry maps a *tool*
|
||||
error to fail-open separately).
|
||||
"""
|
||||
try:
|
||||
pol = (policy or "both").strip().lower()
|
||||
eps = max(0.0, float(epsilon if epsilon is not None else 0.0))
|
||||
m = float(measured)
|
||||
except (TypeError, ValueError) as e:
|
||||
return False, f"coverage verdict: bad inputs ({e})"
|
||||
|
||||
abs_applicable = pol in ("absolute", "both")
|
||||
base_applicable = pol in ("baseline", "both") and baseline is not None
|
||||
|
||||
checks: list[str] = []
|
||||
ok = True
|
||||
|
||||
if abs_applicable:
|
||||
try:
|
||||
f = float(floor if floor is not None else 0.0)
|
||||
except (TypeError, ValueError):
|
||||
f = 0.0
|
||||
abs_ok = m >= f - eps
|
||||
checks.append(
|
||||
f"absolute {m:.2f}% >= floor {f:.2f}%-eps{eps:.2f} -> "
|
||||
f"{'PASS' if abs_ok else 'FAIL'}"
|
||||
)
|
||||
ok = ok and abs_ok
|
||||
|
||||
if base_applicable:
|
||||
b = float(baseline)
|
||||
base_ok = m >= b - eps
|
||||
checks.append(
|
||||
f"baseline {m:.2f}% >= base {b:.2f}%-eps{eps:.2f} -> "
|
||||
f"{'PASS' if base_ok else 'FAIL'}"
|
||||
)
|
||||
ok = ok and base_ok
|
||||
elif pol in ("baseline", "both") and baseline is None:
|
||||
checks.append("baseline N/A (bootstrap — no stored baseline)")
|
||||
|
||||
body = "; ".join(checks) if checks else "no applicable condition (bootstrap) -> PASS"
|
||||
reason = f"measured={m:.2f}% policy={pol} eps={eps:.2f}: {body}"
|
||||
return ok, reason
|
||||
|
||||
|
||||
def compute_delta(measured, baseline, floor) -> float:
|
||||
"""Pure: signed ``measured - max(applicable references)`` (%, 2 decimals).
|
||||
|
||||
References are the present ones among ``baseline`` / ``floor``. With neither ->
|
||||
``0.0``. Never raises.
|
||||
"""
|
||||
try:
|
||||
m = float(measured)
|
||||
refs = []
|
||||
if baseline is not None:
|
||||
refs.append(float(baseline))
|
||||
if floor is not None:
|
||||
refs.append(float(floor))
|
||||
if not refs:
|
||||
return 0.0
|
||||
return round(m - max(refs), 2)
|
||||
except (TypeError, ValueError):
|
||||
return 0.0
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# Artefact: write the report, read the machine verdict back (FR-7 / D7 / AC-9)
|
||||
# ---------------------------------------------------------------------------
|
||||
def _report_rel(work_item_id: str) -> str:
|
||||
return f"docs/work-items/{work_item_id}/18-coverage-report.md"
|
||||
|
||||
|
||||
def _report_path(repo: str, work_item_id: str, branch: str) -> str:
|
||||
"""Absolute path of 18-coverage-report.md inside the task worktree."""
|
||||
try:
|
||||
wt = get_worktree_path(repo, branch)
|
||||
if not os.path.isdir(wt):
|
||||
wt = ensure_worktree(repo, branch)
|
||||
except Exception: # noqa: BLE001 - never-raise; fall back to shared clone
|
||||
wt = os.path.join(settings.repos_dir, repo)
|
||||
return os.path.join(wt, _report_rel(work_item_id))
|
||||
|
||||
|
||||
def _num(v) -> str:
|
||||
"""Render a numeric field with 2 decimals, or empty for None/unparseable."""
|
||||
if v is None:
|
||||
return ""
|
||||
try:
|
||||
return f"{float(v):.2f}"
|
||||
except (TypeError, ValueError):
|
||||
return ""
|
||||
|
||||
|
||||
def render_coverage_report(work_item_id: str, fields: dict) -> str:
|
||||
"""Pure: render the 18-coverage-report.md content (frontmatter + body).
|
||||
|
||||
The machine verdict lives ONLY in the YAML frontmatter ``coverage_status:``
|
||||
(canon, regiser-sensitive); ``measured_coverage`` is the single source of truth
|
||||
for the ratchet (D5). Never raises.
|
||||
"""
|
||||
baseline = fields.get("baseline")
|
||||
baseline_str = "" if baseline is None else _num(baseline)
|
||||
return (
|
||||
"---\n"
|
||||
f"coverage_status: {fields.get('coverage_status', 'FAIL')}\n"
|
||||
f"work_item: {work_item_id}\n"
|
||||
f"measured_coverage: {_num(fields.get('measured_coverage'))}\n"
|
||||
f"baseline: {baseline_str}\n"
|
||||
f"floor: {_num(fields.get('floor'))}\n"
|
||||
f"policy: {fields.get('policy', 'both')}\n"
|
||||
f"epsilon: {_num(fields.get('epsilon'))}\n"
|
||||
f"delta: {_num(fields.get('delta'))}\n"
|
||||
"---\n"
|
||||
f"# Coverage Report — {work_item_id}\n\n"
|
||||
"Детерминированный гейт покрытия (ORCH-027) — под-гейт ребра "
|
||||
"`deploy-staging→deploy` (ПОСЛЕ merge-gate, ДО image-freshness). Машинный "
|
||||
"вердикт читается ТОЛЬКО из `coverage_status:` frontmatter выше.\n\n"
|
||||
"## Verdict\n"
|
||||
f"{fields.get('reason', '')}\n\n"
|
||||
"## Measurement\n"
|
||||
f"{fields.get('measurement', '')}\n\n"
|
||||
"## Policy\n"
|
||||
f"{fields.get('policy_detail', '')}\n"
|
||||
)
|
||||
|
||||
|
||||
def write_coverage_report(repo: str, work_item_id: str, branch: str, fields: dict) -> str:
|
||||
"""Write 18-coverage-report.md into the task worktree; return its path.
|
||||
|
||||
Best-effort / never-raise: a write error is logged and the path is still
|
||||
returned (the caller's read-back then fails closed)."""
|
||||
path = _report_path(repo, work_item_id, branch)
|
||||
try:
|
||||
os.makedirs(os.path.dirname(path), exist_ok=True)
|
||||
with open(path, "w", encoding="utf-8") as f:
|
||||
f.write(render_coverage_report(work_item_id, fields))
|
||||
except OSError as e:
|
||||
logger.error("write_coverage_report error for %s/%s: %s", repo, work_item_id, e)
|
||||
return path
|
||||
|
||||
|
||||
def parse_coverage_status(content: str) -> tuple[bool, str]:
|
||||
"""Map a 18-coverage-report.md body to a quality-gate verdict by reading ONLY
|
||||
the machine-readable ``coverage_status:`` YAML frontmatter — never the prose.
|
||||
|
||||
Mirrors ``parse_security_status`` (canon: machine verdict only from frontmatter,
|
||||
AC-9). The negative token (FAIL) is authoritative (checked first). Returns:
|
||||
* ``coverage_status: PASS`` -> ``(True, "Coverage status: PASS")``
|
||||
* ``coverage_status: FAIL`` -> ``(False, "Coverage status: FAIL")``
|
||||
* missing field / no frontmatter / bad YAML -> ``(False, <reason>)``.
|
||||
|
||||
Parse delegated to the unified ``frontmatter.parse_frontmatter`` primitive
|
||||
(ORCH-052c single source of YAML-frontmatter logic).
|
||||
"""
|
||||
from .frontmatter import parse_frontmatter
|
||||
|
||||
parse = parse_frontmatter(content)
|
||||
if parse.yaml_error is not None:
|
||||
return False, f"Invalid YAML frontmatter in coverage report: {parse.yaml_error}"
|
||||
status = None
|
||||
if parse.has_block and not parse.malformed:
|
||||
status = str(parse.data.get("coverage_status", "")).upper().strip()
|
||||
if status == "FAIL":
|
||||
return False, "Coverage status: FAIL"
|
||||
if status == "PASS":
|
||||
return True, "Coverage status: PASS"
|
||||
return False, f"No machine-readable coverage_status in frontmatter (got: {status!r})"
|
||||
|
||||
|
||||
def read_measured_coverage(content: str) -> float | None:
|
||||
"""Read ``measured_coverage`` (%, float) from a 18-coverage-report.md body via
|
||||
the unified frontmatter parser. ``None`` when absent / unparseable (ratchet then
|
||||
no-ops). Never raises.
|
||||
"""
|
||||
try:
|
||||
from .frontmatter import parse_frontmatter
|
||||
parse = parse_frontmatter(content)
|
||||
if not parse.has_block or parse.malformed:
|
||||
return None
|
||||
raw = parse.data.get("measured_coverage")
|
||||
if raw is None or (isinstance(raw, str) and not raw.strip()):
|
||||
return None
|
||||
return float(raw)
|
||||
except (TypeError, ValueError):
|
||||
return None
|
||||
except Exception as e: # noqa: BLE001 - never-raise
|
||||
logger.warning("read_measured_coverage error: %s", e)
|
||||
return None
|
||||
|
||||
|
||||
def _error_fields(work_item_id, floor, policy, epsilon, baseline, *, fail_closed: bool) -> dict:
|
||||
"""Build the report fields for a tool-error pass (FR-6)."""
|
||||
status = "FAIL" if fail_closed else "PASS"
|
||||
mode = "fail-closed (FAIL)" if fail_closed else "fail-open (WARNING)"
|
||||
return {
|
||||
"coverage_status": status,
|
||||
"measured_coverage": None,
|
||||
"baseline": baseline,
|
||||
"floor": floor,
|
||||
"policy": policy,
|
||||
"epsilon": epsilon,
|
||||
"delta": None,
|
||||
"reason": f"coverage measurement failed -> {mode}",
|
||||
"measurement": (
|
||||
"coverage tool error / unparseable metric "
|
||||
f"(coverage_tool_fail_closed={fail_closed})"
|
||||
),
|
||||
"policy_detail": f"policy={policy}, floor={floor}, baseline={baseline}, epsilon={epsilon}",
|
||||
}
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# Ratchet baseline UP on a confirmed merge (FR-4 / D5)
|
||||
# ---------------------------------------------------------------------------
|
||||
def ratchet_baseline_on_merge(repo: str, work_item_id: str, branch: str, sha: str | None = None) -> bool:
|
||||
"""Raise the per-repo coverage baseline UP from the merged branch's measured
|
||||
coverage. Called from ``_handle_merge_verify`` (deploy -> done edge) AFTER the
|
||||
merge is confirmed and BEFORE the task advances to ``done`` (D5).
|
||||
|
||||
Reads the measured value from ``18-coverage-report.md`` (single source of truth
|
||||
— the exact metric the gate wrote on the deploy-staging->deploy edge) and applies
|
||||
an atomic compare-and-set (``db.ratchet_coverage_baseline``) that never lowers
|
||||
the baseline. Bootstrap: the first applicable merge seeds the baseline.
|
||||
|
||||
Returns True iff the baseline was inserted/raised. never-raise (AC-7): any error
|
||||
-> False (observability best-effort; a ratchet failure must never break the
|
||||
deploy->done path).
|
||||
"""
|
||||
try:
|
||||
if not coverage_gate_applies(repo):
|
||||
return False
|
||||
path = _report_path(repo, work_item_id, branch)
|
||||
try:
|
||||
with open(path, "r", encoding="utf-8") as f:
|
||||
content = f.read()
|
||||
except OSError as e:
|
||||
logger.warning(
|
||||
"ratchet: cannot read coverage report for %s/%s: %s", repo, work_item_id, e
|
||||
)
|
||||
return False
|
||||
measured = read_measured_coverage(content)
|
||||
if measured is None:
|
||||
logger.warning(
|
||||
"ratchet: no measured_coverage in report for %s/%s", repo, work_item_id
|
||||
)
|
||||
return False
|
||||
from . import db
|
||||
updated = db.ratchet_coverage_baseline(repo, measured, sha)
|
||||
if updated:
|
||||
logger.info(
|
||||
"coverage baseline ratcheted for %s -> %.2f%% (sha=%s)", repo, measured, sha
|
||||
)
|
||||
else:
|
||||
logger.info(
|
||||
"coverage baseline unchanged for %s (measured %.2f%% not above current)",
|
||||
repo, measured,
|
||||
)
|
||||
return updated
|
||||
except Exception as e: # noqa: BLE001 - never-raise contract
|
||||
logger.error("ratchet_baseline_on_merge error for %s/%s: %s", repo, work_item_id, e)
|
||||
return False
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# Orchestrating entry — delegated to by qg.checks.check_coverage_gate
|
||||
# ---------------------------------------------------------------------------
|
||||
def check_coverage_gate(repo: str, work_item_id: str, branch: str) -> tuple[bool, str]:
|
||||
"""ORCH-027 coverage-gate on the deploy-staging -> deploy edge (after merge-gate).
|
||||
|
||||
Deterministic, no LLM. Algorithm (ADR-001 D1..D7):
|
||||
1. Conditionality: ``coverage_gate_enabled=False`` -> ``(True, "...disabled")``;
|
||||
a repo the gate is not real for -> ``(True, "coverage-gate N/A for <repo>")``.
|
||||
2. ``measure_coverage`` (pytest --cov=src in the worktree). ``None`` (tool
|
||||
error) -> fail-open + WARNING by default (``coverage_tool_fail_closed``
|
||||
flips to FAIL), FR-6.
|
||||
3. ``compute_coverage_verdict`` -> write ``18-coverage-report.md`` -> read the
|
||||
verdict BACK via ``parse_coverage_status`` (single source of truth: the
|
||||
returned verdict == the artefact frontmatter, AC-9).
|
||||
4. FAIL -> ``(False, reason)`` (engine rolls back to ``development`` + releases
|
||||
the merge lease); PASS -> ``(True, reason)`` (engine proceeds to
|
||||
image-freshness).
|
||||
|
||||
Never-raise (AC-7): any internal error -> a (bool, reason) pair following the
|
||||
fail-open default (so an unexpected fault never wedges the autonomous pipeline),
|
||||
unless ``coverage_tool_fail_closed`` is set.
|
||||
"""
|
||||
floor = getattr(settings, "coverage_min_percent", 0.0)
|
||||
policy = getattr(settings, "coverage_policy", "both")
|
||||
epsilon = getattr(settings, "coverage_epsilon", 0.5)
|
||||
try:
|
||||
if not settings.coverage_gate_enabled:
|
||||
return True, "coverage-gate disabled"
|
||||
if not coverage_gate_applies(repo):
|
||||
return True, f"coverage-gate N/A for {repo}"
|
||||
|
||||
from . import db
|
||||
try:
|
||||
baseline = db.get_coverage_baseline(repo)
|
||||
except Exception as e: # noqa: BLE001 - baseline read best-effort
|
||||
logger.warning("coverage-gate: baseline read error for %s: %s", repo, e)
|
||||
baseline = None
|
||||
|
||||
measured = measure_coverage(repo, branch)
|
||||
if measured is None:
|
||||
fail_closed = bool(settings.coverage_tool_fail_closed)
|
||||
fields = _error_fields(
|
||||
work_item_id, floor, policy, epsilon, baseline, fail_closed=fail_closed
|
||||
)
|
||||
write_coverage_report(repo, work_item_id, branch, fields)
|
||||
if fail_closed:
|
||||
logger.warning(
|
||||
"coverage-gate %s/%s: measurement failed -> fail-CLOSED (FAIL)",
|
||||
repo, work_item_id,
|
||||
)
|
||||
return False, "coverage-gate fail-closed: measurement failed (tool error)"
|
||||
logger.warning(
|
||||
"coverage-gate %s/%s: measurement failed -> fail-OPEN + WARNING",
|
||||
repo, work_item_id,
|
||||
)
|
||||
return True, "coverage-gate fail-open (WARNING): measurement failed (tool error)"
|
||||
|
||||
ok, reason = compute_coverage_verdict(measured, baseline, floor, policy, epsilon)
|
||||
delta = compute_delta(measured, baseline, floor)
|
||||
fields = {
|
||||
"coverage_status": "PASS" if ok else "FAIL",
|
||||
"measured_coverage": measured,
|
||||
"baseline": baseline,
|
||||
"floor": floor,
|
||||
"policy": policy,
|
||||
"epsilon": epsilon,
|
||||
"delta": delta,
|
||||
"reason": reason,
|
||||
"measurement": f"pytest --cov=src: line coverage src/ = {measured:.2f}%",
|
||||
"policy_detail": (
|
||||
f"policy={policy}, floor={floor}%, "
|
||||
f"baseline={'bootstrap' if baseline is None else f'{baseline:.2f}%'}, "
|
||||
f"epsilon={epsilon}%"
|
||||
),
|
||||
}
|
||||
path = write_coverage_report(repo, work_item_id, branch, fields)
|
||||
|
||||
# Read the machine verdict back from the artefact we just wrote — so the
|
||||
# returned (bool, reason) is guaranteed == the YAML frontmatter (AC-9).
|
||||
try:
|
||||
with open(path, "r", encoding="utf-8") as f:
|
||||
content = f.read()
|
||||
except OSError as e:
|
||||
return False, f"cannot read coverage report (fail-closed): {e}"
|
||||
verdict_ok, _v = parse_coverage_status(content)
|
||||
|
||||
if verdict_ok:
|
||||
logger.info("coverage-gate passed for %s/%s: %s", repo, work_item_id, reason)
|
||||
return True, f"coverage OK ({reason})"
|
||||
|
||||
# FAIL -> surface loudly (Telegram with the clickable issue number, FR-7).
|
||||
try:
|
||||
from .notifications import send_telegram, link_for
|
||||
base_str = "n/a" if baseline is None else f"{baseline:.2f}%"
|
||||
send_telegram(
|
||||
f"\U0001f4c9 {link_for(work_item_id)}: coverage-гейт FAIL — измерено "
|
||||
f"{measured:.2f}% (floor {floor}%, baseline {base_str}, "
|
||||
f"delta {delta:+.2f}%). Откат на development для доработки тестов."
|
||||
)
|
||||
except Exception as e: # noqa: BLE001 - telegram best-effort
|
||||
logger.warning("coverage-gate FAIL telegram failed: %s", e)
|
||||
return False, reason
|
||||
except Exception as e: # noqa: BLE001 - never-raise contract (AC-7)
|
||||
logger.error("check_coverage_gate error for %s/%s: %s", repo, branch, e)
|
||||
# An unexpected internal error follows the fail-open default (anti-loop): a
|
||||
# coverage-tool/logic fault must not wedge the autonomous pipeline. The
|
||||
# operator can flip coverage_tool_fail_closed to make it strict.
|
||||
try:
|
||||
if settings.coverage_tool_fail_closed:
|
||||
return False, f"coverage-gate error (fail-closed): {e}"
|
||||
except Exception: # noqa: BLE001
|
||||
pass
|
||||
return True, f"coverage-gate error (fail-open): {e}"
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# Observability snapshot for GET /queue (FR-7 / AC-9)
|
||||
# ---------------------------------------------------------------------------
|
||||
def snapshot() -> dict:
|
||||
"""Read-only coverage-gate summary for GET /queue (FR-7 / AC-9).
|
||||
|
||||
Additive block; existing /queue keys are untouched. never-raise: any error ->
|
||||
a minimal dict with the flags.
|
||||
"""
|
||||
try:
|
||||
enabled = bool(settings.coverage_gate_enabled)
|
||||
except Exception: # noqa: BLE001
|
||||
enabled = False
|
||||
out = {
|
||||
"enabled": enabled,
|
||||
"repos": getattr(settings, "coverage_gate_repos", "") or "",
|
||||
"policy": getattr(settings, "coverage_policy", "both"),
|
||||
"floor": getattr(settings, "coverage_min_percent", 0.0),
|
||||
"epsilon": getattr(settings, "coverage_epsilon", 0.5),
|
||||
"fail_closed": bool(getattr(settings, "coverage_tool_fail_closed", False)),
|
||||
"baselines": {},
|
||||
}
|
||||
try:
|
||||
from . import db
|
||||
out["baselines"] = db.all_coverage_baselines()
|
||||
except Exception as e: # noqa: BLE001 - never-raise -> empty baselines
|
||||
logger.warning("coverage snapshot baselines error: %s", e)
|
||||
return out
|
||||
150
src/db.py
150
src/db.py
@@ -199,10 +199,138 @@ def init_db():
|
||||
CREATE INDEX IF NOT EXISTS idx_repo_freeze_active
|
||||
ON repo_freeze (repo, cleared_at);
|
||||
""")
|
||||
# ORCH-027 (FR-4, ADR-001 D4): additive per-repo coverage baseline for the
|
||||
# coverage-gate ratchet. One row per repo; the baseline is monotonically
|
||||
# non-decreasing via ratchet_coverage_baseline (atomic compare-and-set). Purely
|
||||
# ADDITIVE (CREATE TABLE IF NOT EXISTS, pattern repo_freeze/job_deps) ->
|
||||
# idempotent, restart-safe on the shared prod DB; existing tables untouched
|
||||
# (NFR-5). See docs/work-items/ORCH-027/08-data-requirements.md.
|
||||
conn.executescript("""
|
||||
CREATE TABLE IF NOT EXISTS coverage_baseline (
|
||||
repo TEXT PRIMARY KEY,
|
||||
coverage REAL NOT NULL,
|
||||
source_sha TEXT,
|
||||
updated_at TEXT NOT NULL DEFAULT (datetime('now'))
|
||||
);
|
||||
""")
|
||||
conn.commit()
|
||||
conn.close()
|
||||
|
||||
|
||||
def get_coverage_baseline(repo: str) -> float | None:
|
||||
"""ORCH-027: read the per-repo coverage baseline (%, line coverage).
|
||||
|
||||
Returns ``None`` when no baseline is stored yet (bootstrap mode — the gate then
|
||||
decides on the absolute floor only, D3). Raises only on a real DB error (the
|
||||
coverage_gate leaf caller wraps this in its never-raise contract).
|
||||
"""
|
||||
if not repo:
|
||||
return None
|
||||
conn = get_db()
|
||||
try:
|
||||
row = conn.execute(
|
||||
"SELECT coverage FROM coverage_baseline WHERE repo = ?", (repo,)
|
||||
).fetchone()
|
||||
finally:
|
||||
conn.close()
|
||||
if row is None:
|
||||
return None
|
||||
try:
|
||||
return float(row["coverage"])
|
||||
except (TypeError, ValueError):
|
||||
return None
|
||||
|
||||
|
||||
def ratchet_coverage_baseline(repo: str, coverage: float, sha: str | None = None) -> bool:
|
||||
"""ORCH-027 (FR-4, D5): raise the per-repo coverage baseline UP, never down.
|
||||
|
||||
Atomic compare-and-set: ``UPDATE ... WHERE coverage <= ?`` (the baseline never
|
||||
decreases — an equal value is an idempotent no-harm re-stamp), or ``INSERT`` when
|
||||
no row exists yet (bootstrap). Under the held merge-lease (ORCH-043) plus this
|
||||
single-statement guard, two parallel merges can never lower or lose the value.
|
||||
Returns True iff a row was inserted or raised.
|
||||
"""
|
||||
if not repo:
|
||||
return False
|
||||
try:
|
||||
cov = float(coverage)
|
||||
except (TypeError, ValueError):
|
||||
return False
|
||||
conn = get_db()
|
||||
try:
|
||||
cur = conn.execute(
|
||||
"UPDATE coverage_baseline "
|
||||
"SET coverage = ?, source_sha = ?, updated_at = datetime('now') "
|
||||
"WHERE repo = ? AND coverage <= ?",
|
||||
(cov, sha, repo, cov),
|
||||
)
|
||||
changed = cur.rowcount or 0
|
||||
if changed == 0:
|
||||
# No row updated: either the row is absent (bootstrap INSERT) or the
|
||||
# existing baseline is already higher (skip — never lower it).
|
||||
exists = conn.execute(
|
||||
"SELECT 1 FROM coverage_baseline WHERE repo = ?", (repo,)
|
||||
).fetchone()
|
||||
if exists is None:
|
||||
conn.execute(
|
||||
"INSERT INTO coverage_baseline (repo, coverage, source_sha, updated_at) "
|
||||
"VALUES (?, ?, ?, datetime('now'))",
|
||||
(repo, cov, sha),
|
||||
)
|
||||
changed = 1
|
||||
conn.commit()
|
||||
return bool(changed)
|
||||
finally:
|
||||
conn.close()
|
||||
|
||||
|
||||
def set_coverage_baseline(repo: str, coverage: float, sha: str | None = None) -> bool:
|
||||
"""ORCH-027 (D8): UNCONDITIONALLY set the per-repo coverage baseline.
|
||||
|
||||
For a legitimate one-off coverage drop (e.g. removing a large tested module) via
|
||||
the manual ``POST /coverage/baseline`` override. Unlike ``ratchet_coverage_baseline``
|
||||
this CAN lower the baseline. Returns True on success.
|
||||
"""
|
||||
if not repo:
|
||||
return False
|
||||
try:
|
||||
cov = float(coverage)
|
||||
except (TypeError, ValueError):
|
||||
return False
|
||||
conn = get_db()
|
||||
try:
|
||||
conn.execute(
|
||||
"INSERT INTO coverage_baseline (repo, coverage, source_sha, updated_at) "
|
||||
"VALUES (?, ?, ?, datetime('now')) "
|
||||
"ON CONFLICT(repo) DO UPDATE SET coverage = excluded.coverage, "
|
||||
"source_sha = excluded.source_sha, updated_at = excluded.updated_at",
|
||||
(repo, cov, sha),
|
||||
)
|
||||
conn.commit()
|
||||
return True
|
||||
finally:
|
||||
conn.close()
|
||||
|
||||
|
||||
def all_coverage_baselines() -> dict:
|
||||
"""ORCH-027: all per-repo coverage baselines for the GET /queue snapshot."""
|
||||
conn = get_db()
|
||||
try:
|
||||
rows = conn.execute(
|
||||
"SELECT repo, coverage, source_sha, updated_at FROM coverage_baseline"
|
||||
).fetchall()
|
||||
finally:
|
||||
conn.close()
|
||||
return {
|
||||
r["repo"]: {
|
||||
"coverage": r["coverage"],
|
||||
"source_sha": r["source_sha"],
|
||||
"updated_at": r["updated_at"],
|
||||
}
|
||||
for r in rows
|
||||
}
|
||||
|
||||
|
||||
def _ensure_column(conn, table: str, column: str, decl: str):
|
||||
"""Add a column to `table` if it does not already exist (idempotent migration)."""
|
||||
cols = [r[1] for r in conn.execute(f"PRAGMA table_info({table})").fetchall()]
|
||||
@@ -223,6 +351,28 @@ def get_task_by_plane_id(plane_id: str) -> dict | None:
|
||||
return None
|
||||
|
||||
|
||||
def get_task_by_work_item_id(work_item_id: str) -> dict | None:
|
||||
"""ORCH-094: read-only lookup of the live task row by human-readable
|
||||
``work_item_id`` (e.g. ``"ORCH-061"``).
|
||||
|
||||
``get_task_by_plane_id`` matches the Plane UUIDs (``plane_id`` /
|
||||
``plane_issue_id``), not the human-readable ``work_item_id`` the deploy-phase
|
||||
setters receive — hence this thin accessor. A live row matches exactly; the
|
||||
ORCH-090 cancel tombstones carry a ``#cancelled-<id>`` suffix on
|
||||
``work_item_id`` so they never collide with a clean id. No schema change.
|
||||
"""
|
||||
if not work_item_id:
|
||||
return None
|
||||
conn = get_db()
|
||||
try:
|
||||
row = conn.execute(
|
||||
"SELECT * FROM tasks WHERE work_item_id = ?", (work_item_id,)
|
||||
).fetchone()
|
||||
finally:
|
||||
conn.close()
|
||||
return dict(row) if row else None
|
||||
|
||||
|
||||
def get_task_by_repo_branch(repo: str, branch: str) -> dict | None:
|
||||
"""Find task by repo and branch name."""
|
||||
conn = get_db()
|
||||
|
||||
191
src/deploy_status_guard.py
Normal file
191
src/deploy_status_guard.py
Normal file
@@ -0,0 +1,191 @@
|
||||
"""ORCH-094: terminal-window-aware guard for deploy-phase Plane status setters.
|
||||
|
||||
Leaf module — pure, never-raise, config-gated logic over the existing ``tasks``
|
||||
table and the restart-safe post-deploy sentinels. Mirrors the leaf pattern of
|
||||
``src/serial_gate.py`` / ``src/labels.py`` / ``src/cancel.py``: it imports only
|
||||
``config`` (and lazily ``db`` / ``post_deploy`` / ``qg.checks``), never
|
||||
``plane_sync`` / ``stage_engine`` — the setters that need a verdict call
|
||||
:func:`decide`, they do not live here.
|
||||
|
||||
The bug (verified live on ORCH-061, task 47, done since 07.06): a task with DB
|
||||
``stage='done'`` and no active job flaps in Plane between ``Awaiting Deploy`` and
|
||||
``Monitoring after Deploy`` instead of holding ``Done``. The three deploy-phase
|
||||
setters (``set_issue_awaiting_deploy`` / ``set_issue_deploying`` /
|
||||
``set_issue_monitoring``) are **terminal-blind**: any stale / duplicate / unknown
|
||||
caller under the bot token re-stamps an intermediate deploy status over the
|
||||
terminal Done, and the pendulum never settles.
|
||||
|
||||
The fix is a single low choke-point on the entry of those three setters. For a
|
||||
task whose DB stage is terminal the verdict converges to ``Done`` idempotently,
|
||||
EXCEPT the one legitimate case: the post-deploy ``Monitoring`` status while the
|
||||
observation window is still active (``post_deploy.window_active`` — ARMED & not
|
||||
DONE). The deploy ``Awaiting``/``Deploying`` statuses are ALWAYS spurious for a
|
||||
``done`` task (Phase A/B happen strictly BEFORE ``deploy -> done``).
|
||||
|
||||
Key invariant (ADR-001 D2): a deploy-phase status is legitimate iff the task is
|
||||
non-terminal OR (``done`` AND the post-deploy window is active); otherwise the
|
||||
verdict is idempotent convergence to ``Done`` (for ``done``) / suppression (for
|
||||
``cancelled``).
|
||||
|
||||
never-raise contract (self-hosting safety): any error / inability to determine
|
||||
the DB stage degrades to ``ALLOW`` (fail-safe to the prior 1:1 behaviour, NFR-1)
|
||||
— a local SQLite read is reliable, so in the normal case the stage is read and
|
||||
the pendulum cannot arise.
|
||||
"""
|
||||
from __future__ import annotations
|
||||
|
||||
import logging
|
||||
import re
|
||||
|
||||
from .config import settings
|
||||
|
||||
logger = logging.getLogger("orchestrator.deploy_status_guard")
|
||||
|
||||
# Verdicts returned by decide() (the setter executes them).
|
||||
ALLOW = "ALLOW" # PATCH the requested deploy-phase status (normal path).
|
||||
CONVERGE_DONE = "CONVERGE_DONE" # set_issue_done instead (idempotent convergence).
|
||||
SUPPRESS = "SUPPRESS" # do nothing (do not stamp over a `cancelled` terminal).
|
||||
|
||||
# Deploy-phase target tokens (one per guarded setter).
|
||||
AWAITING = "awaiting"
|
||||
DEPLOYING = "deploying"
|
||||
MONITORING = "monitoring"
|
||||
|
||||
# Terminal DB stages (harmonised with serial_gate / adr-0026).
|
||||
_TERMINAL = ("done", "cancelled")
|
||||
|
||||
# Repo tokens embedded into config CSV must match this (mirrors serial_gate R-6).
|
||||
_REPO_TOKEN = re.compile(r"^[A-Za-z0-9._-]+$")
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# Conditionality (mirrors post_deploy_applies / _merge_gate_applies)
|
||||
# ---------------------------------------------------------------------------
|
||||
def _scope_repos() -> set[str]:
|
||||
"""Sanitised set of in-scope repo tokens from ``deploy_status_guard_repos``.
|
||||
|
||||
Empty/blank CSV -> empty set, meaning "self-hosting only" (resolved by the
|
||||
caller via :func:`applies`). Invalid tokens (regex miss) are dropped. Never
|
||||
raises.
|
||||
"""
|
||||
try:
|
||||
raw = (settings.deploy_status_guard_repos or "").strip()
|
||||
except Exception: # noqa: BLE001
|
||||
return set()
|
||||
if not raw:
|
||||
return set()
|
||||
out: set[str] = set()
|
||||
for tok in raw.split(","):
|
||||
t = tok.strip()
|
||||
if t and _REPO_TOKEN.match(t):
|
||||
out.add(t)
|
||||
elif t:
|
||||
logger.warning("deploy_status_guard: dropping invalid repo token %r", t)
|
||||
return out
|
||||
|
||||
|
||||
def applies(repo: str) -> bool:
|
||||
"""Whether the guard is REAL for this repo (D6).
|
||||
|
||||
* ``deploy_status_guard_enabled=False`` -> always False (kill-switch; the
|
||||
setters are terminal-blind, 1:1 as before ORCH-094).
|
||||
* ``deploy_status_guard_repos`` (CSV) non-empty -> real only for listed repos.
|
||||
* empty CSV -> real ONLY for the self-hosting repo (``orchestrator``), where
|
||||
deploy-phase statuses are set at all. Mirrors the ORCH-35/36/43/58
|
||||
self-hosting-only rollout -> non-self repos (enduro-trails) are untouched
|
||||
(they never see Awaiting/Deploying/Monitoring; terminal-sync goes straight
|
||||
to Done), i.e. zero regression.
|
||||
Never raises -> False on error (degrade to "guard inert").
|
||||
"""
|
||||
try:
|
||||
if not getattr(settings, "deploy_status_guard_enabled", False):
|
||||
return False
|
||||
scope = _scope_repos()
|
||||
if scope:
|
||||
return (repo or "").strip() in scope
|
||||
# Lazy import keeps this module a leaf (avoid importing qg at load time).
|
||||
from .qg.checks import is_self_hosting_repo
|
||||
return is_self_hosting_repo(repo)
|
||||
except Exception as e: # noqa: BLE001 - never-raise
|
||||
logger.warning("deploy_status_guard.applies error for %s: %s", repo, e)
|
||||
return False
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# Verdict (the single predicate — ADR-001 D2)
|
||||
# ---------------------------------------------------------------------------
|
||||
def decide(work_item_id: str, target_status: str, reason: str | None = None) -> str:
|
||||
"""Decide what a deploy-phase setter should do for ``work_item_id`` (D2).
|
||||
|
||||
Returns one of :data:`ALLOW` / :data:`CONVERGE_DONE` / :data:`SUPPRESS`.
|
||||
Steps (ADR-001 D2):
|
||||
|
||||
1. kill-switch off -> ALLOW (behaviour 1:1).
|
||||
2. task not found -> ALLOW (foreign/unknown issue).
|
||||
3. guard not applicable for the repo -> ALLOW (non-self / out-of-scope).
|
||||
4. DB stage non-terminal -> ALLOW (live deploy cycle, AC-4).
|
||||
5. DB stage == 'cancelled' -> SUPPRESS (do not stamp over it).
|
||||
6. DB stage == 'done':
|
||||
* target == 'monitoring' AND window active -> ALLOW (legit post-deploy).
|
||||
* otherwise -> CONVERGE_DONE.
|
||||
7. any exception / undeterminable stage -> ALLOW (fail-safe, NFR-1).
|
||||
|
||||
Always emits exactly one structured observability line (FR-4 / D5): work_item,
|
||||
caller (``reason``), target_status, db_stage, window_active, verdict.
|
||||
"""
|
||||
db_stage = None
|
||||
window = None
|
||||
verdict = ALLOW
|
||||
try:
|
||||
if not getattr(settings, "deploy_status_guard_enabled", False):
|
||||
return ALLOW # step 1 (logged in finally)
|
||||
|
||||
from . import db
|
||||
task = db.get_task_by_work_item_id(work_item_id)
|
||||
if task is None:
|
||||
return ALLOW # step 2
|
||||
|
||||
repo = task.get("repo")
|
||||
if not applies(repo):
|
||||
return ALLOW # step 3
|
||||
|
||||
db_stage = (task.get("stage") or "").strip()
|
||||
if db_stage not in _TERMINAL:
|
||||
verdict = ALLOW # step 4 — non-terminal: legit working deploy cycle
|
||||
return verdict
|
||||
|
||||
if db_stage == "cancelled":
|
||||
verdict = SUPPRESS # step 5
|
||||
return verdict
|
||||
|
||||
# step 6 — db_stage == 'done'
|
||||
if target_status == MONITORING:
|
||||
from . import post_deploy
|
||||
window = post_deploy.window_active(repo, work_item_id)
|
||||
if window:
|
||||
verdict = ALLOW
|
||||
return verdict
|
||||
verdict = CONVERGE_DONE
|
||||
return verdict
|
||||
except Exception as e: # noqa: BLE001 - never-raise; fail-safe to ALLOW
|
||||
logger.warning(
|
||||
"deploy_status_guard.decide error for %s (target=%s) -> ALLOW: %s",
|
||||
work_item_id, target_status, e,
|
||||
)
|
||||
verdict = ALLOW
|
||||
return verdict
|
||||
finally:
|
||||
# FR-4 / D5: one structured line per call. Convergence/suppression is the
|
||||
# interesting case — log it at WARNING so a future flapp is easy to attribute.
|
||||
try:
|
||||
msg = (
|
||||
"deploy_status_guard: work_item=%s caller=%s target=%s db_stage=%s "
|
||||
"window_active=%s verdict=%s"
|
||||
)
|
||||
argv = (work_item_id, reason, target_status, db_stage, window, verdict)
|
||||
if verdict == ALLOW:
|
||||
logger.info(msg, *argv)
|
||||
else:
|
||||
logger.warning(msg, *argv)
|
||||
except Exception: # noqa: BLE001 - logging must never raise
|
||||
pass
|
||||
24
src/main.py
24
src/main.py
@@ -170,6 +170,7 @@ async def queue():
|
||||
from . import merge_gate
|
||||
from . import task_deps
|
||||
from . import serial_gate
|
||||
from . import coverage_gate
|
||||
from . import labels
|
||||
from . import cancel
|
||||
from .disk_watchdog import disk_watchdog
|
||||
@@ -189,6 +190,9 @@ async def queue():
|
||||
# ORCH-088 (D9 / AC-10): per-repo serial-gate observability (read-only) —
|
||||
# active task, queued/waiting analyst-jobs, freeze state. Additive block.
|
||||
"serial_gate": serial_gate.snapshot(),
|
||||
# ORCH-027 (FR-7 / AC-9): coverage-gate observability (read-only) —
|
||||
# kill-switch, scope, policy/floor/epsilon, per-repo baselines. Additive block.
|
||||
"coverage": coverage_gate.snapshot(),
|
||||
# ORCH-089 (D7): auto-mode-by-label observability (read-only) — kill-switch,
|
||||
# label names, scope. Additive block.
|
||||
"auto_labels": labels.snapshot(),
|
||||
@@ -236,3 +240,23 @@ async def serial_gate_unfreeze(repo: str = ""):
|
||||
except Exception:
|
||||
pass
|
||||
return {"ok": True, "repo": repo, "cleared": cleared, "frozen": frozen}
|
||||
|
||||
|
||||
@app.post("/coverage/baseline")
|
||||
async def coverage_set_baseline(repo: str = "", value: float | None = None):
|
||||
"""ORCH-027 (D8): manually set/override the per-repo coverage baseline.
|
||||
|
||||
For a legitimate one-off coverage drop (e.g. removing a large tested module) the
|
||||
operator sets the baseline directly here (by образцу ``POST /serial-gate/unfreeze``)
|
||||
instead of waiting for the upward-only ratchet. Unlike the ratchet this CAN lower
|
||||
the baseline. Alternative without this endpoint: temporarily flip
|
||||
``ORCH_COVERAGE_POLICY=absolute``.
|
||||
"""
|
||||
from . import db
|
||||
if not repo or not repo.strip():
|
||||
return {"ok": False, "error": "missing 'repo'", "repo": repo}
|
||||
if value is None:
|
||||
return {"ok": False, "error": "missing 'value'", "repo": repo}
|
||||
repo = repo.strip()
|
||||
ok = db.set_coverage_baseline(repo, value, sha="manual-override")
|
||||
return {"ok": ok, "repo": repo, "baseline": db.get_coverage_baseline(repo)}
|
||||
|
||||
@@ -602,6 +602,51 @@ def merge_verify_applies(repo: str) -> bool:
|
||||
return False
|
||||
|
||||
|
||||
def _branch_fully_in_main(repo: str, branch: str) -> bool | None:
|
||||
"""Return True iff ``branch`` has NO commits beyond ``origin/main`` (ORCH-093 D3).
|
||||
|
||||
Used by ``ensure_open_pr`` to avoid creating an empty PR on a branch that is
|
||||
already fully merged into ``main`` (the ORCH-063 garbage-PR symptom on a
|
||||
re-driven finalizer after a manual merge). In the per-branch worktree:
|
||||
``git fetch origin main`` then ``git merge-base --is-ancestor HEAD origin/main``
|
||||
(equivalent to ``git rev-list --count origin/main..HEAD == 0``; same idiom as
|
||||
``branch_is_behind_main`` / ``verify_merged_to_main``).
|
||||
|
||||
* ``rc == 0`` -> HEAD is an ancestor of origin/main -> fully in main -> ``True``.
|
||||
* ``rc == 1`` -> there are commits beyond main -> ``False``.
|
||||
* git/OS error / ambiguous rc -> ``None`` (caller fail-OPENs: degrade to the
|
||||
create path; an infra hiccup must NOT become a false no-op merge).
|
||||
|
||||
Never-raise: any error -> ``None``.
|
||||
"""
|
||||
try:
|
||||
wt = ensure_worktree(repo, branch)
|
||||
except Exception as e: # noqa: BLE001 - never-raise contract -> fail-OPEN
|
||||
logger.warning("_branch_fully_in_main: worktree error for %s/%s: %s", repo, branch, e)
|
||||
return None
|
||||
try:
|
||||
subprocess.run(
|
||||
["git", "-C", wt, "fetch", "origin", "main"],
|
||||
capture_output=True, timeout=_FETCH_TIMEOUT,
|
||||
)
|
||||
r = subprocess.run(
|
||||
["git", "-C", wt, "merge-base", "--is-ancestor", "HEAD", "origin/main"],
|
||||
capture_output=True, timeout=_SHORT_TIMEOUT,
|
||||
)
|
||||
except (subprocess.SubprocessError, OSError) as e:
|
||||
logger.warning("_branch_fully_in_main: git error for %s/%s: %s", repo, branch, e)
|
||||
return None
|
||||
if r.returncode == 0:
|
||||
return True
|
||||
if r.returncode == 1:
|
||||
return False
|
||||
logger.warning(
|
||||
"_branch_fully_in_main: ambiguous merge-base rc=%s for %s/%s (fail-open)",
|
||||
r.returncode, repo, branch,
|
||||
)
|
||||
return None
|
||||
|
||||
|
||||
def ensure_open_pr(repo: str, branch: str) -> tuple[str, str]:
|
||||
"""Guarantee an open **code-PR** (``head==branch`` AND ``base=="main"``) exists.
|
||||
|
||||
@@ -625,6 +670,12 @@ def ensure_open_pr(repo: str, branch: str) -> tuple[str, str]:
|
||||
``("existed", …)``; no duplicate is created (AC-2 / FR-5).
|
||||
4. Any other HTTP/parse/network error -> ``("failed", "<reason>")``.
|
||||
|
||||
ORCH-093 (D3) adds a guard BETWEEN steps 1 and 2: if the branch is already fully
|
||||
in ``main`` (no commits beyond ``origin/main``) there is nothing to PR -> the new
|
||||
outcome ``("already-in-main", "<reason>")`` is returned WITHOUT a ``POST`` (avoids
|
||||
an empty garbage PR on a re-driven finalizer). A git error of the guard fails OPEN
|
||||
(degrade to the create path) so an infra hiccup never becomes a false no-op.
|
||||
|
||||
Reuses ``settings.merge_pr_timeout_s`` (same class of Gitea calls as ``merge_pr``).
|
||||
Never-raise (AC-7): any unexpected error -> ``("failed", str(e))``; the exception is
|
||||
NEVER propagated into ``_handle_merge_verify`` / ``advance_stage``.
|
||||
@@ -657,6 +708,21 @@ def ensure_open_pr(repo: str, branch: str) -> tuple[str, str]:
|
||||
logger.info("ensure_open_pr: %s/%s already has open code-PR #%s", repo, branch, existing)
|
||||
return "existed", str(existing)
|
||||
|
||||
# Step 1b (ORCH-093 D3): guard "branch already fully in main". If the branch
|
||||
# has no commits beyond origin/main there is nothing to PR — creating one
|
||||
# would yield an empty garbage PR (the ORCH-063 symptom on a re-driven
|
||||
# finalizer after a manual merge). Return the new "already-in-main" outcome
|
||||
# so _handle_merge_verify skips merge_pr and lets the authoritative
|
||||
# SHA-in-main check confirm -> done. fail-OPEN on git error / ambiguous
|
||||
# (None): degrade to the create path below, NEVER block — an infra hiccup
|
||||
# must not become a false no-op merge (SHA-in-main downstream stays the proof).
|
||||
if _branch_fully_in_main(repo, branch) is True:
|
||||
logger.info(
|
||||
"ensure_open_pr: %s/%s already fully in main -> already-in-main (no PR created)",
|
||||
repo, branch,
|
||||
)
|
||||
return "already-in-main", "branch already in main (no commits beyond origin/main)"
|
||||
|
||||
# Step 2: create the code-PR onto main.
|
||||
parts = branch.split("/")
|
||||
title = parts[-1] if parts else branch
|
||||
@@ -697,6 +763,89 @@ def ensure_open_pr(repo: str, branch: str) -> tuple[str, str]:
|
||||
return "failed", f"ensure_open_pr error: {e}"
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# ORCH-093: transient-error retry of the merge POST + classification helpers.
|
||||
# ---------------------------------------------------------------------------
|
||||
def _merge_backoff(attempt: int) -> float:
|
||||
"""Exponential backoff (s) with a ceiling for the merge-POST retry (ORCH-093 D1).
|
||||
|
||||
``backoff(i) = min(base * 2**(i-1), max)`` — the transient-breaker idiom of the
|
||||
Claude agents, bounded so the total sleep ``(N-1) * max`` can never wedge the
|
||||
monitor-thread running merge-verify (NFR-4). Defaults base=2, max=5 -> the
|
||||
sequence is 2, 4, 5, 5, … seconds.
|
||||
"""
|
||||
base = settings.merge_retry_backoff_base_s
|
||||
cap = settings.merge_retry_backoff_max_s
|
||||
try:
|
||||
return float(min(base * (2 ** (max(attempt, 1) - 1)), cap))
|
||||
except Exception: # noqa: BLE001 - never-raise; degrade to the ceiling
|
||||
return float(cap)
|
||||
|
||||
|
||||
def _pr_mergeable(repo: str, index) -> bool | None:
|
||||
"""Read the ``mergeable`` field of PR ``index`` via ``GET /pulls/{index}`` (ORCH-093 D2).
|
||||
|
||||
Used ONLY to disambiguate a ``409``/``422`` merge POST: Gitea may still be
|
||||
recomputing mergeability right after a push (the ORCH-063 root cause). Returns
|
||||
the boolean ``mergeable`` flag, or ``None`` when it is absent / non-boolean / the
|
||||
GET fails (never-raise) — the caller treats ``None`` as the default-policy
|
||||
transient (D2).
|
||||
"""
|
||||
try:
|
||||
import httpx
|
||||
owner = settings.gitea_owner
|
||||
headers = {"Authorization": f"token {settings.gitea_token}"}
|
||||
resp = httpx.get(
|
||||
f"{settings.gitea_url}/api/v1/repos/{owner}/{repo}/pulls/{index}",
|
||||
headers=headers, timeout=settings.merge_pr_timeout_s,
|
||||
)
|
||||
if resp.status_code != 200:
|
||||
return None
|
||||
val = (resp.json() or {}).get("mergeable")
|
||||
return val if isinstance(val, bool) else None
|
||||
except Exception as e: # noqa: BLE001 - never-raise contract
|
||||
logger.warning("_pr_mergeable check failed for %s PR #%s: %s", repo, index, e)
|
||||
return None
|
||||
|
||||
|
||||
def _classify_merge_response(repo: str, branch: str, index, status_code: int) -> str:
|
||||
"""Classify a non-2xx ``POST /pulls/{index}/merge`` outcome (ORCH-093 D2).
|
||||
|
||||
Returns ``"transient"`` (retry within budget) or ``"terminal"`` (fast honest
|
||||
``False``; the ORCH-071/081 HOLD backstop takes over). Decision tree:
|
||||
|
||||
* ``405`` ("try again later"), ``408``, any ``5xx`` -> **transient**.
|
||||
* ``403`` (no rights), ``404`` (PR gone) -> **terminal**.
|
||||
* ``409`` / ``422`` (ambiguous) -> ``GET /pulls/{index}`` -> ``mergeable``:
|
||||
- ``False`` -> **terminal** (real conflict, fast HOLD).
|
||||
- ``True`` / ``None`` / GET failed -> **transient** (default-policy
|
||||
fail-OPEN-in-retry: Gitea has not recomputed yet — the ORCH-063 case;
|
||||
the retry budget is finite, so a real conflict still HOLDs after it).
|
||||
* any other unexpected code -> **terminal** (do not loop on unknowns).
|
||||
|
||||
Never-raise: any error -> ``"transient"`` (conservative, within the bounded
|
||||
retry budget).
|
||||
"""
|
||||
try:
|
||||
if status_code in (405, 408) or 500 <= status_code <= 599:
|
||||
return "transient"
|
||||
if status_code in (403, 404):
|
||||
return "terminal"
|
||||
if status_code in (409, 422):
|
||||
mergeable = _pr_mergeable(repo, index)
|
||||
if mergeable is False:
|
||||
return "terminal"
|
||||
# True OR None/unavailable -> transient (default-policy, D2).
|
||||
return "transient"
|
||||
return "terminal"
|
||||
except Exception as e: # noqa: BLE001 - never-raise contract
|
||||
logger.warning(
|
||||
"_classify_merge_response error for %s/%s PR #%s: %s (transient)",
|
||||
repo, branch, index, e,
|
||||
)
|
||||
return "transient"
|
||||
|
||||
|
||||
def merge_pr(repo: str, branch: str) -> tuple[bool, str]:
|
||||
"""Deterministically merge the open PR for ``branch`` via the Gitea PR-merge API.
|
||||
|
||||
@@ -712,8 +861,16 @@ def merge_pr(repo: str, branch: str) -> tuple[bool, str]:
|
||||
(FR-3) adds the ``base == main`` filter so the actor merges exactly the
|
||||
feature code-PR and never an auto docs-PR / a PR onto a foreign base. No
|
||||
such open PR -> ``(False, "no open PR")``.
|
||||
3. ``POST /repos/{owner}/{repo}/pulls/{index}/merge`` (Do: ``merge``) ->
|
||||
200/201 -> ``(True, "merged PR #<n>")``; otherwise ``(False, "<reason>")``.
|
||||
3. ``POST /repos/{owner}/{repo}/pulls/{index}/merge`` (Do: ``merge``) in a
|
||||
bounded retry-loop (ORCH-093 D1): ``200/201`` -> ``(True, "merged PR #<n>")``;
|
||||
a TRANSIENT outcome (405/408/5xx/network/timeout, or 409|422 while still
|
||||
mergeable) is retried with exponential backoff up to
|
||||
``merge_retry_max_attempts``; a TERMINAL outcome (403/404/real conflict) ->
|
||||
immediate ``(False, "merge failed: HTTP <code>")``; exhausting the budget on
|
||||
a transient -> ``(False, "merge failed after <N> attempts: HTTP <code>")``.
|
||||
The kill-switch ``merge_retry_enabled=False`` forces exactly one POST
|
||||
(the prior one-shot behaviour). Only the mutating POST is retried — the
|
||||
idempotent steps above are not.
|
||||
|
||||
Never-raise (INV-1/AC-9 / TC-09): any HTTP/parse error -> ``(False, reason)``.
|
||||
"""
|
||||
@@ -744,21 +901,59 @@ def merge_pr(repo: str, branch: str) -> tuple[bool, str]:
|
||||
if index is None:
|
||||
return False, "no open PR"
|
||||
|
||||
m = httpx.post(
|
||||
f"{base}/pulls/{index}/merge",
|
||||
json={"Do": "merge"},
|
||||
headers=headers,
|
||||
timeout=timeout,
|
||||
)
|
||||
if m.status_code in (200, 201):
|
||||
logger.info("merge_pr: merged PR #%s for %s/%s", index, repo, branch)
|
||||
return True, f"merged PR #{index}"
|
||||
detail = (m.text or "").strip()[:200]
|
||||
logger.warning(
|
||||
"merge_pr: merge failed for %s/%s PR #%s: HTTP %s %s",
|
||||
repo, branch, index, m.status_code, detail,
|
||||
)
|
||||
return False, f"merge failed: HTTP {m.status_code}"
|
||||
# ORCH-093 D1: retry ONLY the mutating POST on transient outcomes. The
|
||||
# kill-switch collapses the budget to one attempt = the prior one-shot path
|
||||
# (no branching of the loop body, ADR D1).
|
||||
n_eff = settings.merge_retry_max_attempts if settings.merge_retry_enabled else 1
|
||||
if n_eff < 1:
|
||||
n_eff = 1
|
||||
for attempt in range(1, n_eff + 1):
|
||||
try:
|
||||
m = httpx.post(
|
||||
f"{base}/pulls/{index}/merge",
|
||||
json={"Do": "merge"},
|
||||
headers=headers,
|
||||
timeout=timeout,
|
||||
)
|
||||
except (httpx.HTTPError, OSError) as e:
|
||||
# Network/timeout -> transient within the bounded budget (never-raise).
|
||||
logger.warning(
|
||||
"merge_pr: attempt %s/%s network error for %s/%s PR #%s: %s (transient)",
|
||||
attempt, n_eff, repo, branch, index, e,
|
||||
)
|
||||
if attempt < n_eff:
|
||||
time.sleep(_merge_backoff(attempt))
|
||||
continue
|
||||
return False, f"merge failed after {n_eff} attempts: network error"
|
||||
|
||||
if m.status_code in (200, 201):
|
||||
logger.info(
|
||||
"merge_pr: merged PR #%s for %s/%s (attempt %s/%s)",
|
||||
index, repo, branch, attempt, n_eff,
|
||||
)
|
||||
return True, f"merged PR #{index}"
|
||||
|
||||
detail = (m.text or "").strip()[:200]
|
||||
cls = _classify_merge_response(repo, branch, index, m.status_code)
|
||||
if cls == "terminal":
|
||||
logger.warning(
|
||||
"merge_pr: merge failed for %s/%s PR #%s: HTTP %s %s (terminal)",
|
||||
repo, branch, index, m.status_code, detail,
|
||||
)
|
||||
return False, f"merge failed: HTTP {m.status_code}"
|
||||
|
||||
# Transient: log attempt i/N (check_ci_green idiom) and retry if budget left.
|
||||
logger.warning(
|
||||
"merge_pr: attempt %s/%s transient HTTP %s for %s/%s PR #%s %s",
|
||||
attempt, n_eff, m.status_code, repo, branch, index, detail,
|
||||
)
|
||||
if attempt < n_eff:
|
||||
time.sleep(_merge_backoff(attempt))
|
||||
continue
|
||||
return False, f"merge failed after {n_eff} attempts: HTTP {m.status_code}"
|
||||
|
||||
# Unreachable (loop always returns), defensive only.
|
||||
return False, f"merge failed after {n_eff} attempts"
|
||||
except Exception as e: # noqa: BLE001 - never-raise contract
|
||||
logger.warning("merge_pr unexpected error for %s/%s: %s", repo, branch, e)
|
||||
return False, f"merge error: {e}"
|
||||
@@ -841,6 +1036,7 @@ MAIN_REGRESSION_MARKERS: list[tuple[str, str, str]] = [
|
||||
("ORCH-071", "verify_merged_to_main", "src/merge_gate.py"),
|
||||
("ORCH-073", "check_main_regression", "src/merge_gate.py"),
|
||||
("ORCH-082", "ensure_open_pr", "src/merge_gate.py"),
|
||||
("ORCH-093", "_classify_merge_response", "src/merge_gate.py"),
|
||||
]
|
||||
|
||||
|
||||
|
||||
@@ -290,6 +290,27 @@ def _fmt_minutes(seconds) -> str:
|
||||
return f"{seconds // 60}\u043c"
|
||||
|
||||
|
||||
def _esc(x) -> str:
|
||||
"""ORCH-095: escape a DATA value for the parse_mode=HTML card text (never-raise).
|
||||
|
||||
Every dynamic *data* value interpolated into ``render_task_tracker``'s HTML text
|
||||
(durations, status label, model, effort, token/cost metrics) is wrapped here
|
||||
exactly once at the render boundary (ADR-001, category D). This closes the class
|
||||
"unescaped data in HTML text": a literal like ``<1м`` from ``_fmt_minutes`` (or any
|
||||
future ``< > &`` from a data source) can no longer be parsed by Telegram as an
|
||||
opening tag (``400 can't parse entities`` -> EDIT_FAILED -> frozen card, ORCH-093).
|
||||
|
||||
Intentional markup slots (``num_html``/``link_for``/``_done_link``/already-escaped
|
||||
``esc_title`` — category M) are NOT passed through ``_esc`` so they stay valid,
|
||||
clickable HTML and are never double-escaped. On any error ``str()``/escape degrades
|
||||
to '' rather than raising (FR-5 never-raise).
|
||||
"""
|
||||
try:
|
||||
return html.escape(str(x))
|
||||
except Exception:
|
||||
return ""
|
||||
|
||||
|
||||
def _parse_sql_ts(ts):
|
||||
"""Parse a SQLite 'YYYY-MM-DD HH:MM:SS' UTC timestamp -> aware datetime/None."""
|
||||
if not ts:
|
||||
@@ -445,7 +466,9 @@ def render_task_tracker(task_id: int) -> str:
|
||||
)
|
||||
except Exception:
|
||||
status_label = _DEFAULT_STATUS_LABEL
|
||||
status_line = f"\U0001f4cd {status_label}"
|
||||
# ORCH-095 (ADR-001 D3): status label is a DATA slot (offline core + live
|
||||
# overlay) -> escaped at interpolation; intentional markup is never built here.
|
||||
status_line = f"\U0001f4cd {_esc(status_label)}"
|
||||
lines = [header, status_line, bar]
|
||||
|
||||
# ORCH-026 (B-4): waiting-line for a task blocked by an unfinished declared
|
||||
@@ -487,19 +510,23 @@ def render_task_tracker(task_id: int) -> str:
|
||||
d = _duration_seconds(run["started_at"], run["finished_at"])
|
||||
if d is not None:
|
||||
dur_sum += d
|
||||
in_tok = fmt_tokens(in_sum)
|
||||
out_tok = fmt_tokens(out_sum)
|
||||
cost = fmt_cost(cost_sum)
|
||||
dur = _fmt_minutes(dur_sum)
|
||||
# ORCH-095 (ADR-001 D1/D3): every interpolated DATA value (category D) is
|
||||
# escaped here at the render boundary so a literal like '<1м' from
|
||||
# _fmt_minutes can no longer break parse_mode=HTML; defence-in-depth for the
|
||||
# token/cost/model/effort fields too (currently safe, structurally guarded).
|
||||
in_tok = _esc(fmt_tokens(in_sum))
|
||||
out_tok = _esc(fmt_tokens(out_sum))
|
||||
cost = _esc(fmt_cost(cost_sum))
|
||||
dur = _esc(_fmt_minutes(dur_sum))
|
||||
# Model/effort/"\u043f\u043e\u043f\u044b\u0442\u043a\u0430 N" come from the LAST run (agent_runs are id ASC).
|
||||
last = stage_runs[-1] if stage_runs else None
|
||||
model = short_model_name(last["model"]) if last is not None else ""
|
||||
model = _esc(short_model_name(last["model"])) if last is not None else ""
|
||||
model_suffix = f" \u00b7 {model}" if model else ""
|
||||
# ORCH-087 (BR-EFF): render the resolved --effort next to the model
|
||||
# ("\u00b7 opus-4-8 \u00b7 xhigh"). Stamped at launch in agent_runs.effort; empty /
|
||||
# missing -> suffix omitted (like the model suffix). Historical rows with
|
||||
# NULL effort fall back to the config-resolved effort for the agent.
|
||||
effort = _run_effort(last) if last is not None else ""
|
||||
effort = _esc(_run_effort(last)) if last is not None else ""
|
||||
effort_suffix = f" \u00b7 {effort}" if effort else ""
|
||||
return (
|
||||
f"\u2705 {label:<13} {dur} \u00b7 "
|
||||
@@ -564,7 +591,7 @@ def render_task_tracker(task_id: int) -> str:
|
||||
if review_seconds is not None:
|
||||
# ORCH-042 (BR-10): approve-gate passed -> \u2705 (was \u23f8\ufe0f). The
|
||||
# still-waiting branch below keeps \u23f8\ufe0f + \u23f3 unchanged.
|
||||
dur = _fmt_minutes(review_seconds)
|
||||
dur = _esc(_fmt_minutes(review_seconds)) # ORCH-095: D-slot
|
||||
lines.append(
|
||||
f"\u2705 {brd_label} {dur} \u00b7 \u0442\u0432\u043e\u0451 \u0432\u0440\u0435\u043c\u044f"
|
||||
)
|
||||
@@ -577,21 +604,21 @@ def render_task_tracker(task_id: int) -> str:
|
||||
waited = int(
|
||||
(datetime.now(timezone.utc) - start_dt).total_seconds()
|
||||
)
|
||||
dur = _fmt_minutes(waited) if waited is not None else "\u2026"
|
||||
dur = _esc(_fmt_minutes(waited)) if waited is not None else "\u2026" # ORCH-095: D-slot
|
||||
lines.append(
|
||||
f"\u23f8\ufe0f {brd_label} {dur} \u00b7 \u0442\u0432\u043e\u0451 \u0432\u0440\u0435\u043c\u044f \u23f3"
|
||||
)
|
||||
|
||||
lines.append(bar)
|
||||
lines.append(
|
||||
f"\U0001f4b0 {fmt_tokens(total_in)}\u2193 / {fmt_tokens(total_out)}\u2191 \u00b7 "
|
||||
f"{fmt_cost(total_cost)}"
|
||||
f"\U0001f4b0 {_esc(fmt_tokens(total_in))}\u2193 / {_esc(fmt_tokens(total_out))}\u2191 \u00b7 "
|
||||
f"{_esc(fmt_cost(total_cost))}"
|
||||
)
|
||||
|
||||
if done:
|
||||
wall = _duration_seconds(task["created_at"], task["updated_at"])
|
||||
wall_str = _fmt_minutes(wall) if wall is not None else "?"
|
||||
review_str = _capped_review_str(review_seconds)
|
||||
wall_str = _esc(_fmt_minutes(wall)) if wall is not None else "?" # ORCH-095: D-slot
|
||||
review_str = _esc(_capped_review_str(review_seconds)) # ORCH-095: D-slot
|
||||
# ORCH-087 (BR-G5): three INDEPENDENT, explicitly-labelled metrics. None is
|
||||
# presented as the sum of the others \u2014 queue/wait pauses are not logged, so
|
||||
# wall != agents + review; the old "\u0412\u0441\u0435\u0433\u043e {wall}" read like a (wrong) sum.
|
||||
@@ -599,7 +626,7 @@ def render_task_tracker(task_id: int) -> str:
|
||||
# \u0442\u0432\u043e\u0451 = human BRD-review, capped to drop anomalous stalls (T-2)
|
||||
# \u043e\u0431\u0449\u0435\u0435 \u0441 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435\u043c = wall-clock incl. queue/wait, NOT work time (T-3)
|
||||
lines.append(
|
||||
f"\u23f1\ufe0f \u0410\u0433\u0435\u043d\u0442\u044b {_fmt_minutes(agent_seconds)} \u00b7 "
|
||||
f"\u23f1\ufe0f \u0410\u0433\u0435\u043d\u0442\u044b {_esc(_fmt_minutes(agent_seconds))} \u00b7 "
|
||||
f"\u0442\u0432\u043e\u0451 {review_str} \u00b7 "
|
||||
f"\u043e\u0431\u0449\u0435\u0435 \u0441 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435\u043c {wall_str}"
|
||||
)
|
||||
|
||||
@@ -951,32 +951,67 @@ def set_issue_code_review(work_item_id: str, project_id: str = None):
|
||||
_set_issue_state_direct(work_item_id, state_id, project_id)
|
||||
|
||||
|
||||
def set_issue_awaiting_deploy(work_item_id: str, project_id: str = None):
|
||||
def _deploy_status_guarded(work_item_id: str, target: str, reason: str | None) -> bool:
|
||||
"""ORCH-094: apply the terminal-window-aware guard for a deploy-phase setter.
|
||||
|
||||
Returns True iff the caller should PROCEED with the normal PATCH (verdict
|
||||
ALLOW). On CONVERGE_DONE it drives the task to terminal ``Done`` here (the
|
||||
idempotent convergence target) and returns False; on SUPPRESS it does nothing
|
||||
and returns False. never-raise: any error degrades to ALLOW (proceed), keeping
|
||||
behaviour 1:1 with pre-ORCH-094 (the guard leaf itself fails safe to ALLOW).
|
||||
"""
|
||||
try:
|
||||
from . import deploy_status_guard
|
||||
verdict = deploy_status_guard.decide(work_item_id, target, reason=reason)
|
||||
if verdict == deploy_status_guard.CONVERGE_DONE:
|
||||
set_issue_done(work_item_id)
|
||||
return False
|
||||
if verdict == deploy_status_guard.SUPPRESS:
|
||||
return False
|
||||
return True
|
||||
except Exception as e: # noqa: BLE001 - never-raise; proceed (1:1) on doubt
|
||||
logger.warning(f"deploy_status_guard wrapper error for {work_item_id}: {e}")
|
||||
return True
|
||||
|
||||
|
||||
def set_issue_awaiting_deploy(work_item_id: str, project_id: str = None, reason: str = None):
|
||||
"""ORCH-066: set issue to 'Awaiting Deploy' — self-deploy Phase A approval-pending.
|
||||
|
||||
Degrades to the project's In Review UUID when 'Awaiting Deploy' is not created.
|
||||
ORCH-094: terminal-window-aware — a task whose DB stage is terminal converges to
|
||||
Done instead of stamping a spurious deploy status (``reason`` = caller, FR-4).
|
||||
"""
|
||||
if not _deploy_status_guarded(work_item_id, "awaiting", reason):
|
||||
return
|
||||
project_id = _resolve_project_id(work_item_id, project_id)
|
||||
state_id = get_project_states(project_id)["awaiting_deploy"]
|
||||
_set_issue_state_direct(work_item_id, state_id, project_id)
|
||||
|
||||
|
||||
def set_issue_deploying(work_item_id: str, project_id: str = None):
|
||||
def set_issue_deploying(work_item_id: str, project_id: str = None, reason: str = None):
|
||||
"""ORCH-066: set issue to 'Deploying' — self-deploy Phase B prod deploy in flight.
|
||||
|
||||
Degrades to the project's In Progress UUID when 'Deploying' is not created.
|
||||
ORCH-094: terminal-window-aware (see :func:`set_issue_awaiting_deploy`).
|
||||
"""
|
||||
if not _deploy_status_guarded(work_item_id, "deploying", reason):
|
||||
return
|
||||
project_id = _resolve_project_id(work_item_id, project_id)
|
||||
state_id = get_project_states(project_id)["deploying"]
|
||||
_set_issue_state_direct(work_item_id, state_id, project_id)
|
||||
|
||||
|
||||
def set_issue_monitoring(work_item_id: str, project_id: str = None):
|
||||
def set_issue_monitoring(work_item_id: str, project_id: str = None, reason: str = None):
|
||||
"""ORCH-066: set issue to 'Monitoring after Deploy' — post-deploy window open.
|
||||
|
||||
Degrades to the project's Done UUID when 'Monitoring after Deploy' is not
|
||||
created (so the board shows Done, exactly as before ORCH-066).
|
||||
ORCH-094: terminal-window-aware — the LEGITIMATE first Monitoring (DB already
|
||||
``done`` by the time line 404 runs, but the post-deploy window is active) is
|
||||
allowed; a stale Monitoring after the window has closed converges to Done.
|
||||
"""
|
||||
if not _deploy_status_guarded(work_item_id, "monitoring", reason):
|
||||
return
|
||||
project_id = _resolve_project_id(work_item_id, project_id)
|
||||
state_id = get_project_states(project_id)["monitoring"]
|
||||
_set_issue_state_direct(work_item_id, state_id, project_id)
|
||||
|
||||
@@ -316,6 +316,28 @@ def has_marker(repo: str, work_item_id: str | None, name: str) -> bool:
|
||||
return False
|
||||
|
||||
|
||||
def window_active(repo: str, work_item_id: str | None) -> bool:
|
||||
"""ORCH-094: True iff a post-deploy observation window is currently OPEN.
|
||||
|
||||
A window is open iff it has been armed (``ARMED`` sentinel) and has NOT yet
|
||||
finished (no ``DONE`` sentinel). The terminal-window-aware deploy-status guard
|
||||
(``deploy_status_guard.decide``) uses this to keep the legitimate post-deploy
|
||||
``Monitoring after Deploy`` status for a task that is already DB-``done`` while
|
||||
its window is live, and to converge to ``Done`` once the window has closed.
|
||||
|
||||
Restart-safe (the sentinels live on disk) and never-raise -> False on error
|
||||
(a doubt resolves to "window closed", i.e. converge to Done — the safe-for-
|
||||
indication default that matches the bug we are fixing).
|
||||
"""
|
||||
try:
|
||||
return has_marker(repo, work_item_id, ARMED) and not has_marker(
|
||||
repo, work_item_id, DONE
|
||||
)
|
||||
except Exception as e: # noqa: BLE001 - never-raise
|
||||
logger.warning("window_active error for %s/%s: %s", repo, work_item_id, e)
|
||||
return False
|
||||
|
||||
|
||||
def write_marker(repo: str, work_item_id: str | None, name: str, content: str = "") -> bool:
|
||||
"""Create/overwrite a sentinel (best-effort). Returns True on success."""
|
||||
try:
|
||||
|
||||
@@ -755,6 +755,23 @@ def check_security_gate(repo: str, work_item_id: str, branch: str) -> tuple[bool
|
||||
return _impl(repo, work_item_id, branch)
|
||||
|
||||
|
||||
def check_coverage_gate(repo: str, work_item_id: str, branch: str) -> tuple[bool, str]:
|
||||
"""ORCH-027 coverage sub-gate (pytest --cov=src) on the deploy-staging -> deploy
|
||||
edge, run AFTER the merge-gate (caught-up HEAD) and BEFORE image-freshness.
|
||||
|
||||
Thin registry wrapper that delegates to ``coverage_gate.check_coverage_gate``
|
||||
(measure line coverage of src/, compare to floor/baseline under a policy, write/
|
||||
read-back ``18-coverage-report.md``). The real logic lives in
|
||||
``src/coverage_gate.py`` (leaf module, never-raise, fail-open on a tool error by
|
||||
default); importing it lazily here avoids an import cycle (coverage_gate imports
|
||||
is_self_hosting_repo from this module). For non-self repos with an empty scope it
|
||||
returns ``(True, "coverage-gate N/A for <repo>")`` so the deploy edge is unchanged
|
||||
for them (AC-5).
|
||||
"""
|
||||
from ..coverage_gate import check_coverage_gate as _impl
|
||||
return _impl(repo, work_item_id, branch)
|
||||
|
||||
|
||||
# Registry for dynamic lookup by name
|
||||
QG_CHECKS = {
|
||||
"check_analysis_approved": check_analysis_approved,
|
||||
@@ -770,4 +787,5 @@ QG_CHECKS = {
|
||||
"check_branch_mergeable": check_branch_mergeable,
|
||||
"check_staging_image_fresh": _check_staging_image_fresh,
|
||||
"check_security_gate": check_security_gate,
|
||||
"check_coverage_gate": check_coverage_gate,
|
||||
}
|
||||
|
||||
@@ -322,6 +322,19 @@ def advance_stage(
|
||||
):
|
||||
return result
|
||||
|
||||
# --- ORCH-027 coverage sub-gate (deploy-staging -> deploy edge) ----
|
||||
# AFTER the merge-gate (coverage measured on the caught-up HEAD that
|
||||
# lands in `main`, so the metric matches landed code) and BEFORE the
|
||||
# image-freshness rebuild (fail before the expensive docker rebuild).
|
||||
# Deterministic (no LLM): pytest --cov=src -> line coverage % vs floor /
|
||||
# ratchet baseline. FAIL -> rollback to development + release the merge
|
||||
# lease (held by the merge-gate's PASS). It owns the outcome on
|
||||
# intervention (mirrors the merge-gate / image-freshness).
|
||||
if _handle_coverage_gate(
|
||||
task_id, current_stage, repo, work_item_id, branch, agent, result
|
||||
):
|
||||
return result
|
||||
|
||||
# --- ORCH-058 freshness sub-gate (deploy-staging -> deploy edge) ---
|
||||
# AFTER the merge-gate finalised the validated HEAD and BEFORE Phase A.
|
||||
# Rebuilds the staging image from that validated commit + recreates 8501
|
||||
@@ -384,6 +397,29 @@ def advance_stage(
|
||||
f"(auto-advance after {agent})"
|
||||
)
|
||||
|
||||
# ORCH-021: arm post-deploy monitoring PAST `done`. Responsibility extends
|
||||
# beyond the restart-time health-check to catch the "green deploy, red prod"
|
||||
# class (ET-8). Idempotent (sentinel `armed`) + conditional (applies()), so a
|
||||
# double webhook / reconciler / finalizer re-driving `done` never doubles it
|
||||
# and non-applicable repos are untouched. never-raise (arm_monitor + guard).
|
||||
#
|
||||
# ORCH-094 (ADR-001 D3): the arm block is moved ABOVE the terminal-sync
|
||||
# block (it used to run AFTER set_issue_monitoring). The order matters now
|
||||
# that set_issue_monitoring is terminal-window-aware: by the time the
|
||||
# legitimate first `Monitoring` is set, the task is ALREADY DB-`done`
|
||||
# (update_task_stage ran above), so the guard must see the window as ACTIVE
|
||||
# (ARMED & not DONE) to let it through. Arming first writes the ARMED
|
||||
# sentinel -> window_active==True -> the guard returns ALLOW. A re-drive of
|
||||
# deploy->done AFTER the window has closed (DONE present) -> window_active
|
||||
# False -> the guard converges to Done (no resurrected Monitoring). The
|
||||
# move is safe: arm_monitor only writes a sentinel + enqueues a deferred
|
||||
# job; it depends on neither the Plane status nor the merge lease.
|
||||
if next_stage == "done" and post_deploy.post_deploy_applies(repo):
|
||||
try:
|
||||
post_deploy.arm_monitor(repo, work_item_id, branch, task_id)
|
||||
except Exception as e: # noqa: BLE001 - monitoring must never crash done
|
||||
logger.warning(f"Task {task_id}: post-deploy arm failed: {e}")
|
||||
|
||||
# --- Terminal sync: deploy -> done must reach Plane's Done -----------
|
||||
# When the deployer's check_deploy_status passes we advance to the
|
||||
# terminal 'done' stage. Previously a merged-PR webhook completed the
|
||||
@@ -401,7 +437,7 @@ def advance_stage(
|
||||
if next_stage == "done" and work_item_id:
|
||||
try:
|
||||
if post_deploy.post_deploy_applies(repo):
|
||||
set_issue_monitoring(work_item_id)
|
||||
set_issue_monitoring(work_item_id, reason="advance:deploy->done")
|
||||
logger.info(
|
||||
f"Task {task_id}: deploy->done (self), Plane state -> "
|
||||
f"Monitoring after Deploy (post-deploy window)"
|
||||
@@ -416,24 +452,14 @@ def advance_stage(
|
||||
|
||||
# ORCH-043: the merge has landed (deploy->done). Release the merge lease as
|
||||
# a backstop in case the PR-merged webhook was lost (holder-aware no-op if a
|
||||
# different task already owns it). Never raises.
|
||||
# different task already owns it). Never raises. ORCH-094: stays AFTER the
|
||||
# terminal-sync (the arm-block move above does not touch the lease).
|
||||
if next_stage == "done":
|
||||
try:
|
||||
merge_gate.release_merge_lease(repo, branch)
|
||||
except Exception as e: # noqa: BLE001 - defensive
|
||||
logger.warning(f"Task {task_id}: merge-lease release on done failed: {e}")
|
||||
|
||||
# ORCH-021: arm post-deploy monitoring PAST `done`. Responsibility extends
|
||||
# beyond the restart-time health-check to catch the "green deploy, red prod"
|
||||
# class (ET-8). Idempotent (sentinel `armed`) + conditional (applies()), so a
|
||||
# double webhook / reconciler / finalizer re-driving `done` never doubles it
|
||||
# and non-applicable repos are untouched. never-raise (arm_monitor + guard).
|
||||
if next_stage == "done" and post_deploy.post_deploy_applies(repo):
|
||||
try:
|
||||
post_deploy.arm_monitor(repo, work_item_id, branch, task_id)
|
||||
except Exception as e: # noqa: BLE001 - monitoring must never crash done
|
||||
logger.warning(f"Task {task_id}: post-deploy arm failed: {e}")
|
||||
|
||||
# --- Launch the next agent (ORCH-4 fix: current_stage, not next) -----
|
||||
next_agent = get_agent_for_stage(current_stage)
|
||||
if next_agent:
|
||||
@@ -1111,6 +1137,90 @@ def _handle_security_gate(
|
||||
return True
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# ORCH-027: coverage sub-gate on the deploy-staging -> deploy edge
|
||||
# ---------------------------------------------------------------------------
|
||||
def _handle_coverage_gate(
|
||||
task_id, current_stage, repo, work_item_id, branch, agent, result: AdvanceResult
|
||||
) -> bool:
|
||||
"""Run check_coverage_gate on the deploy-staging -> deploy edge (ORCH-027).
|
||||
|
||||
Runs AFTER the merge-gate (so coverage is measured on the rebased/caught-up HEAD
|
||||
that actually lands in `main`) and BEFORE the image-freshness rebuild (fail before
|
||||
the expensive docker rebuild). Deterministic (no LLM): pytest --cov=src in the
|
||||
per-branch worktree -> line coverage % -> compute_coverage_verdict vs the absolute
|
||||
floor and/or the ratchet baseline. The machine verdict lives in
|
||||
18-coverage-report.md frontmatter. A coverage-tool error degrades fail-open +
|
||||
WARNING by default (FR-6), so an infra hiccup never wedges the autonomous pipeline.
|
||||
|
||||
Returns True if the gate INTERVENED (the caller must return without advancing):
|
||||
* FAIL (coverage below policy) -> ROLLBACK to development (+ developer retry,
|
||||
capped by MAX_DEVELOPER_RETRIES) and RELEASE the merge lease (the merge-gate
|
||||
held it on its PASS; coverage failed before the merge — mirrors the
|
||||
image-freshness rollback, ADR-001 D1/TR-2).
|
||||
Returns False when the gate PASSED (clean / fail-open / N/A) so advance_stage
|
||||
proceeds to the image-freshness sub-gate. On a PASS the merge lease stays HELD
|
||||
until the actual merge (released on done / rollback).
|
||||
"""
|
||||
passed, reason = _run_qg("check_coverage_gate", repo, work_item_id, branch)
|
||||
if passed:
|
||||
logger.info(f"Task {task_id}: coverage-gate passed ({reason})")
|
||||
return False
|
||||
|
||||
result.qg_name = "check_coverage_gate"
|
||||
result.qg_passed = False
|
||||
result.qg_reason = reason
|
||||
|
||||
update_task_stage(task_id, "development")
|
||||
notify_stage_change(task_id, current_stage, "development")
|
||||
plane_notify_stage(work_item_id, current_stage, "development")
|
||||
result.rolled_back_to = "development"
|
||||
set_issue_in_progress(work_item_id)
|
||||
# The merge-gate held the lease on its PASS; coverage failed before the merge, so
|
||||
# release it (holder-aware no-op if a different task already owns it). Mirrors the
|
||||
# image-freshness rollback (ADR-001 D1/TR-2).
|
||||
try:
|
||||
merge_gate.release_merge_lease(repo, branch)
|
||||
except Exception as e: # noqa: BLE001 - defensive
|
||||
logger.warning(f"Task {task_id}: merge-lease release on coverage fail failed: {e}")
|
||||
notify_qg_failure(task_id, current_stage, "check_coverage_gate", reason)
|
||||
plane_add_comment(
|
||||
work_item_id,
|
||||
f"❌ Coverage-гейт провален ({reason}). Откат на development. "
|
||||
f"Developer нужен для добавления тестов (покрытие src/ просело).",
|
||||
author="deployer",
|
||||
)
|
||||
retry_count = _developer_retry_count(task_id)
|
||||
if retry_count < MAX_DEVELOPER_RETRIES:
|
||||
report_ref = f"docs/work-items/{work_item_id}/18-coverage-report.md"
|
||||
task_desc = (
|
||||
f"Work item: {work_item_id}\nRepo: {repo}\nBranch: {branch}\n"
|
||||
f"Stage: development\nNote: Coverage-гейт провален "
|
||||
f"(attempt {retry_count + 1}/{MAX_DEVELOPER_RETRIES}). "
|
||||
f"Причина: {reason}. Добавь тесты, чтобы покрытие src/ не падало ниже "
|
||||
f"политики. Полный отчёт: {report_ref}"
|
||||
)
|
||||
new_job = enqueue_job("developer", repo, task_desc, task_id=task_id)
|
||||
result.enqueued_agent = "developer"
|
||||
result.enqueued_job_id = new_job
|
||||
logger.info(
|
||||
f"Task {task_id}: coverage-gate FAILED, enqueued developer (job_id={new_job})"
|
||||
)
|
||||
else:
|
||||
set_issue_blocked(work_item_id)
|
||||
send_telegram(
|
||||
f"\U0001f6a8 {link_for(work_item_id)}: Coverage-гейт still failing after "
|
||||
f"{MAX_DEVELOPER_RETRIES} developer retries ({reason}). "
|
||||
f"Manual intervention needed."
|
||||
)
|
||||
result.alerted = True
|
||||
logger.error(
|
||||
f"Task {task_id}: coverage-gate FAILED, rolled back deploy-staging -> "
|
||||
f"development ({reason})"
|
||||
)
|
||||
return True
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# ORCH-058: staging-image freshness sub-gate on the deploy-staging -> deploy edge
|
||||
# ---------------------------------------------------------------------------
|
||||
@@ -1214,8 +1324,8 @@ def _handle_self_deploy_phase_a(
|
||||
# ORCH-066 (AC-6/AC-13): Phase A approval-pending is now `Awaiting Deploy`,
|
||||
# which discharges `In Review` of the deploy-approval meaning (In Review
|
||||
# stays for analyst BRD/review approve-pending only). Degrades to In Review
|
||||
# where the status is not created.
|
||||
set_issue_awaiting_deploy(work_item_id)
|
||||
# where the status is not created. ORCH-094: reason tags the caller (FR-4).
|
||||
set_issue_awaiting_deploy(work_item_id, reason="phase_a")
|
||||
# ORCH-036: belt-and-suspenders — wipe any STALE deploy-state markers before
|
||||
# arming a fresh approve. A prior FAILED pass clears on rollback, but clearing
|
||||
# here too guarantees the entry to every new prod-deploy pass starts clean
|
||||
@@ -1312,8 +1422,9 @@ def _handle_self_deploy_phase_b(task_id, repo, work_item_id, branch, result: Adv
|
||||
)
|
||||
# ORCH-066 (AC-7): the prod deploy is now in flight -> indicate `Deploying`
|
||||
# (degrades to In Progress where the status is not created).
|
||||
# ORCH-094: reason tags the caller (FR-4).
|
||||
if work_item_id:
|
||||
set_issue_deploying(work_item_id)
|
||||
set_issue_deploying(work_item_id, reason="phase_b")
|
||||
task_desc = (
|
||||
f"Work item: {work_item_id}\nRepo: {repo}\nBranch: {branch}\n"
|
||||
f"Stage: deploy\nNote: deploy-finalize poll (prod self-deploy initiated)."
|
||||
@@ -1483,6 +1594,7 @@ def _handle_merge_verify(task_id, repo, work_item_id, branch, result: AdvanceRes
|
||||
# `created`/`existed` -> proceed unchanged; `failed` -> honest HOLD with a
|
||||
# distinguishable text (NOT the not-merged HOLD). ORCH-073's SHA-in-main proof
|
||||
# below is untouched and stays authoritative. Kill-switch off -> 1:1 prior path.
|
||||
skip_merge = False
|
||||
if settings.merge_verify_autocreate_pr_enabled:
|
||||
pr_status, pr_detail = merge_gate.ensure_open_pr(repo, branch)
|
||||
logger.info(
|
||||
@@ -1492,10 +1604,25 @@ def _handle_merge_verify(task_id, repo, work_item_id, branch, result: AdvanceRes
|
||||
return _hold_pr_create_failed(
|
||||
task_id, repo, work_item_id, branch, pr_detail, result
|
||||
)
|
||||
if pr_status == "already-in-main":
|
||||
# ORCH-093 (D4): the branch is already fully in `main` -> nothing to
|
||||
# merge and no PR was created. Skip the deterministic merge_pr; the
|
||||
# authoritative SHA-in-main check below confirms the merge -> done.
|
||||
# This is NOT a HOLD (the goal is already achieved); if for some
|
||||
# reason the SHA is not in main the prior not-merged HOLD still fires
|
||||
# (fail-closed, safe).
|
||||
logger.info(
|
||||
f"Task {task_id}: merge-verify already-in-main -> skip merge_pr "
|
||||
"(SHA-in-main authoritative)"
|
||||
)
|
||||
skip_merge = True
|
||||
# "created" | "existed" -> proceed normally to merge_pr.
|
||||
|
||||
# Deterministic merge-actor (no-op if the PR is already merged, INV-5/AC-9).
|
||||
merged_ok, merge_msg = merge_gate.merge_pr(repo, branch)
|
||||
if skip_merge:
|
||||
merged_ok, merge_msg = True, "already-in-main (skipped merge_pr)"
|
||||
else:
|
||||
merged_ok, merge_msg = merge_gate.merge_pr(repo, branch)
|
||||
logger.info(
|
||||
f"Task {task_id}: merge-verify merge_pr -> ok={merged_ok} ({merge_msg})"
|
||||
)
|
||||
@@ -1516,6 +1643,17 @@ def _handle_merge_verify(task_id, repo, work_item_id, branch, result: AdvanceRes
|
||||
task_id, repo, work_item_id, branch, guard_msg, result
|
||||
)
|
||||
|
||||
# ORCH-027 (D5): ratchet the per-repo coverage baseline UP from this
|
||||
# merged branch's measured coverage (single source of truth:
|
||||
# 18-coverage-report.md). Atomic compare-and-set under the still-held
|
||||
# merge-lease -> the baseline never decreases. never-raise (observability
|
||||
# best-effort): a ratchet failure must never break the deploy->done path.
|
||||
try:
|
||||
from . import coverage_gate
|
||||
coverage_gate.ratchet_baseline_on_merge(repo, work_item_id, branch, sha)
|
||||
except Exception as e: # noqa: BLE001 - observability best-effort
|
||||
logger.warning(f"Task {task_id}: coverage baseline ratchet failed: {e}")
|
||||
|
||||
merge_gate.note_merge_verified()
|
||||
try:
|
||||
self_deploy.record_merged_to_main(repo, work_item_id, branch, True)
|
||||
@@ -1698,7 +1836,7 @@ def run_post_deploy_monitor(job: dict):
|
||||
try:
|
||||
conn = get_db()
|
||||
row = conn.execute(
|
||||
"SELECT work_item_id, branch FROM tasks WHERE id=?", (task_id,)
|
||||
"SELECT work_item_id, branch, stage FROM tasks WHERE id=?", (task_id,)
|
||||
).fetchone()
|
||||
conn.close()
|
||||
except Exception as e: # noqa: BLE001 - never-raise
|
||||
@@ -1707,13 +1845,28 @@ def run_post_deploy_monitor(job: dict):
|
||||
if not row:
|
||||
logger.error(f"post-deploy-monitor: no task row for task_id={task_id}")
|
||||
return
|
||||
work_item_id, branch = row[0], row[1]
|
||||
work_item_id, branch, db_stage = row[0], row[1], row[2]
|
||||
|
||||
# AC-15: a finished window is a no-op (defends against a duplicate job).
|
||||
if post_deploy.has_marker(repo, work_item_id, post_deploy.DONE):
|
||||
logger.info(f"post-deploy-monitor: {work_item_id} already done (no-op)")
|
||||
return
|
||||
|
||||
# ORCH-094 (FR-3 / D4 / AC-3): a tick must have an active basis. If the task
|
||||
# became terminal ANOMALOUSLY mid-window (cancelled via STOP, ORCH-090), the
|
||||
# tick is a "zombie" — close the window WITHOUT a status PATCH and WITHOUT
|
||||
# re-queueing the next tick (a cancelled task already reached its own terminal;
|
||||
# stamping a deploy status over it would flapp). A `done` stage is the NORMAL
|
||||
# state of a post-deploy window (it opens strictly past deploy->done) so it is
|
||||
# NOT treated as an anomaly here.
|
||||
if (db_stage or "").strip() == "cancelled":
|
||||
logger.info(
|
||||
f"post-deploy-monitor: {work_item_id} task cancelled mid-window -> "
|
||||
f"closing window, no status PATCH, no re-queue (zombie-tick guard)"
|
||||
)
|
||||
post_deploy.mark_done(repo, work_item_id)
|
||||
return
|
||||
|
||||
# One probe -> append -> classify (restart-safe via the persisted series).
|
||||
probe = post_deploy.probe_signals(settings.post_deploy_base_url)
|
||||
series = post_deploy.append_probe(repo, work_item_id, probe)
|
||||
|
||||
@@ -248,6 +248,7 @@ def test_tc19_qg_checks_registry_unchanged():
|
||||
"check_branch_mergeable",
|
||||
"check_staging_image_fresh",
|
||||
"check_security_gate",
|
||||
"check_coverage_gate",
|
||||
}
|
||||
|
||||
|
||||
@@ -257,3 +258,65 @@ def test_tc19_check_branch_mergeable_signature_intact():
|
||||
from src.qg.checks import check_branch_mergeable
|
||||
params = list(inspect.signature(check_branch_mergeable).parameters)
|
||||
assert params == ["repo", "work_item_id", "branch"]
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# ORCH-093 / TC-13: merge_retry_* settings defaults + env override (AC-5).
|
||||
# ---------------------------------------------------------------------------
|
||||
_MERGE_RETRY_ENV = (
|
||||
"ORCH_MERGE_RETRY_ENABLED",
|
||||
"ORCH_MERGE_RETRY_MAX_ATTEMPTS",
|
||||
"ORCH_MERGE_RETRY_BACKOFF_BASE_S",
|
||||
"ORCH_MERGE_RETRY_BACKOFF_MAX_S",
|
||||
)
|
||||
|
||||
|
||||
def test_merge_retry_settings_defaults(monkeypatch):
|
||||
"""Documented defaults when no ORCH_MERGE_RETRY_* env is set."""
|
||||
for name in _MERGE_RETRY_ENV:
|
||||
monkeypatch.delenv(name, raising=False)
|
||||
s = Settings()
|
||||
assert s.merge_retry_enabled is True
|
||||
assert s.merge_retry_max_attempts == 3
|
||||
assert s.merge_retry_backoff_base_s == 2
|
||||
assert s.merge_retry_backoff_max_s == 5
|
||||
|
||||
|
||||
def test_merge_retry_settings_env_override(monkeypatch):
|
||||
"""Each field is read from its ORCH_MERGE_RETRY_* env var."""
|
||||
monkeypatch.setenv("ORCH_MERGE_RETRY_ENABLED", "false")
|
||||
monkeypatch.setenv("ORCH_MERGE_RETRY_MAX_ATTEMPTS", "5")
|
||||
monkeypatch.setenv("ORCH_MERGE_RETRY_BACKOFF_BASE_S", "1")
|
||||
monkeypatch.setenv("ORCH_MERGE_RETRY_BACKOFF_MAX_S", "8")
|
||||
s = Settings()
|
||||
assert s.merge_retry_enabled is False
|
||||
assert s.merge_retry_max_attempts == 5
|
||||
assert s.merge_retry_backoff_base_s == 1
|
||||
assert s.merge_retry_backoff_max_s == 8
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# ORCH-094: deploy_status_guard_* settings defaults + env override.
|
||||
# ---------------------------------------------------------------------------
|
||||
_DEPLOY_GUARD_ENV = (
|
||||
"ORCH_DEPLOY_STATUS_GUARD_ENABLED",
|
||||
"ORCH_DEPLOY_STATUS_GUARD_REPOS",
|
||||
)
|
||||
|
||||
|
||||
def test_deploy_status_guard_settings_defaults(monkeypatch):
|
||||
"""Documented defaults: enabled True, repos empty (self-hosting only)."""
|
||||
for name in _DEPLOY_GUARD_ENV:
|
||||
monkeypatch.delenv(name, raising=False)
|
||||
s = Settings()
|
||||
assert s.deploy_status_guard_enabled is True
|
||||
assert s.deploy_status_guard_repos == ""
|
||||
|
||||
|
||||
def test_deploy_status_guard_settings_env_override(monkeypatch):
|
||||
"""Each field is read from its ORCH_DEPLOY_STATUS_GUARD_* env var."""
|
||||
monkeypatch.setenv("ORCH_DEPLOY_STATUS_GUARD_ENABLED", "false")
|
||||
monkeypatch.setenv("ORCH_DEPLOY_STATUS_GUARD_REPOS", "orchestrator,enduro-trails")
|
||||
s = Settings()
|
||||
assert s.deploy_status_guard_enabled is False
|
||||
assert s.deploy_status_guard_repos == "orchestrator,enduro-trails"
|
||||
|
||||
471
tests/test_coverage_gate.py
Normal file
471
tests/test_coverage_gate.py
Normal file
@@ -0,0 +1,471 @@
|
||||
"""ORCH-027 / TC-01..TC-15: the coverage-gate leaf module (src/coverage_gate.py).
|
||||
|
||||
These exercise the DETERMINISTIC core: the pure verdict / delta / frontmatter
|
||||
helpers (no binaries needed), the ratchet baseline against a real tmp SQLite DB,
|
||||
the conditionality / kill-switch / fail-open behaviour with the measurer mocked,
|
||||
never-raise, and the gate's integration into advance_stage / GET /queue.
|
||||
|
||||
Contract under test (ADR-001 §7):
|
||||
* the verdict is a deterministic pure function of (measured, baseline, floor,
|
||||
policy, epsilon) — no LLM, all border / epsilon cases covered;
|
||||
* the ratchet baseline only moves UP and bootstraps on the first merge;
|
||||
* conditionality: empty scope -> self-hosting only; out-of-scope -> no-op N/A;
|
||||
kill-switch off -> inert;
|
||||
* a coverage-tool error degrades fail-open + WARNING by default, fail-closed only
|
||||
when configured;
|
||||
* the machine verdict lives ONLY in the YAML frontmatter (read-back == written);
|
||||
* never-raise: any internal error -> a (bool, reason) pair, no exception escapes;
|
||||
* self-hosting safety: the gate never deploys / restarts prod / pushes main.
|
||||
"""
|
||||
import os
|
||||
import tempfile
|
||||
|
||||
os.environ["ORCH_DB_PATH"] = os.path.join(tempfile.gettempdir(), "test_coverage_gate.db")
|
||||
os.environ.setdefault("ORCH_GITEA_TOKEN", "test-token")
|
||||
os.environ.setdefault("ORCH_PLANE_API_TOKEN", "test-token")
|
||||
|
||||
import pytest # noqa: E402
|
||||
|
||||
import src.db as db # noqa: E402
|
||||
from src import config as cfg # noqa: E402
|
||||
from src import coverage_gate as cg # noqa: E402
|
||||
|
||||
_REPO = "orchestrator"
|
||||
_BRANCH = "feature/ORCH-027-code-coverage"
|
||||
_WI = "ORCH-027"
|
||||
|
||||
|
||||
@pytest.fixture(autouse=True)
|
||||
def fresh_db(tmp_path, monkeypatch):
|
||||
"""Isolated tmp SQLite DB + gate ON / empty scope (self-hosting) by default."""
|
||||
dbfile = tmp_path / "cov.db"
|
||||
monkeypatch.setattr(db.settings, "db_path", str(dbfile))
|
||||
monkeypatch.setattr(cfg.settings, "coverage_gate_enabled", True, raising=False)
|
||||
monkeypatch.setattr(cfg.settings, "coverage_gate_repos", "", raising=False)
|
||||
monkeypatch.setattr(cfg.settings, "coverage_min_percent", 80.0, raising=False)
|
||||
monkeypatch.setattr(cfg.settings, "coverage_policy", "both", raising=False)
|
||||
monkeypatch.setattr(cfg.settings, "coverage_epsilon", 0.5, raising=False)
|
||||
monkeypatch.setattr(cfg.settings, "coverage_tool_fail_closed", False, raising=False)
|
||||
monkeypatch.setattr(cfg.settings, "coverage_run_timeout_s", 900, raising=False)
|
||||
db.init_db()
|
||||
yield
|
||||
|
||||
|
||||
# ===========================================================================
|
||||
# TC-01 — policy=absolute
|
||||
# ===========================================================================
|
||||
def test_tc01_policy_absolute():
|
||||
# measured >= floor -> PASS
|
||||
ok, _ = cg.compute_coverage_verdict(85.0, None, 80.0, "absolute", 0.0)
|
||||
assert ok is True
|
||||
# exactly on the floor -> PASS (>=)
|
||||
ok, _ = cg.compute_coverage_verdict(80.0, None, 80.0, "absolute", 0.0)
|
||||
assert ok is True
|
||||
# below floor-epsilon -> FAIL
|
||||
ok, _ = cg.compute_coverage_verdict(78.0, None, 80.0, "absolute", 0.5)
|
||||
assert ok is False
|
||||
# baseline is IGNORED under absolute (even a high baseline cannot fail it)
|
||||
ok, _ = cg.compute_coverage_verdict(85.0, 99.0, 80.0, "absolute", 0.0)
|
||||
assert ok is True
|
||||
|
||||
|
||||
# ===========================================================================
|
||||
# TC-02 — policy=baseline (no-regression / ratchet)
|
||||
# ===========================================================================
|
||||
def test_tc02_policy_baseline():
|
||||
# measured >= baseline -> PASS
|
||||
ok, _ = cg.compute_coverage_verdict(90.0, 85.0, 0.0, "baseline", 0.0)
|
||||
assert ok is True
|
||||
# exactly on baseline -> PASS
|
||||
ok, _ = cg.compute_coverage_verdict(85.0, 85.0, 0.0, "baseline", 0.0)
|
||||
assert ok is True
|
||||
# below baseline-epsilon -> FAIL
|
||||
ok, _ = cg.compute_coverage_verdict(83.0, 85.0, 0.0, "baseline", 0.5)
|
||||
assert ok is False
|
||||
# floor is IGNORED under baseline (low measured vs floor but >= baseline -> PASS)
|
||||
ok, _ = cg.compute_coverage_verdict(40.0, 30.0, 80.0, "baseline", 0.0)
|
||||
assert ok is True
|
||||
# bootstrap: baseline None under baseline policy -> PASS (cannot regress vs nothing)
|
||||
ok, reason = cg.compute_coverage_verdict(10.0, None, 80.0, "baseline", 0.0)
|
||||
assert ok is True
|
||||
assert "bootstrap" in reason.lower()
|
||||
|
||||
|
||||
# ===========================================================================
|
||||
# TC-03 — policy=both (PASS only if BOTH hold)
|
||||
# ===========================================================================
|
||||
def test_tc03_policy_both():
|
||||
# both hold -> PASS
|
||||
ok, _ = cg.compute_coverage_verdict(90.0, 85.0, 80.0, "both", 0.0)
|
||||
assert ok is True
|
||||
# absolute fails (below floor) -> FAIL even though >= baseline
|
||||
ok, _ = cg.compute_coverage_verdict(82.0, 80.0, 85.0, "both", 0.0)
|
||||
assert ok is False
|
||||
# baseline fails (below baseline) -> FAIL even though >= floor
|
||||
ok, _ = cg.compute_coverage_verdict(84.0, 90.0, 80.0, "both", 0.0)
|
||||
assert ok is False
|
||||
# bootstrap under both: baseline None -> only absolute decides
|
||||
ok, _ = cg.compute_coverage_verdict(85.0, None, 80.0, "both", 0.0)
|
||||
assert ok is True
|
||||
ok, _ = cg.compute_coverage_verdict(70.0, None, 80.0, "both", 0.0)
|
||||
assert ok is False
|
||||
|
||||
|
||||
# ===========================================================================
|
||||
# TC-04 — epsilon tolerance (anti-flap, NFR-4)
|
||||
# ===========================================================================
|
||||
def test_tc04_epsilon_tolerance():
|
||||
# measured 0.3% under baseline, epsilon 0.5 -> still PASS (within noise)
|
||||
ok, _ = cg.compute_coverage_verdict(84.7, 85.0, 80.0, "both", 0.5)
|
||||
assert ok is True
|
||||
# measured 0.3% under floor, epsilon 0.5 -> still PASS
|
||||
ok, _ = cg.compute_coverage_verdict(79.7, 80.0, 0.0, "absolute", 0.5)
|
||||
assert ok is True
|
||||
# just beyond epsilon -> FAIL
|
||||
ok, _ = cg.compute_coverage_verdict(84.4, 85.0, 80.0, "baseline", 0.5)
|
||||
assert ok is False
|
||||
# negative epsilon is clamped to 0 (no negative tolerance)
|
||||
ok, _ = cg.compute_coverage_verdict(84.9, 85.0, 0.0, "baseline", -5.0)
|
||||
assert ok is False
|
||||
|
||||
|
||||
# ===========================================================================
|
||||
# TC-05 — ratchet baseline (up only; never lowers)
|
||||
# ===========================================================================
|
||||
def test_tc05_ratchet_up_only():
|
||||
# bootstrap seeds the baseline
|
||||
assert db.get_coverage_baseline(_REPO) is None
|
||||
assert db.ratchet_coverage_baseline(_REPO, 80.0, "sha1") is True
|
||||
assert db.get_coverage_baseline(_REPO) == pytest.approx(80.0)
|
||||
# higher value raises it
|
||||
assert db.ratchet_coverage_baseline(_REPO, 85.0, "sha2") is True
|
||||
assert db.get_coverage_baseline(_REPO) == pytest.approx(85.0)
|
||||
# equal value re-stamps (idempotent, no harm) — baseline unchanged
|
||||
db.ratchet_coverage_baseline(_REPO, 85.0, "sha3")
|
||||
assert db.get_coverage_baseline(_REPO) == pytest.approx(85.0)
|
||||
# LOWER value does NOT lower the baseline
|
||||
assert db.ratchet_coverage_baseline(_REPO, 70.0, "sha4") is False
|
||||
assert db.get_coverage_baseline(_REPO) == pytest.approx(85.0)
|
||||
|
||||
|
||||
def test_tc05_ratchet_per_repo_isolated():
|
||||
db.ratchet_coverage_baseline(_REPO, 85.0, "s")
|
||||
db.ratchet_coverage_baseline("enduro-trails", 42.0, "s")
|
||||
assert db.get_coverage_baseline(_REPO) == pytest.approx(85.0)
|
||||
assert db.get_coverage_baseline("enduro-trails") == pytest.approx(42.0)
|
||||
|
||||
|
||||
# ===========================================================================
|
||||
# TC-06 — bootstrap baseline (first init from main measurement)
|
||||
# ===========================================================================
|
||||
def test_tc06_bootstrap(monkeypatch, tmp_path):
|
||||
# No baseline yet -> ratchet_baseline_on_merge seeds it from the artefact value.
|
||||
report = (
|
||||
"---\ncoverage_status: PASS\nwork_item: ORCH-027\n"
|
||||
"measured_coverage: 77.50\nbaseline: \nfloor: 0.00\npolicy: both\n"
|
||||
"epsilon: 0.50\ndelta: 0.00\n---\n# body\n"
|
||||
)
|
||||
monkeypatch.setattr(cg, "_report_path", lambda *a, **k: str(tmp_path / "18.md"))
|
||||
(tmp_path / "18.md").write_text(report, encoding="utf-8")
|
||||
assert db.get_coverage_baseline(_REPO) is None
|
||||
assert cg.ratchet_baseline_on_merge(_REPO, _WI, _BRANCH, "sha") is True
|
||||
assert db.get_coverage_baseline(_REPO) == pytest.approx(77.5)
|
||||
|
||||
|
||||
# ===========================================================================
|
||||
# TC-07 — conditionality applies(repo) (empty scope -> self-hosting only)
|
||||
# ===========================================================================
|
||||
def test_tc07_applies_self_hosting_only(monkeypatch):
|
||||
monkeypatch.setattr(cfg.settings, "coverage_gate_repos", "", raising=False)
|
||||
assert cg.coverage_gate_applies("orchestrator") is True
|
||||
assert cg.coverage_gate_applies("enduro-trails") is False
|
||||
|
||||
|
||||
def test_tc07_applies_csv_scope(monkeypatch):
|
||||
monkeypatch.setattr(cfg.settings, "coverage_gate_repos", "foo, enduro-trails", raising=False)
|
||||
assert cg.coverage_gate_applies("enduro-trails") is True
|
||||
assert cg.coverage_gate_applies("orchestrator") is False
|
||||
|
||||
|
||||
def test_tc07_out_of_scope_noop_no_measure(monkeypatch):
|
||||
# Out-of-scope repo -> (True, "...N/A") and the expensive measurer is NOT called.
|
||||
called = {"n": 0}
|
||||
monkeypatch.setattr(cg, "measure_coverage", lambda *a, **k: called.__setitem__("n", called["n"] + 1) or 99.0)
|
||||
ok, reason = cg.check_coverage_gate("enduro-trails", "ET-1", "feature/x")
|
||||
assert ok is True
|
||||
assert "N/A" in reason
|
||||
assert called["n"] == 0
|
||||
|
||||
|
||||
# ===========================================================================
|
||||
# TC-08 — kill-switch off -> inert (1:1 as before ORCH-027)
|
||||
# ===========================================================================
|
||||
def test_tc08_kill_switch_off(monkeypatch):
|
||||
monkeypatch.setattr(cfg.settings, "coverage_gate_enabled", False, raising=False)
|
||||
called = {"n": 0}
|
||||
monkeypatch.setattr(cg, "measure_coverage", lambda *a, **k: called.__setitem__("n", called["n"] + 1) or 10.0)
|
||||
ok, reason = cg.check_coverage_gate(_REPO, _WI, _BRANCH)
|
||||
assert ok is True
|
||||
assert "disabled" in reason
|
||||
assert called["n"] == 0
|
||||
assert cg.coverage_gate_applies(_REPO) is False
|
||||
|
||||
|
||||
# ===========================================================================
|
||||
# TC-09 — fail-open by default on a tool error; fail-closed when configured
|
||||
# ===========================================================================
|
||||
def test_tc09_fail_open_default(monkeypatch, tmp_path):
|
||||
monkeypatch.setattr(cg, "measure_coverage", lambda *a, **k: None) # tool error
|
||||
monkeypatch.setattr(cg, "_report_path", lambda *a, **k: str(tmp_path / "18.md"))
|
||||
ok, reason = cg.check_coverage_gate(_REPO, _WI, _BRANCH)
|
||||
assert ok is True
|
||||
assert "fail-open" in reason.lower()
|
||||
# The report records the fail-open PASS.
|
||||
content = (tmp_path / "18.md").read_text(encoding="utf-8")
|
||||
assert "coverage_status: PASS" in content
|
||||
|
||||
|
||||
def test_tc09_fail_closed_when_configured(monkeypatch, tmp_path):
|
||||
monkeypatch.setattr(cfg.settings, "coverage_tool_fail_closed", True, raising=False)
|
||||
monkeypatch.setattr(cg, "measure_coverage", lambda *a, **k: None)
|
||||
monkeypatch.setattr(cg, "_report_path", lambda *a, **k: str(tmp_path / "18.md"))
|
||||
ok, reason = cg.check_coverage_gate(_REPO, _WI, _BRANCH)
|
||||
assert ok is False
|
||||
assert "fail-closed" in reason.lower()
|
||||
content = (tmp_path / "18.md").read_text(encoding="utf-8")
|
||||
assert "coverage_status: FAIL" in content
|
||||
|
||||
|
||||
# ===========================================================================
|
||||
# TC-10 — never-raise (broken inputs / internal error never escape)
|
||||
# ===========================================================================
|
||||
def test_tc10_verdict_never_raises_on_bad_inputs():
|
||||
ok, reason = cg.compute_coverage_verdict("not-a-number", None, 80.0, "both", 0.5)
|
||||
assert ok is False
|
||||
assert "bad inputs" in reason
|
||||
|
||||
|
||||
def test_tc10_parse_coverage_percent_tolerant():
|
||||
assert cg.parse_coverage_percent({"totals": {"percent_covered": 73.2}}) == pytest.approx(73.2)
|
||||
assert cg.parse_coverage_percent({}) is None
|
||||
assert cg.parse_coverage_percent("garbage") is None
|
||||
assert cg.parse_coverage_percent({"totals": {}}) is None
|
||||
|
||||
|
||||
def test_tc10_check_never_raises(monkeypatch):
|
||||
# measure_coverage explodes -> the gate swallows it and returns a pair (fail-open).
|
||||
def _boom(*a, **k):
|
||||
raise RuntimeError("coverage exploded")
|
||||
monkeypatch.setattr(cg, "measure_coverage", _boom)
|
||||
ok, reason = cg.check_coverage_gate(_REPO, _WI, _BRANCH)
|
||||
assert isinstance(ok, bool)
|
||||
assert "error (fail-open)" in reason
|
||||
|
||||
|
||||
def test_tc10_ratchet_never_raises_on_missing_report(monkeypatch, tmp_path):
|
||||
monkeypatch.setattr(cg, "_report_path", lambda *a, **k: str(tmp_path / "nope.md"))
|
||||
assert cg.ratchet_baseline_on_merge(_REPO, _WI, _BRANCH, "sha") is False
|
||||
|
||||
|
||||
# ===========================================================================
|
||||
# TC-11 — write/read report; single source of truth via frontmatter
|
||||
# ===========================================================================
|
||||
def test_tc11_report_roundtrip(tmp_path):
|
||||
fields = {
|
||||
"coverage_status": "PASS",
|
||||
"measured_coverage": 88.25,
|
||||
"baseline": 85.0,
|
||||
"floor": 80.0,
|
||||
"policy": "both",
|
||||
"epsilon": 0.5,
|
||||
"delta": 3.25,
|
||||
"reason": "ok",
|
||||
"measurement": "pytest --cov=src: 88.25%",
|
||||
"policy_detail": "policy=both",
|
||||
}
|
||||
content = cg.render_coverage_report(_WI, fields)
|
||||
# machine key present and parseable
|
||||
ok, verdict = cg.parse_coverage_status(content)
|
||||
assert ok is True
|
||||
assert "PASS" in verdict
|
||||
# measured_coverage read back from the SAME file (ratchet source of truth)
|
||||
assert cg.read_measured_coverage(content) == pytest.approx(88.25)
|
||||
|
||||
# FAIL roundtrip (FAIL token authoritative)
|
||||
fields["coverage_status"] = "FAIL"
|
||||
content = cg.render_coverage_report(_WI, fields)
|
||||
ok, verdict = cg.parse_coverage_status(content)
|
||||
assert ok is False
|
||||
assert "FAIL" in verdict
|
||||
|
||||
|
||||
def test_tc11_parse_missing_frontmatter():
|
||||
ok, reason = cg.parse_coverage_status("no frontmatter here")
|
||||
assert ok is False
|
||||
assert "coverage_status" in reason
|
||||
assert cg.read_measured_coverage("no frontmatter") is None
|
||||
|
||||
|
||||
def test_tc11_bootstrap_report_blank_baseline():
|
||||
# bootstrap: baseline None -> renders an EMPTY baseline field, still parseable.
|
||||
fields = {
|
||||
"coverage_status": "PASS", "measured_coverage": 50.0, "baseline": None,
|
||||
"floor": 0.0, "policy": "both", "epsilon": 0.5, "delta": 0.0,
|
||||
}
|
||||
content = cg.render_coverage_report(_WI, fields)
|
||||
assert "baseline: \n" in content or "baseline:\n" in content
|
||||
assert cg.parse_coverage_status(content)[0] is True
|
||||
|
||||
|
||||
# ===========================================================================
|
||||
# TC-12 — self-hosting safety: the leaf imports no engine, touches no prod
|
||||
# ===========================================================================
|
||||
def test_tc12_leaf_no_engine_import():
|
||||
# AST-based (not prose): the leaf must never IMPORT the engine, and the only
|
||||
# external command it runs is pytest — no docker/compose/force-push literals.
|
||||
import ast
|
||||
import inspect
|
||||
tree = ast.parse(inspect.getsource(cg))
|
||||
imported: set[str] = set()
|
||||
for node in ast.walk(tree):
|
||||
if isinstance(node, ast.ImportFrom) and node.module:
|
||||
imported.add(node.module)
|
||||
elif isinstance(node, ast.Import):
|
||||
for n in node.names:
|
||||
imported.add(n.name)
|
||||
assert not any("stage_engine" in m for m in imported), imported
|
||||
assert not any(("launcher" in m or "self_deploy" in m) for m in imported), imported
|
||||
# No deploy / restart / force-push command tokens used as actual string literals.
|
||||
consts = [
|
||||
n.value for n in ast.walk(tree)
|
||||
if isinstance(n, ast.Constant) and isinstance(n.value, str)
|
||||
]
|
||||
for forbidden in ("compose", "--force-with-lease", "--force", "docker"):
|
||||
assert forbidden not in consts, f"coverage_gate leaf must not run {forbidden!r}"
|
||||
|
||||
|
||||
def test_tc12_delta_signed():
|
||||
assert cg.compute_delta(85.0, 80.0, 70.0) == pytest.approx(5.0) # vs max(80,70)
|
||||
assert cg.compute_delta(75.0, 80.0, 70.0) == pytest.approx(-5.0)
|
||||
assert cg.compute_delta(50.0, None, None) == pytest.approx(0.0)
|
||||
|
||||
|
||||
# ===========================================================================
|
||||
# TC-13 — gate integration into advance_stage (rollback on FAIL, retry++)
|
||||
# ===========================================================================
|
||||
def test_tc13_advance_rolls_back_on_fail(monkeypatch):
|
||||
from src import stage_engine as se
|
||||
|
||||
captured = {}
|
||||
|
||||
def _fake_run_qg(name, repo, wi, branch):
|
||||
captured["qg"] = name
|
||||
return (False, "measured=70.00% policy=both: absolute FAIL")
|
||||
|
||||
monkeypatch.setattr(se, "_run_qg", _fake_run_qg)
|
||||
monkeypatch.setattr(se, "update_task_stage", lambda *a, **k: None)
|
||||
monkeypatch.setattr(se, "notify_stage_change", lambda *a, **k: None)
|
||||
monkeypatch.setattr(se, "plane_notify_stage", lambda *a, **k: None)
|
||||
monkeypatch.setattr(se, "set_issue_in_progress", lambda *a, **k: None)
|
||||
monkeypatch.setattr(se, "notify_qg_failure", lambda *a, **k: None)
|
||||
monkeypatch.setattr(se, "plane_add_comment", lambda *a, **k: None)
|
||||
monkeypatch.setattr(se, "_developer_retry_count", lambda *a, **k: 0)
|
||||
released = {"n": 0}
|
||||
monkeypatch.setattr(se.merge_gate, "release_merge_lease",
|
||||
lambda *a, **k: released.__setitem__("n", released["n"] + 1))
|
||||
enq = {"n": 0}
|
||||
monkeypatch.setattr(se, "enqueue_job",
|
||||
lambda *a, **k: enq.__setitem__("n", enq["n"] + 1) or 123)
|
||||
|
||||
result = se.AdvanceResult()
|
||||
intervened = se._handle_coverage_gate(1, "deploy-staging", _REPO, _WI, _BRANCH, "deployer", result)
|
||||
assert intervened is True
|
||||
assert captured["qg"] == "check_coverage_gate"
|
||||
assert result.rolled_back_to == "development"
|
||||
assert result.enqueued_agent == "developer"
|
||||
assert enq["n"] == 1
|
||||
# merge lease released on the coverage rollback (ADR-001 D1/TR-2)
|
||||
assert released["n"] == 1
|
||||
|
||||
|
||||
def test_tc13_advance_passes_through_on_ok(monkeypatch):
|
||||
from src import stage_engine as se
|
||||
monkeypatch.setattr(se, "_run_qg", lambda *a, **k: (True, "coverage OK"))
|
||||
result = se.AdvanceResult()
|
||||
intervened = se._handle_coverage_gate(1, "deploy-staging", _REPO, _WI, _BRANCH, "deployer", result)
|
||||
assert intervened is False
|
||||
assert result.rolled_back_to is None
|
||||
|
||||
|
||||
# ===========================================================================
|
||||
# TC-14 — real measurement on a minimal fixture repo (pytest --cov in worktree)
|
||||
# ===========================================================================
|
||||
def test_tc14_real_measurement(tmp_path, monkeypatch):
|
||||
# Build a minimal project: src/ with one function, tests covering part of it.
|
||||
proj = tmp_path / "fixture_repo"
|
||||
(proj / "src").mkdir(parents=True)
|
||||
(proj / "tests").mkdir()
|
||||
(proj / "src" / "__init__.py").write_text("", encoding="utf-8")
|
||||
(proj / "src" / "mod.py").write_text(
|
||||
"def covered():\n return 1\n\n\ndef uncovered():\n return 2\n",
|
||||
encoding="utf-8",
|
||||
)
|
||||
(proj / "tests" / "test_mod.py").write_text(
|
||||
"from src.mod import covered\n\n\ndef test_covered():\n assert covered() == 1\n",
|
||||
encoding="utf-8",
|
||||
)
|
||||
# Point the measurer's worktree resolution at our fixture.
|
||||
monkeypatch.setattr(cg, "ensure_worktree", lambda repo, branch: str(proj))
|
||||
pct = cg.measure_coverage(_REPO, _BRANCH)
|
||||
assert pct is not None
|
||||
# mod.py: 4 statements, uncovered() body (1) unrun -> ~75%; bounds-check only.
|
||||
assert 50.0 <= pct <= 90.0
|
||||
# the scratch json is cleaned up
|
||||
assert not (proj / ".coverage-report.json").exists()
|
||||
|
||||
|
||||
def test_tc14_measure_timeout_returns_none(monkeypatch):
|
||||
import subprocess
|
||||
monkeypatch.setattr(cg, "ensure_worktree", lambda r, b: "/tmp")
|
||||
|
||||
def _timeout(*a, **k):
|
||||
raise subprocess.TimeoutExpired(cmd="pytest", timeout=1)
|
||||
monkeypatch.setattr(cg.subprocess, "run", _timeout)
|
||||
assert cg.measure_coverage(_REPO, _BRANCH) is None
|
||||
|
||||
|
||||
# ===========================================================================
|
||||
# TC-15 — observability (snapshot block) + registry compatibility unchanged
|
||||
# ===========================================================================
|
||||
def test_tc15_snapshot_shape(monkeypatch):
|
||||
db.ratchet_coverage_baseline(_REPO, 81.0, "sha")
|
||||
snap = cg.snapshot()
|
||||
assert snap["enabled"] is True
|
||||
assert snap["policy"] == "both"
|
||||
assert snap["floor"] == pytest.approx(80.0)
|
||||
assert "baselines" in snap
|
||||
assert _REPO in snap["baselines"]
|
||||
assert snap["baselines"][_REPO]["coverage"] == pytest.approx(81.0)
|
||||
|
||||
|
||||
def test_tc15_snapshot_never_raises(monkeypatch):
|
||||
monkeypatch.setattr(db, "all_coverage_baselines", lambda: (_ for _ in ()).throw(RuntimeError("boom")))
|
||||
snap = cg.snapshot()
|
||||
assert snap["enabled"] is True
|
||||
assert snap["baselines"] == {}
|
||||
|
||||
|
||||
def test_tc15_registry_and_transitions_unchanged():
|
||||
from src.qg.checks import QG_CHECKS
|
||||
from src.stages import STAGE_TRANSITIONS
|
||||
# new check registered...
|
||||
assert "check_coverage_gate" in QG_CHECKS
|
||||
# ...without touching the existing verdict checks (byte-for-byte names present)
|
||||
for name in (
|
||||
"check_ci_green", "check_tests_passed", "check_security_gate",
|
||||
"check_staging_status", "check_staging_image_fresh", "check_branch_mergeable",
|
||||
):
|
||||
assert name in QG_CHECKS
|
||||
# coverage is an edge sub-gate, NOT a STAGE_TRANSITIONS edge
|
||||
for _stage, spec in STAGE_TRANSITIONS.items():
|
||||
assert "check_coverage_gate" not in str(spec)
|
||||
@@ -132,7 +132,8 @@ def test_tc05_no_approve_does_not_call_prod_hook(monkeypatch):
|
||||
# The restart-safe approve-requested marker was written.
|
||||
assert self_deploy.has_marker("orchestrator", "ORCH-036", self_deploy.APPROVE_REQUESTED)
|
||||
# ORCH-066 AC-6/AC-13: Phase A indicates `Awaiting Deploy`, NOT `In Review`.
|
||||
stage_engine.set_issue_awaiting_deploy.assert_called_once_with("ORCH-036")
|
||||
# ORCH-094: the caller now tags the reason (FR-4 observability).
|
||||
stage_engine.set_issue_awaiting_deploy.assert_called_once_with("ORCH-036", reason="phase_a")
|
||||
stage_engine.set_issue_in_review.assert_not_called()
|
||||
|
||||
|
||||
@@ -161,7 +162,8 @@ def test_tc06_approved_calls_prod_hook_exactly_once(monkeypatch):
|
||||
assert any(j["agent"] == "deploy-finalizer" for j in _jobs())
|
||||
assert self_deploy.has_marker("orchestrator", "ORCH-036", self_deploy.INITIATED)
|
||||
# ORCH-066 AC-7: Phase B indicates `Deploying` on a successful initiate.
|
||||
stage_engine.set_issue_deploying.assert_called_once_with("ORCH-036")
|
||||
# ORCH-094: the caller now tags the reason (FR-4 observability).
|
||||
stage_engine.set_issue_deploying.assert_called_once_with("ORCH-036", reason="phase_b")
|
||||
|
||||
# 2nd (duplicate) Confirm Deploy -> idempotent no-op, hook NOT called again.
|
||||
res2 = advance_stage(
|
||||
|
||||
88
tests/test_deploy_status_observability.py
Normal file
88
tests/test_deploy_status_observability.py
Normal file
@@ -0,0 +1,88 @@
|
||||
"""ORCH-094 — observability of deploy-status setting (FR-4 / AC-5 / TC-09).
|
||||
|
||||
Every deploy-phase status decision emits ONE structured line carrying work_item,
|
||||
caller (reason), target_status, db_stage, window_active and the verdict; a
|
||||
suppression/convergence is logged explicitly so a future flapp is attributable.
|
||||
"""
|
||||
import logging
|
||||
import os
|
||||
import tempfile
|
||||
|
||||
import pytest
|
||||
|
||||
_test_db = os.path.join(tempfile.gettempdir(), "test_deploy_status_obs.db")
|
||||
os.environ["ORCH_DB_PATH"] = _test_db
|
||||
os.environ["ORCH_REPOS_DIR"] = tempfile.gettempdir()
|
||||
os.environ.setdefault("ORCH_GITEA_TOKEN", "test-token")
|
||||
os.environ.setdefault("ORCH_PLANE_API_TOKEN", "test-token")
|
||||
|
||||
import src.db as _db # noqa: E402
|
||||
from src.db import init_db, get_db # noqa: E402
|
||||
from src import deploy_status_guard as guard # noqa: E402
|
||||
from src import post_deploy # noqa: E402
|
||||
from src import config as cfg # noqa: E402
|
||||
|
||||
|
||||
@pytest.fixture(autouse=True)
|
||||
def fresh_db(monkeypatch, tmp_path):
|
||||
monkeypatch.setattr(_db.settings, "db_path", _test_db)
|
||||
if os.path.exists(_test_db):
|
||||
os.unlink(_test_db)
|
||||
init_db()
|
||||
monkeypatch.setattr(cfg.settings, "deploy_status_guard_enabled", True, raising=False)
|
||||
monkeypatch.setattr(cfg.settings, "deploy_status_guard_repos", "", raising=False)
|
||||
monkeypatch.setattr(post_deploy.settings, "repos_dir", str(tmp_path))
|
||||
monkeypatch.setattr(post_deploy.settings, "host_repos_dir", str(tmp_path))
|
||||
yield
|
||||
|
||||
|
||||
def _make_task(stage, repo="orchestrator", wi="ORCH-061", branch="feature/ORCH-061-x"):
|
||||
conn = get_db()
|
||||
conn.execute(
|
||||
"INSERT INTO tasks (plane_id, work_item_id, repo, branch, stage) "
|
||||
"VALUES (?, ?, ?, ?, ?)",
|
||||
(f"plane-{wi}", wi, repo, branch, stage),
|
||||
)
|
||||
conn.commit()
|
||||
conn.close()
|
||||
|
||||
|
||||
def test_tc09_converge_logs_full_attribution(caplog):
|
||||
_make_task("done")
|
||||
with caplog.at_level(logging.INFO, logger="orchestrator.deploy_status_guard"):
|
||||
verdict = guard.decide("ORCH-061", guard.MONITORING, reason="advance:deploy->done")
|
||||
assert verdict == guard.CONVERGE_DONE
|
||||
rec = [r for r in caplog.records if r.name == "orchestrator.deploy_status_guard"]
|
||||
assert rec, "guard emitted no observability record"
|
||||
msg = rec[-1].getMessage()
|
||||
# All five attribution fields + verdict are present.
|
||||
for token in (
|
||||
"work_item=ORCH-061", "caller=advance:deploy->done", "target=monitoring",
|
||||
"db_stage=done", "window_active=False", "verdict=CONVERGE_DONE",
|
||||
):
|
||||
assert token in msg, f"missing {token!r} in {msg!r}"
|
||||
# A convergence is logged at WARNING (easy to grep on a future flapp).
|
||||
assert rec[-1].levelno == logging.WARNING
|
||||
|
||||
|
||||
def test_tc09_allow_active_window_logged(caplog):
|
||||
_make_task("done")
|
||||
post_deploy.write_marker("orchestrator", "ORCH-061", post_deploy.ARMED, "armed")
|
||||
with caplog.at_level(logging.INFO, logger="orchestrator.deploy_status_guard"):
|
||||
verdict = guard.decide("ORCH-061", guard.MONITORING, reason="advance:deploy->done")
|
||||
assert verdict == guard.ALLOW
|
||||
rec = [r for r in caplog.records if r.name == "orchestrator.deploy_status_guard"][-1]
|
||||
msg = rec.getMessage()
|
||||
assert "window_active=True" in msg and "verdict=ALLOW" in msg
|
||||
assert rec.levelno == logging.INFO
|
||||
|
||||
|
||||
def test_tc09_suppress_cancelled_logged(caplog):
|
||||
_make_task("cancelled")
|
||||
with caplog.at_level(logging.INFO, logger="orchestrator.deploy_status_guard"):
|
||||
verdict = guard.decide("ORCH-061", guard.AWAITING, reason="phase_a")
|
||||
assert verdict == guard.SUPPRESS
|
||||
rec = [r for r in caplog.records if r.name == "orchestrator.deploy_status_guard"][-1]
|
||||
assert "verdict=SUPPRESS" in rec.getMessage()
|
||||
assert "db_stage=cancelled" in rec.getMessage()
|
||||
assert rec.levelno == logging.WARNING
|
||||
217
tests/test_deploy_status_terminal_guard.py
Normal file
217
tests/test_deploy_status_terminal_guard.py
Normal file
@@ -0,0 +1,217 @@
|
||||
"""ORCH-094 — terminal-window-aware deploy-status guard (FR-2 / FR-5).
|
||||
|
||||
Covers (04-test-plan.yaml):
|
||||
TC-01 deploy-status for a DB stage=done task converges to Done: a
|
||||
set_issue_monitoring/awaiting/deploying attempt on a terminal task drives
|
||||
Done (or no-op if already Done), never an intermediate status.
|
||||
TC-02 idempotency: a repeated terminal-aware setter call on an already-Done task
|
||||
never PATCHes an intermediate status (no Done<->deploy pendulum).
|
||||
TC-03 a non-terminal task (stage=deploy) is NOT suppressed: the deploy setters
|
||||
proceed normally (regression AC-4).
|
||||
TC-04 kill-switch off -> 1:1 prior behaviour (guard inert); on -> converge.
|
||||
TC-05 never-raise: an undeterminable DB stage / DB error degrades safely (ALLOW,
|
||||
no flapp, no exception).
|
||||
TC-12 non-self repo: zero regression — the guard is inert (self-hosting only).
|
||||
"""
|
||||
import os
|
||||
import tempfile
|
||||
|
||||
import pytest
|
||||
|
||||
_test_db = os.path.join(tempfile.gettempdir(), "test_deploy_status_guard.db")
|
||||
os.environ["ORCH_DB_PATH"] = _test_db
|
||||
os.environ["ORCH_REPOS_DIR"] = tempfile.gettempdir()
|
||||
os.environ.setdefault("ORCH_GITEA_TOKEN", "test-token")
|
||||
os.environ.setdefault("ORCH_PLANE_API_TOKEN", "test-token")
|
||||
|
||||
from unittest.mock import MagicMock # noqa: E402
|
||||
|
||||
import src.db as _db # noqa: E402
|
||||
from src.db import init_db, get_db # noqa: E402
|
||||
from src import deploy_status_guard as guard # noqa: E402
|
||||
from src import plane_sync # noqa: E402
|
||||
from src import post_deploy # noqa: E402
|
||||
from src import config as cfg # noqa: E402
|
||||
|
||||
|
||||
@pytest.fixture(autouse=True)
|
||||
def fresh_db(monkeypatch, tmp_path):
|
||||
monkeypatch.setattr(_db.settings, "db_path", _test_db)
|
||||
if os.path.exists(_test_db):
|
||||
os.unlink(_test_db)
|
||||
init_db()
|
||||
# Guard ON, self-hosting only (empty CSV) by default.
|
||||
monkeypatch.setattr(cfg.settings, "deploy_status_guard_enabled", True, raising=False)
|
||||
monkeypatch.setattr(cfg.settings, "deploy_status_guard_repos", "", raising=False)
|
||||
# post-deploy sentinels live under a fresh tmp dir (window closed by default).
|
||||
monkeypatch.setattr(post_deploy.settings, "repos_dir", str(tmp_path))
|
||||
monkeypatch.setattr(post_deploy.settings, "host_repos_dir", str(tmp_path))
|
||||
yield
|
||||
|
||||
|
||||
def _make_task(stage, repo="orchestrator", wi="ORCH-061", branch="feature/ORCH-061-x"):
|
||||
conn = get_db()
|
||||
conn.execute(
|
||||
"INSERT INTO tasks (plane_id, work_item_id, repo, branch, stage) "
|
||||
"VALUES (?, ?, ?, ?, ?)",
|
||||
(f"plane-{wi}", wi, repo, branch, stage),
|
||||
)
|
||||
conn.commit()
|
||||
conn.close()
|
||||
|
||||
|
||||
@pytest.fixture
|
||||
def spy_setters(monkeypatch):
|
||||
"""Spy the low-level PATCH primitive + the Done convergence target."""
|
||||
direct = MagicMock()
|
||||
done = MagicMock()
|
||||
monkeypatch.setattr(plane_sync, "_set_issue_state_direct", direct)
|
||||
monkeypatch.setattr(plane_sync, "set_issue_done", done)
|
||||
# Keep status resolution offline-deterministic.
|
||||
monkeypatch.setattr(plane_sync, "_resolve_project_id", lambda w=None, p=None: "proj-1")
|
||||
monkeypatch.setattr(
|
||||
plane_sync, "get_project_states",
|
||||
lambda pid: {"awaiting_deploy": "S-aw", "deploying": "S-dep", "monitoring": "S-mon"},
|
||||
)
|
||||
return direct, done
|
||||
|
||||
|
||||
# --- TC-01 ------------------------------------------------------------------
|
||||
def test_tc01_done_task_converges_to_done(spy_setters):
|
||||
direct, done = spy_setters
|
||||
_make_task("done")
|
||||
# Window is NOT active (no ARMED sentinel) -> Monitoring is spurious.
|
||||
for setter in (
|
||||
plane_sync.set_issue_monitoring,
|
||||
plane_sync.set_issue_awaiting_deploy,
|
||||
plane_sync.set_issue_deploying,
|
||||
):
|
||||
done.reset_mock()
|
||||
direct.reset_mock()
|
||||
setter("ORCH-061")
|
||||
# Converged to Done; no intermediate deploy-status PATCH.
|
||||
done.assert_called_once_with("ORCH-061")
|
||||
direct.assert_not_called()
|
||||
|
||||
|
||||
def test_tc01_decide_verdicts_for_done():
|
||||
_make_task("done")
|
||||
# No window -> all three converge.
|
||||
assert guard.decide("ORCH-061", guard.MONITORING) == guard.CONVERGE_DONE
|
||||
assert guard.decide("ORCH-061", guard.AWAITING) == guard.CONVERGE_DONE
|
||||
assert guard.decide("ORCH-061", guard.DEPLOYING) == guard.CONVERGE_DONE
|
||||
|
||||
|
||||
def test_tc01_decide_allows_monitoring_in_active_window(tmp_path, monkeypatch):
|
||||
_make_task("done")
|
||||
# Arm the window: ARMED present, DONE absent.
|
||||
post_deploy.write_marker("orchestrator", "ORCH-061", post_deploy.ARMED, "armed")
|
||||
assert post_deploy.window_active("orchestrator", "ORCH-061") is True
|
||||
assert guard.decide("ORCH-061", guard.MONITORING) == guard.ALLOW
|
||||
# Awaiting/Deploying are ALWAYS spurious for a done task, even with a window.
|
||||
assert guard.decide("ORCH-061", guard.AWAITING) == guard.CONVERGE_DONE
|
||||
# Once the window closes (DONE present) Monitoring converges too.
|
||||
post_deploy.mark_done("orchestrator", "ORCH-061")
|
||||
assert post_deploy.window_active("orchestrator", "ORCH-061") is False
|
||||
assert guard.decide("ORCH-061", guard.MONITORING) == guard.CONVERGE_DONE
|
||||
|
||||
|
||||
# --- TC-02 ------------------------------------------------------------------
|
||||
def test_tc02_idempotent_no_pendulum(spy_setters):
|
||||
direct, done = spy_setters
|
||||
_make_task("done")
|
||||
# Repeated calls keep converging to Done; the intermediate Monitoring PATCH
|
||||
# never fires, so there is no Done<->deploy-status pendulum.
|
||||
for _ in range(5):
|
||||
plane_sync.set_issue_monitoring("ORCH-061")
|
||||
assert direct.call_count == 0
|
||||
assert done.call_count == 5 # idempotent PATCH-equivalent (same terminal state)
|
||||
|
||||
|
||||
# --- TC-03 ------------------------------------------------------------------
|
||||
def test_tc03_non_terminal_not_suppressed(spy_setters):
|
||||
direct, done = spy_setters
|
||||
_make_task("deploy") # a really-deploying task
|
||||
plane_sync.set_issue_awaiting_deploy("ORCH-061")
|
||||
plane_sync.set_issue_deploying("ORCH-061")
|
||||
plane_sync.set_issue_monitoring("ORCH-061")
|
||||
# All three proceed to a real PATCH; nothing converges to Done.
|
||||
assert direct.call_count == 3
|
||||
done.assert_not_called()
|
||||
assert guard.decide("ORCH-061", guard.MONITORING) == guard.ALLOW
|
||||
|
||||
|
||||
# --- TC-04 ------------------------------------------------------------------
|
||||
def test_tc04_kill_switch(spy_setters, monkeypatch):
|
||||
direct, done = spy_setters
|
||||
_make_task("done")
|
||||
# OFF -> terminal-blind, the monitoring PATCH proceeds (1:1 pre-ORCH-094).
|
||||
monkeypatch.setattr(cfg.settings, "deploy_status_guard_enabled", False)
|
||||
plane_sync.set_issue_monitoring("ORCH-061")
|
||||
assert direct.call_count == 1
|
||||
done.assert_not_called()
|
||||
# ON -> converge to Done.
|
||||
monkeypatch.setattr(cfg.settings, "deploy_status_guard_enabled", True)
|
||||
direct.reset_mock()
|
||||
done.reset_mock()
|
||||
plane_sync.set_issue_monitoring("ORCH-061")
|
||||
direct.assert_not_called()
|
||||
done.assert_called_once_with("ORCH-061")
|
||||
|
||||
|
||||
# --- TC-05 ------------------------------------------------------------------
|
||||
def test_tc05_never_raise_on_db_error(spy_setters, monkeypatch):
|
||||
direct, done = spy_setters
|
||||
_make_task("done")
|
||||
|
||||
def _boom(_wi):
|
||||
raise RuntimeError("db down")
|
||||
|
||||
monkeypatch.setattr(_db, "get_task_by_work_item_id", _boom)
|
||||
# decide degrades to ALLOW (fail-safe), never raises.
|
||||
assert guard.decide("ORCH-061", guard.MONITORING) == guard.ALLOW
|
||||
# The setter proceeds with the normal PATCH (1:1), no convergence, no crash.
|
||||
plane_sync.set_issue_monitoring("ORCH-061")
|
||||
assert direct.call_count == 1
|
||||
done.assert_not_called()
|
||||
|
||||
|
||||
def test_tc05_unknown_task_allows(spy_setters):
|
||||
direct, done = spy_setters
|
||||
# No task row at all -> ALLOW (foreign/unknown issue, not ours).
|
||||
assert guard.decide("ORCH-999", guard.MONITORING) == guard.ALLOW
|
||||
plane_sync.set_issue_monitoring("ORCH-999")
|
||||
assert direct.call_count == 1
|
||||
done.assert_not_called()
|
||||
|
||||
|
||||
def test_tc05_cancelled_is_suppressed(spy_setters):
|
||||
direct, done = spy_setters
|
||||
_make_task("cancelled")
|
||||
assert guard.decide("ORCH-061", guard.MONITORING) == guard.SUPPRESS
|
||||
plane_sync.set_issue_monitoring("ORCH-061")
|
||||
# Suppressed: neither an intermediate PATCH nor a Done convergence.
|
||||
direct.assert_not_called()
|
||||
done.assert_not_called()
|
||||
|
||||
|
||||
# --- TC-12 ------------------------------------------------------------------
|
||||
def test_tc12_non_self_repo_inert(spy_setters):
|
||||
direct, done = spy_setters
|
||||
# A non-self repo done task: the guard is inert (self-hosting only, empty CSV).
|
||||
_make_task("done", repo="enduro-trails", wi="ET-042", branch="feature/ET-042-x")
|
||||
assert guard.applies("enduro-trails") is False
|
||||
assert guard.decide("ET-042", guard.MONITORING) == guard.ALLOW
|
||||
plane_sync.set_issue_monitoring("ET-042")
|
||||
# Behaviour unchanged: the requested PATCH proceeds, no convergence.
|
||||
assert direct.call_count == 1
|
||||
done.assert_not_called()
|
||||
|
||||
|
||||
def test_tc12_csv_scope_overrides_self_hosting(monkeypatch):
|
||||
_make_task("done", repo="enduro-trails", wi="ET-042", branch="feature/ET-042-x")
|
||||
# Explicit CSV scope brings a non-self repo in-scope.
|
||||
monkeypatch.setattr(cfg.settings, "deploy_status_guard_repos", "enduro-trails")
|
||||
assert guard.applies("enduro-trails") is True
|
||||
assert guard.applies("orchestrator") is False # not listed -> out of scope
|
||||
assert guard.decide("ET-042", guard.MONITORING) == guard.CONVERGE_DONE
|
||||
@@ -135,7 +135,10 @@ def test_tc08_self_deploy_done_sets_monitoring_not_done(monkeypatch):
|
||||
|
||||
assert _stage(task_id) == "done"
|
||||
# Self-hosting: the issue enters the Monitoring window, NOT terminal Done yet.
|
||||
stage_engine.set_issue_monitoring.assert_called_once_with("ORCH-036")
|
||||
# ORCH-094: the terminal-sync caller now tags the reason (FR-4 observability).
|
||||
stage_engine.set_issue_monitoring.assert_called_once_with(
|
||||
"ORCH-036", reason="advance:deploy->done"
|
||||
)
|
||||
stage_engine.set_issue_done.assert_not_called()
|
||||
|
||||
|
||||
|
||||
@@ -389,3 +389,207 @@ def test_tc16_deployer_prompt_consults_guard():
|
||||
assert "no second merge" in lowered, (
|
||||
"deployer prompt must document the already-merged no-op (AC-11)"
|
||||
)
|
||||
|
||||
|
||||
# ===========================================================================
|
||||
# ORCH-093: merge_pr transient-retry + ensure_open_pr already-in-main guard.
|
||||
# TC-01..TC-12 — httpx mocked; time.sleep no-op so backoff never slows tests.
|
||||
# ===========================================================================
|
||||
ORCH093_BRANCH = "feature/ORCH-093-x"
|
||||
|
||||
|
||||
class _Resp093:
|
||||
"""Response stand-in with status_code / json() / text (merge_pr reads .text)."""
|
||||
|
||||
def __init__(self, status_code, payload=None, text=""):
|
||||
self.status_code = status_code
|
||||
self._payload = payload if payload is not None else []
|
||||
self.text = text
|
||||
|
||||
def json(self):
|
||||
return self._payload
|
||||
|
||||
|
||||
@pytest.fixture
|
||||
def merge093(monkeypatch):
|
||||
"""Wire Gitea settings + retry defaults; no-op backoff; PR not-already-merged."""
|
||||
monkeypatch.setattr(merge_gate.settings, "gitea_url", "http://gitea.test")
|
||||
monkeypatch.setattr(merge_gate.settings, "gitea_owner", "admin")
|
||||
monkeypatch.setattr(merge_gate.settings, "gitea_token", "tok")
|
||||
monkeypatch.setattr(merge_gate.settings, "merge_pr_timeout_s", 5)
|
||||
monkeypatch.setattr(merge_gate.settings, "merge_retry_enabled", True)
|
||||
monkeypatch.setattr(merge_gate.settings, "merge_retry_max_attempts", 3)
|
||||
monkeypatch.setattr(merge_gate.settings, "merge_retry_backoff_base_s", 2)
|
||||
monkeypatch.setattr(merge_gate.settings, "merge_retry_backoff_max_s", 5)
|
||||
monkeypatch.setattr(merge_gate.time, "sleep", lambda *a, **k: None)
|
||||
monkeypatch.setattr(merge_gate, "pr_already_merged", lambda r, b: False)
|
||||
|
||||
|
||||
def _open_code_pr_get(number=7):
|
||||
"""A list-PRs GET returning exactly one open code-PR (head==branch, base==main)."""
|
||||
return lambda *a, **k: _Resp093(
|
||||
200, [{"head": {"ref": ORCH093_BRANCH}, "base": {"ref": "main"}, "number": number}]
|
||||
)
|
||||
|
||||
|
||||
class _PostSeq:
|
||||
"""Returns queued responses (or raises queued exceptions) on each POST call."""
|
||||
|
||||
def __init__(self, items):
|
||||
self._items = list(items)
|
||||
self.calls = 0
|
||||
|
||||
def __call__(self, *a, **k):
|
||||
self.calls += 1
|
||||
item = self._items.pop(0) if self._items else self._items_last
|
||||
self._items_last = item
|
||||
if isinstance(item, Exception):
|
||||
raise item
|
||||
return item
|
||||
|
||||
|
||||
# --- TC-01: 405, 405, 200 -> (True, ...); exactly 3 POST; no false False (AC-1) ---
|
||||
def test_tc01_merge_retries_405_then_succeeds(merge093, monkeypatch):
|
||||
monkeypatch.setattr(httpx, "get", _open_code_pr_get(7))
|
||||
seq = _PostSeq([_Resp093(405, text="try again later"),
|
||||
_Resp093(405, text="try again later"),
|
||||
_Resp093(200)])
|
||||
monkeypatch.setattr(httpx, "post", seq)
|
||||
ok, msg = merge_gate.merge_pr("orchestrator", ORCH093_BRANCH)
|
||||
assert ok is True and "PR #7" in msg
|
||||
assert seq.calls == 3
|
||||
|
||||
|
||||
# --- TC-02: 503 (5xx) then 200 -> retry -> (True, ...) (AC-1) ---
|
||||
def test_tc02_merge_retries_5xx_then_succeeds(merge093, monkeypatch):
|
||||
monkeypatch.setattr(httpx, "get", _open_code_pr_get(7))
|
||||
seq = _PostSeq([_Resp093(503, text="bad gateway"), _Resp093(200)])
|
||||
monkeypatch.setattr(httpx, "post", seq)
|
||||
ok, msg = merge_gate.merge_pr("orchestrator", ORCH093_BRANCH)
|
||||
assert ok is True and seq.calls == 2
|
||||
|
||||
|
||||
# --- TC-03: httpx Timeout in attempt 1, then 200 -> retry; never-raise (AC-1/AC-6) ---
|
||||
def test_tc03_merge_retries_network_error_then_succeeds(merge093, monkeypatch):
|
||||
monkeypatch.setattr(httpx, "get", _open_code_pr_get(7))
|
||||
seq = _PostSeq([httpx.ConnectTimeout("timed out"), _Resp093(200)])
|
||||
monkeypatch.setattr(httpx, "post", seq)
|
||||
ok, msg = merge_gate.merge_pr("orchestrator", ORCH093_BRANCH)
|
||||
assert ok is True and seq.calls == 2
|
||||
|
||||
|
||||
# --- TC-04: real conflict 409 + mergeable=False -> (False, ...), no extra POST (AC-2) ---
|
||||
def test_tc04_real_conflict_terminal_no_retry(merge093, monkeypatch):
|
||||
monkeypatch.setattr(httpx, "get", _open_code_pr_get(7))
|
||||
monkeypatch.setattr(merge_gate, "_pr_mergeable", lambda r, i: False)
|
||||
seq = _PostSeq([_Resp093(409, text="conflict")])
|
||||
monkeypatch.setattr(httpx, "post", seq)
|
||||
ok, msg = merge_gate.merge_pr("orchestrator", ORCH093_BRANCH)
|
||||
assert ok is False and "HTTP 409" in msg
|
||||
assert seq.calls == 1 # terminal -> no retry
|
||||
|
||||
|
||||
# --- TC-05: ambiguous 409 + mergeable=True -> transient -> retry -> 200 (AC-2) ---
|
||||
def test_tc05_ambiguous_409_mergeable_true_retries(merge093, monkeypatch):
|
||||
monkeypatch.setattr(httpx, "get", _open_code_pr_get(7))
|
||||
monkeypatch.setattr(merge_gate, "_pr_mergeable", lambda r, i: True)
|
||||
seq = _PostSeq([_Resp093(409, text="recomputing"), _Resp093(200)])
|
||||
monkeypatch.setattr(httpx, "post", seq)
|
||||
ok, msg = merge_gate.merge_pr("orchestrator", ORCH093_BRANCH)
|
||||
assert ok is True and seq.calls == 2
|
||||
|
||||
|
||||
# --- TC-06: 403 (no rights) -> immediate (False, ...) without retry (AC-2) ---
|
||||
def test_tc06_403_terminal_no_retry(merge093, monkeypatch):
|
||||
monkeypatch.setattr(httpx, "get", _open_code_pr_get(7))
|
||||
seq = _PostSeq([_Resp093(403, text="forbidden")])
|
||||
monkeypatch.setattr(httpx, "post", seq)
|
||||
ok, msg = merge_gate.merge_pr("orchestrator", ORCH093_BRANCH)
|
||||
assert ok is False and "HTTP 403" in msg and seq.calls == 1
|
||||
|
||||
|
||||
# --- TC-07: 405 on all N attempts -> (False, "merge failed after N attempts: HTTP 405") (AC-3) ---
|
||||
def test_tc07_exhausts_retries_clear_reason(merge093, monkeypatch):
|
||||
monkeypatch.setattr(httpx, "get", _open_code_pr_get(7))
|
||||
seq = _PostSeq([_Resp093(405), _Resp093(405), _Resp093(405)])
|
||||
monkeypatch.setattr(httpx, "post", seq)
|
||||
ok, msg = merge_gate.merge_pr("orchestrator", ORCH093_BRANCH)
|
||||
assert ok is False
|
||||
assert "after 3 attempts" in msg and "HTTP 405" in msg
|
||||
assert seq.calls == 3
|
||||
|
||||
|
||||
# --- TC-08: kill-switch off -> exactly one POST (one-shot) at 405 -> (False, ...) (AC-5/AC-3) ---
|
||||
def test_tc08_killswitch_off_one_shot(merge093, monkeypatch):
|
||||
monkeypatch.setattr(merge_gate.settings, "merge_retry_enabled", False)
|
||||
monkeypatch.setattr(httpx, "get", _open_code_pr_get(7))
|
||||
seq = _PostSeq([_Resp093(405), _Resp093(200)]) # 2nd would succeed if retried
|
||||
monkeypatch.setattr(httpx, "post", seq)
|
||||
ok, msg = merge_gate.merge_pr("orchestrator", ORCH093_BRANCH)
|
||||
assert ok is False and seq.calls == 1 # one-shot: never retried
|
||||
|
||||
|
||||
# --- TC-09: ensure_open_pr — no open PR, branch fully in main -> already-in-main, no POST (AC-4) ---
|
||||
def test_tc09_ensure_already_in_main_no_post(merge093, monkeypatch):
|
||||
monkeypatch.setattr(httpx, "get", lambda *a, **k: _Resp093(200, [])) # no open PR
|
||||
monkeypatch.setattr(merge_gate, "_branch_fully_in_main", lambda r, b: True)
|
||||
monkeypatch.setattr(httpx, "post", lambda *a, **k: (_ for _ in ()).throw(
|
||||
AssertionError("must NOT POST /pulls for an already-in-main branch")))
|
||||
status, detail = merge_gate.ensure_open_pr("orchestrator", ORCH093_BRANCH)
|
||||
assert status == "already-in-main"
|
||||
|
||||
|
||||
# --- TC-10: ensure_open_pr — no open PR, commits beyond main -> creates PR (regress) (AC-4) ---
|
||||
def test_tc10_ensure_creates_when_commits_beyond_main(merge093, monkeypatch):
|
||||
monkeypatch.setattr(httpx, "get", lambda *a, **k: _Resp093(200, []))
|
||||
monkeypatch.setattr(merge_gate, "_branch_fully_in_main", lambda r, b: False)
|
||||
post_calls = []
|
||||
|
||||
def fake_post(url, json=None, headers=None, timeout=None):
|
||||
post_calls.append(url)
|
||||
return _Resp093(201, {"number": 12})
|
||||
|
||||
monkeypatch.setattr(httpx, "post", fake_post)
|
||||
status, detail = merge_gate.ensure_open_pr("orchestrator", ORCH093_BRANCH)
|
||||
assert status == "created" and detail == "12"
|
||||
assert len(post_calls) == 1
|
||||
|
||||
|
||||
# --- TC-11: ensure_open_pr — git error in guard (None) -> fail-OPEN -> create path (AC-6) ---
|
||||
def test_tc11_ensure_guard_git_error_fail_open(merge093, monkeypatch):
|
||||
monkeypatch.setattr(httpx, "get", lambda *a, **k: _Resp093(200, []))
|
||||
# None == git/OS error / ambiguous -> must NOT block; degrade to create.
|
||||
monkeypatch.setattr(merge_gate, "_branch_fully_in_main", lambda r, b: None)
|
||||
monkeypatch.setattr(httpx, "post", lambda *a, **k: _Resp093(201, {"number": 13}))
|
||||
status, detail = merge_gate.ensure_open_pr("orchestrator", ORCH093_BRANCH)
|
||||
assert status == "created" # fail-open: did not become a false no-op
|
||||
|
||||
|
||||
def test_tc11_branch_fully_in_main_never_raises(monkeypatch):
|
||||
"""_branch_fully_in_main: any git/OS error -> None (never-raise) (AC-6)."""
|
||||
monkeypatch.setattr(merge_gate, "ensure_worktree", lambda r, b: "/wt")
|
||||
|
||||
def boom(*a, **k):
|
||||
raise OSError("git exploded")
|
||||
|
||||
monkeypatch.setattr(merge_gate.subprocess, "run", boom)
|
||||
assert merge_gate._branch_fully_in_main("orchestrator", ORCH093_BRANCH) is None
|
||||
|
||||
|
||||
# --- TC-12: merge_pr / ensure_open_pr — uncaught httpx error -> safe tuple (never-raise) (AC-6) ---
|
||||
def test_tc12_merge_pr_never_raises(merge093, monkeypatch):
|
||||
def boom(*a, **k):
|
||||
raise httpx.HTTPError("kaboom")
|
||||
|
||||
monkeypatch.setattr(httpx, "get", boom)
|
||||
ok, msg = merge_gate.merge_pr("orchestrator", ORCH093_BRANCH)
|
||||
assert ok is False and isinstance(msg, str)
|
||||
|
||||
|
||||
def test_tc12_ensure_open_pr_never_raises(merge093, monkeypatch):
|
||||
def boom(*a, **k):
|
||||
raise httpx.HTTPError("kaboom")
|
||||
|
||||
monkeypatch.setattr(httpx, "get", boom)
|
||||
status, detail = merge_gate.ensure_open_pr("orchestrator", ORCH093_BRANCH)
|
||||
assert status == "failed" and isinstance(detail, str)
|
||||
|
||||
@@ -131,3 +131,92 @@ def test_tc12_kill_switch_disables_under_gate(monkeypatch):
|
||||
monkeypatch.setattr(merge_gate.settings, "merge_verify_enabled", False)
|
||||
assert merge_gate.merge_verify_applies("orchestrator") is False
|
||||
assert merge_gate.merge_verify_applies("enduro-trails") is False
|
||||
|
||||
|
||||
# ===========================================================================
|
||||
# ORCH-093 / TC-14..16: _handle_merge_verify integration (deploy->done under-gate).
|
||||
# already-in-main skips merge_pr; transient-retry success -> done; exhausted -> HOLD.
|
||||
# ===========================================================================
|
||||
import os # noqa: E402
|
||||
import tempfile # noqa: E402
|
||||
|
||||
os.environ.setdefault("ORCH_GITEA_TOKEN", "test-token")
|
||||
os.environ.setdefault("ORCH_PLANE_API_TOKEN", "test-token")
|
||||
os.environ.setdefault("ORCH_DB_PATH", os.path.join(tempfile.gettempdir(), "test_orch093.db"))
|
||||
|
||||
from unittest.mock import MagicMock # noqa: E402
|
||||
|
||||
from src import stage_engine, image_freshness # noqa: E402
|
||||
from src.stage_engine import AdvanceResult, _handle_merge_verify # noqa: E402
|
||||
|
||||
_O93_REPO = "orchestrator"
|
||||
_O93_WI = "ORCH-093"
|
||||
_O93_BRANCH = "feature/ORCH-093-x"
|
||||
|
||||
|
||||
@pytest.fixture
|
||||
def _o93_wire(monkeypatch):
|
||||
monkeypatch.setattr(stage_engine.merge_gate, "merge_verify_applies", lambda r: True)
|
||||
monkeypatch.setattr(stage_engine.settings, "merge_verify_autocreate_pr_enabled", True)
|
||||
monkeypatch.setattr(stage_engine.settings, "regression_guard_enabled", False)
|
||||
monkeypatch.setattr(image_freshness, "validated_revision", lambda r, b: "deadbeef")
|
||||
for name in ("set_issue_blocked", "plane_add_comment", "send_telegram", "link_for"):
|
||||
monkeypatch.setattr(stage_engine, name, MagicMock())
|
||||
monkeypatch.setattr(
|
||||
stage_engine.self_deploy, "record_merged_to_main", MagicMock(return_value=True)
|
||||
)
|
||||
|
||||
|
||||
# --- TC-14: ensure_open_pr -> already-in-main -> skip merge_pr; SHA-in-main -> done (AC-4) ---
|
||||
def test_tc14_already_in_main_skips_merge_pr_then_done(_o93_wire, monkeypatch):
|
||||
monkeypatch.setattr(
|
||||
stage_engine.merge_gate, "ensure_open_pr", lambda r, b: ("already-in-main", "x")
|
||||
)
|
||||
merge = MagicMock()
|
||||
monkeypatch.setattr(stage_engine.merge_gate, "merge_pr", merge)
|
||||
monkeypatch.setattr(stage_engine.merge_gate, "verify_merged_to_main", lambda r, b, s: True)
|
||||
|
||||
res = AdvanceResult()
|
||||
intervened = _handle_merge_verify(1, _O93_REPO, _O93_WI, _O93_BRANCH, res)
|
||||
|
||||
assert intervened is False # advance to done
|
||||
assert res.alerted is False
|
||||
assert not merge.called # merge_pr SKIPPED (nothing to merge)
|
||||
assert not stage_engine.set_issue_blocked.called
|
||||
|
||||
|
||||
# --- TC-15: merge_pr exhausted (False) + SHA not in main -> HOLD + alert (ORCH-071/081) (AC-3) ---
|
||||
def test_tc15_merge_failed_and_not_in_main_holds(_o93_wire, monkeypatch):
|
||||
monkeypatch.setattr(
|
||||
stage_engine.merge_gate, "ensure_open_pr", lambda r, b: ("existed", "9")
|
||||
)
|
||||
monkeypatch.setattr(
|
||||
stage_engine.merge_gate, "merge_pr",
|
||||
lambda r, b: (False, "merge failed after 3 attempts: HTTP 405"),
|
||||
)
|
||||
monkeypatch.setattr(stage_engine.merge_gate, "verify_merged_to_main", lambda r, b, s: False)
|
||||
|
||||
res = AdvanceResult()
|
||||
intervened = _handle_merge_verify(1, _O93_REPO, _O93_WI, _O93_BRANCH, res)
|
||||
|
||||
assert intervened is True # HOLD, NOT done
|
||||
assert res.advanced is False
|
||||
assert res.note == "merge-not-verified-hold"
|
||||
assert stage_engine.set_issue_blocked.called
|
||||
|
||||
|
||||
# --- TC-16: happy path — transient retry success in merge_pr -> SHA-in-main -> done (AC-1) ---
|
||||
def test_tc16_transient_retry_success_then_done(_o93_wire, monkeypatch):
|
||||
monkeypatch.setattr(
|
||||
stage_engine.merge_gate, "ensure_open_pr", lambda r, b: ("existed", "9")
|
||||
)
|
||||
# merge_pr already rode out the 405x2->200 transient internally -> (True, ...).
|
||||
monkeypatch.setattr(stage_engine.merge_gate, "merge_pr", lambda r, b: (True, "merged PR #9"))
|
||||
monkeypatch.setattr(stage_engine.merge_gate, "verify_merged_to_main", lambda r, b, s: True)
|
||||
|
||||
res = AdvanceResult()
|
||||
intervened = _handle_merge_verify(1, _O93_REPO, _O93_WI, _O93_BRANCH, res)
|
||||
|
||||
assert intervened is False # done, no false HOLD
|
||||
assert res.alerted is False
|
||||
assert not stage_engine.set_issue_blocked.called
|
||||
|
||||
@@ -32,6 +32,11 @@ def _settings(monkeypatch):
|
||||
monkeypatch.setattr(merge_gate.settings, "gitea_owner", "owner")
|
||||
monkeypatch.setattr(merge_gate.settings, "gitea_token", "tok")
|
||||
monkeypatch.setattr(merge_gate.settings, "gitea_url", "http://gitea.test")
|
||||
# ORCH-093: these tests target the HTTP create/race logic of ensure_open_pr.
|
||||
# The new already-in-main guard (_branch_fully_in_main) runs real git; pin it
|
||||
# to "commits beyond main" (False) so the create path is exercised as intended.
|
||||
# The guard itself has dedicated coverage (test_merge_gate.py TC-09/10/11).
|
||||
monkeypatch.setattr(merge_gate, "_branch_fully_in_main", lambda r, b: False)
|
||||
|
||||
|
||||
def _install_httpx(monkeypatch, get_resp, post_resp=None, record=None):
|
||||
|
||||
@@ -141,6 +141,7 @@ def test_tc23_qg_checks_registry_unchanged():
|
||||
"check_reviewer_verdict", "check_tests_local", "check_deploy_status",
|
||||
"check_staging_status", "check_branch_mergeable", "check_staging_image_fresh",
|
||||
"check_security_gate", # ORCH-022 integ: security-gate registered
|
||||
"check_coverage_gate", # ORCH-027 integ: coverage-gate registered
|
||||
}
|
||||
|
||||
|
||||
|
||||
170
tests/test_post_deploy_monitor_termination.py
Normal file
170
tests/test_post_deploy_monitor_termination.py
Normal file
@@ -0,0 +1,170 @@
|
||||
"""ORCH-094 — deterministic post-deploy-monitor termination (FR-3 / AC-3).
|
||||
|
||||
Covers (04-test-plan.yaml):
|
||||
TC-06 after the window finishes (HEALTHY, ticks==budget -> set_issue_done +
|
||||
`done` marker) there are NO further status PATCHes for the task (a second
|
||||
tick is a no-op: 0 set_issue_* calls).
|
||||
TC-07 a tick at DB stage=done with a closed window OR a task cancelled mid-window
|
||||
-> immediate no-op: no status PATCH and no next-tick enqueue (zombie-tick
|
||||
excluded).
|
||||
TC-08 arm_monitor does not re-arm a task already in done (armed/done marker ->
|
||||
no-op), and a deploy->done re-drive after the window closed converges to
|
||||
Done instead of resurrecting Monitoring.
|
||||
"""
|
||||
import os
|
||||
import tempfile
|
||||
|
||||
import pytest
|
||||
|
||||
_test_db = os.path.join(tempfile.gettempdir(), "test_post_deploy_termination.db")
|
||||
os.environ["ORCH_DB_PATH"] = _test_db
|
||||
os.environ["ORCH_REPOS_DIR"] = tempfile.gettempdir()
|
||||
os.environ.setdefault("ORCH_GITEA_TOKEN", "test-token")
|
||||
os.environ.setdefault("ORCH_PLANE_API_TOKEN", "test-token")
|
||||
|
||||
from unittest.mock import MagicMock # noqa: E402
|
||||
|
||||
import src.db as _db # noqa: E402
|
||||
from src.db import init_db, get_db # noqa: E402
|
||||
from src import stage_engine # noqa: E402
|
||||
from src import post_deploy # noqa: E402
|
||||
from src import config as cfg # noqa: E402
|
||||
|
||||
|
||||
@pytest.fixture(autouse=True)
|
||||
def fresh_db(monkeypatch, tmp_path):
|
||||
monkeypatch.setattr(_db.settings, "db_path", _test_db)
|
||||
if os.path.exists(_test_db):
|
||||
os.unlink(_test_db)
|
||||
init_db()
|
||||
monkeypatch.setattr(post_deploy.settings, "repos_dir", str(tmp_path))
|
||||
monkeypatch.setattr(post_deploy.settings, "host_repos_dir", str(tmp_path))
|
||||
# Small window so the budget is 1 tick (window // interval).
|
||||
monkeypatch.setattr(stage_engine.settings, "post_deploy_window_s", 10)
|
||||
monkeypatch.setattr(stage_engine.settings, "post_deploy_interval_s", 10)
|
||||
monkeypatch.setattr(post_deploy.settings, "post_deploy_window_s", 10)
|
||||
monkeypatch.setattr(post_deploy.settings, "post_deploy_interval_s", 10)
|
||||
# write_post_deploy_log touches a worktree/git; stub it.
|
||||
monkeypatch.setattr(post_deploy, "write_post_deploy_log", MagicMock(return_value=True))
|
||||
yield
|
||||
|
||||
|
||||
@pytest.fixture
|
||||
def spy_status(monkeypatch):
|
||||
setters = {}
|
||||
for name in ("set_issue_done", "set_issue_monitoring", "set_issue_awaiting_deploy",
|
||||
"set_issue_deploying", "set_issue_blocked"):
|
||||
m = MagicMock()
|
||||
monkeypatch.setattr(stage_engine, name, m)
|
||||
setters[name] = m
|
||||
monkeypatch.setattr(stage_engine, "_notify_post_deploy", MagicMock())
|
||||
return setters
|
||||
|
||||
|
||||
def _make_task(stage="done", repo="orchestrator", wi="ORCH-061", branch="feature/ORCH-061-x"):
|
||||
conn = get_db()
|
||||
cur = conn.execute(
|
||||
"INSERT INTO tasks (plane_id, work_item_id, repo, branch, stage) "
|
||||
"VALUES (?, ?, ?, ?, ?)",
|
||||
(f"plane-{wi}", wi, repo, branch, stage),
|
||||
)
|
||||
tid = cur.lastrowid
|
||||
conn.commit()
|
||||
conn.close()
|
||||
return tid
|
||||
|
||||
|
||||
def _jobs():
|
||||
conn = get_db()
|
||||
rows = conn.execute("SELECT agent FROM jobs ORDER BY id").fetchall()
|
||||
conn.close()
|
||||
return [r[0] for r in rows]
|
||||
|
||||
|
||||
def _healthy(*a, **k):
|
||||
return post_deploy.ProbeResult(health_ok=True, total=2, fivexx=0, detail="ok")
|
||||
|
||||
|
||||
# --- TC-06 ------------------------------------------------------------------
|
||||
def test_tc06_clean_finish_then_no_more_patches(spy_status, monkeypatch):
|
||||
monkeypatch.setattr(post_deploy, "probe_signals", _healthy)
|
||||
tid = _make_task("done")
|
||||
post_deploy.write_marker("orchestrator", "ORCH-061", post_deploy.ARMED, "armed")
|
||||
|
||||
job = {"task_id": tid, "repo": "orchestrator", "id": 1, "agent": "post-deploy-monitor"}
|
||||
# Tick 1: budget==1, ticks==1 -> HEALTHY window exhausted -> finish.
|
||||
stage_engine.run_post_deploy_monitor(job)
|
||||
spy_status["set_issue_done"].assert_called_once_with("ORCH-061")
|
||||
assert post_deploy.has_marker("orchestrator", "ORCH-061", post_deploy.DONE)
|
||||
# No next tick was enqueued (window exhausted).
|
||||
assert _jobs() == []
|
||||
|
||||
# Tick 2 (e.g. duplicate job): DONE marker present -> no-op, ZERO new PATCHes.
|
||||
spy_status["set_issue_done"].reset_mock()
|
||||
stage_engine.run_post_deploy_monitor(job)
|
||||
spy_status["set_issue_done"].assert_not_called()
|
||||
spy_status["set_issue_monitoring"].assert_not_called()
|
||||
assert _jobs() == []
|
||||
|
||||
|
||||
# --- TC-07 ------------------------------------------------------------------
|
||||
def test_tc07_cancelled_mid_window_is_noop(spy_status, monkeypatch):
|
||||
monkeypatch.setattr(post_deploy, "probe_signals", _healthy)
|
||||
tid = _make_task("cancelled")
|
||||
post_deploy.write_marker("orchestrator", "ORCH-061", post_deploy.ARMED, "armed")
|
||||
|
||||
job = {"task_id": tid, "repo": "orchestrator", "id": 1, "agent": "post-deploy-monitor"}
|
||||
stage_engine.run_post_deploy_monitor(job)
|
||||
# Zombie-tick guard: window closed, NO status PATCH, NO next tick.
|
||||
for name, m in spy_status.items():
|
||||
m.assert_not_called()
|
||||
assert post_deploy.has_marker("orchestrator", "ORCH-061", post_deploy.DONE)
|
||||
assert _jobs() == []
|
||||
|
||||
|
||||
def test_tc07_finished_window_is_noop(spy_status, monkeypatch):
|
||||
monkeypatch.setattr(post_deploy, "probe_signals", _healthy)
|
||||
tid = _make_task("done")
|
||||
# Window already finished (DONE marker present) -> no active basis to tick.
|
||||
post_deploy.write_marker("orchestrator", "ORCH-061", post_deploy.ARMED, "armed")
|
||||
post_deploy.mark_done("orchestrator", "ORCH-061")
|
||||
|
||||
job = {"task_id": tid, "repo": "orchestrator", "id": 1, "agent": "post-deploy-monitor"}
|
||||
stage_engine.run_post_deploy_monitor(job)
|
||||
spy_status["set_issue_done"].assert_not_called()
|
||||
spy_status["set_issue_monitoring"].assert_not_called()
|
||||
assert _jobs() == []
|
||||
|
||||
|
||||
# --- TC-08 ------------------------------------------------------------------
|
||||
def test_tc08_arm_monitor_idempotent_no_rearm(monkeypatch):
|
||||
tid = _make_task("done")
|
||||
# First arm: writes ARMED + enqueues tick 1.
|
||||
assert post_deploy.arm_monitor("orchestrator", "ORCH-061", "feature/ORCH-061-x", tid) is True
|
||||
assert _jobs() == ["post-deploy-monitor"]
|
||||
# Second arm (re-drive deploy->done): ARMED present -> no-op, no new job.
|
||||
assert post_deploy.arm_monitor("orchestrator", "ORCH-061", "feature/ORCH-061-x", tid) is False
|
||||
assert _jobs() == ["post-deploy-monitor"]
|
||||
|
||||
|
||||
def test_tc08_redrive_after_window_closed_converges(spy_status, monkeypatch):
|
||||
# Guard ON, self-hosting.
|
||||
monkeypatch.setattr(cfg.settings, "deploy_status_guard_enabled", True, raising=False)
|
||||
monkeypatch.setattr(cfg.settings, "deploy_status_guard_repos", "", raising=False)
|
||||
_make_task("done")
|
||||
# Window armed then closed (a completed post-deploy observation).
|
||||
post_deploy.write_marker("orchestrator", "ORCH-061", post_deploy.ARMED, "armed")
|
||||
post_deploy.mark_done("orchestrator", "ORCH-061")
|
||||
# A stale re-drive calling the REAL guarded setter must converge to Done, not
|
||||
# resurrect Monitoring. (Use the real plane_sync setter via stage_engine import.)
|
||||
from src import plane_sync
|
||||
direct = MagicMock()
|
||||
done = MagicMock()
|
||||
monkeypatch.setattr(plane_sync, "_set_issue_state_direct", direct)
|
||||
monkeypatch.setattr(plane_sync, "set_issue_done", done)
|
||||
monkeypatch.setattr(plane_sync, "_resolve_project_id", lambda w=None, p=None: "proj-1")
|
||||
monkeypatch.setattr(plane_sync, "get_project_states", lambda pid: {"monitoring": "S-mon"})
|
||||
|
||||
plane_sync.set_issue_monitoring("ORCH-061", reason="advance:deploy->done")
|
||||
direct.assert_not_called()
|
||||
done.assert_called_once_with("ORCH-061")
|
||||
@@ -31,6 +31,7 @@ _EXPECTED_QGS = {
|
||||
"check_branch_mergeable", # ORCH-043 merge-gate (deploy-staging -> deploy edge)
|
||||
"check_staging_image_fresh", # ORCH-058 image-freshness sub-gate (same edge)
|
||||
"check_security_gate", # ORCH-022 security sub-gate (same edge, run FIRST)
|
||||
"check_coverage_gate", # ORCH-027 coverage sub-gate (same edge, after merge-gate)
|
||||
}
|
||||
|
||||
|
||||
|
||||
82
tests/test_reconciler_done_deploy_convergence.py
Normal file
82
tests/test_reconciler_done_deploy_convergence.py
Normal file
@@ -0,0 +1,82 @@
|
||||
"""ORCH-094 — sync convergence for a done task stuck on a deploy status (TC-10).
|
||||
|
||||
Integration-level: ANY sync source (reconciler tick / monitor tick / a direct
|
||||
deploy-status setter call) that touches a DB-done task converges Plane to Done
|
||||
idempotently instead of an intermediate deploy status, and a repeated tick does
|
||||
NOT swing the Done<->deploy-status pendulum. The guard lives on the setter
|
||||
(ADR-001 D1/D7), so the reconciler code itself is unchanged — driving the setter
|
||||
the way a stale actor would is the faithful reproduction of the 061 flapp.
|
||||
"""
|
||||
import os
|
||||
import tempfile
|
||||
|
||||
import pytest
|
||||
|
||||
_test_db = os.path.join(tempfile.gettempdir(), "test_reconciler_done_converge.db")
|
||||
os.environ["ORCH_DB_PATH"] = _test_db
|
||||
os.environ["ORCH_REPOS_DIR"] = tempfile.gettempdir()
|
||||
os.environ.setdefault("ORCH_GITEA_TOKEN", "test-token")
|
||||
os.environ.setdefault("ORCH_PLANE_API_TOKEN", "test-token")
|
||||
|
||||
from unittest.mock import MagicMock # noqa: E402
|
||||
|
||||
import src.db as _db # noqa: E402
|
||||
from src.db import init_db, get_db # noqa: E402
|
||||
from src import plane_sync # noqa: E402
|
||||
from src import post_deploy # noqa: E402
|
||||
from src import config as cfg # noqa: E402
|
||||
|
||||
|
||||
@pytest.fixture(autouse=True)
|
||||
def fresh_db(monkeypatch, tmp_path):
|
||||
monkeypatch.setattr(_db.settings, "db_path", _test_db)
|
||||
if os.path.exists(_test_db):
|
||||
os.unlink(_test_db)
|
||||
init_db()
|
||||
monkeypatch.setattr(cfg.settings, "deploy_status_guard_enabled", True, raising=False)
|
||||
monkeypatch.setattr(cfg.settings, "deploy_status_guard_repos", "", raising=False)
|
||||
monkeypatch.setattr(post_deploy.settings, "repos_dir", str(tmp_path))
|
||||
monkeypatch.setattr(post_deploy.settings, "host_repos_dir", str(tmp_path))
|
||||
yield
|
||||
|
||||
|
||||
@pytest.fixture
|
||||
def spy(monkeypatch):
|
||||
direct = MagicMock()
|
||||
done = MagicMock()
|
||||
monkeypatch.setattr(plane_sync, "_set_issue_state_direct", direct)
|
||||
monkeypatch.setattr(plane_sync, "set_issue_done", done)
|
||||
monkeypatch.setattr(plane_sync, "_resolve_project_id", lambda w=None, p=None: "proj-1")
|
||||
monkeypatch.setattr(
|
||||
plane_sync, "get_project_states",
|
||||
lambda pid: {"awaiting_deploy": "S-aw", "deploying": "S-dep", "monitoring": "S-mon"},
|
||||
)
|
||||
return direct, done
|
||||
|
||||
|
||||
def _make_task(stage="done", repo="orchestrator", wi="ORCH-061"):
|
||||
conn = get_db()
|
||||
conn.execute(
|
||||
"INSERT INTO tasks (plane_id, work_item_id, repo, branch, stage) "
|
||||
"VALUES (?, ?, ?, ?, ?)",
|
||||
(f"plane-{wi}", wi, repo, "feature/ORCH-061-x", stage),
|
||||
)
|
||||
conn.commit()
|
||||
conn.close()
|
||||
|
||||
|
||||
def test_tc10_repeated_sync_converges_no_pendulum(spy):
|
||||
direct, done = spy
|
||||
_make_task("done") # done, window closed (no ARMED sentinel)
|
||||
# Simulate many sync ticks alternately trying to set Monitoring / Awaiting,
|
||||
# exactly like the observed 061 pendulum (Awaiting <-> Monitoring forever).
|
||||
for i in range(10):
|
||||
if i % 2 == 0:
|
||||
plane_sync.set_issue_monitoring("ORCH-061", reason="reconciler-tick")
|
||||
else:
|
||||
plane_sync.set_issue_awaiting_deploy("ORCH-061", reason="reconciler-tick")
|
||||
# Every tick converged to Done; not a single intermediate deploy-status PATCH.
|
||||
assert direct.call_count == 0
|
||||
assert done.call_count == 10
|
||||
# All convergence calls target the same terminal Done (no swing).
|
||||
assert all(c.args == ("ORCH-061",) for c in done.call_args_list)
|
||||
128
tests/test_self_deploy_cycle_regression.py
Normal file
128
tests/test_self_deploy_cycle_regression.py
Normal file
@@ -0,0 +1,128 @@
|
||||
"""ORCH-094 — the real deploy cycle is NOT suppressed by the guard (TC-11 / AC-4).
|
||||
|
||||
A genuinely-deploying (non-terminal) self-hosting task must still walk
|
||||
`Awaiting Deploy -> Deploying -> Monitoring after Deploy -> Done` exactly as before
|
||||
ORCH-094. The critical regression case is the LEGITIMATE first `Monitoring`: by the
|
||||
time the terminal-sync runs the task is ALREADY DB-`done` (update_task_stage ran
|
||||
above), so the guard would wrongly converge it to Done UNLESS the arm-block moved
|
||||
ABOVE the terminal-sync (ADR-001 D3) marks the post-deploy window active first.
|
||||
This test exercises that ordering end-to-end via run_deploy_finalizer with the REAL
|
||||
guard + REAL arm_monitor wired in (only the network PATCH primitive is mocked).
|
||||
"""
|
||||
import os
|
||||
import tempfile
|
||||
|
||||
import pytest
|
||||
|
||||
_test_db = os.path.join(tempfile.gettempdir(), "test_self_deploy_cycle_regression.db")
|
||||
os.environ["ORCH_DB_PATH"] = _test_db
|
||||
os.environ["ORCH_REPOS_DIR"] = tempfile.gettempdir()
|
||||
os.environ.setdefault("ORCH_GITEA_TOKEN", "test-token")
|
||||
os.environ.setdefault("ORCH_PLANE_API_TOKEN", "test-token")
|
||||
|
||||
from unittest.mock import MagicMock # noqa: E402
|
||||
|
||||
import src.db as _db # noqa: E402
|
||||
from src.db import init_db, get_db # noqa: E402
|
||||
from src import stage_engine # noqa: E402
|
||||
from src import plane_sync # noqa: E402
|
||||
from src import post_deploy # noqa: E402
|
||||
from src import self_deploy # noqa: E402
|
||||
from src import config as cfg # noqa: E402
|
||||
|
||||
|
||||
@pytest.fixture(autouse=True)
|
||||
def fresh_db(monkeypatch, tmp_path):
|
||||
monkeypatch.setattr(_db.settings, "db_path", _test_db)
|
||||
if os.path.exists(_test_db):
|
||||
os.unlink(_test_db)
|
||||
init_db()
|
||||
monkeypatch.setattr(self_deploy.settings, "repos_dir", str(tmp_path))
|
||||
monkeypatch.setattr(self_deploy.settings, "host_repos_dir", str(tmp_path))
|
||||
monkeypatch.setattr(post_deploy.settings, "repos_dir", str(tmp_path))
|
||||
monkeypatch.setattr(post_deploy.settings, "host_repos_dir", str(tmp_path))
|
||||
# Guard ON, self-hosting only.
|
||||
monkeypatch.setattr(cfg.settings, "deploy_status_guard_enabled", True, raising=False)
|
||||
monkeypatch.setattr(cfg.settings, "deploy_status_guard_repos", "", raising=False)
|
||||
# Post-deploy monitor applies for self repo (arm fires on deploy->done).
|
||||
monkeypatch.setattr(post_deploy.settings, "post_deploy_monitor_enabled", True)
|
||||
monkeypatch.setattr(post_deploy.settings, "post_deploy_repos", "")
|
||||
monkeypatch.setattr(stage_engine.post_deploy.settings, "post_deploy_monitor_enabled", True)
|
||||
monkeypatch.setattr(stage_engine.post_deploy.settings, "post_deploy_repos", "")
|
||||
# Stub the worktree/git artefact writers.
|
||||
monkeypatch.setattr(stage_engine.self_deploy, "write_deploy_log", MagicMock(return_value=True))
|
||||
monkeypatch.setattr(stage_engine.merge_gate, "release_merge_lease", MagicMock())
|
||||
yield
|
||||
|
||||
|
||||
@pytest.fixture
|
||||
def spy_plane(monkeypatch):
|
||||
"""Spy plane_sync's low-level PATCH + Done convergence (the REAL guard runs)."""
|
||||
direct = MagicMock()
|
||||
done = MagicMock()
|
||||
monkeypatch.setattr(plane_sync, "_set_issue_state_direct", direct)
|
||||
monkeypatch.setattr(plane_sync, "set_issue_done", done)
|
||||
monkeypatch.setattr(plane_sync, "_resolve_project_id", lambda w=None, p=None: "proj-1")
|
||||
monkeypatch.setattr(
|
||||
plane_sync, "get_project_states",
|
||||
lambda pid: {"awaiting_deploy": "S-aw", "deploying": "S-dep", "monitoring": "S-mon",
|
||||
"done": "S-done"},
|
||||
)
|
||||
# stage_engine.set_issue_done is a module-level binding -> patch it too so a
|
||||
# non-self / fallback Done path is observable; here we expect Monitoring though.
|
||||
monkeypatch.setattr(stage_engine, "set_issue_done", done)
|
||||
return direct, done
|
||||
|
||||
|
||||
def _make_task(stage, repo="orchestrator", wi="ORCH-063", branch="feature/ORCH-063-x"):
|
||||
conn = get_db()
|
||||
cur = conn.execute(
|
||||
"INSERT INTO tasks (plane_id, work_item_id, repo, branch, stage) "
|
||||
"VALUES (?, ?, ?, ?, ?)",
|
||||
(f"plane-{wi}", wi, repo, branch, stage),
|
||||
)
|
||||
tid = cur.lastrowid
|
||||
conn.commit()
|
||||
conn.close()
|
||||
return tid
|
||||
|
||||
|
||||
def _pass(*a, **k):
|
||||
return (True, "ok")
|
||||
|
||||
|
||||
def test_tc11_non_terminal_awaiting_deploying_pass(spy_plane):
|
||||
direct, done = spy_plane
|
||||
_make_task("deploy")
|
||||
# Phase A / Phase B statuses on a NON-terminal task proceed (no convergence).
|
||||
plane_sync.set_issue_awaiting_deploy("ORCH-063", reason="phase_a")
|
||||
plane_sync.set_issue_deploying("ORCH-063", reason="phase_b")
|
||||
assert direct.call_count == 2
|
||||
done.assert_not_called()
|
||||
|
||||
|
||||
def test_tc11_legit_monitoring_preserved_on_deploy_done(spy_plane, monkeypatch):
|
||||
direct, done = spy_plane
|
||||
# Hook reported exit 0.
|
||||
self_deploy.write_marker("orchestrator", "ORCH-063", self_deploy.RESULT, "0")
|
||||
monkeypatch.setattr(
|
||||
stage_engine, "QG_CHECKS",
|
||||
{**stage_engine.QG_CHECKS, "check_deploy_status": _pass},
|
||||
)
|
||||
|
||||
tid = _make_task("deploy")
|
||||
stage_engine.run_deploy_finalizer(
|
||||
{"task_id": tid, "repo": "orchestrator", "id": 1, "agent": "deploy-finalizer"}
|
||||
)
|
||||
|
||||
# Stage advanced to done.
|
||||
conn = get_db()
|
||||
stage = conn.execute("SELECT stage FROM tasks WHERE id=?", (tid,)).fetchone()[0]
|
||||
conn.close()
|
||||
assert stage == "done"
|
||||
# The arm-block ran BEFORE terminal-sync -> the window is active -> the guard
|
||||
# ALLOWS the legitimate Monitoring PATCH (S-mon), it is NOT converged to Done.
|
||||
assert post_deploy.has_marker("orchestrator", "ORCH-063", post_deploy.ARMED)
|
||||
mon_calls = [c for c in direct.call_args_list if c.args[1] == "S-mon"]
|
||||
assert len(mon_calls) == 1, f"expected one Monitoring PATCH, got {direct.call_args_list}"
|
||||
done.assert_not_called()
|
||||
@@ -833,6 +833,7 @@ class TestMergeGate:
|
||||
{**stage_engine.QG_CHECKS,
|
||||
"check_staging_status": _pass,
|
||||
"check_security_gate": _pass,
|
||||
"check_coverage_gate": _pass,
|
||||
"check_branch_mergeable": _pass,
|
||||
"check_staging_image_fresh": _pass},
|
||||
)
|
||||
@@ -858,6 +859,7 @@ class TestMergeGate:
|
||||
{**stage_engine.QG_CHECKS,
|
||||
"check_staging_status": _pass,
|
||||
"check_security_gate": _pass,
|
||||
"check_coverage_gate": _pass,
|
||||
"check_branch_mergeable": _fail("merge-lock busy")},
|
||||
)
|
||||
monkeypatch.setattr(stage_engine.settings, "merge_defer_delay_s", 30)
|
||||
@@ -886,6 +888,7 @@ class TestMergeGate:
|
||||
{**stage_engine.QG_CHECKS,
|
||||
"check_staging_status": _pass,
|
||||
"check_security_gate": _pass,
|
||||
"check_coverage_gate": _pass,
|
||||
"check_branch_mergeable": _fail("merge-lock busy")},
|
||||
)
|
||||
monkeypatch.setattr(stage_engine.settings, "merge_defer_max_attempts", 3)
|
||||
@@ -920,6 +923,7 @@ class TestMergeGate:
|
||||
{**stage_engine.QG_CHECKS,
|
||||
"check_staging_status": _pass,
|
||||
"check_security_gate": _pass,
|
||||
"check_coverage_gate": _pass,
|
||||
"check_branch_mergeable": _fail("rebase conflict: src/db.py")},
|
||||
)
|
||||
task_id = _make_task("deploy-staging", repo="orchestrator", wi="ORCH-043",
|
||||
@@ -944,6 +948,7 @@ class TestMergeGate:
|
||||
{**stage_engine.QG_CHECKS,
|
||||
"check_staging_status": _pass,
|
||||
"check_security_gate": _pass,
|
||||
"check_coverage_gate": _pass,
|
||||
"check_branch_mergeable": _fail("re-test failed after rebase: 1 failed")},
|
||||
)
|
||||
task_id = _make_task("deploy-staging", repo="orchestrator", wi="ORCH-043",
|
||||
@@ -968,6 +973,7 @@ class TestMergeGate:
|
||||
{**stage_engine.QG_CHECKS,
|
||||
"check_staging_status": _pass,
|
||||
"check_security_gate": _pass,
|
||||
"check_coverage_gate": _pass,
|
||||
"check_branch_mergeable": _fail("rebase conflict: src/db.py")},
|
||||
)
|
||||
task_id = _make_task("deploy-staging", repo="orchestrator", wi="ORCH-043",
|
||||
@@ -1021,6 +1027,7 @@ class TestImageFreshnessGate:
|
||||
{**stage_engine.QG_CHECKS,
|
||||
"check_staging_status": _pass,
|
||||
"check_security_gate": _pass,
|
||||
"check_coverage_gate": _pass,
|
||||
"check_branch_mergeable": _pass,
|
||||
"check_staging_image_fresh": _fail(
|
||||
"staging rebuild failed: health FAILED")},
|
||||
@@ -1049,6 +1056,7 @@ class TestImageFreshnessGate:
|
||||
{**stage_engine.QG_CHECKS,
|
||||
"check_staging_status": _pass,
|
||||
"check_security_gate": _pass,
|
||||
"check_coverage_gate": _pass,
|
||||
"check_branch_mergeable": _pass,
|
||||
"check_staging_image_fresh": _fail("provenance mismatch")},
|
||||
)
|
||||
@@ -1073,6 +1081,7 @@ class TestImageFreshnessGate:
|
||||
{**stage_engine.QG_CHECKS,
|
||||
"check_staging_status": _pass,
|
||||
"check_security_gate": _pass,
|
||||
"check_coverage_gate": _pass,
|
||||
"check_branch_mergeable": _pass,
|
||||
"check_staging_image_fresh": _pass},
|
||||
)
|
||||
@@ -1099,6 +1108,7 @@ class TestImageFreshnessGate:
|
||||
{**stage_engine.QG_CHECKS,
|
||||
"check_staging_status": _pass,
|
||||
"check_security_gate": _pass,
|
||||
"check_coverage_gate": _pass,
|
||||
"check_branch_mergeable": _pass},
|
||||
) # check_staging_image_fresh left REAL -> N/A for enduro-trails
|
||||
task_id = _make_task("deploy-staging", repo="enduro-trails", wi="ET-099",
|
||||
@@ -1171,6 +1181,7 @@ class TestStagingInfraTolerance:
|
||||
{**stage_engine.QG_CHECKS,
|
||||
"check_staging_status": _pass,
|
||||
"check_security_gate": _pass,
|
||||
"check_coverage_gate": _pass,
|
||||
"check_branch_mergeable": _pass,
|
||||
"check_staging_image_fresh": _pass},
|
||||
)
|
||||
@@ -1244,6 +1255,7 @@ class TestStagingInfraTolerance:
|
||||
{**stage_engine.QG_CHECKS,
|
||||
"check_staging_status": _pass,
|
||||
"check_security_gate": _pass,
|
||||
"check_coverage_gate": _pass,
|
||||
"check_branch_mergeable": _pass,
|
||||
"check_staging_image_fresh": _pass,
|
||||
"check_deploy_status": _pass},
|
||||
|
||||
@@ -27,6 +27,7 @@ _EXPECTED_QGS = {
|
||||
"check_branch_mergeable",
|
||||
"check_staging_image_fresh",
|
||||
"check_security_gate",
|
||||
"check_coverage_gate",
|
||||
}
|
||||
|
||||
_EXPECTED_TRANSITIONS = {
|
||||
|
||||
358
tests/test_tracker_html_escape.py
Normal file
358
tests/test_tracker_html_escape.py
Normal file
@@ -0,0 +1,358 @@
|
||||
"""ORCH-095 — HTML-safety of dynamic data fields in render_task_tracker.
|
||||
|
||||
The live card text is sent/edited with parse_mode=HTML. It is assembled from
|
||||
two kinds of slots:
|
||||
|
||||
* category M (intentional markup, NEVER escaped): the clickable issue number
|
||||
(plane_issue_link -> <a href>), the ⏳-waiting links (link_for), the done
|
||||
line (_done_link), and the already-escaped title (esc_title);
|
||||
* category D (data, escaped EXACTLY once at the render boundary): durations
|
||||
(_fmt_minutes / _capped_review_str), the status label, model, effort, and
|
||||
the token/cost metrics.
|
||||
|
||||
The bug (ORCH-093 incident): _fmt_minutes returns the literal "<1м" for a
|
||||
sub-minute stage; interpolated raw into HTML text Telegram parsed "<1м" as an
|
||||
opening tag -> 400 can't parse entities -> EDIT_FAILED -> the card froze. ADR-001
|
||||
closes the whole class by escaping every D-slot at the boundary (helper N._esc)
|
||||
while keeping the M-slots intact (so the number stays clickable, no double-escape).
|
||||
|
||||
These tests assert: sub-minute durations are safe (TC-01/02/03), all data fields
|
||||
escape special chars without double-escaping (TC-04/05/06), markup survives
|
||||
(TC-07/08), the edit payload is parse-safe and the anti-duplicate invariant
|
||||
(ORCH-087) holds (TC-09/10), and the render path never raises (TC-11).
|
||||
|
||||
Network is isolated (no live overlay HTTP); the DB is a temp SQLite.
|
||||
"""
|
||||
|
||||
import os
|
||||
import tempfile
|
||||
|
||||
os.environ.setdefault("ORCH_PLANE_API_TOKEN", "test-token")
|
||||
os.environ.setdefault("ORCH_GITEA_TOKEN", "test-token")
|
||||
|
||||
_test_db = os.path.join(tempfile.gettempdir(), "test_orchestrator_html_escape.db")
|
||||
os.environ["ORCH_DB_PATH"] = _test_db
|
||||
|
||||
from types import SimpleNamespace # noqa: E402
|
||||
from unittest.mock import MagicMock # noqa: E402
|
||||
|
||||
import pytest # noqa: E402
|
||||
|
||||
import src.db as db_module # noqa: E402
|
||||
import src.projects as projects_mod # noqa: E402
|
||||
from src.db import init_db, get_db # noqa: E402
|
||||
from src import notifications as N # noqa: E402
|
||||
|
||||
# orchestrator repo -> default project registry uuid (src/projects.py).
|
||||
_ORCH_PROJECT_ID = "8da6aa25-a60e-44d6-a1e2-d8ae59aa7d6a"
|
||||
|
||||
|
||||
@pytest.fixture(autouse=True)
|
||||
def setup_db(monkeypatch):
|
||||
monkeypatch.setattr(db_module.settings, "db_path", _test_db, raising=False)
|
||||
if os.path.exists(_test_db):
|
||||
os.unlink(_test_db)
|
||||
init_db()
|
||||
# Keep the render path fully offline (no live overlay HTTP).
|
||||
monkeypatch.setattr(N._get_settings(), "tracker_live_status", False,
|
||||
raising=False)
|
||||
monkeypatch.setattr(
|
||||
projects_mod, "get_project_by_repo",
|
||||
lambda repo: (SimpleNamespace(plane_project_id=_ORCH_PROJECT_ID)
|
||||
if repo == "orchestrator" else None),
|
||||
)
|
||||
yield
|
||||
if os.path.exists(_test_db):
|
||||
os.unlink(_test_db)
|
||||
|
||||
|
||||
def _set(monkeypatch, **kw):
|
||||
s = N._get_settings()
|
||||
for k, v in kw.items():
|
||||
monkeypatch.setattr(s, k, v, raising=False)
|
||||
|
||||
|
||||
def _mk_task(wid="ORCH-095", repo="orchestrator", title="card",
|
||||
plane_issue_id="issue-uuid-1", stage="development",
|
||||
brd_start=None, brd_end=None):
|
||||
conn = get_db()
|
||||
cur = conn.execute(
|
||||
"INSERT INTO tasks (plane_id, work_item_id, repo, branch, stage, title, "
|
||||
"plane_issue_id, brd_review_started_at, brd_review_ended_at) "
|
||||
"VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?)",
|
||||
("p1", wid, repo, "feature/ORCH-095-x", stage, title, plane_issue_id,
|
||||
brd_start, brd_end),
|
||||
)
|
||||
tid = cur.lastrowid
|
||||
conn.commit()
|
||||
conn.close()
|
||||
return tid
|
||||
|
||||
|
||||
def _mk_run(task_id, agent, started, finished, in_tok=100, out_tok=50,
|
||||
cache_read=0, cache_creation=0, cost=0.0, model=None,
|
||||
effort=None, exit_code=0):
|
||||
conn = get_db()
|
||||
cur = conn.execute(
|
||||
"INSERT INTO agent_runs (task_id, agent, started_at, finished_at, "
|
||||
"exit_code, input_tokens, output_tokens, cache_read_tokens, "
|
||||
"cache_creation_tokens, cost_usd, model, effort) "
|
||||
"VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?)",
|
||||
(task_id, agent, started, finished, exit_code, in_tok, out_tok,
|
||||
cache_read, cache_creation, cost, model, effort),
|
||||
)
|
||||
rid = cur.lastrowid
|
||||
conn.commit()
|
||||
conn.close()
|
||||
return rid
|
||||
|
||||
|
||||
# A stage that lasted 30s (< 60s) -> _fmt_minutes -> "<1м".
|
||||
_SUB_MIN_START = "2026-06-04 09:00:00"
|
||||
_SUB_MIN_END = "2026-06-04 09:00:30"
|
||||
|
||||
|
||||
# --------------------------------------------------------------------------- #
|
||||
# TC-01 — sub-minute duration is HTML-safe at the render boundary
|
||||
# --------------------------------------------------------------------------- #
|
||||
def test_tc01_sub_minute_duration_escaped_at_boundary():
|
||||
# ADR-001 D2: _fmt_minutes keeps returning the literal "<1м" (source
|
||||
# unchanged); safety comes from _esc at the boundary -> "<1м".
|
||||
assert N._fmt_minutes(30) == "<1м"
|
||||
escaped = N._esc(N._fmt_minutes(30))
|
||||
assert escaped == "<1м"
|
||||
assert "<1" not in escaped # no raw opening-tag-looking substring
|
||||
|
||||
|
||||
# --------------------------------------------------------------------------- #
|
||||
# TC-02 — _fmt_minutes boundary inputs: never-raise + boundary-safe
|
||||
# --------------------------------------------------------------------------- #
|
||||
@pytest.mark.parametrize("value", [0, None, "abc", 59, 60, 61, 100000, -5, 30])
|
||||
def test_tc02_fmt_minutes_never_raise_and_safe(value):
|
||||
out = N._fmt_minutes(value) # must not raise
|
||||
assert isinstance(out, str)
|
||||
safe = N._esc(out)
|
||||
# After boundary escaping no raw '<' (or '>'/'&') survives in any branch.
|
||||
assert "<" not in safe
|
||||
assert ">" not in safe
|
||||
|
||||
|
||||
# --------------------------------------------------------------------------- #
|
||||
# TC-03 — render_task_tracker for a sub-minute stage: no raw '<1м'
|
||||
# --------------------------------------------------------------------------- #
|
||||
def test_tc03_render_sub_minute_stage_is_safe():
|
||||
tid = _mk_task(stage="development")
|
||||
# Analysis stage lasted 30s; analysis sits before development -> ✅ line shown.
|
||||
_mk_run(tid, "analyst", _SUB_MIN_START, _SUB_MIN_END, model="claude-opus-4-8")
|
||||
|
||||
text = N.render_task_tracker(tid)
|
||||
assert "<1м" not in text # the bug: raw literal must be gone
|
||||
assert "<1м" in text # rendered safely instead
|
||||
# And no double escaping leaked in.
|
||||
assert "&lt;" not in text
|
||||
|
||||
|
||||
# --------------------------------------------------------------------------- #
|
||||
# TC-04 — title with '<', '>', '&' escaped, no raw tags, no double-escape
|
||||
# --------------------------------------------------------------------------- #
|
||||
def test_tc04_title_special_chars_escaped_no_double():
|
||||
tid = _mk_task(title="A <b>x</b> & <1", stage="development")
|
||||
_mk_run(tid, "analyst", _SUB_MIN_START, _SUB_MIN_END)
|
||||
|
||||
text = N.render_task_tracker(tid)
|
||||
# Data special chars present only escaped...
|
||||
assert "<b>" in text
|
||||
assert "&" in text
|
||||
# ...never as raw markup from the title.
|
||||
assert "<b>" not in text
|
||||
assert "</b>" not in text
|
||||
# No double escaping anywhere.
|
||||
assert "&lt;" not in text
|
||||
assert "&amp;" not in text
|
||||
|
||||
|
||||
# --------------------------------------------------------------------------- #
|
||||
# TC-05 — status label + model + effort are escaped (defence-in-depth)
|
||||
# --------------------------------------------------------------------------- #
|
||||
def test_tc05_status_label_escaped(monkeypatch):
|
||||
monkeypatch.setattr(N, "_card_status_label", lambda *a, **k: "<danger>")
|
||||
tid = _mk_task(stage="development")
|
||||
text = N.render_task_tracker(tid)
|
||||
assert "<danger>" in text
|
||||
assert "<danger>" not in text
|
||||
|
||||
|
||||
def test_tc05_model_escaped(monkeypatch):
|
||||
# The model name is a D-slot: even if a '<' ever reached it, it is escaped.
|
||||
import src.usage as U
|
||||
monkeypatch.setattr(U, "short_model_name", lambda m: "<m>" if m else "")
|
||||
tid = _mk_task(stage="development")
|
||||
_mk_run(tid, "analyst", _SUB_MIN_START, _SUB_MIN_END, model="whatever")
|
||||
text = N.render_task_tracker(tid)
|
||||
assert "<m>" in text
|
||||
assert "<m>" not in text
|
||||
|
||||
|
||||
def test_tc05_effort_escaped():
|
||||
tid = _mk_task(stage="development")
|
||||
_mk_run(tid, "analyst", _SUB_MIN_START, _SUB_MIN_END,
|
||||
model="claude-opus-4-8", effort="<e>")
|
||||
text = N.render_task_tracker(tid)
|
||||
assert "<e>" in text
|
||||
assert "<e>" not in text
|
||||
|
||||
|
||||
# --------------------------------------------------------------------------- #
|
||||
# TC-06 — token / cost metrics are HTML-safe ('$' + digits)
|
||||
# --------------------------------------------------------------------------- #
|
||||
def test_tc06_token_cost_metrics_safe():
|
||||
tid = _mk_task(stage="development")
|
||||
_mk_run(tid, "analyst", _SUB_MIN_START, _SUB_MIN_END,
|
||||
in_tok=1_100_000, out_tok=39_600, cost=2.38,
|
||||
model="claude-opus-4-8")
|
||||
text = N.render_task_tracker(tid)
|
||||
# The 💰 totals line renders with a '$' cost and no stray angle brackets
|
||||
# coming from the metric data.
|
||||
assert "$" in text
|
||||
assert "&" not in text or "&lt;" not in text # no double-escape
|
||||
# No raw opening-tag substring produced by the metrics.
|
||||
assert "<$" not in text
|
||||
|
||||
|
||||
# --------------------------------------------------------------------------- #
|
||||
# TC-07 — markup regression: clickable issue number stays a valid <a> tag
|
||||
# --------------------------------------------------------------------------- #
|
||||
def test_tc07_issue_number_stays_clickable(monkeypatch):
|
||||
_set(monkeypatch, plane_web_url="https://plane.example.org",
|
||||
plane_api_url="http://localhost:8091", plane_workspace_slug="acme")
|
||||
tid = _mk_task(plane_issue_id="abcd-issue-uuid", stage="development")
|
||||
_mk_run(tid, "analyst", _SUB_MIN_START, _SUB_MIN_END)
|
||||
|
||||
text = N.render_task_tracker(tid)
|
||||
expected_url = (
|
||||
f"https://plane.example.org/acme/projects/{_ORCH_PROJECT_ID}"
|
||||
f"/issues/abcd-issue-uuid/"
|
||||
)
|
||||
# The anchor markup is NOT escaped (M-slot) -> still clickable & valid.
|
||||
assert f'<a href="{expected_url}">ORCH-095</a>' in text
|
||||
assert text.count("<a href=") == text.count("</a>")
|
||||
# href/label are not double-escaped.
|
||||
assert "<a href=" not in text
|
||||
assert "&lt;" not in text
|
||||
|
||||
|
||||
# --------------------------------------------------------------------------- #
|
||||
# TC-08 — markup regression: _done_link renders valid '🔗 PR #n · 📦 Внедрено'
|
||||
# --------------------------------------------------------------------------- #
|
||||
def test_tc08_done_link_markup_preserved(monkeypatch):
|
||||
tid = _mk_task(stage="done")
|
||||
_mk_run(tid, "deployer", _SUB_MIN_START, _SUB_MIN_END)
|
||||
|
||||
# Mock the Gitea PR lookup inside _done_link.
|
||||
resp = MagicMock()
|
||||
resp.status_code = 200
|
||||
resp.json = lambda: [{"number": 105}]
|
||||
monkeypatch.setattr(N.httpx, "get", lambda *a, **k: resp)
|
||||
|
||||
text = N.render_task_tracker(tid)
|
||||
assert "\U0001f517 PR #105" in text # 🔗 PR #105
|
||||
assert "\U0001f4e6" in text # 📦
|
||||
# The done line is an M-slot -> not escaped.
|
||||
assert "<" not in text.split("\n")[-1]
|
||||
|
||||
|
||||
# --------------------------------------------------------------------------- #
|
||||
# TC-09 — integration: edit payload for a sub-minute card is parse-safe
|
||||
# --------------------------------------------------------------------------- #
|
||||
def test_tc09_edit_payload_is_parse_safe(monkeypatch):
|
||||
from src.db import set_tracker_message_id
|
||||
_set(monkeypatch, tracker_mode="edit",
|
||||
telegram_bot_token="bot-token", telegram_chat_id="chat-1")
|
||||
tid = _mk_task(stage="development")
|
||||
_mk_run(tid, "analyst", _SUB_MIN_START, _SUB_MIN_END, model="claude-opus-4-8")
|
||||
set_tracker_message_id(tid, 18854)
|
||||
|
||||
captured = {}
|
||||
|
||||
def _fake_post(url, json=None, timeout=None, **kw):
|
||||
captured["url"] = url
|
||||
captured["json"] = json
|
||||
return SimpleNamespace(status_code=200, json=lambda: {"ok": True})
|
||||
|
||||
monkeypatch.setattr(N.httpx, "post", _fake_post)
|
||||
|
||||
N.update_task_tracker(tid)
|
||||
|
||||
assert "editMessageText" in captured["url"]
|
||||
payload_text = captured["json"]["text"]
|
||||
assert captured["json"]["parse_mode"] == "HTML"
|
||||
# The crux of ORCH-095: no raw '<1м' reaches Telegram -> no 'can't parse
|
||||
# entities' -> the card does not freeze.
|
||||
assert "<1м" not in payload_text
|
||||
assert "<1м" in payload_text
|
||||
|
||||
|
||||
# --------------------------------------------------------------------------- #
|
||||
# TC-10 — stuck card resumes; anti-duplicate (ORCH-087) preserved
|
||||
# --------------------------------------------------------------------------- #
|
||||
def test_tc10_valid_render_edits_in_place_no_new_card(monkeypatch):
|
||||
from src.db import set_tracker_message_id, get_tracker_message_id
|
||||
_set(monkeypatch, tracker_mode="edit")
|
||||
tid = _mk_task(stage="development")
|
||||
_mk_run(tid, "analyst", _SUB_MIN_START, _SUB_MIN_END, model="claude-opus-4-8")
|
||||
set_tracker_message_id(tid, 18854)
|
||||
|
||||
# After the fix the render is valid -> edit succeeds in place (EDIT_OK).
|
||||
monkeypatch.setattr(N, "edit_telegram", lambda mid, text: N.EDIT_OK)
|
||||
send_mock = MagicMock(return_value=999)
|
||||
monkeypatch.setattr(N, "send_telegram", send_mock)
|
||||
|
||||
N.update_task_tracker(tid)
|
||||
|
||||
send_mock.assert_not_called() # edited in place, no new card
|
||||
assert get_tracker_message_id(tid) == 18854 # pointer unchanged
|
||||
|
||||
|
||||
def test_tc10_transient_fail_does_not_duplicate(monkeypatch):
|
||||
# ORCH-087 invariant: a transient edit failure must NOT spawn a new card.
|
||||
from src.db import set_tracker_message_id, get_tracker_message_id
|
||||
_set(monkeypatch, tracker_mode="edit")
|
||||
tid = _mk_task(stage="development")
|
||||
_mk_run(tid, "analyst", _SUB_MIN_START, _SUB_MIN_END, model="claude-opus-4-8")
|
||||
set_tracker_message_id(tid, 18854)
|
||||
|
||||
monkeypatch.setattr(N, "edit_telegram", lambda mid, text: N.EDIT_FAILED)
|
||||
send_mock = MagicMock(return_value=999)
|
||||
monkeypatch.setattr(N, "send_telegram", send_mock)
|
||||
|
||||
N.update_task_tracker(tid)
|
||||
|
||||
send_mock.assert_not_called() # no duplicate on transient fail
|
||||
assert get_tracker_message_id(tid) == 18854
|
||||
|
||||
|
||||
# --------------------------------------------------------------------------- #
|
||||
# TC-11 — never-raise on broken inputs
|
||||
# --------------------------------------------------------------------------- #
|
||||
def test_tc11_never_raise_missing_task():
|
||||
# No such task -> minimal fallback string, no exception.
|
||||
assert N.render_task_tracker(999999) == "task-999999"
|
||||
|
||||
|
||||
def test_tc11_never_raise_none_title_and_bad_timestamps():
|
||||
tid = _mk_task(title=None, stage="development")
|
||||
# Unparseable timestamps -> _duration_seconds degrades to None, no raise.
|
||||
_mk_run(tid, "analyst", "not-a-ts", "also-bad", model="claude-opus-4-8")
|
||||
text = N.render_task_tracker(tid) # must not raise
|
||||
assert isinstance(text, str)
|
||||
assert "ORCH-095" in text # falls back to work_item_id
|
||||
|
||||
|
||||
def test_tc11_esc_never_raises():
|
||||
class _Boom:
|
||||
def __str__(self):
|
||||
raise RuntimeError("boom")
|
||||
|
||||
# _esc degrades to '' rather than propagating an exception (FR-5).
|
||||
assert N._esc(_Boom()) == ""
|
||||
assert N._esc(None) == "None"
|
||||
Reference in New Issue
Block a user