Compare commits
8 Commits
docs/ORCH-
...
1e50d94d56
| Author | SHA1 | Date | |
|---|---|---|---|
| 1e50d94d56 | |||
| cfbe4c2eae | |||
| f583bcf2eb | |||
| adf7cc08b2 | |||
| 2795fc2cf7 | |||
| 87e75ab2c3 | |||
| 5c72503f4c | |||
| 225ab4aa65 |
61
.env.example
61
.env.example
@@ -107,30 +107,6 @@ ORCH_AGENT_EFFORT_DEPLOYER=medium
|
||||
# (G4 NOT enabled, ADR-001 ORCH-74: determinism — all agents stay on opus-4-8). A
|
||||
# non-empty value is validated by the SAME predicate as the model; a typo is dropped.
|
||||
ORCH_AGENT_FALLBACK_MODEL=
|
||||
|
||||
# ── Agent timeout / wall-clock budgets (ORCH-7, raised per-role ORCH-109) ─────
|
||||
# The in-process watchdog kills a run that exceeds its wall-clock budget
|
||||
# (SIGTERM -> grace -> SIGKILL, exit_code=-9). _resolve_timeout ladder (highest
|
||||
# first): OVERRIDES_JSON[agent] > dedicated role key > SECONDS (global default).
|
||||
# SECONDS -> global default budget for every role WITHOUT a raised
|
||||
# key (analyst/architect/tester/deployer).
|
||||
# KILL_GRACE_SECONDS -> pause between SIGTERM and SIGKILL so claude can flush
|
||||
# artifacts before the hard kill.
|
||||
# OVERRIDES_JSON -> optional per-agent override object, e.g.
|
||||
# {"reviewer":3600,"architect":2700}; wins for ANY role.
|
||||
# Malformed JSON -> ignored + WARNING (never-break).
|
||||
# ORCH-109: the two HEAVY roles get raised dedicated budgets (defaults = prod, so an
|
||||
# empty .env reproduces prod — ORCH-101 canon). A non-positive value falls back to
|
||||
# SECONDS + WARNING.
|
||||
# DEVELOPER_S -> developer budget (xhigh, coding/agentic bottleneck), 60m.
|
||||
# REVIEWER_S -> reviewer budget (large diff + high reasoning), 50m.
|
||||
# CROSS-INVARIANT (ORCH-065): ORCH_REAPER_MAX_RUNNING_S MUST stay > max(budget)+grace;
|
||||
# it is raised to 5400 in lockstep below (5400 > 3600 + 20 = 3620).
|
||||
ORCH_AGENT_TIMEOUT_SECONDS=1800
|
||||
ORCH_AGENT_KILL_GRACE_SECONDS=20
|
||||
ORCH_AGENT_TIMEOUT_OVERRIDES_JSON=
|
||||
ORCH_AGENT_TIMEOUT_DEVELOPER_S=3600
|
||||
ORCH_AGENT_TIMEOUT_REVIEWER_S=3000
|
||||
# ORCH-042/ORCH-067: live-tracker mode. bump (DEFAULT since ORCH-067) -> on every
|
||||
# update the old card is deleted and a fresh one is sent silently to the BOTTOM of
|
||||
# the chat (deleteMessage + sendMessage + repoint), so the current status is always
|
||||
@@ -164,32 +140,11 @@ ORCH_TRACKER_LIVE_STATUS_TIMEOUT_S=3
|
||||
# DEFER_MAX_ATTEMPTS -> defer retries before escalation (avoids livelock).
|
||||
ORCH_MERGE_GATE_ENABLED=true
|
||||
ORCH_MERGE_GATE_REPOS=
|
||||
# ORCH-110 (D5): re-test budget raised 600 -> 900 (74% headroom over the observed
|
||||
# 516.7s suite). Cross-invariant (ORCH-065/109): keep ORCH_REAPER_MAX_RUNNING_S
|
||||
# (5400) > Σ(deploy-staging gate-work) + grace if you raise this — see
|
||||
# docs/work-items/ORCH-110/07-infra-requirements.md.
|
||||
ORCH_MERGE_RETEST_TIMEOUT_S=900
|
||||
ORCH_MERGE_RETEST_TIMEOUT_S=600
|
||||
ORCH_MERGE_RETEST_TARGET=tests/
|
||||
ORCH_MERGE_LOCK_TIMEOUT_S=300
|
||||
ORCH_MERGE_DEFER_DELAY_S=60
|
||||
ORCH_MERGE_DEFER_MAX_ATTEMPTS=5
|
||||
# ORCH-110: merge-gate re-test infra-timeout tolerance + tree-kill of the
|
||||
# orchestrator-spawned pytest subprocess (re-test + coverage). Each default = the
|
||||
# desired prod behaviour; each flag is an independent kill-switch (off ->
|
||||
# byte-for-byte pre-ORCH-110). The tree-kill grace reuses ORCH_AGENT_KILL_GRACE_SECONDS.
|
||||
# SUBPROCESS_TREE_KILL_ENABLED -> D1: spawn re-test/coverage pytest in its
|
||||
# own process group; tree-kill the WHOLE group on timeout (no orphan grandchildren).
|
||||
# MERGE_RETEST_INFRA_TOLERANCE_ENABLED -> D3: a re-test TIMEOUT is a transient
|
||||
# (bounded infra-retry, NOT a code-fault rollback to development).
|
||||
# MERGE_RETEST_INFRA_MAX_RETRIES -> D3: infra-retry budget before an infra-alert.
|
||||
# MERGE_RETEST_INFRA_RETRY_DELAY_S -> D3: delay before the staging-deployer re-run.
|
||||
# MERGE_RETEST_SKIP_WHEN_CURRENT_ENABLED-> D4: skip the local re-test when the
|
||||
# pre-merge rebase was a proven no-op (HEAD already CI/tester/staging-validated).
|
||||
ORCH_SUBPROCESS_TREE_KILL_ENABLED=true
|
||||
ORCH_MERGE_RETEST_INFRA_TOLERANCE_ENABLED=true
|
||||
ORCH_MERGE_RETEST_INFRA_MAX_RETRIES=2
|
||||
ORCH_MERGE_RETEST_INFRA_RETRY_DELAY_S=120
|
||||
ORCH_MERGE_RETEST_SKIP_WHEN_CURRENT_ENABLED=true
|
||||
# ORCH-026 Level A: unconditional pre-merge rebase. With the flag ON (default),
|
||||
# check_branch_mergeable ALWAYS rebases the branch onto origin/main under the held
|
||||
# merge-lease (not only when behind) — a deterministic structural anti-phantom on
|
||||
@@ -410,8 +365,6 @@ ORCH_PLANE_STATES_TTL_S=300
|
||||
# REAPER_INTERVAL_S -> background scan period (seconds).
|
||||
# REAPER_DEAD_TICKS -> consecutive dead-pid ticks before reaping (Tier-1, >=2).
|
||||
# REAPER_MAX_RUNNING_S -> Tier-3 backstop ceiling; must exceed max agent_timeout+grace.
|
||||
# ORCH-109: raised 3600 -> 5400 in lockstep with the developer
|
||||
# budget (5400 > 3600 + 20 = 3620).
|
||||
# REAPER_FINALIZE_GRACE_S -> Tier-2 grace: how long agent_runs.exit_code must have been
|
||||
# recorded before a still-'running' job is reaped; MUST exceed
|
||||
# the max finalization window (git push + PR + Plane comments).
|
||||
@@ -421,7 +374,7 @@ ORCH_PLANE_STATES_TTL_S=300
|
||||
ORCH_REAPER_ENABLED=true
|
||||
ORCH_REAPER_INTERVAL_S=60
|
||||
ORCH_REAPER_DEAD_TICKS=2
|
||||
ORCH_REAPER_MAX_RUNNING_S=5400
|
||||
ORCH_REAPER_MAX_RUNNING_S=3600
|
||||
ORCH_REAPER_FINALIZE_GRACE_S=300
|
||||
ORCH_LEASE_RECLAIM_ENABLED=true
|
||||
|
||||
@@ -590,12 +543,6 @@ ORCH_QG0_TITLE_MAX=200
|
||||
# CONTAINERS -> CSV of container names to watch (status != running/healthy).
|
||||
# DOCKER_SOCK -> path to the read-only docker.sock inside the container.
|
||||
# DEPS -> CSV of name=url dependency pings (empty -> no pings).
|
||||
# PROC_ENABLED -> ORCH-111 opt-in: alert on a long-lived test process (pytest)
|
||||
# orphaned on the host (needs `pid: host`, default OFF).
|
||||
# PROC_AGE_MIN -> minutes a test process may live before alerting; MUST exceed
|
||||
# max(merge_retest_timeout_s, coverage_run_timeout_s)/60.
|
||||
# PROC_PATTERNS -> CSV of cmdline substrings that mark the test-class (pytest).
|
||||
# PROC_COOLDOWN_S-> per-signal re-alert throttle for proc_blocking.
|
||||
# TG_BOT_TOKEN / TG_CHAT_ID -> the sidecar's OWN Telegram bot/chat (independent
|
||||
# of the orchestrator's; absent -> logs, does not send).
|
||||
WATCHDOG_ENABLED=true
|
||||
@@ -615,9 +562,5 @@ WATCHDOG_QUEUE_DEPTH=20
|
||||
WATCHDOG_CONTAINERS=orchestrator
|
||||
WATCHDOG_DOCKER_SOCK=/var/run/docker.sock
|
||||
WATCHDOG_DEPS=
|
||||
WATCHDOG_PROC_ENABLED=false
|
||||
WATCHDOG_PROC_AGE_MIN=60
|
||||
WATCHDOG_PROC_PATTERNS=pytest
|
||||
WATCHDOG_PROC_COOLDOWN_S=1800
|
||||
WATCHDOG_TG_BOT_TOKEN=
|
||||
WATCHDOG_TG_CHAT_ID=
|
||||
|
||||
@@ -38,15 +38,5 @@ WATCHDOG_QUEUE_DEPTH=20
|
||||
WATCHDOG_CONTAINERS=orchestrator
|
||||
WATCHDOG_DOCKER_SOCK=/var/run/docker.sock
|
||||
WATCHDOG_DEPS=
|
||||
# proc_blocking (ORCH-111): opt-in алерт на долго живущий осиротевший тест-процесс
|
||||
# (pytest), репарентированный на хост. Требует `pid: host` на сервисе
|
||||
# orchestrator-watchdog (compose) — привилегия только у наблюдателя, read-only.
|
||||
# Дефолт-off → нулевая регрессия. PROC_AGE_MIN ОБЯЗАН превышать
|
||||
# max(merge_retest_timeout_s=600, coverage_run_timeout_s=900)/60 = 15 мин, иначе
|
||||
# легитимный прогон даст ложный алерт. 60 мин = 4× запас.
|
||||
WATCHDOG_PROC_ENABLED=false
|
||||
WATCHDOG_PROC_AGE_MIN=60
|
||||
WATCHDOG_PROC_PATTERNS=pytest
|
||||
WATCHDOG_PROC_COOLDOWN_S=1800
|
||||
WATCHDOG_TG_BOT_TOKEN=
|
||||
WATCHDOG_TG_CHAT_ID=
|
||||
|
||||
@@ -1,4 +1,4 @@
|
||||
Work item: ORCH-110
|
||||
Work item: ORCH-011
|
||||
Repo: orchestrator
|
||||
Branch: feature/ORCH-110-bug-merge-gate-local-re-test-t
|
||||
Branch: feature/ORCH-011-
|
||||
Stage: development
|
||||
17
CHANGELOG.md
17
CHANGELOG.md
@@ -3,23 +3,6 @@
|
||||
Формат: [Keep a Changelog](https://keepachangelog.com/). Записи — на смысловой PR/задачу.
|
||||
|
||||
## [Unreleased]
|
||||
- **Merge-gate re-test: толерантность к инфра-таймауту + tree-kill спавненных pytest + контракт необходимости re-test** (ORCH-110, `fix`, bug→escalate full-cycle): устранён ложный откат `deploy-staging → development`, возникавший когда локальный re-test merge-gate падал по **таймауту** (инфра/ресурс) при зелёных CI + tester + staging (инцидент ORCH-109/PR #129: сюит 516.7s упёрся в бюджет 600s под CPU-голоданием от осиротевших pytest-процессов → `(False, "re-test timeout after 600s")` → `_handle_merge_gate_rollback` → каждый из 3 developer-retry падал так же → «Merge-gate still failing after 3 developer retries» → ручное вмешательство). Аддитивно, под 5 независимыми kill-switch, never-raise, скоуп self-hosting; `STAGE_TRANSITIONS`/реестр `QG_CHECKS`/семантика `check_*`/machine-verdict-ключи/схема БД — **байт-в-байт не тронуты**; INV-4 (никогда push/force-push `main`) и запрет рестарта прод-контейнера — соблюдены. ADR: `docs/work-items/ORCH-110/06-adr/ADR-001-merge-gate-retest-infra-tolerance-and-tree-kill.md`, сквозной `docs/architecture/adr/adr-0042-merge-gate-retest-infra-tolerance-and-tree-kill.md`.
|
||||
- **D1 — process-group tree-kill (`src/proc_group.py`, новый stdlib-only leaf):** `merge_gate.retest_branch` и `coverage_gate.measure_coverage` теперь спавнят pytest в **отдельной группе процессов** (`start_new_session`) и при таймауте убивают **всё дерево** (`os.killpg`, каскад SIGTERM→grace→SIGKILL по образцу `launcher.stop_process`), а не только прямого потомка — осиротевшие внуки-pytest больше не переживают бюджет и не грузят CPU. Контракты возврата сохранены (меняется лишь побочный эффект — нет утечки). Грейс реюзит `agent_kill_grace_seconds`. Fallback never-break: `subprocess_tree_kill_enabled=False` или не-POSIX → прежний `subprocess.run(timeout=)`.
|
||||
- **D2/D3 — классификация + маршрутизация инфра-таймаута:** чистый предикат `merge_gate.classify_retest_failure(reason)` различает `timeout`/`red`/`lock-busy`/`other` (scope-guard: `auto_rebase_onto_main`'s «rebase timeout» — НЕ инфра-таймаут re-test, остаётся на rollback-пути). Инфра-таймаут → новый `_handle_merge_gate_infra_retry` (ограниченный повтор по образцу `_handle_merge_gate_defer`: задача **остаётся на deploy-staging**, staging-deployer перезапускается с задержкой, **БЕЗ** отката на `development` и **БЕЗ** расхода developer-retry). Анти-над-толерантность (BR-6): детерминированно **красный** re-test / конфликт по-прежнему → `_handle_merge_gate_rollback`. Anti-loop: исчерпание бюджета → один **инфра-alert** (явно инфраструктурная формулировка «НЕ дефект кода» с кликабельным номером), задача НЕ уходит в `development`.
|
||||
- **D4 — контракт необходимости re-test:** при `premerge_rebase_always=True` re-test теперь **пропускается**, когда rebase оказался доказанным no-op (HEAD не сдвинулся = ветка уже содержит свежий `origin/main`, тот же коммит уже подтвердили CI + tester + staging) — distribute той же оптимизации, что путь `premerge_rebase_always=False` уже имеет для не-behind ветки. Fail-safe: при любой неопределённости (`head_sha` пуст / git-ошибка) re-test **выполняется** (BR-6/AC-3 не ослаблен).
|
||||
- **D5 — бюджет:** `merge_retest_timeout_s` 600 → **900** (запас 74% над 516.7s) + валидация `_resolve_retest_timeout` (малформ/непозитив → дефолт 900 + WARNING). Сквозной инвариант ORCH-065/109 `reaper_max_running_s (5400) > Σ(deploy-staging gate-work)+grace (≈4460)` соблюдён **без** правки `reaper_max_running_s`.
|
||||
- **D6 — наблюдаемость:** in-process счётчики (`retest_timeout_total`/`retest_infra_retry_total`/`retest_infra_exhausted_total`/`retest_skipped_current_total`/`last_infra_timeout_wi`) + read-only блок `merge_gate` в `GET /queue` (отличим от код-фейл-отката); координация с ORCH-111 (`proc_blocking`) без дубля (ORCH-110 предотвращает/толерирует, ORCH-111 наблюдает). Append-only regression-guard: добавлен `("ORCH-110", "classify_retest_failure", "src/merge_gate.py")` в `MAIN_REGRESSION_MARKERS`.
|
||||
- **Конфиг (5 новых ключей, дефолт = боевое):** `ORCH_SUBPROCESS_TREE_KILL_ENABLED`/`ORCH_MERGE_RETEST_INFRA_TOLERANCE_ENABLED`/`ORCH_MERGE_RETEST_INFRA_MAX_RETRIES=2`/`ORCH_MERGE_RETEST_INFRA_RETRY_DELAY_S=120`/`ORCH_MERGE_RETEST_SKIP_WHEN_CURRENT_ENABLED` + бамп `ORCH_MERGE_RETEST_TIMEOUT_S=900`. Покрытие — `tests/test_orch110_*.py` (TC-01…TC-12, включая регресс инцидента red-before/green-after).
|
||||
- **Watchdog-сигнал `proc_blocking`: алерт на долго живущий осиротевший тест-процесс** (ORCH-111, `feat`): закрыта слепая зона наблюдаемости между `agent_hung` (видит только треканые джобы по `jobs.pid`) и осиротевшими субпроцессами `pytest`, которые орк запускает сам (`merge_gate.retest_branch`/`coverage_gate.measure_coverage`) и которые при timeout-kill агента (`-9`, ORCH-109) репарентируются на tini и живут сутками, грузя CPU и валя merge-gate re-test (инцидент: процессы `test_install_lite_script.py` жили >2 суток без единого алерта). Изменения **строго внутри наблюдателя** (`watchdog/**` + сервис watchdog в compose); `src/**`/`/metrics`/`schema_version`/`STAGE_TRANSITIONS`/`QG_CHECKS`/`check_*`/machine-verdict/схема БД — **байт-в-байт не тронуты**; выкат пересобирает **только** `orchestrator-watchdog`, прод `orchestrator` не рестартится (NFR-3). ADR: `docs/work-items/ORCH-111/06-adr/ADR-001-watchdog-orphan-test-process-alert.md`, сквозной `docs/architecture/adr/adr-0041-watchdog-orphan-test-process-alert.md`.
|
||||
- **Коллектор `watchdog/collectors/proc.py` (D3):** новый stdlib-only `/proc`-скан (под `pid: host` контейнерный `/proc` отражает хост-namespace) — читает `/proc/stat` (`btime`) + `os.sysconf("SC_CLK_TCK")`, итерирует числовые `/proc/<pid>`, матчит `/proc/<pid>/cmdline` по паттерну тест-класса, парсит `/proc/<pid>/stat` (поле 22 `starttime` → `age_s`, поля 14+15 `utime+stime` → `cpu_s` информационно). Строго **read-only** (никаких `os.kill`/сигналов/`subprocess`; **никогда** не читает `/proc/<pid>/environ` — секреты); **never-raise** (per-pid гонка «процесс умер между listdir и read» пропускается, top-level → `[]`); чистый разбор отделён от I/O (тестируется на фейковом `/proc`-дереве).
|
||||
- **Чистый builder `proc_signals` + синтез RECOVERY (D4):** per-entity `Signal("proc_blocking", pid)` active ⇔ `age_s > cfg.proc_age_s` (cmdline уже отфильтрована коллектором); действенный RU-`detail` (PID + возраст + усечённый фрагмент cmdline + CPU-время). Исчезновение процесса не оставляет «висящего» алерта: в `core.tick()` для каждого alerting-ключа без свежего сигнала **синтезируется** `Signal(active=False)` → существующая `decision.decide()`/`AlertState` даёт **однократный** RECOVERY и чистит состояние (никакой новой анти-спам-логики — FR-5).
|
||||
- **Анти-false-positive и отсутствие дубля с `agent_hung` — по построению (D2):** cmdline-скоуп (`claude`-агент ≠ `pytest` → нулевое пересечение, NFR-4/AC-5) + дефолтный порог возраста (60 мин) **превышает** макс. легитимный бюджет тест-прогона `max(merge_retest_timeout_s=600, coverage_run_timeout_s=900)` → in-flight прогон физически не перерастает порог (BR-4/AC-4). Без хрупкого кросс-namespace матчинга PID.
|
||||
- **Конфиг + kill-switch (D5):** ключи `WATCHDOG_PROC_ENABLED` (дефолт **false** — opt-in) / `WATCHDOG_PROC_AGE_MIN` (60) / `WATCHDOG_PROC_PATTERNS` (`pytest`) / `WATCHDOG_PROC_COOLDOWN_S` (1800), never-raise парсеры. При выключенном флаге коллектор в `tick()` **не вызывается** → нулевой оверхед и байт-в-байт прежний тик (AC-7). Топология (D6): аддитивный `pid: host` **только** на сервисе `orchestrator-watchdog` (привилегия read-only, меньше уже-смонтированного `docker.sock`; не volume → инвариант read-only-маунтов цел).
|
||||
- **Канон тиража (NFR-5):** новые `WATCHDOG_PROC_*` синхронизированы в `.env.watchdog.example` ↔ блок `WATCHDOG_*` `.env.example` (key-sync тест зелёный), описаны в `docs/deployment/LITE_SETUP.md` §4 и `docs/architecture/README.md` (§ proc_blocking). Покрытие — `tests/watchdog/test_proc_blocking_signal.py` (TC-01…TC-06), `test_proc_collector.py` (парсинг `/proc`), `test_tick_proc_blocking_integration.py` (TC-07 tick→dispatch + flag-off), позитивный `pid: host` в `test_compose_service.py`, proc-конфиг в `test_config_killswitch.py`. Полный `pytest tests/` зелёный (1930).
|
||||
- **Timeout-бюджеты developer/reviewer + launch-стамп модели в телеметрии** (ORCH-109, `fix`): две аддитивные изолированные правки подсистемы запуска агентов (инцидент ORCH-104, runs 658/659/660), **без** касания `STAGE_TRANSITIONS`/`QG_CHECKS`/`check_*`/machine-verdict/схемы БД. ADR: `docs/work-items/ORCH-109/06-adr/ADR-001-agent-timeout-budgets-and-launch-model-stamp.md`, сквозной `docs/architecture/adr/adr-0040-agent-timeout-budgets-and-launch-model-stamp.md`.
|
||||
- **Launch-стамп модели (D1, FR-1):** резолвенная `resolve_agent_model(...)` пишется в `agent_runs.model` в **момент launch** объединённым `UPDATE agent_runs SET model=?, effort=? WHERE id=?` рядом со стампом эффорта (ORCH-087) в `launcher._spawn`. Раньше модель писалась только постфактум из финального usage-JSON (`record_usage`, `model=COALESCE(?, model)`), а убитый по тайм-ауту прогон этот JSON не эмитит → модель оставалась `NULL` ровно тогда, когда нужна для разбора инцидента. Теперь модель присутствует с launch, **переживает timeout-kill (`exit_code=-9`)**, видна in-flight в `GET /metrics`/`GET /queue` (`get_running_agents` уже отдаёт `model`) и в строке Telegram-карточки. Пустой резолв (CLI-дефолт без `--model`) → `NULL` (симметрично `effort or None`). Постфактум `record_usage` остаётся **обогащением** (COALESCE сохраняет launch-стамп при `model=None`). never-raise: сбой стампа изолирован `try/except` + WARNING, launch продолжается.
|
||||
- **Поднятые per-role wall-clock бюджеты (D3/D4, FR-3):** выделенные типизированные ключи `agent_timeout_developer_s=3600` (60м) / `agent_timeout_reviewer_s=3000` (50м) (env `ORCH_AGENT_TIMEOUT_DEVELOPER_S`/`_REVIEWER_S`). `_resolve_timeout(agent)` получил детерминированную лестницу: `agent_timeout_overrides_json[agent]` (операторский escape-hatch, высший приоритет, BC) → выделенный ключ роли → `agent_timeout_seconds=1800` (прочие роли — байт-в-байт). Малформный JSON / непозитивный/нечисловой выделенный ключ → откат на глобальный дефолт + WARNING (never-break). Дефолты = боевым значениям (канон ORCH-101): пустой `.env` воспроизводит поднятые бюджеты. **Кросс-инвариант reaper ORCH-065** сохранён синхронным поднятием `reaper_max_running_s` 3600 → **5400** (`5400 > max(timeout)3600 + grace20 = 3620`).
|
||||
- **FR-4/NFR-6 (видимость при kill / in-flight) и FR-5 (анти-salvage) — структурно уже выполнены** существующим кодом (продвижение гейтится `if exit_code == 0`, timeout-kill → `_finalize_job` retry/fail, не advance); ORCH-109 фиксирует их **регресс-тестами**, новых ветвей не вводит. Покрытие — новый `tests/test_orch109_timeout_model.py` (TC-01…TC-12, детерминированный, без сети/CLI). Обновлены `tests/test_config.py` (reaper-дефолт 5400) и `tests/test_launcher.py` (ладдер `_resolve_timeout`). Документация — `.env.example` (блок agent-timeout + reaper), `config.py`-паспорт, `docs/architecture/README.md`/`internals.md` + front-page `README.md` (раздел «Watchdog») (per-role бюджеты).
|
||||
- **Презентация: слайды Lite-установки и использования через Plane** (ORCH-105, `docs`): слайдо-источник `docs/overview/presentation.md` расширен тремя слайдами в каноне ORCH-011 (16 → 19, сквозная нумерация сохранена): один слайд про **Lite-установку скриптами** (два контейнера платформы — оркестратор + сторож на инфре заказчика; развёртывание без правки кода, только конфиг; помощники `gen_secrets.py`/`onboard_project.py` + `docker compose up -d`; runbook `LITE_SETUP.md` с проверкой каждого шага; одношаговый bootstrap — это смежный Bundled, не Lite) и два слайда оператор-инструкции **«как пользоваться орком через Plane»** (запуск через статус «To Analyse»; статусы Plane — индикация, не управление; оба человеческих гейта «Approved»/«Confirm Deploy»; авто-лейблы `autoApprove`/`autoDeploy`/`Bug` — снимают только человеческие решения, ни одна техническая проверка не пропускается; отмена через «STOP»; наблюдение — статусы доски + живая Telegram-карточка + комментарии со ссылками на ветку/PR). Факты сверены с golden sources (`docs/deployment/LITE_SETUP.md`, `docs/overview/tech-pipeline.md`, `tech-integrations.md`, `CLAUDE.md`). **Docs+tests only:** `src/**`/`STAGE_TRANSITIONS`/`QG_CHECKS`/`check_*`/схема БД — байт-в-байт; новый QG не вводится; `python-pptx` не добавлен в прод-образ; собранный `.pptx` в git не коммитится. Анти-дрейф — новая функция `test_presentation_covers_lite_and_plane_usage_bits` в `tests/test_system_docs.py` (существующие проверки без послаблений). ADR: `docs/work-items/ORCH-105/06-adr/ADR-001-presentation-lite-and-plane-usage-slides.md` (канон витрины не меняется — `adr-0039-system-overview-docs-canon.md`).
|
||||
- **Витрина системы `docs/overview/`: бизнес + тех, маршруты трёх аудиторий, презентация** (ORCH-011, `docs`): единая точка входа в документацию платформы — новый docs-раздел `docs/overview/` (плоский каталог, 10 файлов, ADR-001 D1): индекс `README.md` (маршруты «Я заказчик / Я менеджер / Я разработчик» + норматив сопровождения «изменил функциональность → обнови витрину в том же PR»), бизнес-часть `business.md` (проблема → решение → что умеет фактически → ценность → 6 сценариев; без жаргона, цифры только с атрибуцией), 7 тех-блоков `tech-*.md` (архитектура со схемой потока, конвейер/гейты, агенты, модель объектов, интеграции, качество/безопасность, наблюдаемость; link-first — за деталями ссылки в golden sources, разрешённый дубль только машинно-сверяемый). **Docs+tests+dev-скрипт** (паттерн ORCH-102/103): `src/**`/`docker-compose.yml`/`Dockerfile`/`requirements*`/`STAGE_TRANSITIONS`/`QG_CHECKS`/machine-verdict/схема БД — ноль изменений. ADR: `docs/work-items/ORCH-011/06-adr/ADR-001-system-overview-canon.md`, сквозной `adr-0039-system-overview-docs-canon.md`.
|
||||
- **Презентация (D4/D5):** слайдо-источник `docs/overview/presentation.md` (16 слайдов в машинно-парсимой структуре «## Слайд N: …» + процедура сборки «команда + Проверка:») + dev-скрипт `scripts/build_presentation.py` (python-pptx, тёмный дизайн, редактируемый текст с точной кириллицей; чистый stdlib-парсер `parse_slides` + ленивый импорт pptx). Запуск только вне рантайма; `python-pptx` НЕ в прод-образе (машинный гард); собранный `.pptx` в git не коммитится — `build/` в `.gitignore`.
|
||||
|
||||
@@ -292,7 +292,7 @@ Task-файлы `.task-*.md` пишутся **прямой записью в с
|
||||
stdout/stderr агента перенаправляются СРАЗУ в `/app/data/runs/{id}.log` на уровне ОС (без PIPE). monitor-поток делает `proc.wait()` → реальный exit_code, нет зомби.
|
||||
|
||||
### Watchdog
|
||||
Каждый агент имеет per-role wall-clock бюджет (ORCH-109): developer 60 мин / reviewer 50 мин / прочие 30 мин дефолт (`_resolve_timeout`). При превышении — SIGTERM→grace→SIGKILL + запись exit_code=-9. Tier-3 backstop `reaper_max_running_s`=90 мин > max(timeout)+grace (ORCH-065).
|
||||
Каждый агент имеет timeout 30 минут. При превышении — SIGKILL + запись exit_code=-9.
|
||||
|
||||
### Event routing
|
||||
Gitea events роутятся по типу:
|
||||
|
||||
@@ -79,12 +79,6 @@ services:
|
||||
restart: unless-stopped
|
||||
init: true
|
||||
network_mode: host
|
||||
# ORCH-111 (adr-0041 D6): share the host PID-namespace so the sidecar's /proc
|
||||
# reflects the host and the proc_blocking collector can see orphaned pytest
|
||||
# subprocesses. Privilege is read-only and ONLY on the observer; the signal
|
||||
# is default-off (WATCHDOG_PROC_ENABLED=false) -> no behaviour change unless
|
||||
# opted in. NOT a volume, so the host-paths-read-only compose test is unaffected.
|
||||
pid: host
|
||||
mem_limit: 128m
|
||||
mem_reservation: 32m
|
||||
volumes:
|
||||
|
||||
@@ -9,7 +9,7 @@
|
||||
- **Stage Engine** (`src/stage_engine.py`) — исполнение переходов, диспетчеризация QG (`_run_qg`), откаты, синхронизация с Plane.
|
||||
- **Review/Test Parsers** (`src/review_parse.py`, ORCH-046) — defensive-извлечение дословного must-fix текста из артефактов для встраивания в `task_desc` заворота: `extract_review_findings` (P0/P1 из `12-review.md`), `extract_test_failures` (фрагмент тела `13-test-report.md`). Контракт «never raise»: любая ошибка → `""`.
|
||||
- **Quality Gates** (`src/qg/checks.py`) — проверки выхода со стадии, реестр `QG_CHECKS`.
|
||||
- **Agent Launcher** (`src/agents/launcher.py`) — запуск Claude CLI агентов в изолированном git worktree, мониторинг, auto-advance. Модель/эффорт каждого агента резолвятся из config (`resolve_agent_model`/`resolve_agent_effort`, ORCH-41), а не из frontmatter промпта. **ORCH-74:** имя модели валидируется форматом `^claude-…$` (`is_valid_model`) перед `--model`; невалидное → лог + откат на следующий уровень/CLI-дефолт (never-break, как `VALID_EFFORTS` для эффорта). Тот же предикат гардит inline-чтение `--fallback-model`. **ORCH-109 ([adr-0040](adr/adr-0040-agent-timeout-budgets-and-launch-model-stamp.md)):** (1) резолвенная **модель стампится в `agent_runs.model` в момент launch** (`_spawn`, объединённый `UPDATE … SET model=?, effort=?` рядом со стампом эффорта ORCH-087; пустой резолв → `NULL`; never-raise) → модель видна не-`null` при любом исходе прогона, включая timeout-kill (`exit_code=-9`), и in-flight в `GET /metrics`/`GET /queue` (`get_running_agents` уже отдаёт `model`); постфактум `record_usage` (`model=COALESCE(?, model)`) остаётся **обогащением**, не единственным источником истины. (2) **Per-role wall-clock бюджеты** через выделенные ключи `agent_timeout_developer_s=3600`/`agent_timeout_reviewer_s=3000` (лестница `_resolve_timeout`: `agent_timeout_overrides_json` → выделенный ключ роли → `agent_timeout_seconds=1800`; прочие роли — байт-в-байт; малформный/вне-диапазонный конфиг → дефолт + WARNING). Инвариант reaper ORCH-065 сохранён синхронным поднятием `reaper_max_running_s` 3600→**5400** (`5400 > max(timeout)3600 + grace20`). FR-5 анти-salvage — структурно: продвижение гейтится `if exit_code==0`, timeout-kill → `_finalize_job` (retry/fail), не advance. `STAGE_TRANSITIONS`/`QG_CHECKS`/схема БД не тронуты.
|
||||
- **Agent Launcher** (`src/agents/launcher.py`) — запуск Claude CLI агентов в изолированном git worktree, мониторинг, auto-advance. Модель/эффорт каждого агента резолвятся из config (`resolve_agent_model`/`resolve_agent_effort`, ORCH-41), а не из frontmatter промпта. **ORCH-74:** имя модели валидируется форматом `^claude-…$` (`is_valid_model`) перед `--model`; невалидное → лог + откат на следующий уровень/CLI-дефолт (never-break, как `VALID_EFFORTS` для эффорта). Тот же предикат гардит inline-чтение `--fallback-model`.
|
||||
- **Queue** (`src/queue_worker.py`, ORCH-1) — персистентная очередь задач (SQLite `jobs`), atomic claim, max_concurrency, ретраи, restart-safe. **ORCH-026:** `claim_next_job` гейтит задачи с незавершёнными зависимостями (`job_deps`, `NOT EXISTS`) без занятия слота; декларации/циклы — leaf `src/task_deps.py`.
|
||||
- **Job-reaper** (`src/job_reaper.py`, ORCH-065 — [adr-0011](adr/adr-0011-job-reaper-lease-reclaim.md)) — фоновый daemon-поток (каркас `reconciler`), стартует/останавливается в `main.lifespan` (после `reconciler.start()` / перед `worker.stop()`). Детектирует «мёртвый» `running`-job **без рестарта** процесса (Tier-1 мёртвый `jobs.pid` после `reaper_dead_ticks` тиков; Tier-2 `agent_runs.exit_code` записан, а job ещё `running`; Tier-3 backstop `reaper_max_running_s`) и приводит строку к корректному статусу через те же контракты (`_try_advance_stage`/`_finalize_job`, gate-driven; exit≠0/неизвестно → `attempts<max`→`queued`, иначе `failed`+Telegram). Атомарный reap-claim (guard `status='running'`) совместим со стартовым `requeue_running_jobs`. Тот же поток периодически делает проактивный реклейм stale/dead merge-lease (см. ниже). never-raise; kill-switch `ORCH_REAPER_ENABLED`; снимок в `GET /queue` (блок `reaper`).
|
||||
- **Reconciler** (`src/reconciler.py`, ORCH-053 — реализовано, [adr-0007](adr/adr-0007-reconciler.md)) — фоновый daemon-поток (паттерн `queue_worker`), стартует/останавливается в `main.lifespan` (после `worker.start()` / перед `worker.stop()`). Реконсилирует рассинхрон «источник истины ≠ стадия задачи» при потерянном webhook. F-1 gate-side (продвигает застрявшую стадию по локальной БД через штатный `advance_stage(..., finished_agent=None)`), F-2 plane-side (опрос Plane API → `handle_*` из `plane.py`), F-3 (БД-fallback `sha→branch` в `handle_ci_status`). Источник истины — гейт/Plane, не событие; идемпотентность (active-job guard + atomic-claim + grace); kill-switch `ORCH_RECONCILE_ENABLED`. `analysis` F-1 не трогает (человеческий гейт). F-1 также пропускает escalated (retry≥лимита) и Blocked/Needs-Input задачи (ORCH-060). Наблюдаемость — блок `reconcile` в `GET /queue`.
|
||||
@@ -108,24 +108,6 @@ F1b (рамка C-1: наблюдатель отделён от наблюдае
|
||||
`disk_watchdog` (ORCH-063, канал орка) ⇒ **нулевой дубль по построению**; sidecar покрывает провал
|
||||
«орк+disk_watchdog мертвы» через `orch_down`, плюс **opt-in** независимый критический потолок
|
||||
`host_disk_crit` (97%, `WATCHDOG_DISK_CRIT_ENABLED=false` по умолчанию) — другое событие/канал.
|
||||
- **`proc_blocking` — алерт на долго живущий осиротевший тест-процесс (ORCH-111, opt-in,
|
||||
[adr-0041](adr/adr-0041-watchdog-orphan-test-process-alert.md)):** закрывает слепую зону между
|
||||
`agent_hung` (видит только треканые джобы по `jobs.pid`) и осиротевшими субпроцессами pytest,
|
||||
которые орк запускает сам (`merge_gate.retest_branch`/`coverage_gate.measure_coverage`) и которые
|
||||
при timeout-kill агента (`-9`, ORCH-109) репарентируются на tini и живут сутками, грузя CPU и валя
|
||||
merge-gate re-test. Sidecar **сам** сканирует `/proc` хоста (новый коллектор
|
||||
`watchdog/collectors/proc.py`, stdlib-only, read-only, never-raise→`[]`); per-entity сигнал
|
||||
`("proc_blocking", pid)` active ⇔ возраст > порога **И** cmdline матчит тест-класс (дефолт `pytest`).
|
||||
Анти-false-positive и отсутствие дубля с `agent_hung` — **по построению**: cmdline-скоуп
|
||||
(`claude`-агент ≠ `pytest`) + порог возраста > макс. бюджета тест-прогона
|
||||
(`max(merge_retest_timeout_s, coverage_run_timeout_s)`), а не хрупким кросс-namespace матчингом PID.
|
||||
Алерт/recovery — через ту же `decide()`/`AlertState` (RECOVERY синтезируется для исчезнувшего
|
||||
процесса). Watchdog процесс **не трогает** (только наблюдение, C-1/BR-3). **Топология:** сервису
|
||||
`orchestrator-watchdog` добавлен `pid: host` (видимость хост-namespace; привилегия только у
|
||||
наблюдателя, read-only, меньше уже-смонтированного `docker.sock`). Ключи `WATCHDOG_PROC_*`
|
||||
(`ENABLED` дефолт **false** / `AGE_MIN`=60 / `PATTERNS`=`pytest` / `COOLDOWN_S`); дефолт-off →
|
||||
нулевая регрессия. Деплой пересобирает **только** sidecar — прод `orchestrator` не рестартится.
|
||||
Детали — `docs/work-items/ORCH-111/06-adr/ADR-001-watchdog-orphan-test-process-alert.md`.
|
||||
- **Гарантии:** never-raise (per-source/per-tick/per-send); kill-switch `WATCHDOG_ENABLED=false` →
|
||||
демон инертен (idle-loop, нулевой эффект на орк); строго read-only к наблюдаемому (нет
|
||||
start/stop/restart/exec/записи в `docker.sock`/БД/`main`) ⇒ self-hosting-безопасно (enduro не
|
||||
@@ -447,50 +429,13 @@ Self-hosting зацикливался на `deploy-staging`: `scripts/staging_ch
|
||||
Назначение: ветка валидируется относительно того `main`, из которого создана; параллельная задача могла уйти вперёд → семантический конфликт слияния (зелёная ветка ломает обновлённый `main`). Merge-gate гарантирует проверку против **актуального** `origin/main` перед слиянием:
|
||||
- **Догон:** ветка отстаёт (⇔ `origin/main` не предок HEAD) → `rebase origin/main` в worktree + `push --force-with-lease` (ТОЛЬКО ветка задачи; `main` — никогда). Текстовый конфликт → `rebase --abort` → откат на `development`.
|
||||
- **Безусловный pre-merge rebase (ORCH-026, A-2):** при `premerge_rebase_always` (дефолт `True`, скоуп `merge_gate_repos`) short-circuit `branch_is_behind_main` пропускается — `auto_rebase_onto_main` вызывается **всегда** под лизом. На актуальной ветке это no-op (`rebase` не меняет HEAD, `push --force-with-lease` → «Everything up-to-date», CI не триггерится); на отстающей — реальный догон. Детерминированный структурный анти-фантом на уровне планировщика (дополняет рубежи ORCH-073, не заменяет). Kill-switch `premerge_rebase_always=False` → прежнее поведение (ребейз только при behind).
|
||||
- **Re-test:** `python -m pytest` (`merge_retest_target`, дефолт `tests/`) в worktree догнанной ветки, тайм-аут `merge_retest_timeout_s` (ORCH-110 D5: 600 → **900**, валидация `_resolve_retest_timeout` — малформ/непозитив → дефолт 900 + WARNING). **Красный** (детерминированный сбой теста) → откат на `development` + developer-retry (без изменений). **ORCH-110 (реализовано, [adr-0042](adr/adr-0042-merge-gate-retest-infra-tolerance-and-tree-kill.md)):**
|
||||
- **(D4) Контракт необходимости re-test:** локальный re-test исполняется лишь когда rebase реально сдвинул HEAD (`main` уехал). Доказанный **no-op** rebase (`head_sha` до==после, обе непусты — ветка уже содержит свежий `origin/main`, HEAD уже прошёл CI+tester+staging) **пропускает** re-test (`(True, "branch up-to-date (re-test skipped: rebase no-op, HEAD CI-validated)")`, лиз HELD) — распространяет на путь `premerge_rebase_always=True` ту же оптимизацию, что путь `=False` уже имеет для не-behind ветки. Fail-safe: любая неопределённость (`head_sha` пуст / git-ошибка) → re-test **выполняется**. Kill-switch `merge_retest_skip_when_current_enabled`.
|
||||
- **(D2/D3) Толерантность к инфра-таймауту:** предикат `classify_retest_failure(reason)` различает `timeout`/`red`/`lock-busy`/`other`. **Таймаут** re-test = инфра-транзиент → `_handle_merge_gate_infra_retry` (ограниченный повтор по образцу defer: задача **остаётся на `deploy-staging`**, staging-deployer перезапускается с задержкой `merge_retest_infra_retry_delay_s`, **БЕЗ** отката на `development` и **БЕЗ** расхода developer-retry), а НЕ прежний rollback. Исчерпание `merge_retest_infra_max_retries` → один **инфра-alert** (явно «НЕ дефект кода», кликабельный номер), задача НЕ уходит в `development`. Анти-над-толерантность (BR-6): **красный** re-test / конфликт по-прежнему откатывают. Scope-guard: «rebase timeout» (git завис) — НЕ инфра-таймаут re-test, остаётся на rollback-пути. Kill-switch `merge_retest_infra_tolerance_enabled` (off → таймаут=прежний rollback).
|
||||
- **(D1) Tree-kill спавненных pytest:** re-test (и coverage `measure_coverage`) бегут через `proc_group.run_in_process_group` в **отдельной группе процессов** (`start_new_session`); при таймауте убивается **всё дерево** (`os.killpg`, каскад SIGTERM→grace→SIGKILL, грейс = `agent_kill_grace_seconds`) — осиротевшие внуки-pytest не переживают бюджет (корень CPU-голодания инцидента ORCH-109). Контракты возврата сохранены. Fallback never-break: `subprocess_tree_kill_enabled=False`/не-POSIX → прежний `subprocess.run`. Наблюдаемость — блок `merge_gate` в `GET /queue`; координация с ORCH-111 (`proc_blocking`) без дубля.
|
||||
- **Re-test:** `python -m pytest` (`merge_retest_target`, дефолт `tests/`) в worktree догнанной ветки, тайм-аут `merge_retest_timeout_s`. Красный/тайм-аут → откат на `development`.
|
||||
- **Сериализация (merge-lock):** файловый **merge-lease** на репо (`<repos_dir>/.merge-lease-<repo>.json`), живёт от гейта до фактического merge. Acquire **неблокирующий** (anti-deadlock при `max_concurrency=1`): busy → **defer** (повторная постановка deployer'а на `deploy-staging` с задержкой через `available_at`), а не откат. Release — на PR-merged вебхуке / `deploy→done` / откате / по возрасту (crash-реклейм). Restart-safe; без изменения схемы БД. **ORCH-026 (A-1):** это окно = «merge → main-updated» (для self `done` ⇔ SHA-in-main, ORCH-073) — пока A не в `main`, B того же репо получает `merge-lock busy` → defer. Окно сериализации per-repo НЕ переписывается; кросс-репо параллелизм сохранён (лиз — per-repo файл).
|
||||
- **Условность (как ORCH-35):** реален для `orchestrator`; прочие репо — no-op. Флаги `merge_gate_enabled` / `merge_gate_repos` — поэтапный раскат. Контракт **never-raise**.
|
||||
|
||||
Подробнее: [adr-0006](adr/adr-0006-merge-gate.md), детально — `docs/work-items/ORCH-043/06-adr/ADR-001-merge-gate.md`.
|
||||
Безусловный pre-merge rebase + связь с зависимостями задач — [adr-0015](adr/adr-0015-task-deps-and-merge-serialization.md) (ORCH-026).
|
||||
|
||||
#### Merge-gate re-test: толерантность к инфра-таймауту + tree-kill + контракт re-test (ORCH-110 — design)
|
||||
Инцидент ORCH-109/PR#129: при зелёном tester `PASS` (1899 passed / 516.7s), зелёном CI и актуальной
|
||||
ветке локальный re-test merge-gate упал по **таймауту** (600s) из-за CPU-голодания от **осиротевших**
|
||||
pytest-процессов (жили > 2 суток). Таймаут классифицировался как код-фейл → ложный откат
|
||||
`deploy-staging → development` + 3 сожжённых developer-retry → manual-gate. ORCH-110 бьёт по двум
|
||||
корням, одному контракту и бюджету — **аддитивно, под kill-switch, never-raise, скоуп self-hosting**;
|
||||
исходная защита merge-gate от семантического конфликта сохранена (красный re-test по-прежнему
|
||||
откатывает). `STAGE_TRANSITIONS`/`QG_CHECKS`/`check_*`/machine-verdict/схема БД — **не тронуты**.
|
||||
- **Tree-kill (root, D1):** новый leaf `src/proc_group.py::run_in_process_group` спавнит
|
||||
оркестратор-порождённые pytest-прогоны (`merge_gate.retest_branch` + `coverage_gate.measure_coverage`)
|
||||
в отдельной группе процессов (`start_new_session`) и при таймауте/прерывании убивает **всё дерево**
|
||||
(`os.killpg`, каскад SIGTERM→grace→SIGKILL, зеркало `launcher.stop_process`). Контракты возврата 1:1
|
||||
(меняется лишь побочный эффект — нет сирот); fallback на прежний `subprocess.run` при kill-switch off
|
||||
/ не-POSIX. Kill-switch `subprocess_tree_kill_enabled`.
|
||||
- **Классификация + маршрутизация (D2/D3):** чистый `merge_gate.classify_retest_failure(reason) →
|
||||
timeout|red|lock-busy|other`; инфра-таймаут → `_handle_merge_gate_infra_retry` (ограниченный
|
||||
повтор/defer по образцу `_handle_merge_gate_defer`, **без** отката на `development`, **без** расхода
|
||||
developer-retry; исчерпание → отдельный **инфра-alert**, не «developer must fix»); красный re-test →
|
||||
прежний `_handle_merge_gate_rollback`. Kill-switch `merge_retest_infra_tolerance_enabled`, бюджеты
|
||||
`merge_retest_infra_max_retries` (2) / `merge_retest_infra_retry_delay_s` (120s).
|
||||
- **Контракт re-test (D4):** локальный re-test исполняется ⇔ rebase реально сдвинул HEAD; доказанный
|
||||
no-op rebase пропускает re-test (как уже делает путь `premerge_rebase_always=False` для не-behind
|
||||
ветки), offline, без сетевого CI-запроса; fail-safe — на неопределённости re-test бежит. Kill-switch
|
||||
`merge_retest_skip_when_current_enabled`.
|
||||
- **Бюджет (D5):** `merge_retest_timeout_s` 600 → 900 (запас 74% над 516.7s) + валидация (непозитив →
|
||||
дефолт + WARNING); сквозной инвариант `reaper_max_running_s (5400) > Σ(deploy-staging gate-work
|
||||
≈4460)+grace` проверен — `reaper_max_running_s` **не меняется**.
|
||||
- **Наблюдаемость (D6):** счётчики + блок `merge_gate` в `GET /queue`; координация с ORCH-111
|
||||
(`proc_blocking`, adr-0041) без дубля: ORCH-110 предотвращает/толерирует у источника, ORCH-111
|
||||
наблюдает.
|
||||
|
||||
Подробнее: [adr-0042](adr/adr-0042-merge-gate-retest-infra-tolerance-and-tree-kill.md), детально —
|
||||
`docs/work-items/ORCH-110/06-adr/ADR-001-merge-gate-retest-infra-tolerance-and-tree-kill.md`.
|
||||
|
||||
### Coverage-гейт: защита от деградации покрытия тестами (ORCH-027 — design)
|
||||
Существующие тестовые гейты (`check_ci_green`, `check_tests_passed`, merge-gate re-test) судят
|
||||
только по факту прохождения тестов, не по **полноте** — фича «300 строк, 0 тестов» проходит
|
||||
|
||||
@@ -1,85 +0,0 @@
|
||||
---
|
||||
work_item: ORCH-109
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-14
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# adr-0040: Per-role wall-clock бюджеты (developer/reviewer) + launch-time стамп модели
|
||||
|
||||
- **Статус:** proposed
|
||||
- **Дата:** 2026-06-14
|
||||
- **Задача:** ORCH-109
|
||||
- **Детальный ADR:** `docs/work-items/ORCH-109/06-adr/ADR-001-agent-timeout-budgets-and-launch-model-stamp.md`
|
||||
|
||||
## Контекст
|
||||
Инцидент **ORCH-104** вскрыл два глобальных дефекта подсистемы запуска агентов (`src/agents/launcher.py`),
|
||||
затрагивающих **все** репо общего self-hosting-инстанса (orchestrator + enduro-trails):
|
||||
(A) единый wall-clock тайм-аут `agent_timeout_seconds=1800` убивает здоровые тяжёлые роли
|
||||
(`developer` xhigh, `reviewer`), т.к. в проде `agent_timeout_overrides_json` пуст; (B)
|
||||
`agent_runs.model` пишется только постфактум из usage-JSON (`record_usage`, `COALESCE`), а
|
||||
timeout-killed прогон финальный JSON не эмитит → модель остаётся `NULL` именно в момент инцидента,
|
||||
хотя эффорт уже стампится на launch (ORCH-087). Решение меняет два **глобальных per-agent
|
||||
инварианта** (бюджеты тайм-аутов + потолок Tier-3 reaper'а ORCH-065), поэтому регистрируется сквозным
|
||||
ADR, а не только work-item ADR.
|
||||
|
||||
## Решение
|
||||
Две аддитивные правки launcher'а, **без** касания `STAGE_TRANSITIONS`/`QG_CHECKS`/`check_*`/
|
||||
machine-verdict-ключей/схемы БД (колонка `agent_runs.model TEXT` уже существует — миграции нет):
|
||||
|
||||
- **Launch-time стамп модели.** В `_spawn` резолвенная `resolve_agent_model(...)` пишется в
|
||||
`agent_runs.model` рядом со стампом эффорта (объединённый `UPDATE … SET model=?, effort=?`),
|
||||
пустой резолв → `NULL`. Постфактум `record_usage` (`model=COALESCE(?, model)`) остаётся
|
||||
**обогащением**, перестаёт быть единственным источником истины — launch-стамп переживает kill и
|
||||
виден in-flight (`db.get_running_agents` уже отдаёт `model`). never-raise: сбой стампа изолирован,
|
||||
launch не падает.
|
||||
- **Per-role бюджеты через выделенные типизированные config-ключи** (по образцу
|
||||
`agent_model_<role>`/`agent_effort_<role>`): `agent_timeout_developer_s=3600`,
|
||||
`agent_timeout_reviewer_s=3000`. Лестница `_resolve_timeout`: `agent_timeout_overrides_json[agent]`
|
||||
(escape-hatch, высший) → выделенный ключ роли → `agent_timeout_seconds=1800` (прочие роли —
|
||||
байт-в-байт). never-break: малформный JSON / вне-диапазонный ключ → откат на глобальный дефолт +
|
||||
WARNING.
|
||||
- **Синхронное поднятие reaper (инвариант ORCH-065).** `reaper_max_running_s`: **3600 → 5400**.
|
||||
Проверка `reaper_max_running_s > max(timeout) + agent_kill_grace_seconds`: `5400 > 3600 + 20 = 3620`
|
||||
✓ (запас 1780s, покрывает окно финализации монитора). `5400 < ` sidecar `stage_stuck_s`=7200 →
|
||||
легитимный длинный developer-прогон не порождает ложный `stage_stuck`-алерт.
|
||||
- **Канон дефолтов (ORCH-101).** Дефолт каждого ключа = боевому значению → пустой `.env`
|
||||
воспроизводит прод-поведение (в т.ч. поднятые бюджеты). «Байт-в-байт прежнее» (NFR-1) строго
|
||||
применяется к ролям вне `{developer, reviewer}`.
|
||||
- **FR-5 анти-salvage — структурно, без нового кода.** Продвижение стадии гейтится
|
||||
`if exit_code == 0: _try_advance_stage(...)`; timeout-kill (-9) → `_finalize_job` → retry/fail,
|
||||
никогда не advance. Добавляется регресс-тест, не новая ветвь.
|
||||
|
||||
## Альтернативы
|
||||
- **Дефолт `agent_timeout_overrides_json={"developer":…}`** — отвергнуто: ломает канон ORCH-101
|
||||
непустым JSON-дефолтом, хрупкая строка против типизированного int, нельзя override одной env-роли.
|
||||
- **Бюджеты ≤ 3580 без поднятия reaper** — рассмотрено (меньший blast-radius), отвергнуто как
|
||||
доминирующее: урезает самую тяжёлую роль ради статичности backstop-числа; NFR-4 явно делегирует
|
||||
reaper-поднятие архитектору. Остаётся операторским запасным путём (всё env-override'имо).
|
||||
- **Repo-scoped бюджеты (`*_repos`)** — отвергнуто: тайм-аут — свойство launch, не гейт-решение;
|
||||
глобальность благоприятна enduro.
|
||||
- **Новый guard-leaf анти-salvage** — отвергнуто: продвижение уже гейтится exit-кодом; новый код =
|
||||
лишняя ветвь риска.
|
||||
|
||||
## Последствия
|
||||
- Модель видна (не `null`) при любом исходе прогона (трекер / status-комментарии / `/metrics` /
|
||||
`/queue`) — ключевой контекст инцидента доступен в момент сбоя; тяжёлые роли получают реальный
|
||||
бюджет (developer ×2, reviewer +67%) → меньше ложных timeout-kill при автономном прогоне (ORCH-088).
|
||||
- Аддитивно/обратимо/never-raise; гейты/схема/machine-verdict/деплой-путь не тронуты; прод-контейнер
|
||||
не рестартится (self-hosting безопасность, NFR-5).
|
||||
- Плата: Tier-3 backstop 60→90м (реально зависший прогон держится дольше — митигейшн Tier-1/Tier-2 +
|
||||
watchdog ≤ бюджета); глобальность поднимает enduro-роли (благоприятно; reaper-страховка цела);
|
||||
sidecar `agent_hung` (alert-only) может чаще срабатывать на здоровых длинных прогонах с low-CPU
|
||||
фазами (не влияет на конвейер).
|
||||
- **Откат:** занизить `ORCH_AGENT_TIMEOUT_DEVELOPER_S`/`_REVIEWER_S` (= 1800) и вернуть
|
||||
`ORCH_REAPER_MAX_RUNNING_S=3600`; launch-стамп модели отката не требует. Kill-switch не вводится
|
||||
(нет рисковых ветвей: стамп безопасен, тайм-аут fail-safe на дефолт).
|
||||
|
||||
## Связи
|
||||
adr-0011 (job-reaper — Tier-3 backstop `reaper_max_running_s`, инвариант ORCH-065 правится здесь
|
||||
синхронно), adr-0030 (metrics-endpoint — `get_running_agents().model` начинает заполняться для
|
||||
running-job), adr-0033 (sidecar-watchdog — `agent_hung`/`stage_stuck` пороги, alert-only),
|
||||
adr-0036 (replication foundation — канон «дефолт = боевое значение»). Маркер-инварианты: ORCH-065,
|
||||
ORCH-087, ORCH-101.
|
||||
@@ -1,95 +0,0 @@
|
||||
---
|
||||
work_item: ORCH-111
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-15
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# adr-0041: Watchdog-сигнал `proc_blocking` — алерт на долго живущий осиротевший тест-процесс
|
||||
|
||||
- **Статус:** proposed
|
||||
- **Дата:** 2026-06-15
|
||||
- **Задача:** ORCH-111 (bug → escalate full-cycle)
|
||||
- **Детальный ADR:** `docs/work-items/ORCH-111/06-adr/ADR-001-watchdog-orphan-test-process-alert.md`
|
||||
- **Парные ADR:** `adr-0033` (sidecar-watchdog F1b), `adr-0030` (`/metrics` — не трогаем),
|
||||
`adr-0024` (disk-watchdog — образец), `adr-0040` (timeout-kill `-9` — источник осиротения)
|
||||
|
||||
## Контекст
|
||||
Sidecar-watchdog (ORCH-100, adr-0033) алертит `agent_hung`/`stage_stuck`/`container_down`/`orch_down`/
|
||||
`host_mem`/`queue_depth`/`job_failed`/`dep_down`. `agent_hung` покрывает **только** running-агент-джобы
|
||||
(по `jobs.pid` из `/metrics agents[]`). Но виновные процессы инцидента ORCH-109 — это субпроцессы
|
||||
pytest, которые орк запускает своим кодом (`merge_gate.retest_branch`, `coverage_gate.measure_coverage`);
|
||||
при timeout-kill агента (`-9`, adr-0040) или `TimeoutExpired` внук-pytest репарентируется на PID 1
|
||||
orchestrator-контейнера (tini жнёт зомби, но **не убивает живых осиротевших**) и живёт сутками, грузя
|
||||
CPU и валя merge-gate re-test. Контейнер `orchestrator-watchdog` сейчас **не видит таблицу процессов
|
||||
хоста** (`network_mode: host`, но **без** `pid: host` и mount `/proc`). Между `agent_hung` (треканые
|
||||
джобы) и осиротевшим процессом — слепая зона: блокирующий pytest **не порождает сигнала**.
|
||||
|
||||
## Решение
|
||||
Новый per-entity сигнал **`proc_blocking`** **внутри наблюдателя** (`watchdog/**`): на каждом тике
|
||||
sidecar **сам** сканирует `/proc` хоста (stdlib), отбирает процессы тест-класса (cmdline матчит
|
||||
паттерн, дефолт `pytest`) и при возрасте > порога (заведомо > макс. легитимного бюджета тест-прогона)
|
||||
поднимает алерт через **существующую** `decision.decide()`/`AlertState` в собственный Telegram-канал
|
||||
sidecar. Watchdog процесс **не трогает** (только наблюдение, C-1). Изменения строго в наблюдателе;
|
||||
`src/**` / `/metrics`+`schema_version` / `STAGE_TRANSITIONS` / `QG_CHECKS` / `check_*` /
|
||||
machine-verdict / схема БД — **не тронуты**.
|
||||
|
||||
- **Механизм — watchdog-side `pid: host`, НЕ orch-side `/metrics`.** Решающее: orch-side путь правит
|
||||
`src/metrics.py` → рестарт прод-`orchestrator` (запрет NFR-3); и слеп именно когда орк деградировал
|
||||
(CPU-голодание), что противоречит C-1 (наблюдатель переживает падение наблюдаемого). Watchdog-side
|
||||
читает `/proc` независимо от живости орка и не трогает контракт `/metrics`.
|
||||
- **Коллектор** `watchdog/collectors/proc.py` (новый, по образцу `collectors/host.py`): stdlib-only
|
||||
(`/proc/stat` btime + `SC_CLK_TCK`; `/proc/<pid>/{cmdline,stat}`; возраст из starttime, CPU-время
|
||||
из utime+stime — информационно); **read-only** (никогда `os.kill`/`Popen`/`/proc/<pid>/environ`);
|
||||
**never-raise** (per-pid skip; top → `[]`).
|
||||
- **Builder** `proc_signals` (чистый, в `signals.py`): ключ `("proc_blocking", pid)`; `active` ⇔
|
||||
`age_s > proc_age_s`; detail = усечённый cmdline-фрагмент + PID + возраст + CPU-время (BR-2).
|
||||
- **RECOVERY для исчезнувшего процесса (AC-6):** в `core.tick()` синтезируется `Signal(active=False)`
|
||||
для `proc_blocking`-ключей, которые `alerting=True`, но исчезли из наблюдаемых → `decide()` даёт
|
||||
один RECOVERY (переиспользование машины, без отдельной анти-спам-логики, FR-5).
|
||||
- **Анти-false-positive и отсутствие дубля с `agent_hung` — по построению:** (1) cmdline-скоуп —
|
||||
`claude`-агенты не матчат `pytest` ⇒ нулевое пересечение с `agent_hung` (NFR-4); (2) порог возраста
|
||||
> макс. бюджета (`max(merge_retest_timeout_s=600, coverage_run_timeout_s=900)=900s`) ⇒ легитимный
|
||||
in-budget прогон всегда ниже порога (BR-4). Кросс-namespace матчинг PID не нужен (ненадёжен).
|
||||
- **Конфиг (новые `WATCHDOG_PROC_*`):** `WATCHDOG_PROC_ENABLED` (дефолт **false** — opt-in/kill-switch,
|
||||
зеркало `WATCHDOG_DISK_CRIT_ENABLED`), `WATCHDOG_PROC_AGE_MIN` (дефолт `60` мин; **инвариант:** >
|
||||
макс. бюджета), `WATCHDOG_PROC_PATTERNS` (CSV, дефолт `pytest`), `WATCHDOG_PROC_COOLDOWN_S`
|
||||
(дефолт `1800`). Дефолт-off ⇒ коллектор не вызывается ⇒ нулевая регрессия (AC-7).
|
||||
- **Топология:** `pid: host` **только** на сервисе `orchestrator-watchdog` (НЕ volume → существующий
|
||||
`:ro`-тест compose зелёный; `/proc` отражает хост автоматически, отдельный mount не нужен).
|
||||
Привилегия — только у наблюдателя.
|
||||
|
||||
## Альтернативы
|
||||
- **Orch-side `/metrics`-обогащение** — отвергнуто: рестарт прод-орка (NFR-3) + слепота при
|
||||
деградации орка (C-1) + новая поверхность контракта.
|
||||
- **Bind-mount `/proc:ro` вместо `pid: host`** — эквивалентная видимость/привилегия; `pid: host`
|
||||
идиоматичнее (согласован с уже-`network_mode: host`). Валидная замена при предпочтении не делить
|
||||
PID-namespace.
|
||||
- **Расширить `agent_hung` на нетреканые процессы** — отвергнуто: дубль/смешение классов (NFR-4).
|
||||
- **Реакция (kill/reap)** — вне объёма (BR-3, жёсткое ограничение): только мониторинг.
|
||||
- **Дефолт-on** — отвергнуто: привилегия + риск false-positive требуют осознанного opt-in.
|
||||
|
||||
## Последствия
|
||||
- Закрыта слепая зона: ранний адресный алерт о CPU-голодании до того, как оно завалит merge-gate
|
||||
re-test очередной задачи; работает даже при лёгшем орке.
|
||||
- Строго read-only + never-raise + дефолт-off + только наблюдатель ⇒ self-hosting-безопасно (enduro не
|
||||
затронут); конвейер byte-for-byte; deploy без рестарта прод-`orchestrator` (только sidecar).
|
||||
- Анти-FP и no-dup — структурно (cmdline-скоуп + порог возраста), не хрупким PID-матчингом.
|
||||
- Плата: расширение привилегии наблюдателя (`pid: host`, read-only, **меньше** уже-смонтированного
|
||||
`docker.sock`; код читает только `/stat`+`/cmdline`, никогда `/environ`; cmdline в алерте усечена);
|
||||
Linux-специфичность `/proc` (не-Linux → `[]`); новые `WATCHDOG_PROC_*` ключи в каноне тиража.
|
||||
- **Топология** меняется (`pid: host`) → `07-infra-requirements.md`; **схема БД** не меняется → 08 =
|
||||
N/A. Новый компонентный сигнал + привилегия → `arch:major-change`; прод-выкат через staging-гейт
|
||||
sidecar, без рестарта прод-контейнера.
|
||||
- **Откат:** `WATCHDOG_PROC_ENABLED=false` (мгновенный) или удаление коллектора/builder/врезок/ключей
|
||||
+ `pid: host` — без следов в БД/схеме/контракте `/metrics`.
|
||||
|
||||
## Связи
|
||||
adr-0033 (sidecar-watchdog F1b — рантайм/машина решения/независимый канал/never-raise — прямой
|
||||
родитель), adr-0030 (контракт `/metrics`/`schema_version` — изолирован, не тронут), adr-0024
|
||||
(disk-watchdog — образец pure-`decide_action`/dedup/recovery + «только читает и уведомляет»), adr-0040
|
||||
(timeout-бюджеты + `-9` timeout-kill — механизм осиротения внука-pytest), adr-0037/0038
|
||||
(Lite/Bundled тираж — канон `WATCHDOG_*` + compose sidecar, NFR-5).
|
||||
</content>
|
||||
@@ -1,84 +0,0 @@
|
||||
---
|
||||
work_item: ORCH-110
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-15
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# adr-0042: Merge-gate re-test — толерантность к инфра-таймауту + tree-kill спавненных процессов + контракт re-test
|
||||
|
||||
- **Статус:** proposed
|
||||
- **Дата:** 2026-06-15
|
||||
- **Задача:** ORCH-110 (bug → escalate full-cycle)
|
||||
- **Детальный ADR:** `docs/work-items/ORCH-110/06-adr/ADR-001-merge-gate-retest-infra-tolerance-and-tree-kill.md`
|
||||
- **Парные/смежные ADR:** `adr-0006` (merge-gate ORCH-043), `adr-0040` (timeout-бюджеты ORCH-109),
|
||||
`adr-0029` (coverage-gate ORCH-027), `adr-0011` (reaper/lease ORCH-065),
|
||||
`adr-0041` (ORCH-111 `proc_blocking` — комплементарный наблюдатель)
|
||||
|
||||
## Контекст
|
||||
|
||||
Merge-gate (ORCH-043) на ребре `deploy-staging → deploy` локально пере-прогоняет тест-сюит
|
||||
(`retest_branch`) для защиты от семантического конфликта слияния. Инцидент ORCH-109/PR#129: при
|
||||
зелёном tester `PASS` (1899 passed / 516.7s), зелёном CI и актуальной ветке re-test упал по
|
||||
**таймауту** (600s) из-за CPU-голодания от **осиротевших** pytest-процессов, переживших > 2 суток.
|
||||
Таймаут классифицировался как код-фейл → откат `deploy-staging → development` + 3 сожжённых
|
||||
developer-retry → manual-gate. Корни: (1) `subprocess.run(timeout=)` убивает только прямого потомка —
|
||||
внуки pytest репарентируются на PID 1 и живут (в `merge_gate.retest_branch` и
|
||||
`coverage_gate.measure_coverage`); (2) нет толерантности к инфра-таймауту; (3) тонкий бюджет (≈16%);
|
||||
(4) избыточный re-test на уже актуальной ветке (`premerge_rebase_always=True` форсит rebase+retest
|
||||
даже на no-op rebase).
|
||||
|
||||
Решение кросс-каттинговое: затрагивает merge-gate, coverage-gate и сквозной инвариант времени
|
||||
reaper/lease — поэтому регистрируется глобально.
|
||||
|
||||
## Решение (сводка)
|
||||
|
||||
Аддитивно, под kill-switch, never-raise, скоуп self-hosting; исходная защита merge-gate от
|
||||
семантического конфликта сохранена (красный re-test по-прежнему откатывает).
|
||||
|
||||
- **D1 — tree-kill.** Новый leaf `src/proc_group.py::run_in_process_group` спавнит
|
||||
оркестратор-порождённые pytest-прогоны в отдельной группе процессов (`start_new_session`) и при
|
||||
таймауте убивает **всё дерево** (`os.killpg`, каскад SIGTERM→grace→SIGKILL, зеркало
|
||||
`launcher.stop_process`). Используют `retest_branch` и `measure_coverage`; контракты возврата 1:1,
|
||||
меняется лишь побочный эффект (нет сирот). Fallback на прежний `subprocess.run` при kill-switch off
|
||||
/ не-POSIX. Kill-switch `subprocess_tree_kill_enabled`.
|
||||
- **D2 — классификация.** Чистый `merge_gate.classify_retest_failure(reason) → timeout|red|lock-busy|
|
||||
other`; `check_branch_mergeable` не меняет имя/семантику/PASS-FAIL (реестр `QG_CHECKS` цел).
|
||||
- **D3 — маршрутизация.** Инфра-таймаут → `_handle_merge_gate_infra_retry` (ограниченный повтор/defer
|
||||
по образцу `_handle_merge_gate_defer`, **без** отката на `development`, **без** расхода
|
||||
developer-retry); исчерпание → отдельный **инфра-alert** (не «developer must fix»). Красный re-test
|
||||
→ прежний `_handle_merge_gate_rollback`. Kill-switch `merge_retest_infra_tolerance_enabled`,
|
||||
бюджеты `merge_retest_infra_max_retries`/`merge_retest_infra_retry_delay_s`.
|
||||
- **D4 — контракт re-test.** Локальный re-test исполняется ⇔ rebase реально сдвинул HEAD (`main`
|
||||
уехал); доказанный no-op rebase пропускает re-test (как уже делает путь
|
||||
`premerge_rebase_always=False` для не-behind ветки), offline, без сетевого CI-запроса. Fail-safe: на
|
||||
любой неопределённости re-test бежит. Kill-switch `merge_retest_skip_when_current_enabled`.
|
||||
- **D5 — бюджет.** `merge_retest_timeout_s` 600 → 900 (запас 74%) + валидация (непозитив → дефолт +
|
||||
WARNING). Сквозной инвариант `reaper_max_running_s (5400) > Σ(deploy-staging gate-work ≈4460)+grace`
|
||||
проверен — `reaper_max_running_s` **не меняется**.
|
||||
- **D6 — наблюдаемость.** Счётчики `merge_gate` + блок `merge_gate` в `GET /queue`; координация с
|
||||
ORCH-111 без дубля (ORCH-110 предотвращает/толерирует у источника, ORCH-111 наблюдает).
|
||||
|
||||
## Инварианты (неприкосновенны)
|
||||
|
||||
- `STAGE_TRANSITIONS` / реестр `QG_CHECKS` / семантика `check_*` / machine-verdict ключи / схема БД —
|
||||
**байт-в-байт** (под-гейт — врезка в `advance_stage`, не новая стадия/QG; новых таблиц/колонок нет).
|
||||
- INV-4: никогда push/force-push `main`, merge только через Gitea PR API; прод-контейнер не
|
||||
рестартится; detached-деплой не трогается.
|
||||
- never-raise во всех новых функциях/врезках; исключение не уходит в `advance_stage`/монитор.
|
||||
- Kill-switch + нулевая регрессия: каждый флаг off → байт-в-байт до-ORCH-110; enduro (non-self) — no-op.
|
||||
|
||||
## Последствия
|
||||
|
||||
- **+** Устранён ложный откат/manual-gate при инфра-таймауте; устранена утечка CPU от сирот;
|
||||
re-test не избыточен на актуальной ветке.
|
||||
- **−** До ~34 мин на инфра-ретраи перед alert (вместо мгновенного ложного отката); +5 конфиг-ключей.
|
||||
- **Откат:** вернуть 4 kill-switch и `merge_retest_timeout_s=600`.
|
||||
|
||||
## Ссылки
|
||||
- Детально: `docs/work-items/ORCH-110/06-adr/ADR-001-merge-gate-retest-infra-tolerance-and-tree-kill.md`
|
||||
- Код: `src/merge_gate.py`, `src/coverage_gate.py`, `src/qg/checks.py`, `src/stage_engine.py`,
|
||||
`src/config.py`, `src/agents/launcher.py`, `src/job_reaper.py`, новый `src/proc_group.py`
|
||||
</content>
|
||||
@@ -93,7 +93,7 @@ claude.exe --print --system-prompt --allowedTools Read,Write,Edit,Bash
|
||||
Каждый запуск:
|
||||
1. Записывает run в DB (agent_runs)
|
||||
2. Запускает subprocess. **stdout/stderr перенаправляются СРАЗУ в файл `/app/data/runs/{id}.log` на уровне ОС** (Popen `stdout=log_fh`). Никакого PIPE в памяти оркестратора → нет PIPE-deadlock, нет потока-читателя, нет зомби (B-2).
|
||||
3. Стартует **watchdog thread** (per-role wall-clock бюджет → SIGTERM→grace→SIGKILL по pid; ORCH-109: developer 60 мин / reviewer 50 мин / прочие 30 мин дефолт, `_resolve_timeout`)
|
||||
3. Стартует **watchdog thread** (timeout 30 мин → SIGKILL по pid)
|
||||
4. Стартует **monitor thread**: `proc.wait()` (гарантированный reap → реальный exit_code в БД) → закрывает log_fh → git commit/push → auto-advance
|
||||
|
||||
### 5. Auto-advance (`launcher._try_advance_stage`)
|
||||
@@ -259,7 +259,7 @@ services:
|
||||
|
||||
| Механизм | Описание |
|
||||
|----------|----------|
|
||||
| Watchdog | Per-role wall-clock бюджет (ORCH-109): developer 60 мин / reviewer 50 мин / прочие 30 мин (`_resolve_timeout`) → SIGTERM→grace→SIGKILL + exit_code=-9. Tier-3 backstop `reaper_max_running_s`=90 мин > max(timeout)+grace (ORCH-065) |
|
||||
| Watchdog | Каждый агент: timeout 30 мин → SIGKILL + exit_code=-9 |
|
||||
| safe.directory | git операции работают в любой директории |
|
||||
| Max retries | Developer: max 3 попытки, затем эскалация |
|
||||
| Zombie-free | stdout идёт сразу в файл + monitor `proc.wait()` → процесс всегда reap'нут (B-2) |
|
||||
|
||||
@@ -163,18 +163,6 @@ cp .env.watchdog.example .env.watchdog
|
||||
# заполнить два ключа: WATCHDOG_TG_BOT_TOKEN / WATCHDOG_TG_CHAT_ID (бота создадим в §8)
|
||||
```
|
||||
|
||||
**Опционально (ORCH-111): алерт на осиротевший тест-процесс.** Watchdog умеет
|
||||
поднимать сигнал `proc_blocking` на долго живущий процесс тест-класса (по умолчанию
|
||||
`pytest`), репарентированный на хост и грузящий CPU. По умолчанию **выключен**
|
||||
(`WATCHDOG_PROC_ENABLED=false`) — нулевая регрессия. Чтобы включить, в `.env.watchdog`:
|
||||
`WATCHDOG_PROC_ENABLED=true`, при необходимости подстройте `WATCHDOG_PROC_AGE_MIN`
|
||||
(минуты; **обязан** превышать `max(merge_retest_timeout_s, coverage_run_timeout_s)/60`,
|
||||
дефолт 60), `WATCHDOG_PROC_PATTERNS` (CSV cmdline-подстрок), `WATCHDOG_PROC_COOLDOWN_S`.
|
||||
Для видимости процессов хоста сервису `orchestrator-watchdog` в `docker-compose.yml`
|
||||
задан `pid: host` (привилегия только у наблюдателя, read-only). **Проверка:**
|
||||
`grep -E '^WATCHDOG_PROC_ENABLED=' .env.watchdog` — если `true`, после рестарта только
|
||||
sidecar (`docker compose up -d orchestrator-watchdog`) в его логах виден тик без ошибок.
|
||||
|
||||
**Проверка (резолв всей конфигурации):**
|
||||
|
||||
```bash
|
||||
|
||||
@@ -46,10 +46,7 @@ created → analysis → architecture → development → review → testing →
|
||||
4. `check_staging_image_fresh` — staging-образ собран из актуального кода.
|
||||
|
||||
Это **врезки в переход, а не стадии**: они не появляются в карте `STAGE_TRANSITIONS`, а
|
||||
исполняются stage engine'ом внутри ребра. Провал любого из них — откат на доработку. Исключение
|
||||
(ORCH-110): **инфра-таймаут** локального re-test merge-gate (а не детерминированный красный тест) —
|
||||
это транзиент, а не дефект кода → ограниченный повтор + отдельный инфра-alert, без отката на
|
||||
доработку и без расхода developer-retry (красный re-test/конфликт по-прежнему откатывают). На ребре
|
||||
исполняются stage engine'ом внутри ребра. Провал любого из них — откат на доработку. На ребре
|
||||
`deploy → done` аналогичная врезка merge-verify подтверждает, что код задачи реально слит в
|
||||
`main` (слияние — только через PR-API Gitea, см. [интеграции](tech-integrations.md)).
|
||||
|
||||
|
||||
@@ -1,12 +0,0 @@
|
||||
---
|
||||
deploy_status: SUCCESS
|
||||
work_item: ORCH-105
|
||||
hook_exit_code: 0
|
||||
deployed_by: deploy-finalizer
|
||||
---
|
||||
|
||||
# Deploy log — ORCH-036 executable self-deploy
|
||||
|
||||
Прод-деплой завершён хост-хуком с exit-code `0` -> `deploy_status: SUCCESS`.
|
||||
|
||||
Вердикт зафиксирован детерминированным finalizer'ом (Фаза C), не LLM.
|
||||
@@ -1,7 +0,0 @@
|
||||
# Business Request: ORCH: timeout budgets + launch-time model telemetry for developer/reviewer
|
||||
|
||||
Work Item ID: ORCH-109
|
||||
|
||||
## Description
|
||||
|
||||
TBD
|
||||
@@ -1,167 +0,0 @@
|
||||
---
|
||||
work_item: ORCH-109
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-14
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 01 — BRD (бизнес-требования): ORCH-109 — timeout budgets + launch-time model telemetry для developer/reviewer
|
||||
|
||||
Work Item: **ORCH-109** · Repo: **orchestrator** · Стадия: analysis
|
||||
|
||||
## 1. Бизнес-контекст и проблема
|
||||
|
||||
Инцидент **ORCH-104** (runs 658/659/660, прод-watchdog 1800s) вскрыл **два независимых дефекта**
|
||||
в подсистеме запуска агентов и телеметрии:
|
||||
|
||||
**Дефект A — недостаточный wall-clock бюджет для тяжёлых ролей.**
|
||||
Агенты `developer` и `reviewer` на сложных задачах **честно** упираются в общий тайм-аут
|
||||
`agent_timeout_seconds = 1800` и убиваются watchdog'ом (`launcher._watchdog → stop_process`,
|
||||
exit 143 / -9). Этот тайм-аут — единый для ВСЕХ ролей, хотя `developer` (effort `xhigh`,
|
||||
кодирующая роль) и `reviewer` объективно требуют больше времени, чем механические роли
|
||||
(`tester`/`deployer`, effort `medium`). Существует механизм per-agent override
|
||||
(`_resolve_timeout` + `agent_timeout_overrides_json`), но в проде он пуст → все роли получают 1800s.
|
||||
|
||||
**Дефект B — потеря модели в телеметрии при оборванном прогоне.**
|
||||
Модель агента (`agent_runs.model`) пишется **только постфактум** — из финального usage-JSON
|
||||
прогона в `launcher._monitor_agent → usage.record_usage` (`_extract_model`). Убитый по тайм-ауту
|
||||
прогон **не успевает эмитить финальный JSON** → `_extract_model` возвращает `None` →
|
||||
`record_usage` пишет `model=COALESCE(None, model)` = остаётся **NULL**. В результате карточка
|
||||
Telegram-трекера (`notifications._stage_line`) и снимок `GET /metrics`/`GET /queue`
|
||||
(`db.get_running_agents`) показывают `model=null` именно тогда, когда что-то пошло не так — в
|
||||
момент, когда модель/эффорт критичны для разбора инцидента.
|
||||
|
||||
Существующий прецедент уже решает половину задачи: **эффорт стампится в момент launch**
|
||||
(`launcher._spawn`, ORCH-087, `UPDATE agent_runs SET effort=?`), потому что CLI его в result-JSON
|
||||
не возвращает. Модель резолвится в той же точке (`resolve_agent_model`, строка 559), но **в БД на
|
||||
launch не пишется** — стампится только эффорт. ORCH-109 распространяет ту же гарантию на модель.
|
||||
|
||||
**Сопутствующие проверки (производные от A и B):**
|
||||
- Поведение оборванного (timeout-killed) прогона в трекере и status-комментариях: модель и эффорт
|
||||
должны быть видны даже если финальный JSON не записан.
|
||||
- Нужен ли отдельный guard: не пускать timeout-killed `developer`/`reviewer` автоматически дальше
|
||||
по конвейеру (`development → review`, `review → testing`) без явного salvage-режима.
|
||||
|
||||
**Установленные факты (по коду, не изобретать):**
|
||||
- `agent_runs.model` — колонка `TEXT` (NULLABLE), уже существует (`db._ensure_column`); **миграция
|
||||
не нужна**.
|
||||
- `record_usage` уже использует `model=COALESCE(?, model)` — то есть постфактум-парс уже
|
||||
**сохраняет** ранее проставленное значение и не затирает его `NULL`'ом. Не хватает только
|
||||
записи на launch.
|
||||
- `_resolve_timeout(agent)` уже умеет per-agent override через `agent_timeout_overrides_json`;
|
||||
малформный JSON → откат на глобальный дефолт + лог (never-break).
|
||||
- Кросс-инвариант reaper: `reaper_max_running_s = 3600` с зафиксированным в `config.py` правилом
|
||||
«MUST be > max agent_timeout + grace» (Tier-3 backstop job-reaper'а, ORCH-065).
|
||||
|
||||
## 2. Объём (scope)
|
||||
|
||||
### В объёме
|
||||
- **Launch-time стамп модели:** записывать резолвенную `resolve_agent_model(...)` в
|
||||
`agent_runs.model` в момент launch (`launcher._spawn`), рядом со стампом эффорта (ORCH-087).
|
||||
- **Конфигурируемый поднятый wall-clock бюджет для `developer` и `reviewer`** через config-override,
|
||||
**без изменения** бюджета остальных ролей (`analyst`/`architect`/`tester`/`deployer`).
|
||||
- **Сохранение постфактум-enrich:** `usage.record_usage` остаётся источником обогащения
|
||||
модели/токенов/стоимости из usage-JSON, но **перестаёт быть единственным источником истины** о
|
||||
модели (launch-стамп — первичный, JSON — уточняющий).
|
||||
- **Видимость при timeout/kill:** строка стадии трекера и status-комментарии показывают реальные
|
||||
модель + эффорт для оборванного прогона (model не `null`).
|
||||
- **Guard анти-salvage:** гарантия (и регресс-тест), что timeout-killed прогон
|
||||
(`exit_code != 0`, в т.ч. -9/-15/143) **не продвигает** стадию автоматически в следующую без
|
||||
явного решения.
|
||||
- **Обновление документации/комментариев** по конфигу тайм-аутов (`config.py`, `.env.example`).
|
||||
- **Тесты**, покрывающие все перечисленные FR.
|
||||
|
||||
### Вне объёма
|
||||
- Изменение model-routing: все 6 агентов остаются на `claude-opus-4-8` (ORCH-41 G3 не включается).
|
||||
- Любые изменения `STAGE_TRANSITIONS` / `QG_CHECKS` / `check_*` / machine-verdict ключей / схемы БД
|
||||
(колонка `agent_runs.model` уже есть — миграции нет).
|
||||
- Изменение тайм-аута для ролей кроме `developer`/`reviewer`.
|
||||
- **Salvage / возобновление** недоделанной работы убитого прогона (поднять «как было», дописать,
|
||||
переиспользовать частичный результат) — в объёме ТОЛЬКО гарантия не-продвижения, не salvage.
|
||||
- Изменения транспорта Telegram/Plane (`send_telegram`/комментарии) — только использование уже
|
||||
доступных полей.
|
||||
- Перезапуск/деплой прод-контейнера в рамках задачи (self-hosting безопасность).
|
||||
|
||||
## 3. Заинтересованные стороны
|
||||
|
||||
- **Заказчик/Owner (Слава)** — инициатор; нуждается в надёжной телеметрии для разбора инцидентов и
|
||||
в адекватных бюджетах тяжёлых ролей при пакетном автономном прогоне (эпик ORCH-088).
|
||||
- **Оператор self-hosting** — потребитель карточки трекера и `GET /metrics`/`GET /queue`; без модели
|
||||
в карточке теряет ключевой контекст инцидента.
|
||||
- **Сам конвейер (self-hosting)** — затрагивается поведение запуска агентов; общий прод-инстанс
|
||||
обслуживает и enduro-trails (тайм-аут — глобальная per-agent настройка, не repo-scoped).
|
||||
|
||||
## 4. Бизнес-требования (BR)
|
||||
|
||||
- **BR-1** — Резолвенная модель агента сохраняется в `agent_runs.model` **в момент launch**, рядом
|
||||
с эффортом, а не только постфактум из usage-JSON. Значение присутствует на строке прогона с
|
||||
момента запуска и переживает любой исход прогона.
|
||||
- **BR-2** — Постфактум-парс usage/model (`usage.record_usage`) сохраняется как **обогащение**, но
|
||||
**не как единственный источник истины**: при отсутствии/обрыве финального JSON launch-стамп модели
|
||||
не теряется.
|
||||
- **BR-3** — Wall-clock тайм-аут для `developer` и `reviewer` поднимается и **настраивается через
|
||||
config-override**, **без изменения** тайм-аута остальных ролей; механизм покрыт тестом/проверкой.
|
||||
- **BR-4** — При timeout/kill (оборванный прогон без финального JSON) строка стадии в трекере и
|
||||
status-комментарии показывают **реальную модель (не `null`) и эффорт**.
|
||||
- **BR-5** — Timeout-killed прогон `developer`/`reviewer` **не продвигается** автоматически на
|
||||
следующую стадию без явного salvage-режима; поведение зафиксировано регресс-тестом. (Анализ
|
||||
определяет, нужен ли отдельный guard поверх существующей гарантии «advance только при чистом
|
||||
exit + зелёный QG».)
|
||||
- **BR-6** — Документация и комментарии по конфигу тайм-аутов обновлены (паспорт изменения внутри
|
||||
`config.py` + `.env.example`).
|
||||
|
||||
## 5. Нефункциональные требования (NFR)
|
||||
|
||||
- **NFR-1 — Обратная совместимость / нулевая регрессия.** Стамп модели аддитивен (колонка уже
|
||||
существует, миграции нет). Дефолтный тайм-аут ролей, кроме `developer`/`reviewer`, не меняется;
|
||||
при пустом override-конфиге поведение байт-в-байт прежнее.
|
||||
- **NFR-2 — never-raise / never-break.** Сбой стампа модели (ошибка БД) **не блокирует** launch
|
||||
(та же `try/except`-изоляция, что у стампа эффорта). Малформный/невалидный timeout-конфиг →
|
||||
откат на глобальный дефолт + WARNING, прогон не падает.
|
||||
- **NFR-3 — Неприкосновенность контрактов.** `STAGE_TRANSITIONS`, `QG_CHECKS`, `check_*`,
|
||||
machine-verdict ключи (`verdict:`/`result:`/`deploy_status:`/`staging_status:`/`security_status:`/
|
||||
`coverage_status:`), схема БД — **не трогаются**.
|
||||
- **NFR-4 — Сохранение reaper-инварианта.** Любой поднятый бюджет `developer`/`reviewer` обязан
|
||||
сохранять `reaper_max_running_s > max(резолвенный тайм-аут любого агента) + agent_kill_grace_seconds`
|
||||
(Tier-3 backstop ORCH-065); иначе job-reaper может реапнуть **здоровый** долгоиграющий прогон до
|
||||
срабатывания его собственного watchdog'а. Если новый бюджет нарушает неравенство —
|
||||
`reaper_max_running_s` поднимается синхронно (решение архитектора).
|
||||
- **NFR-5 — Self-hosting безопасность.** Изменение не рестартит/не роняет прод-контейнер, не
|
||||
трогает deploy-путь, безопасно для общего инстанса (enduro-trails не затронут негативно).
|
||||
- **NFR-6 — Наблюдаемость in-flight.** Модель становится видна в `GET /metrics`/`GET /queue`
|
||||
(`db.get_running_agents`) **во время** прогона, а не только после завершения (побочное улучшение
|
||||
launch-стампа).
|
||||
|
||||
## 6. Допущения и ограничения
|
||||
|
||||
- Тайм-аут — **глобальная per-agent** настройка (не repo-scoped): поднятие бюджета
|
||||
`developer`/`reviewer` действует на все репо. Для enduro это благоприятно/нейтрально.
|
||||
- Колонка `agent_runs.model` уже существует и NULLABLE — повторная запись/COALESCE безопасны.
|
||||
- CLI не возвращает effort в result-JSON (причина launch-стампа эффорта ORCH-087); модель в JSON
|
||||
возвращается, но только при успешном финале — отсюда необходимость launch-стампа модели.
|
||||
- Точные числовые значения новых бюджетов (`developer`/`reviewer`) и способ их конфигурации
|
||||
(выделенные ключи vs `agent_timeout_overrides_json`) — решение архитектора/Owner в рамках FR-3;
|
||||
BRD фиксирует только **способность + инвариант NFR-4 + тест**.
|
||||
- Salvage недоделанной работы — отдельная возможность, вне этой задачи.
|
||||
|
||||
## 7. Критерии успеха
|
||||
|
||||
Модель агента видна (не `null`) в трекере, status-комментариях и `/metrics` для ЛЮБОГО исхода
|
||||
прогона, включая timeout-kill; бюджеты `developer`/`reviewer` подняты и конфигурируемы без влияния
|
||||
на прочие роли и без нарушения reaper-инварианта; timeout-killed прогон не «протекает» в следующую
|
||||
стадию; всё покрыто тестами; конфиг задокументирован. Детальные PASS/FAIL — `03-acceptance-criteria.md`.
|
||||
|
||||
## 8. Риски
|
||||
|
||||
- **R-1** — Поднятие бюджета выше `reaper_max_running_s − grace` → ложный reap здорового прогона
|
||||
(NFR-4). Митигируется sanity-тестом конфига и/или синхронным поднятием `reaper_max_running_s`.
|
||||
- **R-2** — Постфактум-enrich затирает корректный launch-стамп при странном JSON. Митигируется
|
||||
семантикой COALESCE (NULL не затирает) + тестом enrich-кейсов.
|
||||
- **R-3** — Гонка двух писателей `exit_code` (`_record_kill` = -9 и `_monitor_agent` = `proc.wait()`)
|
||||
не должна влиять на телеметрию модели (модель — отдельная колонка). Подтверждается тестом FR-4.
|
||||
- **R-4** — Глобальность тайм-аута: поднятие для enduro-developer могло бы маскировать зависший
|
||||
прогон. Митигируется тем, что Tier-3 backstop reaper'а сохраняется (NFR-4).
|
||||
|
||||
Детали рисков и архитектурные трейд-оффы — `10-tech-risks.md` (заполняет архитектор).
|
||||
@@ -1,145 +0,0 @@
|
||||
---
|
||||
work_item: ORCH-109
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-14
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 02 — ТЗ (TRZ): ORCH-109 — timeout budgets + launch-time model telemetry для developer/reviewer
|
||||
|
||||
Work Item: **ORCH-109** · Repo: **orchestrator** · Стадия: analysis
|
||||
|
||||
> ТЗ описывает **конкретные изменения к реализации**, выведенные из BRD и фактического кода.
|
||||
> Архитектурное обоснование/решения (выбор «выделенные config-ключи vs `agent_timeout_overrides_json`»,
|
||||
> точные числовые бюджеты, синхронная правка `reaper_max_running_s`) — задача архитектора (`06-adr`).
|
||||
|
||||
## 1. Сводка изменения
|
||||
|
||||
Две независимые, но связанные правки в подсистеме запуска агентов:
|
||||
|
||||
1. **Launch-time стамп модели.** В `launcher._spawn` резолвенная `resolve_agent_model(...)` (уже
|
||||
вычисляется на launch, строка ~559) записывается в `agent_runs.model` в той же DB-сессии, что и
|
||||
стамп эффорта (ORCH-087, строки ~566–571). Постфактум-парс (`usage.record_usage`,
|
||||
`model=COALESCE(?, model)`) сохраняется как **обогащение** и уже не затирает launch-значение
|
||||
`NULL`'ом. Следствие: модель присутствует на строке прогона с момента запуска, переживает
|
||||
timeout-kill и видна in-flight в `GET /metrics`/`GET /queue`.
|
||||
|
||||
2. **Конфигурируемый поднятый wall-clock бюджет для `developer`/`reviewer`.** `_resolve_timeout(agent)`
|
||||
должен возвращать поднятый бюджет для `developer` и `reviewer`, конфигурируемый и не затрагивающий
|
||||
прочие роли; механизм покрыт тестом. Сохраняется never-break (малформный конфиг → глобальный
|
||||
дефолт) и кросс-инвариант reaper (`reaper_max_running_s > max(timeout)+grace`).
|
||||
|
||||
Плюс верификационные требования: телеметрия timeout-killed прогона (модель+эффорт не `null`) и
|
||||
guard анти-salvage (timeout-killed прогон не продвигает стадию).
|
||||
|
||||
## 2. Задействованные модули / пути
|
||||
|
||||
| Путь | Действие |
|
||||
|------|----------|
|
||||
| `src/agents/launcher.py` | изменить — стамп `model` в `_spawn` рядом с `effort` (≈ стр. 559–573); проверка `_resolve_timeout` обслуживает override `developer`/`reviewer` (≈ стр. 661–679) |
|
||||
| `src/config.py` | изменить — config для поднятого тайм-аута `developer`/`reviewer` (выделенные ключи и/или дефолт `agent_timeout_overrides_json`); обновить комментарии-паспорт (≈ стр. 115–126); проверить/при необходимости поднять `reaper_max_running_s` (≈ стр. 494–499) |
|
||||
| `src/usage.py` | проверить/зафиксировать тестом — `record_usage` (`model=COALESCE(?, model)`) НЕ затирает launch-стамп при `model=None` (≈ стр. 207–230); `_extract_model` (≈ стр. 95–118) |
|
||||
| `src/notifications.py` | проверить (правка, вероятно, не нужна) — `_stage_line` рендерит `· {model} · {effort}` из `agent_runs` для строки с `exit_code=-9` (≈ стр. 360–373, 498–542) |
|
||||
| `src/db.py` | НЕ менять схему — `agent_runs.model` TEXT уже есть; проверить, что `get_running_agents` (≈ стр. 1370–1405) отдаёт launch-стампнутую модель для running-job |
|
||||
| `src/stage_engine.py` | проверить — путь продвижения стадии не advance'ит прогон с `exit_code != 0` (guard FR-5); правка только если найден разрыв |
|
||||
| `.env.example` | обновить — задокументировать ключи тайм-аута `developer`/`reviewer` (BR-6) |
|
||||
| `tests/test_orch109_timeout_model.py` (новый) | создать — покрытие FR-1…FR-5 |
|
||||
| `CHANGELOG.md`, `CLAUDE.md` (паспорт), `docs/architecture/README.md` (модель/эффорт-секция) | обновить в том же PR (правило агентов №2) |
|
||||
|
||||
## 3. Функциональные требования
|
||||
|
||||
### FR-1 — Launch-time стамп модели (BR-1)
|
||||
В `launcher._spawn`, после `model = resolve_agent_model(agent, project_id)`, резолвенное значение
|
||||
записывается в `agent_runs.model` для текущего `run_id` **в момент launch**, по образцу стампа
|
||||
эффорта (ORCH-087):
|
||||
- Запись в той же открытой `conn`, что и стамп эффорта (допустимо объединить в один
|
||||
`UPDATE agent_runs SET model=?, effort=? WHERE id=?` — решение реализации).
|
||||
- Пустой резолв (`model == ""`, CLI-дефолт без `--model`) → пишется `NULL` (как эффорт: `effort or None`),
|
||||
чтобы суффикс модели в трекере корректно опускался.
|
||||
- **Инвариант:** значение `agent_runs.model` присутствует с момента launch и не зависит от исхода
|
||||
прогона.
|
||||
- **never-raise (NFR-2):** сбой записи изолирован `try/except` + WARNING; launch продолжается.
|
||||
|
||||
### FR-2 — Постфактум-enrich сохраняет launch-стамп (BR-2)
|
||||
`usage.record_usage` остаётся источником обогащения (токены/стоимость/модель из usage-JSON), но:
|
||||
- При `usage is None` или `usage.get("model") is None` (оборванный/малформный JSON) launch-стамп
|
||||
модели **не затирается** (текущая семантика `model=COALESCE(?, model)` это уже обеспечивает —
|
||||
требование зафиксировать тестом, не регрессировать).
|
||||
- При наличии непустой модели в JSON enrich **уточняет** значение (например, полный
|
||||
provider-prefixed id или фактический fallback-model) — допустимая перезапись непустым на непустое.
|
||||
- Семантика парсинга `_extract_model` (приоритет `modelUsage` → top-level `model`) — без изменений.
|
||||
|
||||
### FR-3 — Конфигурируемый поднятый тайм-аут `developer`/`reviewer` (BR-3)
|
||||
- `_resolve_timeout(agent)` возвращает поднятый бюджет для `agent in {"developer","reviewer"}`,
|
||||
конфигурируемый, **детерминированный**, и **не затрагивающий** прочие роли (они продолжают
|
||||
получать глобальный `agent_timeout_seconds`, если для них нет override).
|
||||
- Механизм: либо документированный дефолт `agent_timeout_overrides_json`, либо выделенные ключи
|
||||
(например `agent_timeout_developer_s`/`agent_timeout_reviewer_s`) — выбор архитектора; контракт
|
||||
FR-3 — резолв per-agent поднятого бюджета.
|
||||
- **never-break (NFR-2):** малформный/невалидный конфиг → откат на глобальный дефолт + WARNING
|
||||
(поведение `_resolve_timeout` сохраняется).
|
||||
- **Кросс-инвариант (NFR-4):** итоговый `max(резолвенный тайм-аут)` + `agent_kill_grace_seconds`
|
||||
обязан оставаться `< reaper_max_running_s`; при нарушении — синхронно поднять `reaper_max_running_s`.
|
||||
|
||||
### FR-4 — Телеметрия timeout-killed прогона (BR-4)
|
||||
Для прогона с `exit_code != 0` без финального usage-JSON (timeout-kill, `_record_kill` стампит -9):
|
||||
- Строка стадии трекера (`notifications._stage_line`) рендерит `· {short_model} · {effort}` с
|
||||
реальными значениями (модель **не** `null`), т.к. оба стампнуты на launch (FR-1 + ORCH-087).
|
||||
- `db.get_running_agents` (источник `GET /metrics`/`GET /queue`) отдаёт launch-стампнутую модель и
|
||||
для **running**-job (in-flight видимость, NFR-6).
|
||||
- Изменения `notifications.py`, вероятно, не требуются (рендер уже читает `model`); требование —
|
||||
верифицировать тестом, что при стампе на launch значение долетает.
|
||||
|
||||
### FR-5 — Guard анти-salvage timeout-killed прогона (BR-5)
|
||||
- Timeout-killed прогон (`exit_code != 0`, в т.ч. -9/-15/143) `developer`/`reviewer` **не продвигает**
|
||||
стадию (`development → review`, `review → testing`) автоматически.
|
||||
- Существующий контракт (advance только при чистом exit-коде + зелёный exit-гейт; иначе
|
||||
`attempts<max → queued`, иначе `failed` + Telegram — `launcher._monitor_agent`/`queue_worker`/
|
||||
`job_reaper`) реализует это структурно.
|
||||
- **Требование:** анализ подтверждает достаточность существующей гарантии; поведение фиксируется
|
||||
**регресс-тестом**. Отдельный guard в коде добавляется **только если тест выявит разрыв**.
|
||||
- **salvage-режим НЕ вводится** (вне объёма) — задача гарантирует не-продвижение, не возобновление.
|
||||
|
||||
### FR-6 — Документация конфига (BR-6)
|
||||
- Комментарий-паспорт в `config.py` (блок ORCH-7, строки ~115–126) расширяется описанием поднятых
|
||||
бюджетов `developer`/`reviewer` и ссылкой на reaper-инвариант (NFR-4).
|
||||
- `.env.example` несёт соответствующие ключи с дефолтами = боевым значениям (канон ORCH-101).
|
||||
- Сквозная документация (`CLAUDE.md`, `docs/architecture/README.md` — таблица «модель/эффорт по
|
||||
ролям») обновляется в том же PR.
|
||||
|
||||
## 4. Изменения API
|
||||
|
||||
Нет. Ни одного нового/изменённого endpoint'а. `GET /metrics` и `GET /queue` отдают тот же контракт
|
||||
(`schema_version: 1`) — поле `agents[].model` лишь **начинает заполняться** для running-job
|
||||
(аддитивное улучшение данных, не контракта; sidecar обязан толерировать, ORCH-099 NFR-6).
|
||||
|
||||
## 5. Изменения схемы БД
|
||||
|
||||
Нет. Колонка `agent_runs.model` (`TEXT`, NULLABLE) уже существует (`db._ensure_column`, инициализация
|
||||
`init_db`). Никаких `CREATE`/`ALTER`/новых таблиц. Меняется только **момент** и **частота** записи в
|
||||
существующую колонку (launch + опциональный постфактум-enrich).
|
||||
|
||||
## 6. Требования к новым/изменённым QG checks
|
||||
|
||||
Нет. `QG_CHECKS` / `check_*` / `_parse_*` / machine-verdict ключи — не трогаются. Задача целиком вне
|
||||
слоя Quality Gate (подсистема launch/телеметрия/конфиг). FR-5 опирается на **существующий**
|
||||
exit-code-контракт продвижения, не на новый гейт.
|
||||
|
||||
## 7. Совместимость / регресс
|
||||
|
||||
- **Обратная совместимость:** стамп модели аддитивен; при пустом timeout-override поведение
|
||||
байт-в-байт прежнее (NFR-1). Никаких kill-switch не требуется — изменение не вводит новых ветвей
|
||||
риска (стамп модели всегда безопасен; тайм-аут конфигурируем и fail-safe на глобальный дефолт).
|
||||
- **Область раската:** стамп модели — все репо/роли (безопасно). Поднятый тайм-аут — только
|
||||
`developer`/`reviewer` (все репо, т.к. тайм-аут глобален per-agent); прочие роли неизменны.
|
||||
- **Обратимость:** вернуть тайм-аут — снять override-конфиг (откат на 1800s). Launch-стамп модели
|
||||
отката не требует (чистое улучшение телеметрии).
|
||||
- **Кросс-каттинг (NFR-4):** при поднятии бюджета выше `reaper_max_running_s − grace` синхронно
|
||||
поднять `reaper_max_running_s` (ORCH-065). Sanity-тест конфига стережёт инвариант.
|
||||
- **never-raise (NFR-2):** обе правки изолированы; сбой не роняет launch и не падает на старте при
|
||||
плохом env.
|
||||
- **Self-hosting (NFR-5):** ни рестарта прода, ни изменения deploy-пути; общий инстанс безопасен.
|
||||
- **Полный регресс `tests/`** остаётся зелёным; coverage-гейт (ORCH-027) удовлетворён новым
|
||||
тест-файлом (изменения в `src/` минимальны и покрыты).
|
||||
@@ -1,139 +0,0 @@
|
||||
---
|
||||
work_item: ORCH-109
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-14
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 03 — Критерии приёмки (Acceptance Criteria): ORCH-109 — timeout budgets + launch-time model telemetry
|
||||
|
||||
Work Item: **ORCH-109** · Repo: **orchestrator** · Стадия: analysis
|
||||
|
||||
Формат: каждый критерий имеет **PASS** (что должно быть истинно для приёмки) и **FAIL**
|
||||
(что считается провалом). Reviewer/tester проверяет их буквально по файлам репозитория и тестам.
|
||||
|
||||
---
|
||||
|
||||
## AC-1 — Модель стампится в `agent_runs.model` в момент launch
|
||||
|
||||
**Условие:** запуск любого агента через `launcher._spawn` записывает резолвенную модель в
|
||||
`agent_runs.model` строки прогона ДО завершения процесса.
|
||||
- **PASS:** после стампа на launch (`UPDATE agent_runs SET model=…`/объединённый с effort)
|
||||
`SELECT model FROM agent_runs WHERE id=<run_id>` возвращает `resolve_agent_model(agent)` (непустую
|
||||
модель для текущей конфигурации — `claude-opus-4-8`); при пустом резолве — `NULL`. Запись
|
||||
происходит рядом со стампом эффорта (`launcher._spawn`).
|
||||
- **FAIL:** модель пишется только в `usage.record_usage` (постфактум); строка прогона имеет
|
||||
`model IS NULL` до завершения; стамп не изолирован и роняет launch при ошибке БД.
|
||||
|
||||
---
|
||||
|
||||
## AC-2 — Постфактум-enrich не затирает launch-стамп при оборванном JSON
|
||||
|
||||
**Условие:** `usage.record_usage` с отсутствующей/`None`-моделью не обнуляет launch-стампнутую модель.
|
||||
- **PASS:** `record_usage(run_id, None)` и `record_usage(run_id, {... "model": None})` для строки с
|
||||
launch-стампнутой моделью → `model` остаётся прежним непустым (семантика `COALESCE(?, model)`);
|
||||
`record_usage(run_id, {... "model": "claude-opus-4-8"})` → модель проставлена/уточнена.
|
||||
- **FAIL:** оборванный/малформный JSON приводит к `model = NULL`; enrich затирает корректный
|
||||
launch-стамп.
|
||||
|
||||
---
|
||||
|
||||
## AC-3 — Тайм-аут `developer`/`reviewer` поднят и конфигурируем без влияния на прочие роли
|
||||
|
||||
**Условие:** `launcher._resolve_timeout(agent)` возвращает поднятый бюджет для `developer`/`reviewer`
|
||||
и неизменный глобальный дефолт для остальных.
|
||||
- **PASS:** при сконфигурированном override `_resolve_timeout("developer")` и
|
||||
`_resolve_timeout("reviewer")` возвращают поднятые значения; `_resolve_timeout("analyst")`,
|
||||
`("architect")`, `("tester")`, `("deployer")` возвращают `settings.agent_timeout_seconds` (1800 по
|
||||
умолчанию). Конфигурация описана в `config.py` и `.env.example`.
|
||||
- **FAIL:** изменён бюджет роли вне `{developer, reviewer}`; значение захардкожено; бюджет не
|
||||
настраивается через config.
|
||||
|
||||
---
|
||||
|
||||
## AC-4 — Малформный timeout-конфиг → безопасный откат (never-break)
|
||||
|
||||
**Условие:** невалидный/малформный конфиг тайм-аутов не роняет прогон и не ломает старт.
|
||||
- **PASS:** при малформном `agent_timeout_overrides_json` (или невалидном выделенном ключе)
|
||||
`_resolve_timeout(...)` возвращает глобальный дефолт + пишет WARNING; процесс не падает.
|
||||
- **FAIL:** исключение пробрасывается; прогон/старт падает на плохом env.
|
||||
|
||||
---
|
||||
|
||||
## AC-5 — Reaper-инвариант сохранён
|
||||
|
||||
**Условие:** `reaper_max_running_s > max(резолвенный тайм-аут любого агента) + agent_kill_grace_seconds`.
|
||||
- **PASS:** с применённой конфигурацией бюджетов sanity-тест подтверждает неравенство для всех ролей
|
||||
(`developer`/`reviewer` включительно); при необходимости `reaper_max_running_s` поднят синхронно.
|
||||
- **FAIL:** поднятый бюджет `developer`/`reviewer` + grace ≥ `reaper_max_running_s` → job-reaper может
|
||||
реапнуть здоровый долгий прогон.
|
||||
|
||||
---
|
||||
|
||||
## AC-6 — Строка стадии трекера показывает модель+эффорт при timeout/kill
|
||||
|
||||
**Условие:** для прогона с `exit_code = -9` (timeout-kill) с launch-стампнутыми model+effort строка
|
||||
стадии рендерит оба значения.
|
||||
- **PASS:** `notifications`-рендер строки стадии (`_stage_line`) для такого `agent_runs`-ряда содержит
|
||||
` · <short_model> · <effort>` (например `· opus-4-8 · xhigh`); модель **не** `null`/пустая.
|
||||
- **FAIL:** при `exit_code=-9` строка показывает стоимость без модели (суффикс модели опущен), т.к.
|
||||
`model IS NULL`.
|
||||
|
||||
---
|
||||
|
||||
## AC-7 — In-flight видимость модели в `/metrics` и `/queue`
|
||||
|
||||
**Условие:** `db.get_running_agents` отдаёт модель для **running** job'а (до завершения прогона).
|
||||
- **PASS:** для running-job с launch-стампнутой моделью `get_running_agents()[i]["model"]` непуст;
|
||||
`GET /metrics` `agents[].model` непуст для активного агента.
|
||||
- **FAIL:** `model` остаётся `null` для running-job до завершения прогона.
|
||||
|
||||
---
|
||||
|
||||
## AC-8 — Timeout-killed прогон не продвигает стадию (анти-salvage)
|
||||
|
||||
**Условие:** прогон `developer`/`reviewer` с `exit_code != 0` (timeout-kill) не вызывает переход
|
||||
`development → review` / `review → testing`.
|
||||
- **PASS:** регресс-тест подтверждает, что прогон с `exit_code = -9` не продвигает стадию
|
||||
автоматически (следует retry/fail-пути; advance — только при чистом exit + зелёный exit-гейт).
|
||||
Salvage-режим отсутствует.
|
||||
- **FAIL:** убитый по тайм-ауту прогон «протекает» в следующую стадию без явного решения; либо введён
|
||||
неявный auto-salvage.
|
||||
|
||||
---
|
||||
|
||||
## AC-9 — Неприкосновенность контрактов и схемы
|
||||
|
||||
**Условие:** задача не трогает машину стадий, гейты и схему БД.
|
||||
- **PASS:** диффы НЕ содержат изменений `STAGE_TRANSITIONS`, реестра `QG_CHECKS`, `check_*`/`_parse_*`,
|
||||
machine-verdict ключей, `CREATE TABLE`/`ALTER TABLE`. `agent_runs.model` используется как есть.
|
||||
- **FAIL:** любое из перечисленного изменено.
|
||||
|
||||
---
|
||||
|
||||
## AC-10 — Документация и регресс
|
||||
|
||||
**Условие:** конфиг задокументирован, полный регресс зелёный.
|
||||
- **PASS:** комментарий-паспорт в `config.py` (блок ORCH-7) и `.env.example` описывают бюджеты
|
||||
`developer`/`reviewer`; `CHANGELOG.md`/`CLAUDE.md`/`docs/architecture/README.md` обновлены в том же
|
||||
PR; `pytest tests/ -q` зелёный; новые тесты ORCH-109 проходят.
|
||||
- **FAIL:** конфиг не задокументирован; документация рассинхронизирована с кодом; регресс красный.
|
||||
|
||||
---
|
||||
|
||||
## Сводная матрица AC ↔ FR/BR
|
||||
|
||||
| AC | Покрывает |
|
||||
|----|-----------|
|
||||
| AC-1 | BR-1 / FR-1 |
|
||||
| AC-2 | BR-2 / FR-2 |
|
||||
| AC-3 | BR-3 / FR-3 |
|
||||
| AC-4 | BR-3 / FR-3 / NFR-2 |
|
||||
| AC-5 | NFR-4 / FR-3 |
|
||||
| AC-6 | BR-4 / FR-4 |
|
||||
| AC-7 | BR-4 / FR-4 / NFR-6 |
|
||||
| AC-8 | BR-5 / FR-5 |
|
||||
| AC-9 | NFR-1 / NFR-3 / FR-5 |
|
||||
| AC-10 | BR-6 / FR-6 / NFR-1 |
|
||||
@@ -1,94 +0,0 @@
|
||||
work_item: ORCH-109
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-14
|
||||
model_used: claude-opus-4-8
|
||||
title: "Timeout budgets + launch-time model telemetry для developer/reviewer"
|
||||
framework: pytest
|
||||
scope: >
|
||||
Покрывает: launch-time стамп модели в agent_runs.model (FR-1), сохранение launch-стампа
|
||||
постфактум-enrich'ем (FR-2), конфигурируемый поднятый тайм-аут developer/reviewer без влияния
|
||||
на прочие роли (FR-3) + never-break на малформном конфиге, reaper-инвариант (NFR-4), видимость
|
||||
модели+эффорта в строке трекера при timeout-kill (FR-4) и in-flight в get_running_agents (NFR-6),
|
||||
guard анти-salvage — timeout-killed прогон не продвигает стадию (FR-5). Вне покрытия: model-routing,
|
||||
salvage недоделанной работы, изменения STAGE_TRANSITIONS/QG_CHECKS/схемы (их и не должно быть).
|
||||
notes: >
|
||||
Тесты детерминированы, без сети/LLM/subprocess Claude CLI: используют временную SQLite-БД и
|
||||
синтетические agent_runs-ряды; настройки подменяются через monkeypatch/override settings.
|
||||
Полный регресс tests/ должен оставаться зелёным; новый файл tests/test_orch109_timeout_model.py.
|
||||
Любой найденный разрыв в FR-5 закрывается guard'ом + тестом; если разрыва нет — TC-08 фиксирует
|
||||
существующую гарантию как анти-регресс.
|
||||
|
||||
tests:
|
||||
- id: TC-01
|
||||
type: unit
|
||||
description: "_resolve_timeout('developer') и ('reviewer') возвращают поднятый сконфигурированный бюджет"
|
||||
module: tests/test_orch109_timeout_model.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-02
|
||||
type: unit
|
||||
description: "_resolve_timeout для analyst/architect/tester/deployer возвращает глобальный agent_timeout_seconds (1800) — прочие роли не затронуты"
|
||||
module: tests/test_orch109_timeout_model.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-03
|
||||
type: unit
|
||||
description: "Малформный/невалидный timeout-конфиг -> _resolve_timeout откатывается на глобальный дефолт + WARNING, без исключения (never-break)"
|
||||
module: tests/test_orch109_timeout_model.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-04
|
||||
type: integration
|
||||
description: "Launch стампит agent_runs.model: после стамп-блока _spawn строка прогона имеет model == resolve_agent_model(agent) (непустую), рядом с effort"
|
||||
module: tests/test_orch109_timeout_model.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-05
|
||||
type: unit
|
||||
description: "Стамп модели изолирован: сбой записи (битый conn) не пробрасывает исключение из launch-пути (never-raise, NFR-2)"
|
||||
module: tests/test_orch109_timeout_model.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-06
|
||||
type: unit
|
||||
description: "record_usage(run_id, None) и record_usage с model=None НЕ затирают launch-стампнутую модель (COALESCE preserve, FR-2)"
|
||||
module: tests/test_orch109_timeout_model.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-07
|
||||
type: unit
|
||||
description: "record_usage с непустой model в usage-JSON уточняет/проставляет agent_runs.model (enrich по-прежнему работает)"
|
||||
module: tests/test_orch109_timeout_model.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-08
|
||||
type: unit
|
||||
description: "Sanity reaper-инварианта: reaper_max_running_s > max(резолвенный тайм-аут всех ролей) + agent_kill_grace_seconds (NFR-4)"
|
||||
module: tests/test_orch109_timeout_model.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-09
|
||||
type: integration
|
||||
description: "Строка стадии трекера (_stage_line) для agent_runs с exit_code=-9 и launch-стампнутыми model+effort рендерит ' · <short_model> · <effort>' (model не null)"
|
||||
module: tests/test_orch109_timeout_model.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-10
|
||||
type: integration
|
||||
description: "get_running_agents отдаёт непустую model для running-job с launch-стампнутой моделью (in-flight видимость /metrics /queue, NFR-6)"
|
||||
module: tests/test_orch109_timeout_model.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-11
|
||||
type: integration
|
||||
description: "Анти-salvage: прогон developer/reviewer с exit_code=-9 не продвигает стадию (development->review / review->testing) автоматически; следует retry/fail-пути"
|
||||
module: tests/test_orch109_timeout_model.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-12
|
||||
type: integration
|
||||
description: "Анти-регресс контрактов: STAGE_TRANSITIONS/QG_CHECKS/check_* и схема agent_runs не изменены (модель пишется в существующую колонку, миграции нет)"
|
||||
module: tests/test_orch109_timeout_model.py
|
||||
expected: PASS
|
||||
@@ -1,221 +0,0 @@
|
||||
---
|
||||
work_item: ORCH-109
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-14
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# ADR-001: Поднятые wall-clock бюджеты developer/reviewer + launch-time стамп модели
|
||||
|
||||
Work Item: **ORCH-109** — timeout budgets + launch-time model telemetry для developer/reviewer
|
||||
Стадия: **architecture**
|
||||
Сквозная регистрация: **`docs/architecture/adr/adr-0040-agent-timeout-budgets-and-launch-model-stamp.md`**
|
||||
(решение кросс-каттинговое: меняет два глобальных per-agent инварианта подсистемы запуска —
|
||||
бюджеты тайм-аутов всех репо и потолок Tier-3 reaper'а ORCH-065).
|
||||
|
||||
## Статус
|
||||
Proposed <!-- Proposed | Accepted | Superseded by ADR-… -->
|
||||
|
||||
## Контекст
|
||||
|
||||
Инцидент **ORCH-104** (runs 658/659/660) вскрыл два независимых дефекта подсистемы запуска агентов
|
||||
(`src/agents/launcher.py`), верифицированных по коду:
|
||||
|
||||
- **Дефект A — единый тайм-аут для всех ролей.** `_resolve_timeout(agent)` (launcher.py ≈661–679)
|
||||
возвращает `settings.agent_timeout_seconds = 1800` (config.py:124) для **всех** ролей, если в
|
||||
`agent_timeout_overrides_json` нет записи (в проде он пуст: `""`, config.py:126). Тяжёлые роли
|
||||
`developer` (effort `xhigh`, кодирующая) и `reviewer` (effort `high`, читает диф + пишет ревью)
|
||||
**честно** упираются в 1800s и убиваются watchdog'ом (`_watchdog → stop_process`, exit_code=-9
|
||||
через `_record_kill`, launcher.py:778–786). Механические роли (`tester`/`deployer`, effort
|
||||
`medium`) в этот бюджет укладываются.
|
||||
- **Дефект B — потеря модели в телеметрии при обрыве.** `agent_runs.model` пишется только
|
||||
постфактум — из финального usage-JSON в `usage.record_usage` (`model=COALESCE(?, model)`,
|
||||
usage.py:217). Убитый по тайм-ауту прогон не успевает эмитить финальный JSON → `_extract_model`
|
||||
даёт `None` → модель остаётся `NULL` ровно тогда, когда она критична для разбора инцидента.
|
||||
При этом **эффорт уже стампится на launch** (ORCH-087, launcher.py:566–571, `UPDATE agent_runs
|
||||
SET effort=? WHERE id=?`), потому что CLI его в result-JSON не отдаёт; модель в той же точке
|
||||
**резолвится** (`model = resolve_agent_model(...)`, launcher.py:559), но в БД на launch **не
|
||||
пишется**.
|
||||
|
||||
Установленные факты (по коду, не изобретены):
|
||||
- Колонка `agent_runs.model TEXT` (NULLABLE) уже существует (`db.py:111`, `_ensure_column`) —
|
||||
**миграции нет**.
|
||||
- `record_usage` уже использует `model=COALESCE(?, model)` → `None` не затирает ранее проставленное
|
||||
значение (usage.py:217). Не хватает только записи на launch.
|
||||
- `db.get_running_agents()` уже отдаёт `r.model AS model` (`db.py` ≈1370–1405) — running-job увидит
|
||||
модель **сразу** после launch-стампа, без правки SELECT.
|
||||
- `notifications._stage_line` рендерит `· {model} · {effort}` из строки `agent_runs` — увидит
|
||||
launch-стампнутую модель даже для `exit_code=-9`, без правки.
|
||||
- Продвижение стадии гейтится `if exit_code == 0: self._try_advance_stage(...)` (launcher.py:951–952);
|
||||
иначе → `_finalize_job` (launcher.py:957) → retry/fail. Timeout-kill (-9) **структурно** не
|
||||
продвигает стадию.
|
||||
- Кросс-инвариант reaper (ORCH-065): `reaper_max_running_s = 3600` (config.py:497) c зафиксированным
|
||||
правилом «MUST be > max agent_timeout + grace» (config.py:480–482; `job_reaper.py:43,228`).
|
||||
Сейчас `3600 > 1800 + 20 = 1820` ✓. **Любое поднятие бюджета обязано пересчитать это неравенство.**
|
||||
- Sidecar-watchdog (`watchdog/`, ORCH-100) — **наблюдатель**, процессы **не убивает**; сигнал
|
||||
`agent_hung` (runtime > `agent_hung_min`=20м **И** cpu < 1%) — только Telegram-алерт. Кому
|
||||
принадлежит kill — исключительно in-process `launcher._watchdog`.
|
||||
|
||||
Почему «как есть» не годится: единый бюджет 1800 системно убивает здоровые тяжёлые прогоны при
|
||||
пакетном автономном прогоне (эпик ORCH-088), а телеметрия теряет модель именно на этих обрывах.
|
||||
|
||||
## Решение
|
||||
|
||||
### Сводка
|
||||
Две аддитивные, изолированные правки подсистемы запуска, **без** касания
|
||||
`STAGE_TRANSITIONS`/`QG_CHECKS`/`check_*`/machine-verdict/схемы БД:
|
||||
(1) стамп резолвенной модели в `agent_runs.model` **в момент launch** рядом со стампом эффорта;
|
||||
(2) **выделенные типизированные config-ключи** поднятого wall-clock бюджета для `developer`/`reviewer`
|
||||
с синхронным поднятием `reaper_max_running_s` (сохранение инварианта ORCH-065).
|
||||
FR-5 (анти-salvage) и FR-4/NFR-6 (видимость при kill / in-flight) — **структурно уже выполнены**
|
||||
существующим кодом; ORCH-109 добавляет к ним регресс-тесты, а не новые ветви.
|
||||
|
||||
### D1 — Launch-time стамп модели (FR-1, AC-1)
|
||||
В `launcher._spawn`, в той же открытой `conn`, что и стамп эффорта (ORCH-087), резолвенная
|
||||
`model = resolve_agent_model(agent, project_id)` (уже вычислена, launcher.py:559) записывается в
|
||||
`agent_runs.model` текущего `run_id`. Рекомендуется **объединить** в один оператор:
|
||||
`UPDATE agent_runs SET model=?, effort=? WHERE id=?` с параметрами `(model or None, effort or None, run_id)`
|
||||
(один commit вместо двух; ровно та же `try/except`-изоляция, что у эффорта).
|
||||
- Пустой резолв (`model == ""`, CLI-дефолт без `--model`) → пишется `NULL` (симметрично `effort or None`)
|
||||
→ суффикс модели в трекере корректно опускается.
|
||||
- **Инвариант:** значение присутствует с момента launch и не зависит от исхода прогона (переживает
|
||||
timeout-kill, виден in-flight).
|
||||
- **never-raise (NFR-2):** сбой записи изолирован существующим `try/except` + WARNING; launch
|
||||
продолжается (`model_flag` строится из локальной `model`, а не из БД — стамп лишь телеметрия).
|
||||
|
||||
### D2 — Постфактум-enrich сохраняет launch-стамп (FR-2, AC-2) — без кода
|
||||
`usage.record_usage` остаётся источником обогащения (токены/стоимость/модель из usage-JSON), но
|
||||
**перестаёт быть единственным источником истины** о модели. Семантика `model=COALESCE(?, model)`
|
||||
(usage.py:217) **уже** гарантирует: `usage=None` или `usage["model"]=None` → launch-стамп НЕ
|
||||
затирается; непустая модель из JSON — допустимо уточняет (полный provider-prefixed id / фактический
|
||||
fallback). **Код не меняется**; требование — зафиксировать поведение тестом (анти-регресс), не
|
||||
сломать его будущими правками `record_usage`.
|
||||
|
||||
### D3 — Конфигурируемый поднятый бюджет: выделенные типизированные ключи (FR-3, AC-3/AC-4)
|
||||
Вводятся два **выделенных** config-ключа (по образцу `agent_model_<role>`/`agent_effort_<role>`,
|
||||
config.py:133–138/147):
|
||||
|
||||
```python
|
||||
agent_timeout_developer_s: int = 3600 # env ORCH_AGENT_TIMEOUT_DEVELOPER_S
|
||||
agent_timeout_reviewer_s: int = 3000 # env ORCH_AGENT_TIMEOUT_REVIEWER_S
|
||||
```
|
||||
|
||||
`_resolve_timeout(agent)` получает детерминированную лестницу приоритетов (от высшего):
|
||||
1. **`agent_timeout_overrides_json[agent]`** — существующий операторский escape-hatch; сохраняется
|
||||
как высший приоритет (полная BC: сконфигурированный JSON по-прежнему выигрывает для ЛЮБОЙ роли).
|
||||
2. **выделенный ключ роли** — `developer → agent_timeout_developer_s`,
|
||||
`reviewer → agent_timeout_reviewer_s`.
|
||||
3. **`settings.agent_timeout_seconds`** (1800) — для всех прочих ролей (`analyst`/`architect`/
|
||||
`tester`/`deployer`) — **байт-в-байт прежнее значение**.
|
||||
|
||||
**never-break (NFR-2, AC-4):** малформный `agent_timeout_overrides_json` → уже игнорируется + WARNING
|
||||
(launcher.py:677–678). Для выделенных ключей добавляется такой же защитный гард: если резолвенное
|
||||
значение не положительный int (абсурд/0/отрицательное) → откат на `agent_timeout_seconds` + WARNING
|
||||
(зеркало защитной валидации disk_monitor, ORCH-063 D7). Прогон/старт не падает.
|
||||
|
||||
**Почему выделенные ключи, а не дефолт `agent_timeout_overrides_json`:** см. «Альтернативы».
|
||||
|
||||
### D4 — Числовые бюджеты + синхронное поднятие reaper (FR-3/NFR-4, AC-5)
|
||||
| Роль | Бюджет | Обоснование |
|
||||
|------|--------|-------------|
|
||||
| `developer` | **3600s (60м)** | бутылочное горло (xhigh, кодирующая); удвоение 1800→3600 — естественная разрядка для тяжёлых задач |
|
||||
| `reviewer` | **3000s (50м)** | асимметрично легче developer, но тяжелее механических ролей; большой диф + high-reasoning |
|
||||
| прочие | 1800s (без изменений) | механические/думающие роли укладываются в дефолт |
|
||||
|
||||
`reaper_max_running_s`: **3600 → 5400 (90м)** синхронно (config.py:497).
|
||||
|
||||
**Проверка инварианта ORCH-065** `reaper_max_running_s > max(резолвенный тайм-аут) + agent_kill_grace_seconds`:
|
||||
`5400 > 3600 + 20 = 3620` ✓ (запас **1780s** — покрывает и окно финализации монитора:
|
||||
commit/push/PR/usage-comments, Tier-2 `reaper_finalize_grace_s`=300). Дополнительно `5400 < `
|
||||
sidecar `stage_stuck_s` (7200s/120м) → легитимный длинный developer-прогон не порождает ложный
|
||||
`stage_stuck`-алерт.
|
||||
|
||||
Бюджеты — **глобальные per-agent** (не repo-scoped): действуют на все репо, включая enduro-trails.
|
||||
Это благоприятно/нейтрально (enduro-developer тоже получает воздух; Tier-3 backstop reaper'а
|
||||
сохраняется как страховка от реально зависшего прогона — R-4).
|
||||
|
||||
### D5 — FR-5 анти-salvage: регресс-тест, без нового кода (AC-8)
|
||||
Гарантия «timeout-killed прогон не продвигает стадию» **структурна**: `_try_advance_stage` вызывается
|
||||
только под `if exit_code == 0` (launcher.py:951–952); kill (-9/-15/143) → `_finalize_job` →
|
||||
`_finalize_transient`/`_finalize_permanent` (retry до `MAX_DEVELOPER_RETRIES`, иначе `failed` +
|
||||
Telegram). **Новый guard в коде НЕ вводится** (не плодить лишние ветви риска) — добавляется
|
||||
регресс-тест, фиксирующий, что прогон с `exit_code=-9` не вызывает `advance_stage`. salvage-режим
|
||||
вне объёма.
|
||||
|
||||
### D6 — Документация и канон дефолтов (FR-6, AC-10)
|
||||
- `config.py` блок ORCH-7 (≈115–126): паспорт-комментарий расширяется описанием выделенных бюджетов
|
||||
developer/reviewer + явной ссылкой на reaper-инвариант (NFR-4) с числами `5400 > 3620`.
|
||||
- `.env.example`: **сейчас агент-тайм-аут ключей нет вовсе** (`ORCH_AGENT_TIMEOUT_SECONDS`/
|
||||
`_KILL_GRACE_SECONDS`/`_OVERRIDES_JSON` отсутствуют) → добавляется новый блок «Agent timeout
|
||||
(ORCH-7/ORCH-109)» с пятью ключами (`SECONDS`/`KILL_GRACE_SECONDS`/`OVERRIDES_JSON`/
|
||||
`DEVELOPER_S`/`REVIEWER_S`) **+ обновляется `ORCH_REAPER_MAX_RUNNING_S=3600 → 5400`** (line 377).
|
||||
Дефолты = боевым значениям (канон ORCH-101): пустой `.env` воспроизводит прод-поведение, в т.ч.
|
||||
поднятые бюджеты.
|
||||
- Архитектурная golden source (этот PR, авторство architect): `docs/architecture/README.md`
|
||||
(бюллет Agent Launcher), `docs/architecture/internals.md` (стр. 96/262 — «timeout 30 мин»
|
||||
расхардкоживается в per-role). Паспорт `CLAUDE.md` + `CHANGELOG.md` — обновляет developer в том
|
||||
же PR (правило агентов №2).
|
||||
|
||||
### Согласование BR-3 ↔ NFR-1 (важный нюанс)
|
||||
NFR-1 требует «при пустом override-конфиге поведение байт-в-байт прежнее», а BR-3 требует «бюджеты
|
||||
developer/reviewer подняты». Разрешение по канону **ORCH-101** («дефолт каждого параметра = боевому
|
||||
значению; пустой `.env` ⇒ боевое поведение»): выделенные ключи **дефолтят на поднятый прод-бюджет**,
|
||||
поэтому пустой `.env` даёт уже исправленное (поднятое) поведение для developer/reviewer — это и есть
|
||||
намеренная боевая конфигурация. «Байт-в-байт прежнее» строго применяется к **прочим ролям**
|
||||
(`analyst`/`architect`/`tester`/`deployer` остаются на 1800) — что и есть суть BR-3 (поднять ТОЛЬКО
|
||||
две роли). Зафиксировано явно, чтобы reviewer не прочитал поднятый дефолт как нарушение NFR-1.
|
||||
|
||||
## Альтернативы
|
||||
- **Дефолт `agent_timeout_overrides_json = {"developer":3600,"reviewer":3000}`** (вместо выделенных
|
||||
ключей) — отвергнуто: (1) ломает канон ORCH-101 «пустой = боевой» неочевидным непустым JSON-строковым
|
||||
дефолтом; (2) JSON-строка хрупка (парс, экранирование) против типизированного int; (3) нельзя
|
||||
переопределить одну роль одной env-переменной; (4) расходится с конвенцией per-agent скаляров
|
||||
(`agent_model_<role>`/`agent_effort_<role>`). Выделенные ключи дают типобезопасность, индивидуальный
|
||||
env-override и сохраняют JSON как чистый escape-hatch.
|
||||
- **Бюджет developer/reviewer ≤ 3580 без поднятия reaper** (например 3000/2700) — отвергнуто как
|
||||
доминирующее, но рассмотрено: держит `reaper_max_running_s=3600` нетронутым (меньший blast-radius),
|
||||
но искусственно урезает самую тяжёлую роль ради статичности backstop-числа — оптимизация не той
|
||||
переменной. NFR-4 **явно делегирует** архитектору синхронное поднятие reaper. Оставлено как
|
||||
операторский запасной путь: всё env-override'имо, Owner может занизить бюджеты и вернуть reaper к
|
||||
3600 одной правкой `.env` (см. «Откат»).
|
||||
- **Новый guard-leaf анти-salvage** (FR-5) — отвергнуто: продвижение уже гейтится exit-кодом
|
||||
(launcher.py:951); новый код = лишняя ветвь риска. Достаточно регресс-теста (D5).
|
||||
- **Repo-scoped бюджеты (`*_repos`)** — отвергнуто: тайм-аут — свойство launch, не гейт-решение;
|
||||
глобальность благоприятна enduro и проще; гейт-паттерн `applies(repo)` тут неуместен.
|
||||
- **Стамп модели через постфактум-парс лога на kill** — отвергнуто: модель известна на launch
|
||||
детерминированно (`resolve_agent_model`); парсить оборванный лог — хрупко и поздно.
|
||||
|
||||
## Последствия
|
||||
- **+** Модель видна (не `null`) в трекере, status-комментариях, `/metrics`/`/queue` для **любого**
|
||||
исхода, включая timeout-kill — ключевой контекст инцидента доступен в момент сбоя (BR-1/BR-4/NFR-6).
|
||||
- **+** Тяжёлые роли получают реальный бюджет (developer ×2, reviewer +67%) → меньше ложных
|
||||
timeout-kill на сложных задачах при автономном прогоне (ORCH-088).
|
||||
- **+** Аддитивно/обратимо: ни схемы, ни гейтов, ни новых компонентов; `agent_runs.model` уже есть.
|
||||
- **−** `reaper_max_running_s` 60→90м: реально зависший прогон (двойной отказ — watchdog-поток **и**
|
||||
pid-liveness) держится Tier-3 backstop'ом на 30м дольше. Митигейшн: Tier-1 (pid) и Tier-2
|
||||
(finalize-grace) ловят типовые случаи быстрее; watchdog убивает в ≤3600s; double-fault редок.
|
||||
- **−** Глобальность бюджета поднимает и enduro-роли. Митигейшн: Tier-3 reaper сохранён (R-4);
|
||||
поднятие благоприятно для качества enduro-прогонов.
|
||||
- **−** Sidecar `agent_hung_min`=20м теперь заметно ниже бюджета developer (60м) → возможны
|
||||
Telegram-алерты `agent_hung` для здоровых длинных прогонов с low-CPU фазами. Митигейшн: сигнал —
|
||||
**alert-only** (не убивает) и конъюнкция с `cpu<1%` гасит большинство ложных; тюнинг
|
||||
`WATCHDOG_AGENT_HUNG_MIN` — вне объёма (отдельный sidecar-конфиг, alert-only). Детали — `10-tech-risks.md` TR-5.
|
||||
- **Откат:** занизить бюджеты — снять/уменьшить `ORCH_AGENT_TIMEOUT_DEVELOPER_S`/`_REVIEWER_S`
|
||||
(или выставить = 1800) и вернуть `ORCH_REAPER_MAX_RUNNING_S=3600`; launch-стамп модели отката не
|
||||
требует (чистое улучшение телеметрии, COALESCE безопасен). Kill-switch не вводится — изменение не
|
||||
добавляет рисковых ветвей (стамп всегда безопасен; тайм-аут fail-safe на глобальный дефолт).
|
||||
|
||||
## Ссылки
|
||||
- BRD: `docs/work-items/ORCH-109/01-brd.md`
|
||||
- TRZ: `docs/work-items/ORCH-109/02-trz.md`
|
||||
- Acceptance: `docs/work-items/ORCH-109/03-acceptance-criteria.md`
|
||||
- Tech-risks: `docs/work-items/ORCH-109/10-tech-risks.md`
|
||||
- Сквозной ADR: `docs/architecture/adr/adr-0040-agent-timeout-budgets-and-launch-model-stamp.md`
|
||||
- Сверено по коду: `src/agents/launcher.py` (`_spawn` 559–571, `_resolve_timeout` 661–679,
|
||||
`_watchdog`/`stop_process`/`_record_kill` 681–786, advance-гейт 951–952), `src/usage.py`
|
||||
(`_extract_model` 95–118, `record_usage` 207–230), `src/config.py` (115–126, 480–497),
|
||||
`src/db.py` (`agent_runs.model` 111, `get_running_agents` ≈1370–1405), `src/job_reaper.py`
|
||||
(43, 228), `watchdog/config.py`/`watchdog/signals.py` (agent_hung/stage_stuck)
|
||||
- Маркер-инвариант: ORCH-065 (reaper Tier-3), ORCH-087 (стамп эффорта), ORCH-101 (канон дефолтов)
|
||||
@@ -1,42 +0,0 @@
|
||||
---
|
||||
work_item: ORCH-109
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-14
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 10 — Технические риски: ORCH-109 — timeout budgets + launch-time model telemetry
|
||||
|
||||
Work Item: **ORCH-109** · Repo: **orchestrator** · Стадия: architecture
|
||||
|
||||
> Информационный (гейтом не парсится). Перечисляет риски реализации и их митигейшн.
|
||||
|
||||
## Реестр рисков
|
||||
|
||||
| ID | Риск | Вер. | Влия. | Митигейшн |
|
||||
|----|------|------|-------|-----------|
|
||||
| TR-1 | Поднятый бюджет developer/reviewer + grace ≥ `reaper_max_running_s` → job-reaper реапает **здоровый** долгий прогон до его watchdog'а (нарушение инварианта ORCH-065) | Низ. | Выс. | reaper синхронно поднят 3600→5400; sanity-тест проверяет `reaper_max_running_s > max(timeout)+grace` для всех ролей (`5400 > 3620`, запас 1780s); число живёт в `config.py` + `.env.example` рядом с инвариантом-комментарием (ADR D4/AC-5) |
|
||||
| TR-2 | Постфактум-enrich (`record_usage`) затирает корректный launch-стамп при странном/оборванном JSON (`model=None`) | Низ. | Сред. | Семантика `model=COALESCE(?, model)` (usage.py:217) уже сохраняет launch-значение; зафиксировано регресс-тестом (AC-2); `record_usage` не правится |
|
||||
| TR-3 | Гонка двух писателей `exit_code` (`_record_kill`=-9 и `_monitor_agent`=`proc.wait()`) искажает телеметрию модели | Низ. | Низ. | Модель — отдельная колонка, стампится один раз на launch до обоих писателей exit_code; они трогают только `exit_code`/`finished_at`. Подтверждается тестом (AC-1/AC-6) |
|
||||
| TR-4 | Глобальность бюджета: поднятый developer-тайм-аут для **enduro** маскирует реально зависший прогон | Низ. | Сред. | Tier-3 backstop reaper'а (`reaper_max_running_s`) сохранён как абсолютный потолок; watchdog по-прежнему убивает в ≤ бюджета; бюджет лишь повышен, не снят |
|
||||
| TR-5 | Sidecar `agent_hung_min`=20м заметно ниже бюджета developer (60м) → Telegram-алерты `agent_hung` для здоровых длинных прогонов | Сред. | Низ. | Сигнал **alert-only** (sidecar — наблюдатель, не убивает, ORCH-100); конъюнкция с `cpu<1%` гасит активный прогон; тюнинг `WATCHDOG_AGENT_HUNG_MIN` — вне объёма (отдельный sidecar-конфиг). Бюджет 5400s < `stage_stuck_s`=7200s → `stage_stuck` не ложит |
|
||||
| TR-6 | Сбой записи launch-стампа модели (ошибка БД) роняет launch | Низ. | Выс. | Стамп в существующем `try/except` ORCH-087 + WARNING (never-raise, NFR-2); `model_flag` строится из локальной переменной, не из БД → launch не зависит от стампа (ADR D1) |
|
||||
| TR-7 | Малформный/невалидный timeout-конфиг (битый JSON, нечисловой/отрицательный ключ) роняет прогон или старт | Низ. | Сред. | Малформный JSON → игнор + WARNING (существующее, launcher.py:677); выделенный ключ вне диапазона → откат на глобальный дефолт + WARNING (защитная валидация по образцу ORCH-063 D7); pydantic ловит нечисловой env на старте (AC-4) |
|
||||
| TR-8 | Регресс прочих ролей: правка `_resolve_timeout` случайно меняет бюджет `analyst`/`architect`/`tester`/`deployer` | Низ. | Сред. | Лестница приоритетов: dev/reviewer — только по точному имени роли; прочие падают на `agent_timeout_seconds` (1800) без изменений; покрыто тестом per-role (AC-3) |
|
||||
| TR-9 | Доп. риск контрактов: правка случайно задевает `STAGE_TRANSITIONS`/`QG_CHECKS`/machine-verdict/схему | Низ. | Выс. | Задача целиком вне слоя гейтов; диф-проверка AC-9; колонка `agent_runs.model` уже есть — ни одного `CREATE/ALTER` |
|
||||
|
||||
## Сводный вывод
|
||||
|
||||
Доминирующий класс — **конфигурационные инварианты подсистемы запуска** (TR-1/TR-7/TR-8): все
|
||||
снимаются детерминированной лестницей `_resolve_timeout`, защитной валидацией (never-break) и
|
||||
sanity-тестом reaper-неравенства. Остаточный риск для прод-конвейера (self-hosting) — **низкий**:
|
||||
изменение аддитивно, обратимо через `.env`, не трогает гейты/схему/деплой-путь и не рестартит
|
||||
прод-контейнер (NFR-5). Единственный наблюдаемый побочный эффект — возможный рост alert-only
|
||||
`agent_hung`-нотификаций sidecar (TR-5), не влияющий на конвейер.
|
||||
|
||||
**Эскалация:** не требуется на уровне `arch:major-change` (нет новой стадии/компонента/смены БД), но
|
||||
решение **кросс-каттинговое** (меняет два глобальных per-agent инварианта всех репо + потолок Tier-3
|
||||
reaper'а) → зарегистрировано сквозным `docs/architecture/adr/adr-0040-*`. Возврат в анализ не нужен —
|
||||
ТЗ удовлетворяется без нарушения принципов архитектуры.
|
||||
@@ -1,119 +0,0 @@
|
||||
---
|
||||
verdict: APPROVED # APPROVED | REQUEST_CHANGES — строго одно из двух, UPPERCASE
|
||||
work_item: ORCH-109
|
||||
stage: review
|
||||
author_agent: reviewer
|
||||
status: approved
|
||||
created_at: 2026-06-14
|
||||
model_used: claude-opus-4-8
|
||||
type: review
|
||||
work_item_id: ORCH-109
|
||||
version: 3
|
||||
---
|
||||
|
||||
# Review ORCH-109
|
||||
|
||||
## Summary
|
||||
|
||||
Две аддитивные изолированные правки подсистемы запуска (`launcher`) — **launch-стамп модели** в
|
||||
`agent_runs.model` (D1/FR-1) и **поднятые per-role wall-clock бюджеты** developer/reviewer с
|
||||
синхронным поднятием reaper (D3/D4/FR-3) — реализованы **корректно и точно по ADR**. Контракты
|
||||
неприкосновенны: в `src/` изменены **только** `launcher.py` и `config.py`; ни одной строки
|
||||
`STAGE_TRANSITIONS` / `QG_CHECKS` / `check_*` / `_parse_*` / machine-verdict / `CREATE TABLE` /
|
||||
`ALTER TABLE` в диффе нет (AC-9 верифицирован grep'ом по диффу). Зафиксированные маркер-инварианты
|
||||
**ORCH-087** (стамп эффорта объединён в один `UPDATE`, `(effort or None)` сохранён) и **ORCH-065**
|
||||
(reaper поднят синхронно `3600→5400`, `5400 > 3600+20=3620`) — целы. Покрытие исчерпывающее: новый
|
||||
`tests/test_orch109_timeout_model.py` (TC-01…TC-12, детерминированный, без сети/CLI), обновлены
|
||||
`tests/test_config.py` (reaper-дефолт 5400) и `tests/test_launcher.py` (лестница `_resolve_timeout`).
|
||||
|
||||
Независимая верификация reviewer'а: целевые тесты зелёные — `test_orch109_timeout_model.py` +
|
||||
`test_config.py` + `test_launcher.py` = **75 passed**; зависимые подсистемы FR-2/FR-4
|
||||
(`usage`/`notifications`/`tracker`) = **231 passed**. Полный регресс зелёный (см. `13-test-report.md`).
|
||||
Открытых findings P0/P1/P2 нет → вердикт **APPROVED**.
|
||||
|
||||
## Оси проверки
|
||||
|
||||
1. **Соответствие ТЗ (02-trz / 03-acceptance):** FR-1…FR-6 реализованы; AC-1…AC-10 покрыты тестами
|
||||
TC-01…TC-12 буквально по матрице AC↔FR.
|
||||
- FR-1/AC-1 (TC-04): `_spawn` пишет резолвенную модель в `agent_runs.model` объединённым
|
||||
`UPDATE agent_runs SET model=?, effort=? WHERE id=?` с `(model or None, effort or None, run_id)`
|
||||
рядом со стампом эффорта; пустой резолв → `NULL`; стамп = `resolve_agent_model` (single source).
|
||||
- FR-2/AC-2 (TC-06/07): `usage.record_usage` использует `model=COALESCE(?, model)` (сверено по
|
||||
`src/usage.py`) — `usage=None`/`model=None` не затирает launch-стамп; непустая модель уточняет.
|
||||
Кода `usage.py` PR не трогает (корректно — семантика уже верна), зафиксировано регресс-тестом.
|
||||
- FR-3/AC-3 (TC-01/02): `_resolve_timeout` отдаёт поднятый бюджет developer/reviewer и неизменный
|
||||
1800 прочим ролям (analyst/architect/tester/deployer/unknown/None); бюджеты конфигурируемы.
|
||||
- FR-3/AC-4 (TC-03): малформный `agent_timeout_overrides_json` и непозитивный/нечисловой
|
||||
выделенный ключ `[0,-5,"abc"]` → откат на глобальный дефолт + WARNING, never-break.
|
||||
- NFR-4/AC-5 (TC-08): инвариант reaper подтверждён на shipped-дефолтах (`5400 > 3600+20`).
|
||||
- FR-4/AC-6 (TC-09): строка стадии рендерит `· opus-4-8 · xhigh` для `exit_code=-9`; присутствует
|
||||
negative-guard (немаркированный -9 → суффикс опущен).
|
||||
- FR-4/NFR-6/AC-7 (TC-10): `get_running_agents` отдаёт модель для running-job (in-flight).
|
||||
- FR-5/AC-8 (TC-11): timeout-killed прогон developer/reviewer не вызывает `_try_advance_stage`
|
||||
(роутится в `_finalize_job`); присутствует позитивный контроль (clean exit → advance).
|
||||
- AC-9 (TC-12) + AC-10: контракты/схема нетронуты; документация и регресс зелёные.
|
||||
|
||||
2. **Соответствие ADR (06-adr ADR-001 + сквозной adr-0040):** D1–D6 реализованы дословно. Лестница
|
||||
`_resolve_timeout` (overrides_json → выделенный ключ роли → глобальный дефолт), выделенные ключи
|
||||
`agent_timeout_developer_s=3600`/`agent_timeout_reviewer_s=3000`, `reaper_max_running_s` 3600→5400.
|
||||
**Трассировка маркеров (TRACEABILITY):** правка касается блоков с маркерами ORCH-087 (стамп
|
||||
эффорта) и ORCH-065 (reaper Tier-3) — оба зафиксированных инварианта сверены с их ADR и не
|
||||
сломаны (эффорт-стамп сохранён в объединённом `UPDATE`; reaper-неравенство пересчитано и поднято
|
||||
синхронно). Нарушений глобальных ADR нет.
|
||||
|
||||
3. **Качество кода:** never-raise сохранён (`try/except` + WARNING вокруг стамп-`UPDATE`;
|
||||
непозитивный/нечисловой выделенный ключ → откат + WARNING). Докстринг `_resolve_timeout` и
|
||||
паспорт-комментарии `config.py` точны. Тесты содержательны: изоляция стамп-сбоя (TC-05,
|
||||
`_RaisingConn` бьёт только по launch-`UPDATE`), параметризация `[0,-5,"abc"]`, негативный guard
|
||||
(TC-09b), позитивный контроль (TC-11c). **Регресс-тест-фиксатор инцидента ORCH-104** присутствует
|
||||
(ORCH-019 BR-4 удовлетворён) — весь тест-файл пинит дефектное и исправленное поведение.
|
||||
|
||||
4. **Документация (приоритетная ось):** `src/` изменён → документация обновлена в том же PR
|
||||
(golden source синхронизирован с кодом):
|
||||
`CHANGELOG.md` / `CLAUDE.md` (паспорт) / `docs/architecture/README.md` (бюллет Agent Launcher +
|
||||
ссылка на adr-0040) / `docs/architecture/internals.md` (оба упоминания «30 мин» → per-role) /
|
||||
`README.md` front-page «### Watchdog» (per-role бюджеты + Tier-3 backstop 90м) / `.env.example`
|
||||
(5 ключей agent-timeout + `ORCH_REAPER_MAX_RUNNING_S`=5400) / `config.py`-паспорт / детальный
|
||||
ADR-001 + сквозной adr-0040. Обзорная витрина `docs/overview/` правки не требует — упоминания
|
||||
watchdog концептуальны (sidecar-наблюдатель, «следит за процессом»), конкретного числа тайм-аута
|
||||
витрина не несёт → устаревшего факта не возникает (ORCH-011/079 — нет finding). PR не закрывает
|
||||
пункт `README.md` «Известные ограничения».
|
||||
|
||||
## Findings
|
||||
|
||||
### P0 — Blocker
|
||||
- (нет)
|
||||
|
||||
### P1 — Must fix
|
||||
- (нет)
|
||||
|
||||
### P2 — Should fix
|
||||
- (нет)
|
||||
|
||||
### P3 — Nice-to-have
|
||||
- [ ] ADR-001 (`status: proposed`) и adr-0040 (`Proposed`) на merge разумно перевести в `Accepted`
|
||||
(косметика статуса ADR; на гейты/код не влияет, не блокер).
|
||||
|
||||
## Документация
|
||||
|
||||
**Обновлено в этом PR (golden source синхронизирован с кодом):**
|
||||
- `CHANGELOG.md` — детальная запись ORCH-109 (`fix`, D1/D3/D4, FR-4/FR-5 структурно). ✅
|
||||
- `CLAUDE.md` — паспорт (блок «Стек», абзац launcher). ✅
|
||||
- `docs/architecture/README.md` — бюллет Agent Launcher (ссылка на adr-0040). ✅
|
||||
- `docs/architecture/internals.md` — watchdog «30 мин» → per-role (стр. ~96 и ~262). ✅
|
||||
- `README.md` — front-page «### Watchdog» (стр. ~295) → per-role бюджеты + Tier-3 backstop. ✅
|
||||
- `.env.example` — новый блок agent-timeout (5 ключей) + `ORCH_REAPER_MAX_RUNNING_S` 3600→5400. ✅
|
||||
- `src/config.py` — паспорт-комментарий ORCH-7/ORCH-109 + reaper-инвариант. ✅
|
||||
- ADR — `docs/work-items/ORCH-109/06-adr/ADR-001-…` (детальный) + `docs/architecture/adr/adr-0040-…`
|
||||
(сквозной). ✅
|
||||
|
||||
**Обзорная витрина `docs/overview/` (ORCH-011/ORCH-079):** правки не требует — упоминания watchdog
|
||||
концептуальны, конкретного числа тайм-аута витрина не несёт, поэтому устаревшего факта не возникает.
|
||||
|
||||
**Прочее (не findings):**
|
||||
- AC-9 верифицирован по диффу: в `src/` изменены только `launcher.py` и `config.py`; ни одной строки
|
||||
`STAGE_TRANSITIONS`/`QG_CHECKS`/`check_*`/machine-verdict/`CREATE TABLE`/`ALTER TABLE`.
|
||||
- Целевой регресс reviewer'а зелёный: 75 (ORCH-109/config/launcher) + 231 (usage/notifications/
|
||||
tracker) passed; полный регресс — `13-test-report.md`.
|
||||
</content>
|
||||
</invoke>
|
||||
@@ -1,82 +0,0 @@
|
||||
---
|
||||
result: PASS
|
||||
work_item: ORCH-109
|
||||
stage: testing
|
||||
author_agent: tester
|
||||
status: pass
|
||||
created_at: 2026-06-14
|
||||
model_used: claude-opus-4-8
|
||||
type: test-report
|
||||
work_item_id: ORCH-109
|
||||
---
|
||||
|
||||
# Test Report — ORCH-109 — timeout budgets + launch-time model telemetry для developer/reviewer
|
||||
|
||||
> Машинный вердикт читается ТОЛЬКО из frontmatter. Канонический ключ — `result:`.
|
||||
|
||||
## Окружение
|
||||
- Python: 3.12.13
|
||||
- pytest: 8.3.3 (plugins: cov-5.0.0, anyio-4.13.0, asyncio-0.23.8)
|
||||
- Дата: 2026-06-14
|
||||
- Worktree: `feature/ORCH-109-orch-timeout-budgets-launch-ti`
|
||||
(`/repos/_wt/orchestrator/feature_ORCH-109-orch-timeout-budgets-launch-ti/`)
|
||||
|
||||
## Smoke API (read-only, прод не трогался)
|
||||
| Endpoint | Результат |
|
||||
|----------|-----------|
|
||||
| `GET /health` | PASS — `{"status":"ok","service":"orchestrator"}` |
|
||||
| `GET /status` | PASS — задача 98 (ORCH-109) в стадии `testing`, агент не запущен |
|
||||
| `GET /queue` | PASS — блок `serial_gate` присутствует (ORCH-088); блок `auto_labels` присутствует (ORCH-089) |
|
||||
|
||||
## Результаты
|
||||
|
||||
### Полный регресс
|
||||
`pytest tests/ -q` → **1899 passed, 1 warning in 516.70s (0:08:36)** (exit 0).
|
||||
Единственное предупреждение — `PydanticDeprecatedSince20` (class-based config, pre-existing,
|
||||
не связано с ORCH-109). Прод-контейнер не затрагивался.
|
||||
|
||||
### Профильная сюита
|
||||
`pytest tests/test_orch109_timeout_model.py -v` → **25 passed** (exit 0, 13.50s).
|
||||
Покрывает TC-01…TC-12 (+ доп. варианты: configurable-keys, overrides-json-wins, параметризация
|
||||
non-positive `[0,-5,abc]`, clean-exit advances, unstamped-killed drops suffix).
|
||||
|
||||
## Сопоставление с тест-планом (`04-test-plan.yaml`)
|
||||
|
||||
| TC ID | Описание | Тест-функция(и) | Результат |
|
||||
|-------|----------|-----------------|-----------|
|
||||
| TC-01 | `_resolve_timeout('developer'/'reviewer')` возвращает поднятый бюджет | `test_tc01_developer_reviewer_raised`, `test_tc01_dedicated_keys_are_configurable`, `test_tc01_overrides_json_wins_over_dedicated` | PASS |
|
||||
| TC-02 | Прочие роли (analyst/architect/tester/deployer) → глобальный 1800 | `test_tc02_other_roles_use_global_default` | PASS |
|
||||
| TC-03 | Малформный конфиг → откат на дефолт + WARNING, без исключения | `test_tc03_malformed_overrides_json_never_raises`, `test_tc03_non_positive_dedicated_falls_back[0/-5/abc]` | PASS |
|
||||
| TC-04 | Launch стампит `agent_runs.model` (непустую) рядом с effort | `test_tc04_spawn_stamps_model_and_effort` | PASS |
|
||||
| TC-05 | Стамп изолирован: сбой записи не пробрасывает исключение (never-raise) | `test_tc05_stamp_failure_is_isolated` | PASS |
|
||||
| TC-06 | `record_usage(None)`/`model=None` НЕ затирают launch-стамп (COALESCE) | `test_tc06_record_usage_none_preserves_model`, `test_tc06_record_usage_model_none_preserves_model` | PASS |
|
||||
| TC-07 | `record_usage` с непустой model уточняет/проставляет значение | `test_tc07_record_usage_nonempty_model_enriches_blank`, `test_tc07_record_usage_refines_existing_model` | PASS |
|
||||
| TC-08 | Sanity reaper-инварианта: `reaper_max_running_s > max(timeout)+grace` | `test_tc08_shipped_defaults_satisfy_invariant`, `test_tc08_resolved_max_is_developer` | PASS |
|
||||
| TC-09 | `_stage_line` для `exit_code=-9` рендерит ` · <model> · <effort>` (model не null) | `test_tc09_killed_run_renders_model_effort`, `test_tc09_unstamped_killed_run_drops_model_suffix` | PASS |
|
||||
| TC-10 | `get_running_agents` отдаёт непустую model для running-job (in-flight) | `test_tc10_running_job_exposes_model` | PASS |
|
||||
| TC-11 | Анти-salvage: killed developer/reviewer (`exit_code=-9`) не продвигает стадию | `test_tc11_killed_developer_run_does_not_advance`, `test_tc11_killed_reviewer_run_does_not_advance`, `test_tc11_clean_exit_advances` | PASS |
|
||||
| TC-12 | Анти-регресс: STAGE_TRANSITIONS/QG_CHECKS/схема `agent_runs` не изменены | `test_tc12_stage_transitions_unchanged`, `test_tc12_agent_runs_model_effort_columns_preexist`, `test_tc12_qg_checks_registry_present` | PASS |
|
||||
|
||||
**Все 12 TC выполнены и сопоставлены.**
|
||||
|
||||
## Сопоставление с критериями приёмки (`03-acceptance-criteria.md`)
|
||||
|
||||
| AC | Критерий | Покрытие | Результат |
|
||||
|----|----------|----------|-----------|
|
||||
| AC-1 | Модель стампится в `agent_runs.model` на launch | TC-04 | PASS |
|
||||
| AC-2 | Постфактум-enrich не затирает launch-стамп при оборванном JSON | TC-06, TC-07 | PASS |
|
||||
| AC-3 | Тайм-аут developer/reviewer поднят и конфигурируем без влияния на прочие | TC-01, TC-02 | PASS |
|
||||
| AC-4 | Малформный timeout-конфиг → безопасный откат (never-break) | TC-03 | PASS |
|
||||
| AC-5 | Reaper-инвариант сохранён | TC-08 | PASS |
|
||||
| AC-6 | Строка стадии трекера показывает model+effort при timeout/kill | TC-09 | PASS |
|
||||
| AC-7 | In-flight видимость модели в `/metrics`/`/queue` | TC-10 | PASS |
|
||||
| AC-8 | Timeout-killed прогон не продвигает стадию (анти-salvage) | TC-11 | PASS |
|
||||
| AC-9 | Неприкосновенность контрактов и схемы | TC-12 | PASS |
|
||||
| AC-10 | Документация и полный регресс зелёный | full regress (1899 passed) + review APPROVED | PASS |
|
||||
|
||||
**Все 10 AC покрыты и зелёные.**
|
||||
|
||||
## Итог
|
||||
**PASS** — полный регресс зелёный (1899 passed, exit 0), профильная сюита ORCH-109 зелёная
|
||||
(25 passed), smoke API OK (`serial_gate`/`auto_labels` присутствуют в `/queue`), каждый TC из
|
||||
тест-плана выполнен и сопоставлен с критериями приёмки. Задача переходит на `deploy-staging`.
|
||||
@@ -1,12 +0,0 @@
|
||||
---
|
||||
deploy_status: SUCCESS
|
||||
work_item: ORCH-109
|
||||
hook_exit_code: 0
|
||||
deployed_by: deploy-finalizer
|
||||
---
|
||||
|
||||
# Deploy log — ORCH-036 executable self-deploy
|
||||
|
||||
Прод-деплой завершён хост-хуком с exit-code `0` -> `deploy_status: SUCCESS`.
|
||||
|
||||
Вердикт зафиксирован детерминированным finalizer'ом (Фаза C), не LLM.
|
||||
@@ -1,46 +0,0 @@
|
||||
---
|
||||
staging_status: SUCCESS
|
||||
work_item: ORCH-109
|
||||
stage: deploy-staging
|
||||
author_agent: deployer
|
||||
status: success
|
||||
created_at: 2026-06-14
|
||||
model_used: claude-opus-4-8
|
||||
timestamp: 2026-06-14T11:21:00Z
|
||||
base_url: http://localhost:8501
|
||||
mode: stub
|
||||
---
|
||||
|
||||
# Staging Gate Log — ORCH-109
|
||||
|
||||
Canonical staging suite (`scripts/staging_check.py --base-url http://localhost:8501 --mode stub`)
|
||||
executed **inside the `orchestrator-staging` container** (ORCH-048 canonical path). Exit code **0**
|
||||
→ `staging_status: SUCCESS`.
|
||||
|
||||
## Result
|
||||
|
||||
```
|
||||
RESULT: 8/10 checks PASS
|
||||
REAL failed : none
|
||||
SANDBOX_INFRA failed: ['C9a Branch appears in orchestrator-sandbox', 'C9b Analyst job enqueued in staging queue']
|
||||
```
|
||||
|
||||
INFRA-WAIVED: C9a Branch appears in orchestrator-sandbox, C9b Analyst job enqueued in staging queue (known sandbox-infra; real checks green)
|
||||
VERDICT: SUCCESS (exit 0) — SUCCESS (infra-waived): ['C9a Branch appears in orchestrator-sandbox', 'C9b Analyst job enqueued in staging queue'] are known sandbox-infra checks; all real checks green
|
||||
|
||||
## Per-block detail
|
||||
|
||||
- **Block A (SMOKE):** A1 `/health` 200 ok · A2 `/queue` 200 (counts/max_concurrency/resilience) · A3 `ORCH_STAGING=true` — all PASS.
|
||||
- **Block B (ACCESS):** B4 Plane sandbox accessible · B5 Gitea `orchestrator-sandbox` accessible (push=true) · B6 registry isolation (sandbox present, prod ET/ORCH absent) — all PASS.
|
||||
- **Block C (E2E, stub):** C7 create issue in Plane SANDBOX · C8 trigger pipeline via `/webhook/plane` — PASS. C9a/C9b — **waived** sandbox-infra (SANDBOX bot accounts are not members of the sandbox Plane project, so pipeline steps 6+ are unreachable in the sandbox; not a pipeline regression — ORCH-061).
|
||||
- **CLEANUP:** Plane test issue deleted (HTTP 204); no stray branch.
|
||||
|
||||
## Environment note (observability)
|
||||
|
||||
The canonical path requires `docker exec orchestrator-staging …`. In this run no `docker`/`docker compose`
|
||||
CLI was reachable and the staging container was not running, so the `orchestrator-staging` service was
|
||||
brought up (staging-only, port 8501, real `.env.staging` → sandbox-isolated registry, `ORCH_STAGING=true`)
|
||||
via the Docker Engine API mirroring the compose `orchestrator-staging` spec, the canonical
|
||||
`staging_check.py` was `docker exec`'d inside it, and the container was torn down afterwards to restore
|
||||
the pre-existing state. Prod (8500) was never touched; `.env`/`.env.staging`/`docker-compose.yml`/prod
|
||||
infra were not modified.
|
||||
@@ -1,25 +0,0 @@
|
||||
---
|
||||
security_status: PASS
|
||||
secrets_found: 0
|
||||
deps_blocking: 0
|
||||
deps_warning: 4
|
||||
deps_audit_degraded: false
|
||||
---
|
||||
# Security Report — ORCH-109
|
||||
|
||||
Детерминированный security-гейт (ORCH-022): secret-scanning (gitleaks, offline) + dependency audit (pip-audit). Машинный вердикт читается ТОЛЬКО из frontmatter выше.
|
||||
|
||||
## Verdict
|
||||
clean: 0 secrets, 0 blocking CVE(s)
|
||||
|
||||
## Secrets
|
||||
- None
|
||||
|
||||
## Dependencies (blocking)
|
||||
- None
|
||||
|
||||
## Dependencies (warning)
|
||||
- `pytest==8.3.3` — GHSA-6w46-j5rx-g56g severity=UNKNOWN fix=9.0.3
|
||||
- `starlette==0.38.6` — PYSEC-2026-161 severity=UNKNOWN fix=1.0.1
|
||||
- `starlette==0.38.6` — GHSA-f96h-pmfr-66vw severity=UNKNOWN fix=0.40.0
|
||||
- `starlette==0.38.6` — GHSA-2c2j-9gv5-cj73 severity=UNKNOWN fix=0.47.2
|
||||
@@ -1,7 +0,0 @@
|
||||
# Business Request: BUG: merge-gate local re-test timeout causes false rollback after green CI
|
||||
|
||||
Work Item ID: ORCH-110
|
||||
|
||||
## Description
|
||||
|
||||
TBD
|
||||
@@ -1,178 +0,0 @@
|
||||
---
|
||||
work_item: ORCH-110
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-15
|
||||
model_used: claude-opus-4-8
|
||||
escalate: full-cycle
|
||||
---
|
||||
|
||||
# 01 — BRD (бизнес-требования): ORCH-110 — BUG: merge-gate local re-test timeout causes false rollback after green CI
|
||||
|
||||
Work Item: **ORCH-110** · Repo: **orchestrator** · Стадия: analysis
|
||||
|
||||
> **Багфикс-трек → эскалация в полный цикл (`escalate: full-cycle`).** Задача помечена `Bug`, но
|
||||
> сама баг-карточка требует «отдельный анализ вариантов и контрактов merge-gate» (см. «Ограничение»
|
||||
> ниже) — это решение с несколькими проектными альтернативами и нетривиальными инвариантами
|
||||
> self-hosting, которому нужен ADR. По правилу ORCH-019 (ADR-001 D5) выпускается **полный**
|
||||
> analysis-пакет, а трек эскалируется (`POST /bug-fast-track/escalate?work_item=ORCH-110`) → задача
|
||||
> проходит стадию `architecture`. Прецедент — родственная задача ORCH-111 («bug → escalate
|
||||
> full-cycle»).
|
||||
|
||||
---
|
||||
|
||||
## 1. Бизнес-контекст и проблема
|
||||
|
||||
Оркестратор — self-hosting инструмент: его прод-контейнер обслуживает конвейер всех проектов и
|
||||
дорабатывает сам себя. На ребре `deploy-staging → deploy` исполняется детерминированный под-гейт
|
||||
**merge-gate** (`check_branch_mergeable`, ORCH-043): он догоняет ветку до текущего `origin/main`
|
||||
(`auto_rebase_onto_main`) и затем **локально пере-прогоняет весь тест-сюит** (`retest_branch` →
|
||||
`python -m pytest tests/ -q`) в worktree, чтобы поймать **семантический** конфликт слияния (ветка
|
||||
зелёная по своей базе, но ломает уехавший `main`).
|
||||
|
||||
**Установленные факты инцидента (ORCH-109, PR #129):**
|
||||
- tester завершился `result: PASS`; полный регресс — **`1899 passed` за `516.70s`**;
|
||||
- CI Gitea по HEAD — зелёный (push + pull_request success); PR после rebase — open, `mergeable=true`;
|
||||
- merge-gate локальный re-test упал по **таймауту**: `re-test timeout after 600s`
|
||||
(`merge_retest_timeout_s = 600`);
|
||||
- на хосте обнаружены **старые зависшие pytest-процессы** `tests/test_install_lite_script.py`,
|
||||
жившие **> 2 суток** и грузившие CPU; прибиты вручную 2026-06-14.
|
||||
|
||||
**Цепочка отказа.** Зависшие осиротевшие pytest-процессы (CPU-голодание) → тот же сюит, что у tester
|
||||
шёл 516.70s (запас до 600s ≈ 16%), под нагрузкой превысил 600s → `check_branch_mergeable` вернул
|
||||
`(False, "re-test timeout after 600s")` → `_handle_merge_gate_rollback`: откат `deploy-staging →
|
||||
development` + developer-retry. Каждый из 3 retry повторно падал по тому же CPU-голоданию → финальный
|
||||
alert **«Merge-gate still failing after 3 developer retries (re-test timeout after 600s)»** → задача
|
||||
застряла, потребовалось ручное вмешательство.
|
||||
|
||||
**Корень (подтверждён по коду):**
|
||||
1. **Утечка осиротевших процессов.** `merge_gate.retest_branch` и `coverage_gate.measure_coverage`
|
||||
запускают `subprocess.run([... pytest ...], timeout=...)` **без изоляции группы процессов**
|
||||
(`start_new_session`/`preexec_fn`). При `TimeoutExpired` Python убивает только **прямого
|
||||
потомка**; внуки pytest репарентируются на PID 1 (tini жнёт зомби, но не убивает живых сирот) и
|
||||
живут сутками, грузя CPU. Это источник CPU-голодания (ровно симптом из фактов).
|
||||
2. **Нет толерантности к инфра-таймауту.** Re-test **таймаут** (ресурсная/инфра-причина)
|
||||
классифицируется идентично **красному** re-test (реальный дефект кода): оба → откат на
|
||||
`development` + расход developer-retry. Разработчик не может «починить» CPU-голодание → retry
|
||||
сгорают вхолостую и упираются в alert «Manual intervention needed».
|
||||
3. **Тонкий бюджет.** Бюджет re-test `600s` практически равен фактическому времени сюита
|
||||
(`516.70s`); запас не растёт вместе с сюитом (ср. ORCH-109, где по той же причине были подняты
|
||||
бюджеты агентов developer/reviewer).
|
||||
4. **Контракт необходимости re-test.** На ветке, уже актуальной к `origin/main` (rebase — no-op), и
|
||||
с зелёным CI по этому же HEAD локальный полный re-test пере-проверяет ровно тот коммит, что CI
|
||||
уже подтвердил, — становясь избыточной единственной точкой ложного отказа.
|
||||
|
||||
## 2. Объём (scope)
|
||||
|
||||
### В объёме
|
||||
- Поведение merge-gate при **таймауте** локального re-test: классификация и путь восстановления
|
||||
(толерантность к инфра-таймауту вместо ложного отката на `development`).
|
||||
- **Жизненный цикл подпроцессов**, которые оркестратор запускает САМ для проверок: re-test merge-gate
|
||||
(`merge_gate.retest_branch`) и coverage-run (`coverage_gate.measure_coverage`) — гарантия отсутствия
|
||||
осиротевших процессов после таймаута/kill.
|
||||
- **Согласованность бюджета** re-test с фактическим временем полного сюита (адекватный запас) с учётом
|
||||
сквозных инвариантов reaper/lease.
|
||||
- **Контракт необходимости** локального re-test merge-gate (когда он реально нужен относительно
|
||||
зелёного CI и состояния `branch vs origin/main`) — анализ вариантов под решение архитектора.
|
||||
- Наблюдаемость инфра-таймаута (отличить «инфра-таймаут, повтор/defer» от «дефект кода → developer»).
|
||||
|
||||
### Вне объёма
|
||||
- **Алерт sidecar-watchdog на осиротевший тест-процесс** — это **ORCH-111** (`proc_blocking`,
|
||||
наблюдатель только сигналит, никогда не убивает, C-1). ORCH-110 — комплементарная сторона
|
||||
(предотвращение утечки + толерантность), дубля детекции не вводит.
|
||||
- Ручное умерщвление уже зависших хост-процессов — операционная мера (выполнена 2026-06-14), не код.
|
||||
- Любые правки `STAGE_TRANSITIONS` / реестра `QG_CHECKS` / `check_*`-семантики / machine-verdict
|
||||
ключей / схемы БД (инвариант NFR-1).
|
||||
- Изменение конкретного теста `tests/test_install_lite_script.py` (его поведение — отдельный предмет;
|
||||
здесь важен класс «оркестратор-спавненный pytest не должен переживать свой бюджет»).
|
||||
- Поведение не-self-hosting репозиториев (enduro-trails) — нулевая регрессия.
|
||||
- Изменение хука прод-деплоя/рестарт прод-контейнера (self-hosting безопасность).
|
||||
|
||||
## 3. Заинтересованные стороны
|
||||
- **Owner / оператор self-hosting** — страдает от ручного разбора застрявших задач и зависших
|
||||
процессов; заказчик исправления.
|
||||
- **Конвейер всех проектов** — общий прод-контейнер: утечка CPU деградирует обслуживание enduro.
|
||||
- **Пакетный автономный режим (эпик ORCH-088)** — ложные откаты и manual-gate'ы ломают цель
|
||||
«10–20 задач за ночь без вмешательства».
|
||||
- **Принимает результат:** reviewer → tester → deployer штатного конвейера.
|
||||
|
||||
## 4. Бизнес-требования (BR)
|
||||
|
||||
- **BR-1 — Зелёный путь без ручного вмешательства.** При зелёном tester `PASS` и зелёном CI задача
|
||||
**не должна** требовать ручного вмешательства из-за инфраструктурного/локального re-test таймаута
|
||||
(прямое «Ожидаемое поведение» баг-карточки).
|
||||
- **BR-2 — Инфра-таймаут ≠ дефект кода.** Таймаут локального re-test merge-gate (ресурсная/инфра
|
||||
причина) **не должен** трактоваться как код-фейл: путь восстановления **не** должен сжигать
|
||||
developer-retry и приводить к «Manual intervention after N developer retries», если CI и tester
|
||||
были зелёными. Реакция на таймаут — ограниченный повтор/defer и/или отдельный инфра-сигнал, не
|
||||
безусловный откат на `development`.
|
||||
- **BR-3 — Нет осиротевших процессов.** Подпроцессы pytest, запущенные самим оркестратором для
|
||||
re-test и coverage-run, **должны** полностью завершаться (всё дерево, включая внуков) при
|
||||
таймауте/kill. Ни один оркестратор-спавненный pytest не должен переживать свой бюджет и продолжать
|
||||
грузить CPU.
|
||||
- **BR-4 — Адекватный бюджет re-test.** Бюджет времени re-test **должен** иметь достаточный запас над
|
||||
фактическим временем полного сюита, чтобы здоровый сюит при штатной нагрузке не падал по таймауту;
|
||||
бюджет конфигурируем и со-эволюционирует с ростом сюита.
|
||||
- **BR-5 — Контракт необходимости re-test.** Merge-gate **должен** различать «ветка реально отстала
|
||||
от уехавшего `origin/main` и была ребейзнута» (риск семантического конфликта → re-test оправдан) и
|
||||
«ветка уже актуальна / rebase — no-op, CI по этому HEAD зелёный» (re-test избыточен). Локальный
|
||||
re-test не должен быть избыточной единственной точкой ложного отказа на коммите, уже подтверждённом
|
||||
CI. Конкретный контракт (skip/scope/trust-CI-SHA) выбирает архитектор и фиксирует в ADR.
|
||||
- **BR-6 — Сохранение защиты от семантического конфликта.** Толерантность к таймауту **не должна**
|
||||
ослаблять исходную цель merge-gate (ORCH-043): **детерминированно красный** re-test (реальный сбой
|
||||
теста, а не таймаут) по-прежнему обязан откатывать на `development`. Послабление применяется ТОЛЬКО
|
||||
к таймауту/инфра, никогда к красному результату.
|
||||
- **BR-7 — Наблюдаемость.** Состояние «инфра-таймаут» должно быть видимым (лог + Telegram с
|
||||
кликабельным номером + read-only в `GET /queue`) и отличимым от код-фейл-отката; согласовано с
|
||||
сигналом ORCH-111 (без дубля).
|
||||
|
||||
## 5. Нефункциональные требования (NFR)
|
||||
|
||||
- **NFR-1 — Инварианты конвейера неприкосновенны.** `STAGE_TRANSITIONS` / реестр `QG_CHECKS` /
|
||||
семантика `check_*` / machine-verdict ключи (`verdict:`/`result:`/`deploy_status:`/
|
||||
`staging_status:`/`security_status:`/`coverage_status:`) / схема БД — **байт-в-байт** прежние.
|
||||
Исправление — аддитивное (врезка/leaf-логика), не новая стадия и не новый зарегистрированный QG.
|
||||
- **NFR-2 — Kill-switch + нулевая регрессия.** Новое поведение под флагом; при выключенном флаге —
|
||||
поведение **байт-в-байт** как до ORCH-110 (таймаут → прежний откат). Скоуп — self-hosting
|
||||
(`orchestrator`); enduro не затронут.
|
||||
- **NFR-3 — Self-hosting безопасность.** Исправление **никогда** не пушит/force-push в `main` (INV-4;
|
||||
merge только через Gitea PR-merge API), не рестартит прод-контейнер, не трогает detached-деплой.
|
||||
- **NFR-4 — never-raise.** Любая ошибка в новом пути → безопасный дефолт + WARNING; исключение
|
||||
никогда не уходит в `advance_stage`/monitor-поток (контракт merge-gate сохранён).
|
||||
- **NFR-5 — Ограниченность (anti-loop).** Любой повтор/defer таймаута строго ограничен по числу
|
||||
попыток и суммарному времени; исчерпание → **чёткий инфра-alert**, отличный от «developer must
|
||||
fix», а не бесконечный bounce и не молчаливое зависание.
|
||||
- **NFR-6 — Сквозные инварианты времени.** Любое изменение бюджета re-test должно уважать
|
||||
существующие соотношения: `merge_lock_timeout_s` (TTL merge-lease), `reaper_max_running_s`
|
||||
(Tier-3 backstop reaper, ORCH-065/109), `coverage_run_timeout_s` — без рассинхрона.
|
||||
|
||||
## 6. Допущения и ограничения
|
||||
- **Ограничение из баг-карточки (дословно):** «Решение намеренно не описано в этой баге; нужен
|
||||
отдельный анализ вариантов и контрактов merge-gate». → Аналитик фиксирует требования и
|
||||
тест-план; **варианты и контракт merge-gate** прорабатывает архитектор (06-adr) — основание
|
||||
эскалации в полный цикл.
|
||||
- Допущение: tini (PID 1) жнёт зомби, но не убивает живых осиротевших процессов (подтверждено
|
||||
поведением инцидента) — отсюда требование tree-kill (BR-3).
|
||||
- Допущение: таймаут merge-gate re-test в зелёном инциденте вызван внешним CPU-голоданием, а не
|
||||
реальным зависанием теста ветки; но решение обязано остаться **fail-safe** к случаю реального
|
||||
зависшего теста (см. Риск R-2 / BR-6).
|
||||
- Среда верификации — staging-контур (8501), обязательная страховка перед прод-деплоем self.
|
||||
|
||||
## 7. Критерии успеха
|
||||
Резюме: зелёный tester `PASS` + зелёный CI + актуальная ветка → задача доходит до `deploy` без
|
||||
ложного отката на `development` и без manual-gate из-за инфра-таймаута; оркестратор-спавненные
|
||||
pytest-процессы не переживают свой бюджет; реальный красный re-test по-прежнему откатывает на
|
||||
`development`; инварианты конвейера и self-hosting не тронуты. Детальные PASS/FAIL —
|
||||
`03-acceptance-criteria.md`.
|
||||
|
||||
## 8. Риски
|
||||
- **R-1** — Над-толерантность маскирует реальный зависший тест (бесконечный/долгий) как «инфра» →
|
||||
смягчение: строгая ограниченность (NFR-5) + отдельный инфра-alert + сохранение красно-откат-пути
|
||||
(BR-6).
|
||||
- **R-2** — Поднятие бюджета без правки tree-kill лишь отодвигает отказ (сюит растёт) → исправление
|
||||
должно бить корень (BR-3), бюджет (BR-4) — вторично.
|
||||
- **R-3** — Рассинхрон сквозных таймаутов (reaper/lease) при изменении бюджета (NFR-6).
|
||||
- **R-4** — Дубль/конфликт с сигналом ORCH-111 (`proc_blocking`) → координация: ORCH-110
|
||||
предотвращает/толерирует, ORCH-111 наблюдает; разные слои.
|
||||
- Детальная оценка и митигации — `10-tech-risks.md` (заполняет архитектор).
|
||||
@@ -1,129 +0,0 @@
|
||||
---
|
||||
work_item: ORCH-110
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-15
|
||||
model_used: claude-opus-4-8
|
||||
escalate: full-cycle
|
||||
---
|
||||
|
||||
# 02 — ТЗ (TRZ): ORCH-110 — merge-gate local re-test timeout: устранение ложного отката + утечки процессов
|
||||
|
||||
Work Item: **ORCH-110** · Repo: **orchestrator** · Стадия: analysis
|
||||
|
||||
> ТЗ описывает **конкретные требования к реализации**, выведенные из BRD и фактического кода.
|
||||
> Архитектурное обоснование, выбор вариантов и **контракт merge-gate** — задача архитектора (06-adr,
|
||||
> основание `escalate: full-cycle`). Здесь — поведение/контракты/инварианты и привязка к модулям,
|
||||
> НЕ выбор механизма.
|
||||
|
||||
## 1. Сводка изменения
|
||||
Устранить ложный откат `deploy-staging → development`, возникающий когда локальный re-test merge-gate
|
||||
падает по **таймауту** (инфра/ресурс), при зелёном tester `PASS` и зелёном CI. Изменение бьёт по двум
|
||||
корням и одному контракту: (1) **утечка осиротевших pytest-процессов** из оркестратор-спавненных
|
||||
прогонов re-test/coverage (источник CPU-голодания) → гарантировать tree-kill дерева подпроцесса при
|
||||
таймауте/kill; (2) **классификация инфра-таймаута** как транзиента (повтор/defer/инфра-alert), а не
|
||||
код-фейла (откат + расход developer-retry); (3) **контракт необходимости** локального re-test
|
||||
относительно зелёного CI и состояния `branch vs origin/main`. Сопутствующе — согласование **бюджета**
|
||||
re-test с реальным временем сюита. Всё — аддитивно, под kill-switch, never-raise, скоуп self-hosting,
|
||||
с сохранением исходной защиты merge-gate от семантического конфликта (красный re-test по-прежнему
|
||||
откатывает).
|
||||
|
||||
## 2. Задействованные модули / пути
|
||||
| Путь | Действие |
|
||||
|------|----------|
|
||||
| `src/merge_gate.py` | изменить — `retest_branch`: жизненный цикл подпроцесса (tree-kill при таймауте/kill); классификация исхода «timeout» как транзиента (контракт возврата) |
|
||||
| `src/coverage_gate.py` | изменить — `measure_coverage`: тот же tree-kill при таймауте (сиблинг-источник утечки, BR-3) |
|
||||
| `src/qg/checks.py` | изменить — `check_branch_mergeable`: различать «timeout/infra» от «red re-test» в возвращаемом контракте (без смены имени/семантики зарегистрированного `check_*`) |
|
||||
| `src/stage_engine.py` | изменить — `_handle_merge_gate` / маршрутизация исхода: инфра-таймаут → defer/повтор/инфра-alert (по образцу `_handle_merge_gate_defer`), НЕ `_handle_merge_gate_rollback`; красный re-test → прежний rollback |
|
||||
| `src/config.py` | изменить — флаг(и) толерантности к инфра-таймауту + (опц.) согласование `merge_retest_timeout_s`; уважить сквозные инварианты `merge_lock_timeout_s` / `reaper_max_running_s` / `coverage_run_timeout_s` |
|
||||
| `docs/architecture/README.md`, `CLAUDE.md`, `CHANGELOG.md` | обновить — описание поведения merge-gate re-test (golden source наравне с кодом) |
|
||||
| `tests/test_*` | создать — покрытие по `04-test-plan.yaml` |
|
||||
|
||||
> Точный набор новых символов/флагов и механизм tree-kill (process-group `start_new_session`+killpg,
|
||||
> либо иной) — решение архитектора. ТЗ фиксирует **что** должно выполняться, не **как**.
|
||||
|
||||
## 3. Функциональные требования
|
||||
|
||||
### FR-1 — Толерантность к инфра-таймауту re-test (нет ложного отката) [BR-1, BR-2]
|
||||
Когда merge-gate локальный re-test завершается специфически по **таймауту** (а не детерминированно
|
||||
красным результатом), исход ДОЛЖЕН классифицироваться как транзиент/инфра, не код-фейл. Путь
|
||||
восстановления НЕ ДОЛЖЕН быть тем же `_handle_merge_gate_rollback` (откат на `development` + инкремент
|
||||
developer-retry), который при зелёных CI/tester ведёт к «Manual intervention needed». Допустимая
|
||||
реакция (выбор — архитектор): ограниченный повтор re-test и/или defer (по образцу существующего
|
||||
`_handle_merge_gate_defer` для `merge-lock busy`) и/или отдельный инфра-alert. Прецеденты толерантности
|
||||
к инфра: ORCH-061 (staging infra tolerance), ORCH-093 (transient vs terminal классификация merge-POST).
|
||||
|
||||
### FR-2 — Tree-kill оркестратор-спавненных тест-процессов [BR-3]
|
||||
`merge_gate.retest_branch` и `coverage_gate.measure_coverage` ДОЛЖНЫ гарантировать, что при таймауте
|
||||
(а также при любом kill/прерывании прогона) завершается **всё дерево** подпроцесса pytest, включая
|
||||
внуков, а не только прямой потомок. После таймаута ни один оркестратор-спавненный pytest-процесс не
|
||||
должен оставаться живым и грузить CPU. Контракт возврата `retest_branch`
|
||||
(`(False, "re-test timeout after <T>s")`) сохраняется; меняется лишь побочный эффект — отсутствие
|
||||
утечки. Существующий каскад launcher `SIGTERM→grace→SIGKILL` (`stop_process`) — образец на уровне
|
||||
агентов; для этих subprocess-прогонов требуется эквивалентная гарантия на уровне группы процессов.
|
||||
|
||||
### FR-3 — Согласованность бюджета re-test [BR-4, NFR-6]
|
||||
Бюджет `merge_retest_timeout_s` ДОЛЖЕН иметь достаточный запас над фактическим временем полного сюита
|
||||
(наблюдаемо: 600s бюджет vs 516.70s факт ≈ 16%). Бюджет остаётся конфигурируемым; при его изменении
|
||||
ДОЛЖНЫ соблюдаться сквозные инварианты: `reaper_max_running_s > max(agent_timeout, бюджеты) + grace`
|
||||
(ORCH-065/109) и согласование с `merge_lock_timeout_s` (TTL merge-lease держится на время re-test).
|
||||
Малформный/непозитивный конфиг → безопасный дефолт + WARNING (never-break).
|
||||
|
||||
### FR-4 — Контракт необходимости локального re-test [BR-5, BR-6]
|
||||
Merge-gate ДОЛЖЕН различать риск-кейсы и применять re-валидацию пропорционально реальному риску
|
||||
слияния:
|
||||
- ветка **реально отстала** от уехавшего `origin/main` и ребейзнута → семантический риск → re-test
|
||||
оправдан (текущая цель ORCH-043 сохраняется);
|
||||
- ветка **уже актуальна** / rebase — no-op, и CI по этому самому HEAD зелёный → локальный полный
|
||||
re-test пере-проверяет ровно подтверждённый CI коммит и не должен быть единственной точкой ложного
|
||||
отказа.
|
||||
Конкретный контракт (например: пропуск re-test при «не-behind + зелёный CI по HEAD», сокращённый
|
||||
scope, доверие SHA, подтверждённому CI, и т. п.) — **выбор архитектора в ADR** (ядро запрошенного
|
||||
баг-карточкой «анализа контрактов merge-gate»). Инвариант **BR-6**: детерминированно **красный**
|
||||
re-test (реальный сбой теста) обязан и далее откатывать на `development` — послабление применяется
|
||||
ТОЛЬКО к таймауту/инфра.
|
||||
|
||||
### FR-5 — Сохранение инвариантов и kill-switch [NFR-1, NFR-2, NFR-3, NFR-4]
|
||||
Изменение аддитивно: `STAGE_TRANSITIONS` / реестр `QG_CHECKS` / семантика `check_*` / machine-verdict
|
||||
ключи / схема БД — без изменений; merge-gate остаётся под-гейтом-врезкой, не новой стадией/QG. Под
|
||||
kill-switch: выключенный флаг → байт-в-байт прежнее поведение (таймаут → откат). Скоуп self-hosting
|
||||
(`orchestrator`); enduro — no-op. never-raise; INV-4 (никогда push/force-push `main`; merge только
|
||||
через Gitea PR API) и запрет рестарта прод-контейнера — соблюдены.
|
||||
|
||||
### FR-6 — Наблюдаемость и ограниченность [BR-7, NFR-5]
|
||||
Состояние «инфра-таймаут» ДОЛЖНО логироваться, уведомляться в Telegram (кликабельный номер задачи) и
|
||||
быть видимым read-only (например, расширение блока `merge`/`merge_verify` в `GET /queue`), отличимо от
|
||||
код-фейл-отката. Любой повтор/defer строго ограничен (число попыток + суммарное время); исчерпание →
|
||||
**инфра-alert** (не «developer must fix»). Координация с ORCH-111 (`proc_blocking`) — без дубля:
|
||||
ORCH-110 предотвращает/толерирует, ORCH-111 наблюдает.
|
||||
|
||||
## 4. Изменения API
|
||||
Новых обязательных эндпоинтов **не требуется**. Допустимо (when-applicable, на усмотрение
|
||||
архитектора) **read-only** расширение существующего снимка `GET /queue` (блок merge-gate) полями
|
||||
наблюдаемости инфра-таймаута/повторов. Никаких новых управляющих эндпоинтов.
|
||||
|
||||
## 5. Изменения схемы БД
|
||||
**Нет.** Счётчики повторов/defer — по образцу существующих (`_merge_defer_count` /
|
||||
`_developer_retry_count` поверх `jobs`/`agent_runs`) либо in-memory/sentinel; новые таблицы/колонки не
|
||||
вводятся (NFR-1).
|
||||
|
||||
## 6. Требования к новым/изменённым QG checks
|
||||
**Нет нового зарегистрированного QG.** `check_branch_mergeable` остаётся в реестре `QG_CHECKS` с тем же
|
||||
именем и семантикой PASS/FAIL; меняется лишь **различение причины FAIL** (timeout/infra vs red) в
|
||||
возвращаемом reason и **маршрутизация исхода** во врезке `_handle_merge_gate` (`advance_stage`).
|
||||
`STAGE_TRANSITIONS` и состав `QG_CHECKS` — байт-в-байт.
|
||||
|
||||
## 7. Совместимость / регресс
|
||||
- **Обратная совместимость:** kill-switch off → поведение байт-в-байт как до ORCH-110 (таймаут →
|
||||
rollback на `development`), включая текст alert'ов.
|
||||
- **Область раската:** self-hosting `orchestrator` (как ORCH-035/043/058/071); прочие репо — no-op,
|
||||
путь LLM-`deployer`/прежний merge не затронут.
|
||||
- **Обратимость:** чисто аддитивная логика под флагом; откат = выключить флаг.
|
||||
- **Self-hosting:** без рестарта прод-контейнера; merge только через Gitea PR API; никаких операций с
|
||||
`main` (INV-4).
|
||||
- **Анти-регресс целей merge-gate:** красный re-test → прежний rollback (BR-6); защита от
|
||||
семантического конфликта/фантомного merge (ORCH-043/071/073) — не ослаблена.
|
||||
- **Трассировка маркеров (ORCH-078):** правки в `merge_gate.py`/`coverage_gate.py`/`qg/checks.py`
|
||||
затрагивают блоки с маркерами ORCH-043/071/073/093/027/065/109 — перед изменением сверить их
|
||||
`06-adr` и не сломать зафиксированные инварианты (lease, never-raise, fail-open/closed, бюджеты).
|
||||
@@ -1,123 +0,0 @@
|
||||
---
|
||||
work_item: ORCH-110
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-15
|
||||
model_used: claude-opus-4-8
|
||||
escalate: full-cycle
|
||||
---
|
||||
|
||||
# 03 — Критерии приёмки (Acceptance Criteria): ORCH-110 — merge-gate re-test timeout
|
||||
|
||||
Work Item: **ORCH-110** · Repo: **orchestrator** · Стадия: analysis
|
||||
|
||||
Формат: каждый критерий имеет **PASS** (что должно быть истинно для приёмки) и **FAIL** (что считается
|
||||
провалом). Reviewer/тестировщик проверяет их буквально по файлам/тестам репозитория.
|
||||
|
||||
---
|
||||
|
||||
## AC-1 — Зелёный путь не требует ручного вмешательства из-за инфра-таймаута
|
||||
**Условие:** tester `PASS` + зелёный CI + ветка актуальна к `origin/main`, но локальный re-test
|
||||
merge-gate упирается в таймаут (смоделированное CPU-голодание/медленный прогон).
|
||||
- **PASS:** задача НЕ откатывается ложно как код-фейл и НЕ доходит до alert «Merge-gate still failing
|
||||
after N developer retries»; она доходит до `deploy` (возможно после ограниченного defer/повтора)
|
||||
или поднимает **отдельный инфра-alert**, отличимый от «developer must fix».
|
||||
- **FAIL:** таймаут → `_handle_merge_gate_rollback` на `development` с расходом developer-retry →
|
||||
manual-gate (текущее ошибочное поведение).
|
||||
|
||||
---
|
||||
|
||||
## AC-2 — Инфра-таймаут классифицируется отдельно от красного re-test
|
||||
**Условие:** `check_branch_mergeable` вернул FAIL по причине таймаута vs по причине красного теста.
|
||||
- **PASS:** таймаут маршрутизируется в транзиент-путь (defer/повтор/инфра-alert), красный re-test —
|
||||
в прежний rollback на `development`; пути различимы в коде и в логах/наблюдаемости.
|
||||
- **FAIL:** оба исхода идут одним путём отката на `development`.
|
||||
|
||||
---
|
||||
|
||||
## AC-3 — Реальный красный re-test по-прежнему откатывает (анти-над-толерантность)
|
||||
**Условие:** локальный re-test даёт детерминированно красный результат (реальный сбой теста, не
|
||||
таймаут).
|
||||
- **PASS:** задача откатывается на `development` + developer-retry (цель ORCH-043 сохранена), lease
|
||||
освобождается.
|
||||
- **FAIL:** красный re-test «толерируется» и задача продвигается/деплоится со сломанным кодом.
|
||||
|
||||
---
|
||||
|
||||
## AC-4 — Нет осиротевших тест-процессов после таймаута
|
||||
**Условие:** `merge_gate.retest_branch` (и `coverage_gate.measure_coverage`) запущены против прогона,
|
||||
порождающего дочерние/внучатые процессы, и прогон превышает бюджет (таймаут).
|
||||
- **PASS:** по таймауту завершается всё дерево подпроцесса (включая внуков); живых
|
||||
оркестратор-спавненных pytest-процессов не остаётся; контракт возврата
|
||||
`(False, "re-test timeout after <T>s")` сохранён.
|
||||
- **FAIL:** прямой потомок убит, но внуки репарентируются и продолжают жить/грузить CPU.
|
||||
|
||||
---
|
||||
|
||||
## AC-5 — Бюджет re-test согласован и уважает сквозные инварианты
|
||||
**Условие:** конфигурация бюджета re-test и связанных таймаутов.
|
||||
- **PASS:** `merge_retest_timeout_s` имеет адекватный запас над фактическим временем сюита;
|
||||
соблюдено `reaper_max_running_s > max(agent_timeout, бюджеты) + grace` и согласование с
|
||||
`merge_lock_timeout_s`/`coverage_run_timeout_s`; малформный конфиг → дефолт + WARNING.
|
||||
- **FAIL:** бюджет оставлен впритык к времени сюита без обоснования, либо изменение бюджета ломает
|
||||
инвариант reaper/lease.
|
||||
|
||||
---
|
||||
|
||||
## AC-6 — Контракт необходимости re-test зафиксирован и реализован
|
||||
**Условие:** ветка не-behind (rebase no-op) + зелёный CI по этому HEAD.
|
||||
- **PASS:** поведение локального re-test соответствует контракту, выбранному архитектором в ADR
|
||||
(skip/scope/trust-CI-SHA и т. п.); re-test не является избыточной единственной точкой ложного
|
||||
отказа на коммите, уже подтверждённом CI; решение и его обоснование задокументированы в `06-adr/`.
|
||||
- **FAIL:** контракт не определён/не реализован; полный re-test безусловно гоняется и при не-behind +
|
||||
зелёном CI.
|
||||
|
||||
---
|
||||
|
||||
## AC-7 — Kill-switch и нулевая регрессия
|
||||
**Условие:** флаг толерантности выключен; и/или не-self-hosting репозиторий (enduro).
|
||||
- **PASS:** поведение байт-в-байт как до ORCH-110 (таймаут → прежний rollback; те же тексты
|
||||
alert'ов); enduro-путь не затронут.
|
||||
- **FAIL:** при выключенном флаге/для enduro поведение изменилось.
|
||||
|
||||
---
|
||||
|
||||
## AC-8 — Инварианты конвейера и self-hosting не тронуты
|
||||
**Условие:** статический и поведенческий анализ изменений.
|
||||
- **PASS:** `STAGE_TRANSITIONS` / реестр `QG_CHECKS` / семантика `check_*` / machine-verdict ключи /
|
||||
схема БД — без изменений; никаких push/force-push в `main` (INV-4), merge только через Gitea PR API,
|
||||
прод-контейнер не рестартится; все публичные функции merge-gate/coverage остаются never-raise.
|
||||
- **FAIL:** изменён любой из перечисленных инвариантов, или исключение уходит в `advance_stage`.
|
||||
|
||||
---
|
||||
|
||||
## AC-9 — Ограниченность транзиент-пути (anti-loop) + наблюдаемость
|
||||
**Условие:** инфра-таймаут повторяется.
|
||||
- **PASS:** число повторов/defer ограничено и по попыткам, и по суммарному времени; исчерпание →
|
||||
один чёткий инфра-alert; событие видно в логах/`GET /queue` и отличимо от код-фейла.
|
||||
- **FAIL:** бесконечный bounce/повтор, либо молчаливое зависание без терминального сигнала.
|
||||
|
||||
---
|
||||
|
||||
## AC-10 — Регресс-тест (красный до фикса, зелёный после)
|
||||
**Условие:** наличие автоматического теста, воспроизводящего инцидент.
|
||||
- **PASS:** в `tests/` есть тест, который на текущем коде **падал бы** (инфра-таймаут re-test →
|
||||
ложный rollback / выживший процесс), а после фикса **зелёный**; включён в полный регресс `pytest`.
|
||||
- **FAIL:** регресс-теста нет, либо он не воспроизводит инцидент.
|
||||
|
||||
---
|
||||
|
||||
## Сводная матрица AC ↔ FR/BR
|
||||
| AC | Покрывает |
|
||||
|----|-----------|
|
||||
| AC-1 | BR-1 / FR-1 |
|
||||
| AC-2 | BR-2 / FR-1 |
|
||||
| AC-3 | BR-6 / FR-4 |
|
||||
| AC-4 | BR-3 / FR-2 |
|
||||
| AC-5 | BR-4 / FR-3 / NFR-6 |
|
||||
| AC-6 | BR-5 / FR-4 |
|
||||
| AC-7 | NFR-2 / FR-5 |
|
||||
| AC-8 | NFR-1 / NFR-3 / NFR-4 / FR-5 |
|
||||
| AC-9 | NFR-5 / BR-7 / FR-6 |
|
||||
| AC-10 | BR-1…BR-3 (регресс инцидента) |
|
||||
@@ -1,94 +0,0 @@
|
||||
work_item: ORCH-110
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-15
|
||||
model_used: claude-opus-4-8
|
||||
escalate: full-cycle
|
||||
title: "merge-gate re-test timeout: tolerance + no orphan-process leak + re-test contract"
|
||||
framework: pytest
|
||||
scope: >
|
||||
Покрывает: классификацию инфра-таймаута re-test merge-gate как транзиента (без ложного отката),
|
||||
tree-kill оркестратор-спавненных pytest-прогонов (re-test + coverage), сохранение красно-откат-пути,
|
||||
согласование бюджета re-test со сквозными инвариантами, контракт необходимости re-test, kill-switch
|
||||
и наблюдаемость. Вне покрытия: алерт sidecar-watchdog (ORCH-111), правка конкретного
|
||||
test_install_lite_script.py, поведение enduro (только проверяется no-op).
|
||||
notes: >
|
||||
TC-10 — ОБЯЗАТЕЛЬНЫЙ регресс-тест инцидента ORCH-109/PR#129: красный на текущем коде (инфра-таймаут
|
||||
re-test → ложный rollback / выживший процесс), зелёный после фикса. Подпроцессы в тестах мокаются
|
||||
(управляемый "медленный/спавнящий детей pytest"), без обращения к сети/Plane/Gitea. Полный регресс
|
||||
tests/ должен оставаться зелёным. Точные имена символов/флагов уточняет архитектор (06-adr);
|
||||
модули-плейсхолдеры ниже выровнены под манифест PIPELINE_DOCS.
|
||||
|
||||
tests:
|
||||
- id: TC-01
|
||||
type: unit
|
||||
description: "retest_branch: таймаут возвращает (False, 're-test timeout after <T>s') И завершает всё дерево подпроцесса (внуки не переживают таймаут)."
|
||||
module: tests/test_orch110_retest_lifecycle.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-02
|
||||
type: unit
|
||||
description: "coverage_gate.measure_coverage: таймаут завершает всё дерево подпроцесса (сиблинг-источник утечки, BR-3); возврат None сохранён."
|
||||
module: tests/test_orch110_retest_lifecycle.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-03
|
||||
type: unit
|
||||
description: "check_branch_mergeable: исход 'timeout' различим от 'red re-test' в reason/классификации (без смены имени/семантики зарегистрированного check_*)."
|
||||
module: tests/test_orch110_merge_gate_classify.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-04
|
||||
type: unit
|
||||
description: "Маршрутизация исхода: инфра-таймаут → defer/повтор/инфра-alert путь (НЕ _handle_merge_gate_rollback на development, без инкремента developer-retry)."
|
||||
module: tests/test_orch110_merge_gate_routing.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-05
|
||||
type: unit
|
||||
description: "Анти-над-толерантность: детерминированно КРАСНЫЙ re-test по-прежнему → откат на development + developer-retry + release lease (BR-6 сохранён)."
|
||||
module: tests/test_orch110_merge_gate_routing.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-06
|
||||
type: unit
|
||||
description: "Ограниченность (anti-loop): повторы/defer инфра-таймаута лимитированы по попыткам и суммарному времени; исчерпание → один инфра-alert, не бесконечный bounce."
|
||||
module: tests/test_orch110_merge_gate_routing.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-07
|
||||
type: unit
|
||||
description: "Kill-switch off → байт-в-байт прежнее поведение (таймаут → rollback на development, прежний текст alert); not-self repo (enduro) → no-op."
|
||||
module: tests/test_orch110_killswitch.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-08
|
||||
type: unit
|
||||
description: "Бюджет/инварианты: malformed/непозитивный merge_retest_timeout_s → дефолт + WARNING; соблюдён reaper_max_running_s > max(agent_timeout, бюджеты)+grace и согласование с merge_lock_timeout_s."
|
||||
module: tests/test_orch110_budget_invariants.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-09
|
||||
type: unit
|
||||
description: "never-raise: любая ошибка в новом транзиент-пути → безопасный дефолт + WARNING; исключение не уходит в advance_stage."
|
||||
module: tests/test_orch110_merge_gate_routing.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-10
|
||||
type: integration
|
||||
description: "РЕГРЕСС инцидента: tester PASS + зелёный CI + ветка не-behind, но re-test таймаут — задача НЕ откатывается ложно и НЕ упирается в 'Merge-gate still failing after N developer retries'; доходит до deploy или поднимает инфра-alert. Красный до фикса, зелёный после."
|
||||
module: tests/test_orch110_false_rollback_regression.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-11
|
||||
type: integration
|
||||
description: "Контракт необходимости re-test (FR-4/AC-6): при не-behind + зелёном CI по HEAD локальный re-test ведёт себя по выбранному в ADR контракту (skip/scope/trust-CI) и не является избыточной единственной точкой ложного отказа. Финальная форма — после решения архитектора."
|
||||
module: tests/test_orch110_retest_contract.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-12
|
||||
type: integration
|
||||
description: "Наблюдаемость: инфра-таймаут отражён в логах/GET /queue (read-only) и Telegram-уведомлении с кликабельным номером; отличим от код-фейл-отката; без дубля с ORCH-111."
|
||||
module: tests/test_orch110_observability.py
|
||||
expected: PASS
|
||||
@@ -1,352 +0,0 @@
|
||||
---
|
||||
work_item: ORCH-110
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-15
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# ADR-001: Merge-gate re-test — толерантность к инфра-таймауту, tree-kill спавненных процессов и контракт необходимости re-test
|
||||
|
||||
Work Item: **ORCH-110** — BUG: merge-gate local re-test timeout causes false rollback after green CI
|
||||
Стадия: **architecture**
|
||||
Сквозная регистрация: **`docs/architecture/adr/adr-0042-merge-gate-retest-infra-tolerance-and-tree-kill.md`**
|
||||
(решение кросс-каттинговое: затрагивает merge-gate ORCH-043, coverage-gate ORCH-027 и
|
||||
сквозной инвариант времени reaper ORCH-065/109).
|
||||
|
||||
## Статус
|
||||
Proposed
|
||||
|
||||
## Контекст
|
||||
|
||||
На ребре `deploy-staging → deploy` детерминированный под-гейт **merge-gate** (`check_branch_mergeable`,
|
||||
ORCH-043) догоняет ветку до текущего `origin/main` (`auto_rebase_onto_main`) и **локально
|
||||
пере-прогоняет весь тест-сюит** (`retest_branch` → `python -m pytest tests/ -q`, бюджет
|
||||
`merge_retest_timeout_s=600`), чтобы поймать семантический конфликт слияния (зелёная по своей базе
|
||||
ветка ломает уехавший `main`).
|
||||
|
||||
**Инцидент (ORCH-109 / PR #129, факты сверены по коду):** tester `PASS` (полный регресс
|
||||
`1899 passed` за `516.70s`), CI Gitea зелёный, PR `mergeable=true`, ветка не-behind — но merge-gate
|
||||
re-test **упал по таймауту** (`re-test timeout after 600s`). На хосте — осиротевшие pytest-процессы
|
||||
(`tests/test_install_lite_script.py`), жившие > 2 суток и грузившие CPU. Цепочка отказа: осиротевшие
|
||||
процессы → CPU-голодание → сюит (516.7s, запас до 600s ≈ 16%) превысил бюджет →
|
||||
`check_branch_mergeable` вернул `(False, "re-test timeout after 600s")` → `_handle_merge_gate`
|
||||
маршрутизировал в `_handle_merge_gate_rollback` (откат `deploy-staging → development` +
|
||||
developer-retry) → каждый из 3 retry падал по тому же CPU-голоданию → alert «Merge-gate still failing
|
||||
after 3 developer retries» → задача застряла, потребовалось ручное вмешательство.
|
||||
|
||||
**Корни (подтверждены по коду):**
|
||||
1. **Утечка осиротевших процессов.** `merge_gate.retest_branch` (`src/merge_gate.py:202`) и
|
||||
`coverage_gate.measure_coverage` (`src/coverage_gate.py:156`) запускают
|
||||
`subprocess.run([... pytest ...], timeout=...)` **без изоляции группы процессов**. При
|
||||
`TimeoutExpired` Python убивает только **прямого потомка** (`proc.kill()`); внуки pytest
|
||||
репарентируются на PID 1 (tini жнёт зомби, но не убивает живых сирот) и живут сутками. Это
|
||||
источник CPU-голодания.
|
||||
2. **Нет толерантности к инфра-таймауту.** `_handle_merge_gate` (`src/stage_engine.py:967`)
|
||||
различает лишь `"merge-lock busy"` (→ defer) от всего остального (→ rollback). Re-test **таймаут**
|
||||
(инфра/ресурс) классифицируется идентично **красному** re-test (дефект кода) → откат на
|
||||
`development` + расход developer-retry, который разработчик не может «починить».
|
||||
3. **Тонкий бюджет.** `merge_retest_timeout_s=600` практически равен фактическому времени сюита
|
||||
(516.7s); запас не растёт с сюитом.
|
||||
4. **Контракт необходимости re-test.** При `premerge_rebase_always=True` (дефолт, ORCH-026 A-2)
|
||||
`check_branch_mergeable` (`src/qg/checks.py:705`) **всегда** ребейзит и пере-тестирует — даже на
|
||||
ветке, уже актуальной к `origin/main` (rebase — no-op). На таком HEAD локальный re-test
|
||||
пере-проверяет ровно тот коммит, что CI + tester + staging уже подтвердили, становясь избыточной
|
||||
единственной точкой ложного отказа. (Заметим: на пути `premerge_rebase_always=False` не-behind
|
||||
ветка re-test **уже пропускает** — `src/qg/checks.py:707-709`.)
|
||||
|
||||
Баг-карточка явно отложила выбор механизма архитектору: «Решение намеренно не описано; нужен
|
||||
отдельный анализ вариантов и контрактов merge-gate» — основание эскалации `escalate: full-cycle`.
|
||||
|
||||
## Решение
|
||||
|
||||
### Сводка
|
||||
|
||||
Бьём по двум корням, одному контракту и одному бюджету — **аддитивно, под kill-switch, never-raise,
|
||||
скоуп self-hosting**, сохраняя исходную защиту merge-gate от семантического конфликта:
|
||||
|
||||
- **D1 (root)** — единый leaf `src/proc_group.py` спавнит оркестратор-порождённые pytest-прогоны в
|
||||
**отдельной группе процессов** (`start_new_session`) и при таймауте/прерывании убивает **всё
|
||||
дерево** (`os.killpg`, каскад SIGTERM→grace→SIGKILL). Используют его `retest_branch` и
|
||||
`measure_coverage`. Контракты возврата сохранены — меняется лишь побочный эффект (нет сирот).
|
||||
- **D2 (классификация)** — чистый предикат `merge_gate.classify_retest_failure(reason)` различает
|
||||
`timeout`/`red`/`lock-busy`/`other` без смены имени/семантики `check_branch_mergeable`.
|
||||
- **D3 (маршрутизация)** — инфра-таймаут → новый `_handle_merge_gate_infra_retry` (ограниченный
|
||||
повтор/defer по образцу `_handle_merge_gate_defer`, **без** отката на `development` и **без**
|
||||
расхода developer-retry); красный re-test → прежний `_handle_merge_gate_rollback`.
|
||||
- **D4 (контракт re-test)** — re-test исполняется **тогда и только тогда**, когда rebase реально
|
||||
сдвинул HEAD (`main` уехал); no-op rebase (ветка уже актуальна) **пропускает** локальный re-test,
|
||||
ровно как уже делает путь `premerge_rebase_always=False` для не-behind ветки.
|
||||
- **D5 (бюджет)** — `merge_retest_timeout_s` 600 → **900** (запас 74% над 516.7s) с валидацией и
|
||||
проверкой сквозного инварианта reaper/lease — **без** изменения `reaper_max_running_s`.
|
||||
- **D6 (наблюдаемость)** — счётчики в `merge_gate`, блок `merge_gate` в `GET /queue`, отдельный
|
||||
инфра-alert, отличимый от код-фейла; координация с ORCH-111 без дубля.
|
||||
|
||||
### D1 — Process-group изоляция + tree-kill спавненных pytest [FR-2 / BR-3 / AC-4]
|
||||
|
||||
Новый **leaf-модуль** `src/proc_group.py` (stdlib-only, never-raise, импортирует только `os`/`signal`/
|
||||
`subprocess`/`time`/`logging` — НЕ другие `src/*`, по образцу чистоты `serial_gate`/`staging_verdict`):
|
||||
|
||||
```python
|
||||
def run_in_process_group(
|
||||
cmd: list[str], *, cwd: str, timeout: float, env: dict | None = None,
|
||||
grace_s: float = 5.0, tree_kill: bool = True,
|
||||
) -> ProcResult: # ProcResult(returncode:int|None, stdout:str, stderr:str, timed_out:bool)
|
||||
```
|
||||
|
||||
Механика (POSIX):
|
||||
1. `proc = subprocess.Popen(cmd, cwd=cwd, env=env, stdout=PIPE, stderr=PIPE, text=True,
|
||||
start_new_session=True)` — `start_new_session=True` делает потомка лидером новой сессии/группы
|
||||
(`setsid`), поэтому все его потомки (xdist-воркеры, подпроцессы тестов) разделяют один `pgid ==
|
||||
proc.pid`.
|
||||
2. `proc.communicate(timeout=timeout)` — ждём в бюджете.
|
||||
3. На `subprocess.TimeoutExpired` — **tree-kill группы** каскадом, зеркало `launcher.stop_process`,
|
||||
но по **группе**: `os.killpg(os.getpgid(pid), SIGTERM)` → poll `grace_s` → если жива
|
||||
`os.killpg(..., SIGKILL)`; затем обязательный `proc.communicate()`/`proc.wait()` (reap), чтобы не
|
||||
оставить зомби. `ProcessLookupError` толерируется на каждом шаге.
|
||||
4. Возвращает `timed_out=True` при таймауте; иначе `returncode`/stdout/stderr.
|
||||
|
||||
**Fallback (never-break):** при `tree_kill=False` ИЛИ платформе без `os.killpg`/`start_new_session`
|
||||
(`not hasattr(os, "killpg")`) — деградирует на прежний `subprocess.run(cmd, ..., timeout=timeout)`
|
||||
(байт-в-байт прежнее поведение, прод-Linux на это не попадает).
|
||||
|
||||
**Интеграция:**
|
||||
- `retest_branch` зовёт `run_in_process_group([... pytest target -q], cwd=wt, timeout=<resolved>,
|
||||
tree_kill=settings.subprocess_tree_kill_enabled, grace_s=settings.agent_kill_grace_seconds)`;
|
||||
маппинг исхода 1:1 прежнему: `timed_out → (False, "re-test timeout after <T>s")`,
|
||||
`returncode==0 → (True, "re-test green")`, иначе `(False, "re-test failed: ...<tail>")`. **Контракт
|
||||
возврата сохранён** (FR-2) — меняется лишь отсутствие утечки.
|
||||
- `measure_coverage` зовёт тот же helper для `pytest --cov`; исход маппится как сейчас (таймаут/ошибка
|
||||
→ `None`, иначе чтение `--cov-report=json`). Грантия tree-kill — сиблинг-источник утечки закрыт
|
||||
(BR-3).
|
||||
|
||||
Грейс берётся из существующего `agent_kill_grace_seconds` (новый ключ не вводим — минимизация
|
||||
конфига); для subprocess-pytest грейс короткий и без необходимости «флашить артефакты».
|
||||
|
||||
Kill-switch `subprocess_tree_kill_enabled` (дефолт `True`). Это **глобальная** гигиена процессов (не
|
||||
гейт-решение), поэтому без `*_repos`-скоупа; на практике оба call-site исполняются лишь для
|
||||
merge_gate/coverage-репо (self-hosting).
|
||||
|
||||
### D2 — Классификация исхода re-test [FR-1 / AC-2 / TC-03]
|
||||
|
||||
Чистый предикат в `src/merge_gate.py` (never-raise), единая точка «магической строки» вместо россыпи
|
||||
`"timeout" in reason`:
|
||||
|
||||
```python
|
||||
def classify_retest_failure(reason: str) -> str:
|
||||
# "timeout" — re-test упёрся в бюджет (инфра/ресурс)
|
||||
# "red" — детерминированно красный re-test (дефект кода)
|
||||
# "lock-busy"— merge-lock busy (контеншн леза)
|
||||
# "other" — rebase conflict / setup error / прочее
|
||||
```
|
||||
|
||||
`check_branch_mergeable` **не меняет** имя/семантику/PASS-FAIL контракт (NFR-1): он уже возвращает
|
||||
различимый reason (`"re-test timeout after <T>s"` vs `"re-test failed after rebase: ..."` vs
|
||||
`"merge-lock busy"` vs `"rebase conflict: ..."`). Меняется только **различение причины FAIL** на
|
||||
слое маршрутизации.
|
||||
|
||||
**Скоуп классификации — строго re-test таймаут.** `auto_rebase_onto_main` имеет собственный
|
||||
`"rebase timeout"` (git завис) — это **другой** инфра-таймаут, но без успешного rebase ветку нельзя
|
||||
догнать до `main` → merge невозможен по существу. Он остаётся на прежнем rollback-пути (вне объёма
|
||||
ORCH-110; консервативно). Документируем границу явно.
|
||||
|
||||
### D3 — Маршрутизация инфра-таймаута: ограниченный повтор + инфра-alert [FR-1 / FR-6 / NFR-5 / AC-1 / AC-9]
|
||||
|
||||
В `_handle_merge_gate` (`src/stage_engine.py`) после ветки `reason == "merge-lock busy"`:
|
||||
|
||||
```python
|
||||
if (settings.merge_retest_infra_tolerance_enabled
|
||||
and merge_gate.classify_retest_failure(reason) == "timeout"):
|
||||
_handle_merge_gate_infra_retry(task_id, current_stage, repo, work_item_id, branch, reason, result)
|
||||
return True
|
||||
_handle_merge_gate_rollback(...) # red re-test / conflict — БЕЗ изменений (BR-6/AC-3)
|
||||
```
|
||||
|
||||
Новый `_handle_merge_gate_infra_retry` — зеркало `_handle_merge_gate_defer` (НЕ rollback):
|
||||
- Перекладывает staging-deployer обратно в очередь с задержкой `merge_retest_infra_retry_delay_s`
|
||||
(`enqueue_job("deployer", ..., available_at_delay_s=...)`); задача **остаётся на `deploy-staging`**.
|
||||
**Нет** `update_task_stage("development")`, **нет** инкремента developer-retry, **нет**
|
||||
`notify_qg_failure`-код-фейл-семантики.
|
||||
- Счётчик повторов — restart-safe, по маркеру в `task_content` (`_merge_infra_retry_count`, зеркало
|
||||
`_merge_defer_count`: `... LIKE '%merge-gate infra-timeout retry%'`). Бюджет
|
||||
`merge_retest_infra_max_retries` (дефолт 2).
|
||||
- **Лиз уже освобождён** `check_branch_mergeable` при таймауте (`src/qg/checks.py:721`) — на повторе
|
||||
гейт переacquire'ит штатно (как defer-путь). Согласовано с инвариантом леза.
|
||||
- **Исчерпание (anti-loop, NFR-5):** `set_issue_blocked` + **отдельный инфра-alert** (Telegram с
|
||||
кликабельным `link_for` + Plane-коммент), формулировка **явно инфраструктурная**, отличная от
|
||||
«developer must fix»: *«Merge-gate re-test infra-timeout сохраняется после N повторов — ресурсная
|
||||
проблема (CPU/осиротевшие процессы), НЕ дефект кода. Нужно ручное вмешательство /
|
||||
проверьте хост.»* Задача **не** уходит в `development`.
|
||||
|
||||
**Ограниченность по времени (NFR-5/AC-9).** Каждый повтор — **отдельный** staging-deployer job со
|
||||
своим agent-timeout и reaper-backstop; ни один прогон не превышает `reaper_max_running_s` сам по себе.
|
||||
Суммарная стоимость худшего случая: `N × (delay + re-test ≤ timeout)` =
|
||||
`2 × (120 + 900) ≈ 34 мин` до инфра-alert — конечно и наблюдаемо. После первого таймаута D1 уже убил
|
||||
сирот, поэтому следующий re-test, как правило, проходит — повтор есть механизм восстановления, а не
|
||||
маскировки.
|
||||
|
||||
**Скоуп.** Отдельный `*_repos` не нужен: путь достижим только когда merge-gate **реален**
|
||||
(`_merge_gate_applies` → self-hosting/`merge_gate_repos`); для прочих репо гейт N/A → PASS → ветка
|
||||
недостижима. Kill-switch off → таймаут идёт прежним rollback-путём (NFR-2, байт-в-байт).
|
||||
|
||||
### D4 — Контракт необходимости локального re-test [FR-4 / BR-5 / BR-6 / AC-6]
|
||||
|
||||
**Выбранный вариант — пропуск re-test при no-op rebase** (ветка уже содержит свежий `origin/main`).
|
||||
ORCH-043 защищает от семантического конфликта, который возникает **только** когда `main` уехал и
|
||||
ветка была реально ребейзнута на новые коммиты. Если rebase HEAD **не сдвинул** (ветка уже актуальна),
|
||||
«уехавшего main» нет → re-test не даёт сигнала сверх уже пройденных `check_ci_green` + tester
|
||||
`check_tests_passed` + staging на **этом же** HEAD → он избыточен.
|
||||
|
||||
Реализация в `check_branch_mergeable` (детерминированно, **offline**, без сетевого CI-запроса):
|
||||
1. `pre = _head_sha(repo, branch)` (rev-parse HEAD в worktree, never-raise → `""`).
|
||||
2. `auto_rebase_onto_main(...)` (как сейчас; конфликт → release lease → FAIL без изменений).
|
||||
3. `post = _head_sha(repo, branch)`.
|
||||
4. Если `merge_retest_skip_when_current_enabled` И `pre` и `post` непусты И `pre == post` (rebase —
|
||||
доказанный no-op) → **пропустить re-test**, вернуть
|
||||
`(True, "branch up-to-date (re-test skipped: rebase no-op, HEAD CI-validated)")`; лиз HELD.
|
||||
5. Иначе (HEAD сдвинут / SHA не определить / флаг off) → `retest_branch` как сейчас.
|
||||
|
||||
**Почему без отдельного сетевого CI-запроса (отличие от варианта C).** HEAD на момент merge-gate при
|
||||
no-op rebase — тот же коммит, что уже прошёл `check_ci_green` (ребро development→review), tester и
|
||||
staging в этом же конвейере. «CI green for this HEAD» гарантирован **транзитивно** пройденным
|
||||
конвейером; повторный сетевой запрос статуса — лишняя зависимость и хрупкость.
|
||||
|
||||
**Fail-safe к контракту (BR-6/AC-3):** при невозможности доказать no-op (любой `pre`/`post` пуст,
|
||||
git-ошибка) — re-test **выполняется** (не пропускается на неопределённости). Когда re-test
|
||||
**исполняется** и красный → прежний rollback. Послабление применяется ТОЛЬКО к доказанному no-op, и
|
||||
только к *пропуску*, не к красному вердикту. Это симметрично уже существующему пропуску re-test на
|
||||
не-behind ветке при `premerge_rebase_always=False` — D4 лишь распространяет ту же оптимизацию на
|
||||
no-op-rebase случай `premerge_rebase_always=True`, приводя оба режима к согласованному правилу:
|
||||
«локальный re-test гоняется лишь когда ветка реально догоняла уехавший `main`».
|
||||
|
||||
Kill-switch `merge_retest_skip_when_current_enabled` (дефолт `True`); off → re-test после rebase
|
||||
всегда (прежнее `premerge_rebase_always` поведение).
|
||||
|
||||
### D5 — Согласование бюджета re-test [FR-3 / BR-4 / AC-5 / NFR-6]
|
||||
|
||||
`merge_retest_timeout_s`: **600 → 900** (запас 74% над наблюдаемыми 516.7s; против прежних ≈16%).
|
||||
Бюджет — теперь **третья** линия защиты (D1 убирает корень CPU-голодания, D3 толерирует редкий
|
||||
остаточный таймаут, D4 резко сокращает частоту re-test), поэтому большой бамп не нужен; умеренные 900
|
||||
дают runway под рост сюита, оставаясь в сквозном инварианте reaper **без** правки
|
||||
`reaper_max_running_s`.
|
||||
|
||||
**Валидация (never-break):** `retest_branch` резолвит бюджет через новый
|
||||
`_resolve_retest_timeout()` — `int(settings.merge_retest_timeout_s)` если `> 0`, иначе дефолт **900**
|
||||
+ WARNING (зеркало `launcher._resolve_timeout`). Малформ/непозитив больше не уходит в `subprocess`.
|
||||
|
||||
**Проверка сквозного инварианта (NFR-6, AC-5).** Re-test/coverage исполняются в монитор-потоке
|
||||
**staging-deployer**-джоба (агент deployer уже завершён; `advance_stage` post-agent), поэтому суммарная
|
||||
работа джоба считается против `reaper_max_running_s`. Worst-case для deploy-staging-джоба:
|
||||
|
||||
| Слагаемое | Бюджет, s |
|
||||
|-----------|-----------|
|
||||
| deployer-агент (deploy-staging, `agent_timeout_seconds`) | 1800 |
|
||||
| security-scan (gitleaks+pip-audit) | ~120 |
|
||||
| rebase (`_REBASE_TIMEOUT`) | 120 |
|
||||
| **re-test (`merge_retest_timeout_s`, новый)** | **900** |
|
||||
| coverage (`coverage_run_timeout_s`) | 900 |
|
||||
| image-freshness rebuild | ~600 |
|
||||
| grace | 20 |
|
||||
| **Σ** | **≈ 4460** |
|
||||
|
||||
`reaper_max_running_s = 5400 > 4460` ✓ (запас ~940s). Инвариант ORCH-065/109
|
||||
`reaper_max_running_s > max(agent_timeout)+grace` (5400 > 3600+20 для developer-джоба) сохранён.
|
||||
`merge_lock_timeout_s = 300` (TTL леза) **меньше** держания леза на время re-test+coverage — но это
|
||||
**существующее** свойство (ORCH-043: лиз держится от гейта до merge, дольше TTL; реклейм безопасен
|
||||
holder-aware и pid-aware, ORCH-065) и **не** ухудшается ORCH-110 (re-test 900 vs прежние 600 — +300s
|
||||
держания, всё ещё покрыто pid-liveness реклеймом, который не трогает живого держателя). Поэтому
|
||||
`reaper_max_running_s` **не меняем**; D5 — только бамп `merge_retest_timeout_s` + валидация.
|
||||
|
||||
> Если оператор поднимет `merge_retest_timeout_s` env'ом выше — обязан соблюсти
|
||||
> `reaper_max_running_s > Σ(deploy-staging gate-work) + grace` (таблица выше); зафиксировано в
|
||||
> `07-infra-requirements.md`.
|
||||
|
||||
### D6 — Наблюдаемость и координация с ORCH-111 [FR-6 / BR-7 / AC-9 / R-4]
|
||||
|
||||
- **Счётчики** in-process в `merge_gate.py` (`_MERGE_GATE_COUNTERS`, образец `_MERGE_VERIFY_COUNTERS`):
|
||||
`retest_timeout_total`, `retest_infra_retry_total`, `retest_infra_exhausted_total`,
|
||||
`retest_skipped_current_total`, `last_infra_timeout_wi`. Снимок `merge_gate_status()` → read-only
|
||||
блок `merge_gate` в `GET /queue` (флаги/счётчики). Только информация, никогда не источник решения.
|
||||
- **Логи** — раздельные строки для infra-retry vs code-fail rollback; INFO на пропуск re-test (D4).
|
||||
- **Telegram/Plane** — инфра-alert на исчерпании (D3), формулировка инфраструктурная (не «developer
|
||||
must fix») с кликабельным номером.
|
||||
- **Координация с ORCH-111 (`proc_blocking`, adr-0041) — без дубля (R-4):** ORCH-110
|
||||
**предотвращает/толерирует** (tree-kill у источника + транзиент-маршрут), ORCH-111 **наблюдает**
|
||||
(sidecar алертит на пережившие осиротевшие тест-процессы). ORCH-110 не вводит детектор процессов;
|
||||
он убирает сирот у источника. Разные слои — нулевое пересечение.
|
||||
|
||||
### Затронутые маркеры / трассировка (ORCH-078)
|
||||
|
||||
Правки касаются блоков с маркерами ORCH-043 (`retest_branch`, `check_branch_mergeable`, lease),
|
||||
ORCH-026 (`premerge_rebase_always`), ORCH-027 (`measure_coverage`), ORCH-065/109 (инвариант
|
||||
reaper/timeout). 3+ маркера в `merge_gate.py` → опираемся на **сводный сквозной**
|
||||
`adr-0042` (этот пакет) + `adr-0006`/`adr-0040`. Инварианты ORCH-043/071/073/093 (лиз holder-aware,
|
||||
INV-4 «никогда push/force-push main», never-raise, fail-open/closed классификации) **не нарушаются**:
|
||||
ORCH-110 не трогает merge-актор/верификатор пути `deploy → done`.
|
||||
|
||||
**Директива developer'у (append-only regression-guard, ORCH-073):** дописать в
|
||||
`merge_gate.MAIN_REGRESSION_MARKERS` строку `("ORCH-110", "classify_retest_failure",
|
||||
"src/merge_gate.py")`, чтобы новый инвариант был защищён от фантомного отката.
|
||||
|
||||
## Альтернативы
|
||||
|
||||
- **Только поднять бюджет (без D1).** Отвергнуто (R-2): не бьёт корень — растущий сюит снова упрётся;
|
||||
сироты продолжат грузить CPU. Бюджет — вторичная мера.
|
||||
- **Tree-kill через `subprocess.run` + ручной `Popen` в каждом модуле (без общего leaf).** Отвергнуто:
|
||||
дублирование хрупкой `killpg`-логики в двух местах → дрейф. Один тестируемый leaf
|
||||
(`proc_group.py`) — single source of truth.
|
||||
- **Вариант C: trust-CI-SHA (сетевой запрос статуса CI HEAD → skip re-test).** Отвергнуто как контракт
|
||||
по умолчанию: вводит сетевую зависимость в детерминированный offline-гейт и ослабляет
|
||||
семантик-конфликт-гард (CI бежал на базе ветки, не на результате слияния). D4 (no-op-rebase skip)
|
||||
даёт ту же выгоду детерминированно и offline.
|
||||
- **Толерировать ЛЮБОЙ FAIL merge-gate (включая красный) как транзиент.** Отвергнуто (BR-6/AC-3,
|
||||
R-1): сломает цель ORCH-043 — красный re-test обязан откатывать. Послабление строго к таймауту.
|
||||
- **Новый зарегистрированный QG / новая стадия для инфра-ретрая.** Отвергнуто (NFR-1): под-гейт —
|
||||
врезка в `advance_stage`; `STAGE_TRANSITIONS`/`QG_CHECKS` неприкосновенны.
|
||||
- **Init-process / убийца сирот на хосте.** Отвергнуто: реинтродукция привилегий/хост-доступа;
|
||||
предотвращение у источника (D1) проще и self-hosting-безопасно; наблюдение оставлено ORCH-111.
|
||||
|
||||
## Последствия
|
||||
|
||||
- **+** Зелёный путь (tester PASS + CI green + актуальная ветка) больше не ловит ложный откат/manual-gate
|
||||
из-за инфра-таймаута (BR-1/AC-1). Сироты не переживают бюджет (BR-3/AC-4). Re-test не гоняется
|
||||
избыточно на актуальной ветке (BR-5/AC-6), что само снижает шанс таймаута.
|
||||
- **+** Красный re-test по-прежнему откатывает (BR-6/AC-3); инварианты конвейера/леза/INV-4
|
||||
неприкосновенны (NFR-1/NFR-3/AC-8).
|
||||
- **−** Инфра-таймаут добавляет до `N×(delay+timeout)` (~34 мин) к худшему случаю перед инфра-alert
|
||||
(вместо мгновенного, но ложного, отката). Митигейшн: D1 устраняет первопричину → повтор обычно
|
||||
проходит первым; бюджет повторов мал (2).
|
||||
- **−** +5 конфиг-ключей + бамп бюджета. Митигейшн: дефолты = желаемое прод-поведение (ORCH-101
|
||||
канон), каждый под kill-switch.
|
||||
- **−** D4 пропускает re-test на no-op rebase: теоретический пропуск семантик-конфликта, не
|
||||
поймать который CI/tester/staging уже не смогли бы. Митигейшн: пропуск **только** при доказанном
|
||||
no-op (нет «уехавшего main» → нет нового класса конфликта); на любой неопределённости — re-test
|
||||
бежит (fail-safe).
|
||||
- **Откат:** `subprocess_tree_kill_enabled=False` (→ прежний `subprocess.run`),
|
||||
`merge_retest_infra_tolerance_enabled=False` (→ таймаут=rollback),
|
||||
`merge_retest_skip_when_current_enabled=False` (→ всегда re-test после rebase),
|
||||
`merge_retest_timeout_s=600` (→ прежний бюджет). Каждый флаг независим; полный откат = вернуть 4
|
||||
значения → байт-в-байт до-ORCH-110.
|
||||
|
||||
## Ссылки
|
||||
- BRD: `docs/work-items/ORCH-110/01-brd.md`
|
||||
- TRZ: `docs/work-items/ORCH-110/02-trz.md`
|
||||
- Acceptance: `docs/work-items/ORCH-110/03-acceptance-criteria.md`
|
||||
- Test-plan: `docs/work-items/ORCH-110/04-test-plan.yaml`
|
||||
- Инфра: `docs/work-items/ORCH-110/07-infra-requirements.md`
|
||||
- Риски: `docs/work-items/ORCH-110/10-tech-risks.md`
|
||||
- Сквозной ADR: `docs/architecture/adr/adr-0042-merge-gate-retest-infra-tolerance-and-tree-kill.md`
|
||||
- Сверено по коду: `src/merge_gate.py` (`retest_branch`, `auto_rebase_onto_main`,
|
||||
`MAIN_REGRESSION_MARKERS`), `src/coverage_gate.py` (`measure_coverage`),
|
||||
`src/qg/checks.py` (`check_branch_mergeable`, `_merge_gate_applies`),
|
||||
`src/stage_engine.py` (`_handle_merge_gate`, `_handle_merge_gate_defer`,
|
||||
`_handle_merge_gate_rollback`, `_merge_defer_count`),
|
||||
`src/config.py` (`merge_retest_timeout_s`, `reaper_max_running_s`, `agent_kill_grace_seconds`),
|
||||
`src/agents/launcher.py` (`stop_process` — образец каскада),
|
||||
`src/job_reaper.py` (`reaper_max_running_s` backstop)
|
||||
- Смежные: `adr-0006` (merge-gate ORCH-043), `adr-0040` (timeout-бюджеты ORCH-109),
|
||||
`adr-0029` (coverage-gate ORCH-027), `adr-0011` (reaper/lease ORCH-065),
|
||||
`adr-0041` (ORCH-111 `proc_blocking` — комплементарный наблюдатель)
|
||||
</content>
|
||||
</invoke>
|
||||
@@ -1,68 +0,0 @@
|
||||
---
|
||||
work_item: ORCH-110
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-15
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 07 — Инфра-требования: ORCH-110 — merge-gate re-test infra-tolerance + tree-kill
|
||||
|
||||
Work Item: **ORCH-110** · Repo: **orchestrator** · Стадия: architecture
|
||||
|
||||
> When-applicable. Топология/контейнеры/порты/CI **не меняются**; файл фиксирует новые env-ключи,
|
||||
> сквозной инвариант времени и аудит self-hosting безопасности.
|
||||
|
||||
## I-1. Топология / окружения
|
||||
**N/A.** Новых контейнеров/портов/томов/сетей нет. Изменения — только в коде приложения
|
||||
(`src/proc_group.py` новый leaf; правки `merge_gate`/`coverage_gate`/`qg.checks`/`stage_engine`/
|
||||
`config`) и в значениях конфигурации. Прод `orchestrator` (8500) / staging (8501) — без изменений
|
||||
топологии.
|
||||
|
||||
**Требование среды:** оркестратор должен исполняться под POSIX (Linux-контейнер, как сейчас) — D1
|
||||
использует `os.setsid`/`os.killpg`/`os.getpgid`. На не-POSIX helper деградирует на прежний
|
||||
`subprocess.run` (never-break), но боевая среда — Linux.
|
||||
|
||||
## I-2. Переменные окружения / секреты
|
||||
Секретов нет. Новые ключи (`src/config.py` + `.env.example`); **дефолт каждого = желаемому
|
||||
прод-поведению** (ORCH-101 канон: пустой `.env` воспроизводит целевое поведение):
|
||||
|
||||
| Ключ (config) | Env | Дефолт | Назначение |
|
||||
|---------------|-----|--------|------------|
|
||||
| `subprocess_tree_kill_enabled` | `ORCH_SUBPROCESS_TREE_KILL_ENABLED` | `True` | D1 kill-switch; off → прежний `subprocess.run(timeout=)` |
|
||||
| `merge_retest_infra_tolerance_enabled` | `ORCH_MERGE_RETEST_INFRA_TOLERANCE_ENABLED` | `True` | D3 kill-switch; off → таймаут = прежний rollback |
|
||||
| `merge_retest_infra_max_retries` | `ORCH_MERGE_RETEST_INFRA_MAX_RETRIES` | `2` | D3 бюджет повторов инфра-таймаута |
|
||||
| `merge_retest_infra_retry_delay_s` | `ORCH_MERGE_RETEST_INFRA_RETRY_DELAY_S` | `120` | D3 задержка перед повтором staging-deployer |
|
||||
| `merge_retest_skip_when_current_enabled` | `ORCH_MERGE_RETEST_SKIP_WHEN_CURRENT_ENABLED` | `True` | D4 kill-switch; off → re-test после rebase всегда |
|
||||
| `merge_retest_timeout_s` (изменение значения) | `ORCH_MERGE_RETEST_TIMEOUT_S` | `600 → 900` | D5 бюджет re-test (запас 74% над 516.7s) |
|
||||
|
||||
Реюз существующего `agent_kill_grace_seconds` (грейс tree-kill каскада) — новый ключ не вводится.
|
||||
|
||||
## I-3. Деплой / рестарт
|
||||
- **Self-hosting инвариант соблюдён:** изменение НЕ рестартит прод-контейнер, НЕ пушит/force-push
|
||||
`main` (INV-4), НЕ трогает detached-деплой. Выкат — штатным конвейером через **обязательный
|
||||
staging-гейт (8501)**.
|
||||
- Дефолты вступают в силу при следующей сборке образа; ручных env-шагов на хосте не требуется
|
||||
(дефолты = целевое поведение). Откат — выставить 4 kill-switch в `False` и
|
||||
`ORCH_MERGE_RETEST_TIMEOUT_S=600`.
|
||||
|
||||
## I-4. CI/CD
|
||||
**Без изменений** `.gitea/workflows/`. Новые pytest-тесты (`tests/test_orch110_*.py` по
|
||||
`04-test-plan.yaml`) исполняются существующим шагом `pytest tests/ -q`. Новых зависимостей нет
|
||||
(`proc_group` — stdlib-only; `pytest-cov` уже в образе по ORCH-027).
|
||||
|
||||
## I-5. Сквозной инвариант времени (NFR-6 — операционно критично)
|
||||
Re-test/coverage исполняются в монитор-потоке staging-deployer-джоба, поэтому их суммарная работа
|
||||
считается против `reaper_max_running_s`. Проверенный worst-case deploy-staging-джоба:
|
||||
|
||||
```
|
||||
deployer-агент 1800 + security ~120 + rebase 120 + re-test 900 + coverage 900 + image ~600 + grace 20
|
||||
≈ 4460 s < reaper_max_running_s = 5400 (запас ~940 s) ✓
|
||||
```
|
||||
|
||||
`reaper_max_running_s` **не меняется** (D5). При ручном повышении `ORCH_MERGE_RETEST_TIMEOUT_S` env'ом
|
||||
оператор ОБЯЗАН сохранить неравенство `reaper_max_running_s > Σ(gate-work) + grace`, иначе reaper
|
||||
(ORCH-065) может реапнуть легитимный мид-гейт джоб; при необходимости поднять
|
||||
`ORCH_REAPER_MAX_RUNNING_S` в локстеп (паттерн ORCH-109).
|
||||
</content>
|
||||
@@ -1,40 +0,0 @@
|
||||
---
|
||||
work_item: ORCH-110
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-15
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 10 — Технические риски: ORCH-110 — merge-gate re-test infra-tolerance + tree-kill
|
||||
|
||||
Work Item: **ORCH-110** · Repo: **orchestrator** · Стадия: architecture
|
||||
|
||||
> Информационный (гейтом не парсится). Риски реализации и их митигейшн.
|
||||
|
||||
## Реестр рисков
|
||||
|
||||
| ID | Риск | Вер. | Влия. | Митигейшн |
|
||||
|----|------|------|-------|-----------|
|
||||
| TR-1 | **Над-толерантность маскирует реально зависший тест ветки** как «инфра» (R-1 BRD): бесконечный/долгий тест ветки → таймаут → толерируется → задача не падает на дефекте | Низ. | Выс. | Строгая ограниченность D3 (`merge_retest_infra_max_retries=2`, суммарное время ≤ ~34 мин) → исчерпание = **инфра-alert** (не молчание); красно-откат-путь сохранён (BR-6); D4 не пропускает re-test когда HEAD реально сдвинут. Остаточно: «зависший тест ветки» эскалируется как инфра, а не код — приемлемо (оператор увидит alert и разберёт; тест-зависание чинит developer вручную) |
|
||||
| TR-2 | **`os.killpg`/`start_new_session` платформенная зависимость** (не-POSIX / урезанный контейнер) | Низ. | Сред. | Гард `hasattr(os, "killpg")` + kill-switch `subprocess_tree_kill_enabled` → fallback на прежний `subprocess.run` (never-break); бой — Linux |
|
||||
| TR-3 | **Tree-kill убьёт не те процессы** (неверный pgid → SIGKILL чужой группе) | Низ. | Выс. | `pgid == proc.pid` гарантирован `start_new_session` для **нашего** потомка; killpg только по `os.getpgid(proc.pid)` нашего Popen; `ProcessLookupError` толерируется; никогда не киляем pgid 0/own |
|
||||
| TR-4 | **Рассинхрон сквозных таймаутов** при бампе бюджета (R-3 BRD): re-test 900 + coverage 900 + агент → > reaper_max_running_s | Низ. | Сред. | Проверенная таблица worst-case (≈4460 < 5400, 07-infra I-5); `reaper_max_running_s` не меняется; валидация непозитивного бюджета → дефолт+WARNING; операторская заметка про ручной бамп |
|
||||
| TR-5 | **Магическая строка классификации** (`"timeout" in reason`) хрупка к смене текста reason | Низ. | Сред. | Единый предикат `classify_retest_failure` (одна тестируемая точка, TC-03) вместо россыпи; reason — стабильный контракт ORCH-043 (как `"merge-lock busy"`) |
|
||||
| TR-6 | **D4 пропустит re-test и пропустит семантический конфликт** | Оч.низ. | Сред. | Пропуск ТОЛЬКО при доказанном no-op rebase (нет «уехавшего main» → нет нового класса конфликта); на неопределённости (`pre`/`post` пуст / git-ошибка) re-test бежит (fail-safe); HEAD уже прошёл CI+tester+staging транзитивно |
|
||||
| TR-7 | **Дубль/конфликт с ORCH-111** (`proc_blocking`) | Оч.низ. | Низ. | Чёткое разделение слоёв (D6): ORCH-110 предотвращает/толерирует у источника, ORCH-111 наблюдает; ORCH-110 не вводит детектор процессов |
|
||||
| TR-8 | **Регресс при выключенном флаге** (нарушен байт-в-байт fallback) | Низ. | Выс. | TC-07 проверяет kill-switch off = прежнее поведение и enduro no-op; каждый из 4 флагов независим и off → старый путь |
|
||||
| TR-9 | **Гонка leдза на инфра-ретрае** (повторный acquire, держание дольше TTL) | Низ. | Сред. | Существующее свойство ORCH-043 (лиз держится дольше TTL; реклейм holder-aware + pid-aware, ORCH-065 не трогает живого держателя); таймаут уже освободил лиз перед ретраем — переacquire штатный |
|
||||
|
||||
## Сводный вывод
|
||||
Доминирующий класс — **над-толерантность vs анти-регресс защиты merge-gate** (TR-1/TR-6): закрыт
|
||||
строгой ограниченностью + сохранением красно-откат-пути + пропуском re-test только на доказанном
|
||||
no-op. Остальные риски — стандартного класса (платформенная зависимость, сквозные таймауты,
|
||||
kill-switch регресс), митигированы существующими паттернами кодовой базы (never-raise, fail-safe,
|
||||
дефолт=бой, валидация). Изменение **аддитивно** и **полностью обратимо** флагами; новой стадии/QG/
|
||||
схемы БД нет. **Эскалация `arch:major-change` не требуется**; возврат в анализ не требуется. Остаточный
|
||||
риск для прод-конвейера (self-hosting) — **низкий**: critical-path не трогает `main`/прод-рестарт/
|
||||
detached-деплой, а наихудший новый сценарий (инфра-alert после ретраев) строго лучше текущего (ложный
|
||||
manual-gate).
|
||||
</content>
|
||||
@@ -1,112 +0,0 @@
|
||||
---
|
||||
verdict: APPROVED # APPROVED | REQUEST_CHANGES — строго одно из двух, UPPERCASE
|
||||
work_item: ORCH-110
|
||||
stage: review
|
||||
author_agent: reviewer
|
||||
status: approved
|
||||
created_at: 2026-06-15
|
||||
model_used: claude-opus-4-8
|
||||
type: review
|
||||
work_item_id: ORCH-110
|
||||
version: 1
|
||||
---
|
||||
|
||||
# Review ORCH-110
|
||||
|
||||
> Машинный вердикт читается ТОЛЬКО из `verdict:` во frontmatter. `APPROVED` → дальше по конвейеру.
|
||||
|
||||
## Summary
|
||||
Багфикс инцидента ORCH-109/PR#129 (bug → escalate full-cycle): локальный re-test merge-gate падал по
|
||||
**таймауту** при зелёных CI+tester+staging → ложно маршрутизировался как код-фейл (откат
|
||||
`deploy-staging → development` + расход developer-retry) → manual-gate. Реализация **полностью
|
||||
соответствует ТЗ (FR-1…FR-6, AC-1…AC-10) и ADR-001 (D1…D6)**, аддитивна, под 5 независимыми
|
||||
kill-switch, never-raise, скоуп self-hosting. Инварианты конвейера и self-hosting — байт-в-байт целы;
|
||||
документация (golden source) обновлена в том же PR; багфикс несёт регресс-тест-фиксатор (ORCH-019 BR-4 /
|
||||
AC-10). **Вердикт: APPROVED** — P0/P1/P2 findings нет.
|
||||
|
||||
> Замечание по ревью-процессу (не finding): локальный ref `main` в worktree устарел (6a04d0a);
|
||||
> истинная цель мержа — `origin/main` (b6c9d27, уже содержит ORCH-111). Диф против `origin/main`
|
||||
> добавляет ровно 4 ORCH-110-коммита (fix + analysis + architect + business-request); посторонних
|
||||
> изменений нет. Ревью проведено против `origin/main`.
|
||||
|
||||
## Оси проверки
|
||||
|
||||
### 1. Соответствие ТЗ (02-trz / 03-acceptance-criteria) — PASS
|
||||
- **FR-1/AC-1/AC-2** (толерантность к инфра-таймауту, отдельная классификация): `merge_gate.classify_retest_failure`
|
||||
(`timeout`/`red`/`lock-busy`/`other`) + `stage_engine._handle_merge_gate_infra_retry` (зеркало
|
||||
`_handle_merge_gate_defer`: задача остаётся на `deploy-staging`, БЕЗ отката/developer-retry). ✓
|
||||
- **FR-2/AC-4** (tree-kill): новый stdlib-only leaf `src/proc_group.py::run_in_process_group`
|
||||
(`start_new_session` → `os.killpg` SIGTERM→grace→SIGKILL), интегрирован в `retest_branch` и
|
||||
`measure_coverage`; реальный grandchild-тест TC-01 доказывает «сирота не переживает таймаут». ✓
|
||||
- **FR-3/AC-5** (бюджет): `merge_retest_timeout_s` 600→900 + `_resolve_retest_timeout` (малформ/непозитив
|
||||
→ дефолт 900 + WARNING); сквозной инвариант `reaper_max_running_s (5400) > Σ≈4460 + grace` проверен
|
||||
тестом TC-08 **без** правки `reaper_max_running_s`. ✓
|
||||
- **FR-4/AC-6/AC-3 (BR-6)** (контракт необходимости re-test): пропуск re-test при доказанном no-op rebase
|
||||
(`head_sha` до==после, обе непусты) в `check_branch_mergeable`; fail-safe — на любой неопределённости
|
||||
re-test выполняется; красный re-test/конфликт по-прежнему откатывают (тест
|
||||
`test_tc10_real_catchup_red_retest_still_rolls_back`). ✓
|
||||
- **FR-5/AC-7/AC-8** (kill-switch + нулевая регрессия + инварианты): 5 независимых флагов (дефолт = боевое);
|
||||
`STAGE_TRANSITIONS`/реестр `QG_CHECKS`/семантика и имя `check_branch_mergeable`/machine-verdict/схема БД —
|
||||
статически подтверждено «не тронуты»; INV-4 (никогда push/force-push `main`) соблюдён. ✓
|
||||
- **FR-6/AC-9** (наблюдаемость + anti-loop): счётчики `_MERGE_GATE_COUNTERS` + read-only блок `merge_gate`
|
||||
в `GET /queue`; ограниченность по попыткам (`merge_retest_infra_max_retries=2`, restart-safe счётчик по
|
||||
маркеру в `task_content`) и времени; исчерпание → один инфра-alert (явно «НЕ дефект кода»). ✓
|
||||
- **AC-10** (регресс red-before/green-after): `tests/test_orch110_false_rollback_regression.py` гоняет
|
||||
РЕАЛЬНЫЙ `check_branch_mergeable` через `advance_stage`; на до-ORCH-110-коде оба сценария упали бы
|
||||
(Scenario A гоняла бы обречённый re-test, Scenario B откатилась бы на `development`). ✓
|
||||
|
||||
### 2. Соответствие ADR + трассировка маркеров (ORCH-078) — PASS
|
||||
- D1…D6 реализованы как зафиксировано в `06-adr/ADR-001` + сквозном `adr-0042`. ✓
|
||||
- Директива developer'у выполнена: `("ORCH-110", "classify_retest_failure", "src/merge_gate.py")`
|
||||
дописан в `MAIN_REGRESSION_MARKERS` (append-only, существующие маркеры целы). ✓
|
||||
- Затронутые маркеры ORCH-043/071/073/093/027/065/109 сверены, зафиксированные инварианты **не сломаны**:
|
||||
лиз held-on-success / released-on-failure (контракт `check_branch_mergeable` сохранён, skip-путь
|
||||
возвращает `(True, …)` с HELD lease), anti-phantom pre-merge rebase не тронут, coverage fail-open `None`
|
||||
сохранён, reaper-инвариант проверен численно.
|
||||
|
||||
### 3. Качество кода — PASS
|
||||
- never-raise по всему пути (leaf `proc_group`, классификатор, врезка `_handle_merge_gate_infra_retry`
|
||||
обёрнута в `_handle_merge_gate_infra_retry`/`_merge_gate_infra_retry_impl` с проглатыванием исключения).
|
||||
- Docstrings на всех публичных функциях; чёткое разделение чистого предиката и I/O.
|
||||
- Тесты содержательные (реальный kill дерева процессов, реальная маршрутизация через `advance_stage`,
|
||||
валидация бюджета, kill-switch-параметризация, наблюдаемость). Прогон зелёный:
|
||||
141 (ORCH-110 + изменённые merge/coverage/config) + 575 (широкая зона stage_engine/qg/merge/deploy/reaper)
|
||||
+ 37 (docs-инварианты, ORCH-011 + host-hardcodes) — все PASS.
|
||||
- **Багфикс-трек (ORCH-019 BR-4):** исправление несёт тест-фиксатор дефекта (AC-10) — требование выполнено.
|
||||
|
||||
### 4. Документация — PASS (приоритетная проверка)
|
||||
`src/` изменён → документация обновлена в **том же PR**:
|
||||
- `CLAUDE.md` — добавлена секция ORCH-110 (паспорт). ✓
|
||||
- `CHANGELOG.md` — запись `[Unreleased]` с разбивкой D1…D6 + 5 ключей. ✓
|
||||
- `.env.example` — 5 новых ключей + бамп `ORCH_MERGE_RETEST_TIMEOUT_S=900` с врезкой про сквозной
|
||||
инвариант. ✓
|
||||
- `docs/architecture/README.md` — поведение merge-gate re-test (D1…D6) + ссылки на ADR. ✓
|
||||
- `docs/overview/tech-pipeline.md` — **витрина системы (ORCH-011)** обновлена: исключение «инфра-таймаут =
|
||||
транзиент, не откат»; `tests/test_system_docs.py` зелёный. ✓
|
||||
- Глобальный сквозной ADR `docs/architecture/adr/adr-0042-…md` + work-item `06-adr/ADR-001-…md` заведены. ✓
|
||||
|
||||
## Findings
|
||||
|
||||
### P0 — Blocker
|
||||
- (нет)
|
||||
|
||||
### P1 — Must fix
|
||||
- (нет)
|
||||
|
||||
### P2 — Should fix
|
||||
- (нет)
|
||||
|
||||
### P3 — Nice-to-have (не блокирует)
|
||||
- В `check_branch_mergeable` (`src/qg/checks.py:750`) причина FAIL раскладывается локальной подстрокой
|
||||
`"timeout" in t_reason`, тогда как введён точный предикат `merge_gate.classify_retest_failure`. Поведение
|
||||
безопасно (авторитетная маршрутизация в `stage_engine._handle_merge_gate` использует классификатор; редкий
|
||||
`"re-test error: …"` со словом «timeout» в детали безопасно уйдёт в `other`→rollback), но единая точка
|
||||
классификации читалась бы чище. Косметика, на усмотрение.
|
||||
|
||||
## Документация
|
||||
**Обновлена полностью в том же PR** (golden source наравне с кодом): `CLAUDE.md`, `CHANGELOG.md`,
|
||||
`.env.example`, `docs/architecture/README.md`, витрина `docs/overview/tech-pipeline.md` (ORCH-011),
|
||||
глобальный ADR `adr-0042`, work-item ADR `06-adr/ADR-001`. Машинно-проверяемые факты витрины и
|
||||
запрет хост-хардкодов — зелёные (`tests/test_system_docs.py`, `tests/test_no_host_hardcodes.py`).
|
||||
Пунктов `README.md` «Известные ограничения», требующих снятия этим PR, не затронуто. Расхождений
|
||||
документации с кодом не выявлено.
|
||||
@@ -1,91 +0,0 @@
|
||||
---
|
||||
result: PASS # PASS | FAIL — машинный вердикт, UPPERCASE
|
||||
work_item: ORCH-110
|
||||
stage: testing
|
||||
author_agent: tester
|
||||
status: pass
|
||||
created_at: 2026-06-15
|
||||
model_used: claude-opus-4-8
|
||||
type: test-report
|
||||
work_item_id: ORCH-110
|
||||
---
|
||||
|
||||
# Test Report — ORCH-110
|
||||
|
||||
Багфикс инцидента ORCH-109/PR#129: локальный re-test merge-gate падал по **таймауту** (инфра/CPU-
|
||||
голодание от осиротевших pytest-процессов) при зелёных CI+tester+staging → ложно маршрутизировался
|
||||
как код-фейл (откат `deploy-staging → development` + расход developer-retry) → manual-gate. Прогон
|
||||
регресса подтверждает: инфра-таймаут толерируется (D1…D6), tree-kill устраняет утечку, красный re-test
|
||||
по-прежнему откатывает.
|
||||
|
||||
## Окружение
|
||||
- Python: 3.12.13
|
||||
- pytest: 8.3.3 (plugins: cov-5.0.0, anyio-4.13.0, asyncio-0.23.8)
|
||||
- Worktree: `/repos/_wt/orchestrator/feature_ORCH-110-bug-merge-gate-local-re-test-t`
|
||||
- Branch: `feature/ORCH-110-bug-merge-gate-local-re-test-t` (HEAD `5391c8b`; fix-коммит `b80edf3`)
|
||||
- Дата: 2026-06-15
|
||||
|
||||
## Smoke API (read-only)
|
||||
| Эндпоинт | Результат |
|
||||
|----------|-----------|
|
||||
| `GET /health` | `{"status":"ok","service":"orchestrator"}` — OK |
|
||||
| `GET /status` | OK; задача ORCH-110 (id=100) на стадии `testing`, `agent_running=null` |
|
||||
| `GET /queue` | OK; блок `serial_gate` присутствует ✓ (наряду с `auto_labels` ✓); полезная нагрузка не деградировала |
|
||||
|
||||
> Прим.: блок `merge_gate` (новая наблюдаемость ORCH-110, FR-6) в проде (8500) ещё отсутствует — это
|
||||
> ожидаемо, фича не задеплоена (задача на стадии `testing`). В коде ветки блок присутствует и покрыт
|
||||
> тестом TC-12 (`test_tc12_queue_endpoint_includes_merge_gate_block`). Регресса смока нет.
|
||||
|
||||
## Результаты (покрытие ТЗ: каждый TC из 04-test-plan.yaml ↔ 03-acceptance-criteria.md)
|
||||
|
||||
| TC ID | Описание | AC | Модуль | Результат |
|
||||
|-------|----------|----|--------|-----------|
|
||||
| TC-01 | `retest_branch`: таймаут → `(False, 're-test timeout after <T>s')` + tree-kill всего дерева (внуки не переживают) | AC-4 (BR-3) | test_orch110_retest_lifecycle.py | PASS |
|
||||
| TC-02 | `coverage_gate.measure_coverage`: таймаут → tree-kill дерева; возврат `None` сохранён | AC-4 (BR-3) | test_orch110_retest_lifecycle.py | PASS |
|
||||
| TC-03 | `classify_retest_failure`: `timeout` различим от `red`/`lock-busy`/`other` (имя/семантика `check_*` целы) | AC-2 | test_orch110_merge_gate_classify.py | PASS |
|
||||
| TC-04 | Маршрутизация: инфра-таймаут → defer/повтор/инфра-alert (НЕ `_handle_merge_gate_rollback`, без developer-retry) | AC-1 | test_orch110_merge_gate_routing.py | PASS |
|
||||
| TC-05 | Анти-над-толерантность: красный/конфликт re-test → откат на `development` + developer-retry + release lease (BR-6) | AC-3 | test_orch110_merge_gate_routing.py | PASS |
|
||||
| TC-06 | Anti-loop: повторы лимитированы по попыткам/времени; исчерпание → один инфра-alert | AC-9 | test_orch110_merge_gate_routing.py | PASS |
|
||||
| TC-07 | Kill-switch off → байт-в-байт прежнее (таймаут → rollback); not-self repo (enduro) → no-op | AC-7 | test_orch110_killswitch.py | PASS |
|
||||
| TC-08 | Бюджет: malformed/непозитив → дефолт 900 + WARNING; `reaper_max_running_s (5400) > Σ+grace`; `reaper_max_running_s` не тронут | AC-5 | test_orch110_budget_invariants.py | PASS |
|
||||
| TC-09 | never-raise: ошибка транзиент-пути → безопасный дефолт + WARNING; исключение не уходит в `advance_stage` | AC-8 | test_orch110_merge_gate_routing.py | PASS |
|
||||
| TC-10 | РЕГРЕСС инцидента: no-op rebase → skip+advance; catch-up timeout → infra-retry (НЕ rollback); красный → rollback (red-before/green-after) | AC-10 | test_orch110_false_rollback_regression.py | PASS |
|
||||
| TC-11 | Контракт необходимости re-test: no-op rebase → skip (lease HELD); HEAD сдвинулся / неопределённость SHA → re-test (fail-safe) | AC-6 | test_orch110_retest_contract.py | PASS |
|
||||
| TC-12 | Наблюдаемость: счётчики + блок `merge_gate` в `GET /queue`; инфра-alert кликабелен и отличим от код-фейла; без дубля ORCH-111 | AC-9 (FR-6) | test_orch110_observability.py | PASS |
|
||||
|
||||
Все 12 TC выполнены и сопоставлены с критериями приёмки AC-1…AC-10. FAIL/непокрытых TC нет.
|
||||
|
||||
## Вывод pytest
|
||||
|
||||
### ORCH-110-специфичные модули (verbose)
|
||||
```
|
||||
collected 55 items
|
||||
tests/test_orch110_retest_lifecycle.py ........ (TC-01, TC-02)
|
||||
tests/test_orch110_merge_gate_classify.py ........ (TC-03)
|
||||
tests/test_orch110_merge_gate_routing.py ........ (TC-04, TC-05, TC-06, TC-09)
|
||||
tests/test_orch110_killswitch.py .... (TC-07)
|
||||
tests/test_orch110_budget_invariants.py ......... (TC-08)
|
||||
tests/test_orch110_false_rollback_regression.py ... (TC-10)
|
||||
tests/test_orch110_retest_contract.py ...... (TC-11)
|
||||
tests/test_orch110_observability.py ..... (TC-12)
|
||||
======================== 55 passed, 1 warning in 15.17s ========================
|
||||
```
|
||||
|
||||
### Полный регресс
|
||||
```
|
||||
$ cd /repos/_wt/orchestrator/feature_ORCH-110-bug-merge-gate-local-re-test-t && python3 -m pytest tests/ -q --tb=short
|
||||
........................................................................ [100%]
|
||||
1988 passed, 1 warning in 346.71s (0:05:46)
|
||||
```
|
||||
(Единственное warning — `PydanticDeprecatedSince20` в `src/config.py:8`, предсуществующее, не связано
|
||||
с ORCH-110.)
|
||||
|
||||
## Итог
|
||||
PASS
|
||||
|
||||
- Полный регресс `pytest tests/` — **1988 passed** (0 failed).
|
||||
- Все 12 TC из `04-test-plan.yaml` выполнены, сопоставлены с `03-acceptance-criteria.md` (AC-1…AC-10) — **PASS**.
|
||||
- Smoke API read-only (`/health`, `/status`, `/queue`) — OK; блоки `serial_gate` и `auto_labels` присутствуют.
|
||||
- Review-вердикт — `APPROVED`.
|
||||
|
||||
**Вердикт: `result: PASS`** → задача переходит на `deploy-staging`.
|
||||
@@ -1,12 +0,0 @@
|
||||
---
|
||||
deploy_status: SUCCESS
|
||||
work_item: ORCH-110
|
||||
hook_exit_code: 0
|
||||
deployed_by: deploy-finalizer
|
||||
---
|
||||
|
||||
# Deploy log — ORCH-036 executable self-deploy
|
||||
|
||||
Прод-деплой завершён хост-хуком с exit-code `0` -> `deploy_status: SUCCESS`.
|
||||
|
||||
Вердикт зафиксирован детерминированным finalizer'ом (Фаза C), не LLM.
|
||||
@@ -1,32 +0,0 @@
|
||||
---
|
||||
staging_status: SUCCESS
|
||||
work_item: ORCH-110
|
||||
stage: deploy-staging
|
||||
author_agent: deployer
|
||||
status: success
|
||||
created_at: 2026-06-15
|
||||
model_used: claude-opus-4-8
|
||||
timestamp: 2026-06-15T07:40:28Z
|
||||
base_url: http://localhost:8501
|
||||
---
|
||||
|
||||
# Staging Gate Log
|
||||
|
||||
Staging test suite completed against the live staging environment (port 8501).
|
||||
|
||||
**Execution:** canonical run INSIDE `orchestrator-staging` via the Docker Engine API
|
||||
exec endpoint (ORCH-048/ADR-001):
|
||||
`python3 /repos/orchestrator/scripts/staging_check.py --base-url http://localhost:8501 --mode stub`.
|
||||
|
||||
**Result:** 8/10 checks PASS, exit code **0** → advance.
|
||||
|
||||
- REAL checks (A1–A3 SMOKE, B4–B6 ACCESS, C7–C8 E2E): all green.
|
||||
- B6 registry-isolation: `sandbox=YES, prod-ET=NO, prod-ORCH=NO` (instance built registry
|
||||
from its own `.env.staging` process-env — correct canonical-run behaviour).
|
||||
- SANDBOX_INFRA checks (C9a/C9b): FAIL, **waived** under ORCH-061 infra-tolerance
|
||||
(known sandbox-infra; depend on SANDBOX bot accounts being project members, not on the
|
||||
pipeline). All REAL checks green → exit 0.
|
||||
|
||||
INFRA-WAIVED: C9a Branch appears in orchestrator-sandbox, C9b Analyst job enqueued in staging queue (known sandbox-infra; real checks green)
|
||||
|
||||
VERDICT: SUCCESS (exit 0) — infra-waived: ['C9a Branch appears in orchestrator-sandbox', 'C9b Analyst job enqueued in staging queue'] are known sandbox-infra checks; all real checks green.
|
||||
@@ -1,7 +0,0 @@
|
||||
# Business Request: BUG: watchdog must alert on long-lived pytest/child processes that block the pipeline
|
||||
|
||||
Work Item ID: ORCH-111
|
||||
|
||||
## Description
|
||||
|
||||
TBD
|
||||
@@ -1,145 +0,0 @@
|
||||
---
|
||||
work_item: ORCH-111
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-15
|
||||
model_used: claude-opus-4-8
|
||||
escalate: full-cycle
|
||||
---
|
||||
|
||||
# 01 — BRD (бизнес-требования): ORCH-111 — watchdog должен алертить на долго живущие pytest/дочерние процессы, блокирующие конвейер
|
||||
|
||||
Work Item: **ORCH-111** · Repo: **orchestrator** · Стадия: analysis · Трек: **Bug → эскалация в полный цикл**
|
||||
|
||||
> **Эскалация (`escalate: full-cycle`).** Задача пришла как баг (`BUG:` в заголовке), но **не**
|
||||
> является дешёвым багфиксом: закрытие пробела требует **архитектурного решения** — у sidecar-watchdog
|
||||
> сейчас **нет видимости процессов хоста вообще** (`network_mode: host`, но без `pid: host` и без
|
||||
> bind-mount `/proc`). Выбор механизма наблюдения (расширение привилегий sidecar vs обогащение
|
||||
> контракта `/metrics` орком) — это развилка с последствиями для безопасности и стабильного контракта
|
||||
> `/metrics` (schema_version, ORCH-099). Поэтому пакет — **полный** (а не lite-bug), и задача
|
||||
> помечена `escalate: full-cycle`: нужен прогон стадии `architecture` + ADR (механизм видимости,
|
||||
> эвристика детекции, привилегии/безопасность). Оператор снимает багфикс-трек эндпоинтом
|
||||
> `POST /bug-fast-track/escalate?work_item=ORCH-111` (ADR-001 D5, ORCH-019).
|
||||
|
||||
## 1. Бизнес-контекст и проблема
|
||||
|
||||
### 1.1 Симптом (установленный факт)
|
||||
На хосте прода были обнаружены старые зависшие процессы `python3 -m pytest tests/test_install_lite_script.py`,
|
||||
которые жили **более 2 суток**, грузили CPU и мешали локальному merge-gate re-test. Из-за конкуренции
|
||||
за CPU задача **ORCH-109 несколько раз упиралась** в `re-test timeout after 600s`
|
||||
(`merge_gate.retest_branch`). Сами эти процессы **не были подняты как отдельный alert** watchdog'а —
|
||||
оператор узнал о них случайно.
|
||||
|
||||
### 1.2 Локализация
|
||||
- **Мониторинг-мозг** — sidecar-watchdog (ORCH-100, каталог `watchdog/`, сервис `orchestrator-watchdog`).
|
||||
Он уже алертит на `stage_stuck` (стадия задачи застряла) и `container_down` (контейнер не в норме),
|
||||
а также `agent_hung`, `orch_down`, `host_mem`, `queue_depth`, `job_failed`, `dep_down`.
|
||||
- **Сигнал `agent_hung`** (`watchdog/signals.py::eval_envelope`) покрывает **только running-агент-джобы**:
|
||||
он читает раздел `agents[]` из `GET /metrics`, а тот строится `src/metrics.py::_build_agents` по
|
||||
`db.get_running_agents()` — то есть **только по `jobs.pid` активных джобов**.
|
||||
- **Источник зависших процессов** — субпроцессы pytest, которые орк запускает в worktree:
|
||||
`merge_gate.retest_branch` (`python -m pytest <target>`) и `coverage_gate.measure_coverage`
|
||||
(`pytest --cov=src`). При `subprocess.TimeoutExpired` Python убивает прямого ребёнка, но
|
||||
**внуки/репарентированные процессы переживают**; а если сам агент-процесс убит по таймауту
|
||||
(`exit_code=-9`, ORCH-109) — его дочерний pytest **репарентируется на PID 1** и продолжает жить.
|
||||
|
||||
### 1.3 Причина (root cause)
|
||||
Между двумя наблюдателями зияет **слепая зона**: `agent_hung` видит лишь *отслеживаемые* агент-джобы
|
||||
(по `jobs.pid`), а **осиротевшие/внебюджетные тестовые субпроцессы** (внуки pytest, репарентированные
|
||||
на PID 1) **не присутствуют ни в `/metrics`, ни в поле зрения sidecar** — у контейнера watchdog нет
|
||||
доступа к таблице процессов хоста. Поэтому долго живущий pytest, реально блокирующий конвейер через
|
||||
CPU-голодание merge-gate, **не порождает ни одного сигнала**, пока формально ни одна стадия задачи не
|
||||
«застряла».
|
||||
|
||||
## 2. Объём (scope)
|
||||
|
||||
### В объёме
|
||||
- Новый **отдельный класс алерта** watchdog'а: «долго живущий тестовый/дочерний процесс блокирует
|
||||
конвейер» — поднимается, даже если стадия задачи формально не `stuck`.
|
||||
- Детекция долго живущих процессов тест-класса (pytest и родственные субпроцессы гейтов), переживших
|
||||
свой бюджет/осиротевших, на хосте прода.
|
||||
- Актуализация конфиг-канона watchdog (`.env.watchdog.example` / блок `WATCHDOG_*` в `.env.example`)
|
||||
и наблюдаемости.
|
||||
|
||||
### Вне объёма
|
||||
- **Любая реакция на процесс** (kill/SIGTERM/cleanup/reap/перезапуск). Задача — **только мониторинг +
|
||||
сигнализация** (явное ограничение заказчика). Автоматический reap осиротевших процессов — **отдельная
|
||||
задача**.
|
||||
- Изменение конвейера: `STAGE_TRANSITIONS` / `QG_CHECKS` / `check_*` / machine-verdict / схема БД — **не
|
||||
трогаются** (watchdog — наблюдатель вне процесса орка и вне Quality Gates).
|
||||
- Расширение `agent_hung` на нетреканые процессы (это другой класс сигнала; дубль запрещён — см. NFR-4).
|
||||
- Снятие первопричины осиротения процессов в самом орке (надёжный reap внуков pytest) — ценно, но это
|
||||
**ремедиация**, она вне объёма этой задачи.
|
||||
|
||||
## 3. Заинтересованные стороны
|
||||
- **Заказчик/оператор прода** (Слава) — получает ранний сигнал о CPU-голодании ещё до того, как оно
|
||||
завалит merge-gate re-test очередной задачи.
|
||||
- **Self-hosting конвейер orchestrator** — страдает напрямую (инцидент ORCH-109).
|
||||
- **Тиражные инсталляции (Lite/Bundled, ORCH-102/103)** — sidecar входит в дефолтный комплект; новый
|
||||
сигнал должен укладываться в канон конфига и не ломать тираж.
|
||||
- **Принимает результат** — reviewer/tester + оператор (smoke на staging-эквиваленте sidecar).
|
||||
|
||||
## 4. Бизнес-требования (BR)
|
||||
- **BR-1** — Watchdog поднимает **отдельный, узнаваемый** alert, когда на хосте обнаружен долго живущий
|
||||
процесс тест-класса (pytest и его субпроцессы), возраст которого превышает настраиваемый порог —
|
||||
**независимо** от того, застряла ли формально какая-либо стадия задачи.
|
||||
- **BR-2** — Текст алерта **действенно идентифицирует** виновника: фрагмент командной строки, PID,
|
||||
возраст процесса и (при наличии) доля CPU — чтобы оператор мог сразу разобраться и вручную вмешаться.
|
||||
- **BR-3** — **Только мониторинг + сигнализация.** Watchdog **не убивает / не останавливает / не шлёт
|
||||
сигналы** процессу и не выполняет иную ремедиацию (жёсткое ограничение заказчика, рамка C-1
|
||||
«наблюдатель строго read-only к наблюдаемому», ORCH-100).
|
||||
- **BR-4** — **Без ложных срабатываний** на легитимных in-flight прогонах: тестовый процесс,
|
||||
принадлежащий **активному отслеживаемому** агенту/гейту в пределах его бюджета, alert поднимать
|
||||
**не должен**.
|
||||
- **BR-5** — Анти-спам и recovery как у прочих сигналов: один alert на пересечение порога, throttled
|
||||
re-alert по cooldown, однократный recovery при исчезновении процесса (переиспользовать
|
||||
`watchdog/decision.py::decide` + `AlertState`).
|
||||
- **BR-6** — Сигнал под **kill-switch** и управляется конфигом (порог возраста, cooldown, область).
|
||||
Дефолт выбирается так, чтобы включение было **осознанным** и **self-hosting-безопасным** (см. NFR-3).
|
||||
|
||||
## 5. Нефункциональные требования (NFR)
|
||||
- **NFR-1 (надёжность)** — **never-raise** на всех новых путях (per-source / per-tick / per-send), как
|
||||
и весь watchdog: сбой коллектора процессов деградирует ОДИН сигнал, а не роняет тик.
|
||||
- **NFR-2 (read-only)** — строго наблюдение: **ни одного** управляющего действия над процессами/хостом
|
||||
(нет `kill`/`signal`/`Popen`/записи). Соответствует C-1 (observer separated from observed).
|
||||
- **NFR-3 (self-hosting безопасность)** — выкат изменения **не перезапускает** прод-контейнер
|
||||
`orchestrator` (встанет конвейер всех проектов): пересобирается/рестартится **только** контейнер
|
||||
`orchestrator-watchdog`. Если механизм требует расширения привилегий sidecar (напр. `pid: host`) —
|
||||
это привилегия **только наблюдателя**, обоснование и риски — задача архитектора (ADR).
|
||||
- **NFR-4 (без дубля)** — новый сигнал **не пересекается** с `agent_hung` (тот уже покрывает
|
||||
отслеживаемые агент-джобы): новый сигнал закрывает ровно пробел «нетреканый/осиротевший процесс».
|
||||
- **NFR-5 (канон тиража)** — при изменении compose / ключей `.env.watchdog` обновить в **том же PR**:
|
||||
`.env.watchdog.example`, блок `WATCHDOG_*` в `.env.example`, `docs/deployment/LITE_SETUP.md` и
|
||||
`docs/architecture/README.md` (норматив сопровождения ORCH-102 NFR-5; key-set-sync тест).
|
||||
- **NFR-6 (стек)** — sidecar остаётся **stdlib-only** (C-3, ORCH-100): без новых сторонних зависимостей.
|
||||
|
||||
## 6. Допущения и ограничения
|
||||
- **Ключевое архитектурное допущение (для архитектора):** у контейнера `orchestrator-watchdog` сейчас
|
||||
**нет** видимости процессов хоста (`network_mode: host`, но без `pid: host` и без mount `/proc`).
|
||||
Закрытие пробела требует выбора механизма — **развилка, решаемая ADR**, не аналитиком. Кандидаты
|
||||
(перечислены как материал для решения, **без навязывания**): (a) расширение привилегий sidecar —
|
||||
`pid: host` либо read-only mount хостового `/proc`, затем stdlib-скан таблицы процессов; (b)
|
||||
обогащение `/metrics` орком новым read-only разделом о «бесхозных» тест-субпроцессах (орк видит свой
|
||||
PID-namespace), который sidecar лишь читает. У каждого — свои trade-off'ы (привилегии vs контракт
|
||||
`/metrics`).
|
||||
- `/metrics` — **версионированный контракт** (`schema_version`, ORCH-099): если выбран путь (b),
|
||||
аддитивные изменения **не бампят** версию (sidecar обязан толерировать).
|
||||
- Порог возраста для детекции **должен превышать** максимальный легитимный бюджет тест-прогона
|
||||
(`merge_retest_timeout_s` ≈ 600s, `coverage_run_timeout_s`), чтобы нормальный прогон **никогда** не
|
||||
алертил, а 2-суточный осиротевший pytest — гарантированно (анти-false-positive, материал для ADR).
|
||||
- enduro-trails не затронут: watchdog наблюдает хост/орк self-hosting; сигнал config-gated.
|
||||
|
||||
## 7. Критерии успеха
|
||||
Watchdog при наличии долго живущего pytest/дочернего процесса, грузящего CPU, **поднимает отдельный
|
||||
alert** в свой Telegram-канал (с PID/cmd/возрастом), **не трогая** процесс; при отсутствии такого
|
||||
процесса (или выключенном флаге) — молчит; нормальный тест-прогон под активным джобом **не** триггерит
|
||||
ложный alert. Детальные PASS/FAIL — `03-acceptance-criteria.md`.
|
||||
|
||||
## 8. Риски
|
||||
- **Ложные срабатывания** на легитимном длинном прогоне → спам в канал (митигируется порогом >
|
||||
макс. бюджета + корреляцией с активным джобом).
|
||||
- **Расширение привилегий sidecar** (если выбран `pid: host`/`/proc`-mount) → увеличение поверхности
|
||||
безопасности наблюдателя (требует явного обоснования в ADR; дефолт-off).
|
||||
- **Дубль с `agent_hung`** при небрежной реализации (NFR-4).
|
||||
- Детали и владельцы рисков — `10-tech-risks.md` (заполняет архитектор).
|
||||
@@ -1,122 +0,0 @@
|
||||
---
|
||||
work_item: ORCH-111
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-15
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 02 — ТЗ (TRZ): ORCH-111 — alert на долго живущие pytest/дочерние процессы в watchdog
|
||||
|
||||
Work Item: **ORCH-111** · Repo: **orchestrator** · Стадия: analysis
|
||||
|
||||
> ТЗ описывает **конкретные изменения к реализации**, выведенные из BRD и фактического кода.
|
||||
> Архитектурное обоснование/решения — задача архитектора (06-adr). В частности, **выбор механизма
|
||||
> видимости процессов хоста** (см. §2 «развилка») — за ADR; ниже зафиксированы **требования и
|
||||
> ограничения**, а не способ реализации.
|
||||
|
||||
## 1. Сводка изменения
|
||||
Добавить в sidecar-watchdog (`watchdog/`) **новый сигнал** класса «долго живущий блокирующий
|
||||
тест/дочерний процесс» (рабочее имя ключа — `proc_blocking`; финальное имя утверждает разработчик/ADR).
|
||||
Сигнал активен, когда на хосте есть процесс тест-класса (pytest и его субпроцессы), чей возраст
|
||||
превысил настраиваемый порог и который **не атрибутируется активному отслеживаемому джобу**. Сигнал
|
||||
проходит через **существующую** машину `decide()`/`AlertState` (анти-спам/recovery) и публикуется в
|
||||
собственный Telegram-канал sidecar. Watchdog при этом **не трогает** процесс (BR-3/NFR-2). Это
|
||||
изменение **внутри наблюдателя**: машина стадий орка и Quality Gates не затрагиваются.
|
||||
|
||||
## 2. Задействованные модули / пути
|
||||
|
||||
> **Развилка механизма (решает архитектор, ADR).** Часть путей **условна** и зависит от выбранного
|
||||
> механизма видимости процессов. Ниже помечено явно.
|
||||
|
||||
| Путь | Действие |
|
||||
|------|----------|
|
||||
| `watchdog/signals.py` | изменить — чистый builder нового сигнала `proc_blocking` (по образцу `host_signals`/`container_signals`) |
|
||||
| `watchdog/config.py` | изменить — новые ключи `WATCHDOG_PROC_*` (enable/порог возраста/паттерны/cooldown); never-raise парсеры |
|
||||
| `watchdog/core.py` | изменить — врезка коллектора процессов + диспетч нового сигнала в `tick()` (per-source guard) |
|
||||
| `watchdog/collectors/proc.py` | **создать** — коллектор списка процессов-кандидатов (механизм — по ADR); never-raise → `[]` |
|
||||
| `.env.watchdog.example` | изменить — задокументировать новые `WATCHDOG_PROC_*` ключи (канон) |
|
||||
| `.env.example` (блок `WATCHDOG_*`) | изменить — key-set-sync с `.env.watchdog.example` (тест `test_lite_setup_doc`/key-sync) |
|
||||
| `tests/watchdog/test_proc_blocking_signal.py` | **создать** — unit + регресс на новый сигнал |
|
||||
| `tests/watchdog/test_tick_proc_blocking_integration.py` | **создать** — интеграция tick→dispatch |
|
||||
| `docs/architecture/README.md`, `docs/deployment/LITE_SETUP.md` | изменить — описать сигнал/ключи (NFR-5) |
|
||||
| `docker-compose.yml` (сервис `orchestrator-watchdog`) | **условно** изменить — привилегия/mount (`pid: host` или `/proc:ro`) **только если** ADR выберет watchdog-side host-скан |
|
||||
| `src/metrics.py` (`_build_*`, аддитивный раздел) | **условно** изменить — **только если** ADR выберет orch-side обогащение `/metrics`; **аддитивно**, без бампа `schema_version` |
|
||||
|
||||
## 3. Функциональные требования
|
||||
|
||||
### FR-1 — Новый сигнал `proc_blocking` (чистый builder)
|
||||
В `watchdog/signals.py` добавить чистую функцию-builder (без I/O), которая по списку записей о
|
||||
процессах-кандидатах и конфигу возвращает `Signal`-объекты:
|
||||
- **Ключ** — per-entity, со **стабильной идентичностью** процесса (напр. `("proc_blocking", pid)` или
|
||||
хеш `cmdline`), чтобы `AlertState`/cooldown работали по каждому процессу отдельно (как
|
||||
`("container_down", name)`).
|
||||
- **active=True** ⇔ возраст процесса `> cfg.proc_age_s` **И** командная строка матчит класс
|
||||
«тест/дочерний» (паттерн pytest и родственные, конфигурируемо) **И** процесс **не** принадлежит
|
||||
активному отслеживаемому джобу (анти-false-positive, BR-4).
|
||||
- **title/detail** — действенные: фрагмент cmdline, PID, возраст (сек), доля/время CPU при наличии
|
||||
(BR-2). Текст на русском, в стиле существующих сигналов.
|
||||
- Привязка: **BR-1, BR-2, BR-4**.
|
||||
|
||||
### FR-2 — Коллектор процессов-кандидатов
|
||||
Создать `watchdog/collectors/proc.py` — собирает «сырьё» (список записей `{pid, cmdline, age_s,
|
||||
cpu?}`) тем механизмом, который утвердит ADR. Контракт коллектора **фиксирован независимо от
|
||||
механизма**: **stdlib-only** (NFR-6), **read-only** (NFR-2), **never-raise** → при любой ошибке/
|
||||
недоступности источника возвращает `[]` (один сигнал пропущен, тик жив). Привязка: **NFR-1, NFR-2,
|
||||
NFR-6**.
|
||||
|
||||
### FR-3 — Конфиг + kill-switch
|
||||
В `watchdog/config.py` добавить ключи (имена финализирует разработчик/ADR; предложение):
|
||||
`WATCHDOG_PROC_ENABLED` (kill-switch), `WATCHDOG_PROC_AGE_MIN` (порог возраста в минутах; дефолт
|
||||
**должен превышать** макс. легитимный бюджет тест-прогона — см. §7), `WATCHDOG_PROC_PATTERNS`
|
||||
(CSV паттернов cmdline, дефолт включает `pytest`), при необходимости отдельный
|
||||
`WATCHDOG_PROC_COOLDOWN_S`. Все парсеры never-raise с безопасными дефолтами (как существующие
|
||||
`_int`/`_bool`/`_csv`). Выключенный флаг → коллектор/сигнал инертны (нулевой эффект). Привязка:
|
||||
**BR-6, NFR-1**.
|
||||
|
||||
### FR-4 — Инвариант «только наблюдение»
|
||||
На всём новом пути запрещены `os.kill`, отправка сигналов, `subprocess.Popen`/`run`, любые мутации
|
||||
процессов/ФС/БД. Watchdog **только читает и уведомляет**. Привязка: **BR-3, NFR-2**.
|
||||
|
||||
### FR-5 — Диспетч через существующую машину решения
|
||||
Новый сигнал диспетчеризуется в `core.tick()` через тот же путь `decision.decide(...)` +
|
||||
`self._states[key]` + `self._send(...)`: ALERT на пересечении порога, REALERT по cooldown, RECOVERY
|
||||
при исчезновении процесса. Никакой отдельной логики анти-спама не вводить. Привязка: **BR-5**.
|
||||
|
||||
### FR-6 — Без дубля с `agent_hung`
|
||||
Новый сигнал покрывает **только** процессы, **не** представленные в `/metrics agents[]` (нетреканые/
|
||||
осиротевшие). Атрибуция «процесс принадлежит активному джобу» исключает такие процессы из
|
||||
`proc_blocking` (предотвращает двойной алерт и ложные срабатывания на живом агенте). Привязка:
|
||||
**NFR-4, BR-4**.
|
||||
|
||||
## 4. Изменения API
|
||||
- **Орк HTTP API:** новых эндпоинтов **не требуется**. **Условно** (если ADR выберет orch-side путь):
|
||||
**аддитивный** раздел в ответе `GET /metrics` (`src/metrics.py`) о бесхозных тест-субпроцессах —
|
||||
строго read-only, **без бампа** `schema_version` (ORCH-099 NFR-6), sidecar толерирует отсутствие.
|
||||
- **Watchdog:** внутренний сигнал, внешнего API не имеет.
|
||||
|
||||
## 5. Изменения схемы БД
|
||||
Нет.
|
||||
|
||||
## 6. Требования к новым/изменённым QG checks
|
||||
Нет. Watchdog — наблюдатель **вне** конвейера и вне Quality Gates: `QG_CHECKS` / `check_*` /
|
||||
machine-verdict ключи / `STAGE_TRANSITIONS` — **байт-в-байт не трогаются** (как `disk_watchdog`/
|
||||
`reaper`/`reconciler`).
|
||||
|
||||
## 7. Совместимость / регресс
|
||||
- **Kill-switch + дефолты:** при выключенном `WATCHDOG_PROC_ENABLED` (или при дефолте, выбранном
|
||||
безопасно) — **нулевая регрессия**: ни одного нового алерта, тик 1:1 как до ORCH-111. Дефолтный
|
||||
порог возраста **обязан превышать** максимальный легитимный бюджет тест-прогона
|
||||
(`merge_retest_timeout_s` ≈ 600s, `coverage_run_timeout_s`) — иначе нормальный прогон даст ложный
|
||||
alert (анти-false-positive, BR-4).
|
||||
- **never-raise / read-only:** новый код не может уронить тик и не выполняет управляющих действий
|
||||
(NFR-1/NFR-2).
|
||||
- **Контракт `/metrics`:** при orch-side варианте — только аддитивно, без бампа версии; при
|
||||
watchdog-side варианте — `/metrics` не трогается вовсе.
|
||||
- **Self-hosting (NFR-3):** выкат — пересборка/рестарт **только** `orchestrator-watchdog`; прод
|
||||
`orchestrator` **не** перезапускается. Если механизм требует привилегии/mount в compose — это правка
|
||||
**только** сервиса watchdog.
|
||||
- **Канон тиража (NFR-5):** новые ключи синхронизировать в `.env.watchdog.example` ↔ блок `WATCHDOG_*`
|
||||
в `.env.example` и описать в `LITE_SETUP.md` в том же PR (key-set-sync тест должен остаться зелёным).
|
||||
- **Область:** сигнал config-gated; enduro-trails не затронут.
|
||||
@@ -1,129 +0,0 @@
|
||||
---
|
||||
work_item: ORCH-111
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-15
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 03 — Критерии приёмки (Acceptance Criteria): ORCH-111 — alert на долго живущие pytest/дочерние процессы
|
||||
|
||||
Work Item: **ORCH-111** · Repo: **orchestrator** · Стадия: analysis
|
||||
|
||||
Формат: каждый критерий имеет **PASS** (что должно быть истинно для приёмки) и **FAIL** (что считается
|
||||
провалом). Reviewer/tester проверяет их буквально по файлам репозитория и тестам.
|
||||
|
||||
---
|
||||
|
||||
## AC-1 — Алерт на долго живущий блокирующий процесс
|
||||
|
||||
**Условие:** на хосте есть процесс тест-класса (pytest/субпроцесс гейта), чей возраст превысил
|
||||
настроенный порог и который не атрибутирован активному отслеживаемому джобу.
|
||||
- **PASS:** watchdog поднимает **отдельный** сигнал (рабочий ключ `proc_blocking`) → ALERT в свой
|
||||
Telegram-канал; алерт срабатывает **даже если** ни одна стадия задачи формально не `stuck`.
|
||||
- **FAIL:** такой процесс присутствует, но ни одного нового алерта не поднято (поведение до ORCH-111).
|
||||
|
||||
---
|
||||
|
||||
## AC-2 — Действенный текст алерта
|
||||
|
||||
**Условие:** алерт `proc_blocking` сформирован.
|
||||
- **PASS:** `detail` содержит фрагмент cmdline (видно, что это pytest/тест-процесс), PID, возраст
|
||||
процесса в секундах и (при наличии) долю/время CPU.
|
||||
- **FAIL:** алерт без идентификации процесса (нельзя понять, какой PID/команду проверять).
|
||||
|
||||
---
|
||||
|
||||
## AC-3 — Только наблюдение, без ремедиации
|
||||
|
||||
**Условие:** обнаружен блокирующий процесс.
|
||||
- **PASS:** на всём новом пути нет `os.kill`/отправки сигналов/`subprocess.Popen|run`/иных мутаций;
|
||||
watchdog **только** алертит, процесс остаётся жив (его судьба — на операторе).
|
||||
- **FAIL:** код пытается убить/остановить/просигналить процесс или иначе ремедиировать.
|
||||
|
||||
---
|
||||
|
||||
## AC-4 — Без ложных срабатываний на легитимном прогоне
|
||||
|
||||
**Условие:** на хосте идёт нормальный тест-прогон (merge-gate re-test / coverage) под активным
|
||||
отслеживаемым джобом, в пределах своего бюджета.
|
||||
- **PASS:** `proc_blocking` **не** активен для такого процесса (возраст ниже порога **или** процесс
|
||||
атрибутирован активному джобу) → алерта нет.
|
||||
- **FAIL:** легитимный прогон под активным джобом триггерит ложный `proc_blocking`-alert.
|
||||
|
||||
---
|
||||
|
||||
## AC-5 — Без дубля с `agent_hung`
|
||||
|
||||
**Условие:** процесс уже представлен в `/metrics agents[]` (отслеживаемый running-агент).
|
||||
- **PASS:** для него работает только существующий `agent_hung`; `proc_blocking` его **не** дублирует
|
||||
(ровно один класс алерта на один процесс).
|
||||
- **FAIL:** один и тот же процесс порождает и `agent_hung`, и `proc_blocking` (двойной алерт).
|
||||
|
||||
---
|
||||
|
||||
## AC-6 — Анти-спам и recovery
|
||||
|
||||
**Условие:** блокирующий процесс держится несколько тиков, затем исчезает.
|
||||
- **PASS:** один ALERT при пересечении порога; в пределах cooldown — `NONE` (не спамит); REALERT
|
||||
по истечении cooldown; **однократный** RECOVERY при исчезновении процесса (через
|
||||
`decision.decide`/`AlertState`).
|
||||
- **FAIL:** алерт на каждом тике (спам) либо отсутствует recovery.
|
||||
|
||||
---
|
||||
|
||||
## AC-7 — Kill-switch и нулевая регрессия
|
||||
|
||||
**Условие:** `WATCHDOG_PROC_ENABLED` выключен (или дефолт-off).
|
||||
- **PASS:** коллектор/сигнал инертны; набор и поведение тика **байт-в-байт** как до ORCH-111; полный
|
||||
`pytest tests/` зелёный; watchdog-тесты зелёные.
|
||||
- **FAIL:** при выключенном флаге появляется новый алерт/сетевой оверхед, либо падают существующие
|
||||
тесты/тик.
|
||||
|
||||
---
|
||||
|
||||
## AC-8 — never-raise / read-only
|
||||
|
||||
**Условие:** коллектор процессов получает битый/пустой/недоступный источник.
|
||||
- **PASS:** коллектор деградирует в `[]` (один сигнал пропущен), тик завершается штатно; ни одной
|
||||
записи/мутации/управляющего действия над процессами/ФС/БД; sidecar остаётся stdlib-only.
|
||||
- **FAIL:** исключение роняет тик, либо появляется новая сторонняя зависимость, либо мутирующая
|
||||
операция.
|
||||
|
||||
---
|
||||
|
||||
## AC-9 — Конвейер и контракты не тронуты
|
||||
|
||||
**Условие:** изменение влито.
|
||||
- **PASS:** `STAGE_TRANSITIONS` / `QG_CHECKS` / `check_*` / machine-verdict ключи / схема БД —
|
||||
без изменений; правка `/metrics` (если выбрана) — **аддитивна**, `schema_version` не бампнут;
|
||||
выкат не требует рестарта прод-контейнера `orchestrator`.
|
||||
- **FAIL:** затронут любой из перечисленных контрактов или бампнут `schema_version` без ломающего
|
||||
изменения, либо выкат требует рестарта прод-орка.
|
||||
|
||||
---
|
||||
|
||||
## AC-10 — Канон конфига/тиража синхронизирован
|
||||
|
||||
**Условие:** добавлены ключи `WATCHDOG_PROC_*` / изменён compose.
|
||||
- **PASS:** ключи присутствуют и согласованы в `.env.watchdog.example` ↔ блоке `WATCHDOG_*`
|
||||
`.env.example`; описаны в `LITE_SETUP.md` и `docs/architecture/README.md` в том же PR; key-set-sync
|
||||
тест зелёный.
|
||||
- **FAIL:** ключи добавлены только в код, канон/доки тиража не обновлены (дрейф).
|
||||
|
||||
---
|
||||
|
||||
## Сводная матрица AC ↔ FR/BR
|
||||
| AC | Покрывает |
|
||||
|----|-----------|
|
||||
| AC-1 | BR-1 / FR-1, FR-2, FR-5 |
|
||||
| AC-2 | BR-2 / FR-1 |
|
||||
| AC-3 | BR-3 / FR-4 / NFR-2 |
|
||||
| AC-4 | BR-4 / FR-1, FR-6 |
|
||||
| AC-5 | NFR-4 / FR-6 |
|
||||
| AC-6 | BR-5 / FR-5 |
|
||||
| AC-7 | BR-6 / FR-3 / §7 |
|
||||
| AC-8 | NFR-1, NFR-2, NFR-6 / FR-2 |
|
||||
| AC-9 | §6 / NFR-3 / §4 |
|
||||
| AC-10 | NFR-5 / §7 |
|
||||
@@ -1,102 +0,0 @@
|
||||
work_item: ORCH-111
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-15
|
||||
model_used: claude-opus-4-8
|
||||
title: "Watchdog alert на долго живущие pytest/дочерние процессы, блокирующие конвейер"
|
||||
framework: pytest
|
||||
scope: >
|
||||
Покрывает новый сигнал watchdog `proc_blocking`: чистый builder, конфиг/kill-switch,
|
||||
never-raise/read-only коллектор, анти-спам/recovery, отсутствие дубля с agent_hung и
|
||||
диспетч в tick(). Вне покрытия: автоматический reap/kill процессов (ремедиация — вне
|
||||
объёма задачи) и любые изменения конвейера/Quality Gates.
|
||||
notes: >
|
||||
Эталон тестируемости — чистые функции `watchdog/signals.py` + `watchdog/decision.py`
|
||||
(тесты без контейнера/сокета/таймера, см. tests/watchdog/test_decision.py,
|
||||
test_host_collector.py). TC-01 и TC-07 — ОБЯЗАТЕЛЬНЫЙ регресс-тест бага: красный до
|
||||
фикса (сигнал/диспетч отсутствуют → нет алерта на долго живущий процесс), зелёный
|
||||
после. Точная форма теста КОЛЛЕКТОРА (host-scan vs orch-/metrics enrichment) зависит
|
||||
от механизма, утверждаемого архитектором (ADR); детерминированные TC ниже якорятся на
|
||||
чистом сигнале + decision-поверхности и не зависят от выбора механизма. Полный регресс
|
||||
`pytest tests/` обязан оставаться зелёным.
|
||||
|
||||
tests:
|
||||
- id: TC-01
|
||||
type: unit
|
||||
description: >
|
||||
РЕГРЕСС (красный→зелёный): builder сигнала по записи о процессе с возрастом >
|
||||
порога и cmdline класса pytest, не принадлежащему активному джобу, возвращает
|
||||
активный Signal с ключом `proc_blocking`. До фикса — алерт отсутствует.
|
||||
module: tests/watchdog/test_proc_blocking_signal.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-02
|
||||
type: unit
|
||||
description: >
|
||||
Анти-false-positive: процесс с возрастом НИЖЕ порога ИЛИ атрибутированный активному
|
||||
отслеживаемому джобу → сигнал НЕ активен (нет алерта). Покрывает BR-4.
|
||||
module: tests/watchdog/test_proc_blocking_signal.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-03
|
||||
type: unit
|
||||
description: >
|
||||
Конфиг/kill-switch: `WATCHDOG_PROC_*` парсятся с безопасными дефолтами; дефолтный
|
||||
порог возраста превышает merge_retest_timeout_s; выключенный `WATCHDOG_PROC_ENABLED`
|
||||
делает коллектор/сигнал инертными (нулевая регрессия). Покрывает BR-6/FR-3/AC-7.
|
||||
module: tests/watchdog/test_proc_blocking_signal.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-04
|
||||
type: unit
|
||||
description: >
|
||||
never-raise/read-only коллектора: битый/пустой/недоступный источник → `[]` (один
|
||||
сигнал пропущен), без исключения; на пути нет os.kill/signal/subprocess/мутаций.
|
||||
Покрывает NFR-1/NFR-2/AC-3/AC-8.
|
||||
module: tests/watchdog/test_proc_blocking_signal.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-05
|
||||
type: unit
|
||||
description: >
|
||||
Анти-спам/recovery через decision.decide+AlertState: ALERT при пересечении порога,
|
||||
NONE в пределах cooldown, REALERT по истечении, однократный RECOVERY при исчезновении
|
||||
процесса. Покрывает BR-5/AC-6.
|
||||
module: tests/watchdog/test_proc_blocking_signal.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-06
|
||||
type: unit
|
||||
description: >
|
||||
Без дубля с agent_hung: процесс, присутствующий в /metrics agents[], не порождает
|
||||
`proc_blocking` (исключён атрибуцией к активному джобу). Покрывает NFR-4/FR-6/AC-5.
|
||||
module: tests/watchdog/test_proc_blocking_signal.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-07
|
||||
type: integration
|
||||
description: >
|
||||
РЕГРЕСС tick→dispatch: Watchdog.tick() с инъектированным коллектором, отдающим долго
|
||||
живущий блокирующий процесс, диспетчеризует `proc_blocking`-алерт через fake-Notifier;
|
||||
при выключенном флаге алерт не отправляется. Покрывает BR-1/FR-5/AC-1/AC-7.
|
||||
module: tests/watchdog/test_tick_proc_blocking_integration.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-08
|
||||
type: integration
|
||||
description: >
|
||||
Конфиг-канон/тираж: key-set `.env.watchdog.example` ↔ блок WATCHDOG_* в `.env.example`
|
||||
синхронизирован после добавления `WATCHDOG_PROC_*` (key-sync/LITE_SETUP тест зелёный).
|
||||
Покрывает NFR-5/AC-10.
|
||||
module: tests/watchdog/test_config_killswitch.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-09
|
||||
type: integration
|
||||
description: >
|
||||
Полный регресс: `pytest tests/` зелёный; конвейер/Quality Gates не затронуты
|
||||
(STAGE_TRANSITIONS/QG_CHECKS/схема БД без изменений); при orch-side варианте
|
||||
schema_version /metrics не бампнут. Покрывает AC-9.
|
||||
module: tests/
|
||||
expected: PASS
|
||||
@@ -1,245 +0,0 @@
|
||||
---
|
||||
work_item: ORCH-111
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-15
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# ADR-001: Watchdog-сигнал `proc_blocking` — алерт на долго живущий блокирующий тест-процесс
|
||||
|
||||
Work Item: **ORCH-111** — watchdog должен алертить на долго живущие pytest/дочерние процессы, блокирующие конвейер
|
||||
Стадия: **architecture**
|
||||
Сквозная регистрация: **`docs/architecture/adr/adr-0041-watchdog-orphan-test-process-alert.md`** (кросс-каттинг: новый компонентный сигнал sidecar + изменение топологии контейнера-наблюдателя).
|
||||
|
||||
## Статус
|
||||
Proposed
|
||||
|
||||
## Контекст
|
||||
|
||||
**Установленный инцидент (BRD §1).** На прод-хосте жили >2 суток осиротевшие процессы
|
||||
`python3 -m pytest tests/test_install_lite_script.py`, грузили CPU и через конкуренцию за CPU
|
||||
несколько раз валили локальный merge-gate re-test (`merge_gate.retest_branch` → `re-test timeout
|
||||
after 600s`) на ORCH-109. **Ни одного алерта** не поднялось — оператор узнал случайно.
|
||||
|
||||
**Слепая зона (сверено по коду).**
|
||||
- Sidecar-watchdog (ORCH-100, `watchdog/`, adr-0033) уже алертит `agent_hung`/`stage_stuck`/
|
||||
`container_down`/`orch_down`/`host_mem`/`queue_depth`/`job_failed`/`dep_down`.
|
||||
- `agent_hung` (`watchdog/signals.py::eval_envelope`) видит **только** running-агент-джобы: читает
|
||||
`agents[]` из `GET /metrics`, который `src/metrics.py::_build_agents` строит по
|
||||
`db.get_running_agents()` — то есть **только по `jobs.pid`**.
|
||||
- Виновные процессы — субпроцессы pytest, которые орк запускает **своим** кодом:
|
||||
`merge_gate.retest_branch` (`subprocess.run(["python","-m","pytest", target, "-q"], …)`,
|
||||
таймаут `settings.merge_retest_timeout_s=600`) и `coverage_gate.measure_coverage`
|
||||
(`pytest --cov=src`, таймаут `settings.coverage_run_timeout_s=900`). При
|
||||
`subprocess.TimeoutExpired` / timeout-kill агента (`exit_code=-9`, ORCH-109) внук-pytest
|
||||
**репарентируется на PID 1** orchestrator-контейнера (tini под `init: true` — жнёт зомби, но
|
||||
**не убивает живых** осиротевших) и продолжает жить.
|
||||
- **Контейнер `orchestrator-watchdog` сейчас не видит таблицу процессов хоста вообще**
|
||||
(`docker-compose.yml`: `network_mode: host` + read-only `docker.sock` + `/repos:ro` + `./data:ro`,
|
||||
**без** `pid: host` и **без** mount `/proc`). Между `agent_hung` (видит только треканые джобы по
|
||||
`jobs.pid`) и реальностью (осиротевший pytest вне `/metrics` и вне поля зрения sidecar) зияет дыра:
|
||||
долго живущий pytest, реально блокирующий конвейер через CPU-голодание, **не порождает сигнала**,
|
||||
пока формально ни одна стадия не `stuck`.
|
||||
|
||||
**Linux-семантика, на которую опирается решение.** Хост-namespace процессов — предок всех
|
||||
контейнерных: из корневого PID-namespace видны **все** процессы всех контейнеров (с хост-глобальными
|
||||
PID). Контейнер с `pid: host` присоединяется к этому namespace, и его `/proc` отражает хост → видит
|
||||
осиротевший pytest независимо от того, в каком контейнере он формально запущен. Это подтверждает
|
||||
факт BRD «обнаружены на хосте» (оператор делал `ps aux` в корневом namespace).
|
||||
|
||||
**Почему нужен ADR, а не lite-bug.** Закрытие дыры — развилка с последствиями для безопасности
|
||||
(привилегии наблюдателя) и для стабильного контракта `/metrics` (`schema_version`, ORCH-099). Задача
|
||||
эскалирована `escalate: full-cycle` (BRD).
|
||||
|
||||
## Решение
|
||||
|
||||
### Сводка
|
||||
Добавить в sidecar-watchdog **новый per-entity сигнал** `proc_blocking`: на каждом тике sidecar
|
||||
**сам** сканирует хостовую таблицу процессов (stdlib `/proc`), отбирает процессы тест-класса (cmdline
|
||||
матчит паттерн, дефолт `pytest`), и если возраст процесса превысил порог (заведомо больший
|
||||
максимального легитимного бюджета тест-прогона) — поднимает алерт через **существующую** машину
|
||||
`decision.decide()` / `AlertState` в собственный Telegram-канал sidecar. Watchdog процесс **не
|
||||
трогает** (только наблюдение). Механизм видимости — **watchdog-side** (`pid: host` на сервисе
|
||||
`orchestrator-watchdog`), а **не** обогащение `/metrics` орком. Изменения — строго внутри наблюдателя
|
||||
(`watchdog/**` + сервис watchdog в compose); `src/**` / `/metrics` / `STAGE_TRANSITIONS` / `QG_CHECKS`
|
||||
/ `check_*` / machine-verdict / схема БД — **не тронуты**.
|
||||
|
||||
### D1 — Механизм видимости: watchdog-side `/proc`-скан под `pid: host` (НЕ orch-side `/metrics`)
|
||||
**Решение:** sidecar получает видимость процессов хоста через `pid: host` на сервисе
|
||||
`orchestrator-watchdog` и читает `/proc` напрямую (stdlib). Отвергнут orch-side путь (обогащение
|
||||
`/metrics` разделом о бесхозных процессах).
|
||||
|
||||
Обоснование (по приоритету):
|
||||
1. **NFR-3 (self-hosting deploy-инвариант) — решающий.** Orch-side путь правит `src/metrics.py` →
|
||||
требует пересборки/**рестарта прод-контейнера `orchestrator`** → прямо запрещён NFR-3 («выкат
|
||||
пересобирает/рестартит только `orchestrator-watchdog`»). Watchdog-side путь правит только
|
||||
`watchdog/**` + сервис watchdog → удовлетворяет NFR-3.
|
||||
2. **Резилентность / покрытие именно дыры.** Осиротевший pytest опаснее всего, когда орк уже
|
||||
деградировал (CPU-голодание) или лёг. Orch-side путь в этот момент **слеп** (`/metrics`
|
||||
недоступен/тормозит → раздел не доставлен), что противоречит самой причине существования sidecar
|
||||
(C-1: наблюдатель переживает падение наблюдаемого). Watchdog-side читает `/proc` независимо от
|
||||
живости орка.
|
||||
3. **Изоляция контракта.** Watchdog-side не трогает контракт `/metrics` и `schema_version` (ORCH-099)
|
||||
вовсе.
|
||||
|
||||
Привязка: NFR-3, BR-1, C-1.
|
||||
|
||||
### D2 — Анти-false-positive и отсутствие дубля с `agent_hung` — **по построению**, без матчинга PID
|
||||
Два структурных свойства, не требующих ненадёжного кросс-namespace сопоставления PID (при `pid: host`
|
||||
sidecar видит хост-глобальные PID, а `/metrics agents[].pid` — PID в namespace орка; они не совпадают):
|
||||
|
||||
- **Скоуп по cmdline.** `proc_blocking` рассматривает **только** процессы, чья cmdline матчит
|
||||
тест-класс (дефолт-паттерн `pytest`). Агент-процессы `claude` (которые покрывает `agent_hung`)
|
||||
**никогда** не матчат `pytest` → нулевое пересечение с `agent_hung` (NFR-4 / AC-5 **по
|
||||
построению**). Сами pytest-субпроцессы орк запускает своим кодом (merge/coverage-гейты), они
|
||||
**никогда** не треканы как джобы → `agent_hung` их и не покрывает. Два сигнала разбивают
|
||||
пространство процессов по cmdline.
|
||||
- **Порог возраста > макс. легитимного бюджета.** Легитимный in-flight прогон ограничен
|
||||
`merge_retest_timeout_s=600s` и `coverage_run_timeout_s=900s`. При
|
||||
`WATCHDOG_PROC_AGE_MIN*60 > max(600,900)=900s` легитимный прогон **всегда** ниже порога (BR-4 /
|
||||
AC-4 **по построению**). Это и есть «атрибуция активному джобу» из FR-1/FR-6: процесс в пределах
|
||||
бюджета физически не может перерасти порог. Кросс-namespace матчинг PID не нужен (и ненадёжен) —
|
||||
возраст namespace-агностичен.
|
||||
|
||||
**Кросс-инвариант (фиксируется ADR):** дефолтный порог **обязан** превышать максимум
|
||||
`max(merge_retest_timeout_s, coverage_run_timeout_s)`. Дефолт `WATCHDOG_PROC_AGE_MIN=60` (мин) =
|
||||
3600s — 4× запас над 900s; меняя `merge_retest_timeout_s`/`coverage_run_timeout_s` вверх,
|
||||
поднимай порог. Привязка: BR-4, NFR-4, AC-4, AC-5.
|
||||
|
||||
### D3 — Коллектор `watchdog/collectors/proc.py` (stdlib `/proc`-скан)
|
||||
**Создать** leaf-коллектор по образцу `collectors/host.py`. Контракт **фиксирован** (NFR-1/2/6):
|
||||
- **stdlib-only:** читает `/proc/stat` (`btime` — момент загрузки) + `os.sysconf("SC_CLK_TCK")`;
|
||||
итерирует числовые `/proc/<pid>`; `/proc/<pid>/cmdline` (NUL-разделённое → join пробелом) →
|
||||
матч паттерна; `/proc/<pid>/stat` поле 22 (`starttime` в тиках) → `age_s = now - (btime +
|
||||
starttime/clk_tck)`; поля 14+15 (`utime+stime`) → `cpu_s = (utime+stime)/clk_tck` (накопленное
|
||||
CPU-время, **информационно** для BR-2; в активацию НЕ входит).
|
||||
- **read-only:** только открытие файлов на чтение. **Запрещены** `os.kill`, отправка сигналов,
|
||||
`subprocess.Popen/run`, любые мутации ФС/процессов. **Никогда не читает `/proc/<pid>/environ`**
|
||||
(там секреты).
|
||||
- **never-raise:** per-pid guard (один нечитаемый/исчезнувший `/proc/<pid>` пропускается, не роняя
|
||||
список — гонка «процесс умер между listdir и read» нормальна); top-level guard → `[]`.
|
||||
- Выход — список записей `{pid, cmdline, age_s, cpu_s?, start_ticks}`; чистый разбор отделён от I/O
|
||||
(тестируемо на фикстурах `/proc`-текста, без реального хоста).
|
||||
|
||||
Привязка: FR-2, NFR-1, NFR-2, NFR-6, AC-8.
|
||||
|
||||
### D4 — Чистый builder `proc_signals` + синтез RECOVERY для исчезнувшего процесса
|
||||
**Builder** в `watchdog/signals.py` (по образцу `container_signals`/`host_signals`): по списку
|
||||
кандидатов и конфигу возвращает `Signal`-объекты.
|
||||
- **Ключ** — per-entity `("proc_blocking", pid)` (зеркало `("container_down", name)`).
|
||||
- **active=True** ⇔ `age_s > cfg.proc_age_s` (cmdline уже отфильтрована коллектором по паттерну).
|
||||
- **title/detail** — действенные (RU, в стиле существующих): фрагмент cmdline + PID + возраст (сек) +
|
||||
(при наличии) CPU-время (BR-2). Cmdline-фрагмент **усечь** до ограниченной длины (анти-утечка
|
||||
случайных аргументов в канал; см. риск R-2).
|
||||
|
||||
**RECOVERY для исчезнувшего процесса (новый аспект, AC-6).** `container_down` авто-recovery'ится
|
||||
лишь потому, что набор имён статичен (Signal строится на каждый сконфигурированный контейнер). А
|
||||
`agent_hung`/`stage_stuck` emit'ят сигнал **только** когда active=True → при исчезновении сущности
|
||||
**не** recovery'ятся (известное ограничение). AC-6 **требует однократный RECOVERY при исчезновении
|
||||
процесса**. Решение, **переиспользующее** `decide()`/`AlertState` (FR-5 — никакой отдельной
|
||||
анти-спам-логики): в `core.tick()` после построения сигналов по текущим кандидатам **синтезировать**
|
||||
`Signal(active=False)` для каждого ключа в `self._states` с префиксом `"proc_blocking"`, который
|
||||
`alerting=True`, но **отсутствует** в множестве текущих наблюдаемых ключей → `decide()` даёт
|
||||
`RECOVERY` один раз и чистит состояние. Это per-family bookkeeping, не новая throttle-логика.
|
||||
PID-recycling — редкий край: естественный цикл vanish→recovery→new-alert корректен; опциональное
|
||||
усиление ключа — добавить `start_ticks` (`("proc_blocking", pid, start_ticks)`).
|
||||
|
||||
Привязка: FR-1, FR-5, BR-2, BR-5, AC-6.
|
||||
|
||||
### D5 — Конфиг + kill-switch (дефолт-off)
|
||||
В `watchdog/config.py` добавить ключи (never-raise парсеры `_bool`/`_float`/`_csv`):
|
||||
|
||||
| Ключ | Тип | Дефолт | Смысл |
|
||||
|------|-----|--------|-------|
|
||||
| `WATCHDOG_PROC_ENABLED` | bool | **`false`** | kill-switch / осознанный opt-in (зеркало `WATCHDOG_DISK_CRIT_ENABLED`) |
|
||||
| `WATCHDOG_PROC_AGE_MIN` | float (мин) | `60` | порог возраста; **обязан** > `max(merge_retest_timeout_s, coverage_run_timeout_s)/60` (D2) |
|
||||
| `WATCHDOG_PROC_PATTERNS` | CSV | `pytest` | паттерны cmdline тест-класса (substring-матч) |
|
||||
| `WATCHDOG_PROC_COOLDOWN_S` | float | `1800` | per-signal cooldown (через `Signal.cooldown_s`, уже есть) |
|
||||
|
||||
Derived `proc_age_s = proc_age_min*60` (как `agent_hung_s`/`stage_stuck_s`). **Дефолт-off** — потому
|
||||
что `proc_blocking` требует привилегии `pid: host` (D6) и осознанного включения (BR-6/NFR-3). При
|
||||
`WATCHDOG_PROC_ENABLED=false` коллектор в `core.tick()` **не вызывается** (гейт как у `_collect_disk`
|
||||
на `disk_crit_enabled`) → нулевой оверхед и нулевая регрессия (AC-7).
|
||||
|
||||
Привязка: FR-3, BR-6, NFR-1, AC-7.
|
||||
|
||||
### D6 — Топология: `pid: host` **только** на `orchestrator-watchdog`
|
||||
Аддитивная однострочная правка сервиса `orchestrator-watchdog` в `docker-compose.yml`: `pid: host`.
|
||||
Под `pid: host` контейнерный `/proc` автоматически отражает хостовый namespace — **отдельный
|
||||
mount `/proc` не нужен**. `pid: host` — НЕ volume, поэтому существующий тест
|
||||
`tests/watchdog/test_compose_service.py::test_host_paths_mounted_read_only` (требует `:ro` на каждом
|
||||
**volume**) остаётся зелёным; разработчик добавляет позитивный тест на наличие `pid: host`.
|
||||
**Привилегия — только у наблюдателя**, обоснование/риски — `07-infra-requirements.md` + R-2 ниже.
|
||||
Деплой: пересобрать/рестартить **только** `orchestrator-watchdog`; прод `orchestrator` **не**
|
||||
трогается (NFR-3). Для Lite/Bundled (ORCH-102/103) `pid: host` становится частью канонического
|
||||
compose sidecar; сигнал дефолт-off → нулевое изменение поведения тиражных инсталляций.
|
||||
|
||||
Привязка: NFR-3, BR-1, BR-6, AC-9.
|
||||
|
||||
### D7 — Диспетч и инварианты конвейера
|
||||
Новый сигнал диспетчеризуется в `core.tick()` тем же путём `decision.decide(...)` + `self._states[key]`
|
||||
+ `self._send(...)`: ALERT на пересечении порога, REALERT по cooldown, RECOVERY при исчезновении
|
||||
(D4). Никакой отдельной анти-спам-логики (FR-5). Инварианты (AC-9, byte-for-byte):
|
||||
`STAGE_TRANSITIONS` / `QG_CHECKS` / `check_*` / machine-verdict (`verdict:`/`result:`/`deploy_status:`/
|
||||
`staging_status:`/`security_status:`/`coverage_status:`) / схема БД / `/metrics`+`schema_version`
|
||||
— **не тронуты**. Watchdog — наблюдатель вне процесса орка и вне Quality Gates (как
|
||||
`disk_watchdog`/`reaper`/`reconciler`).
|
||||
|
||||
## Альтернативы
|
||||
- **(b) Orch-side обогащение `/metrics` разделом о бесхозных процессах** — отвергнуто: правит
|
||||
`src/**` → рестарт прод-`orchestrator` (нарушение NFR-3); слеп именно когда орк деградировал
|
||||
(нарушение C-1); новая поверхность контракта `/metrics`. (D1.)
|
||||
- **Bind-mount хостового `/proc:ro` вместо `pid: host`** — даёт ту же видимость через read-only
|
||||
volume (паттерн node_exporter `--path.procfs`), но привилегия **эквивалентна** (`/proc/<pid>/environ`
|
||||
читаем при обоих) и `/proc`-mount имеет краевые особенности; `pid: host` идиоматичнее и согласован
|
||||
с уже-host-network-наблюдателем. Остаётся валидной заменой, если оператор предпочитает не делить
|
||||
PID-namespace. (D6.)
|
||||
- **Расширить `agent_hung` на нетреканые процессы** — отвергнуто: дубль/смешение классов (NFR-4); у
|
||||
sidecar нет `jobs.pid` для нетреканых, а кросс-namespace PID не совпадают.
|
||||
- **Реакция (kill/reap осиротевших)** — вне объёма (жёсткое ограничение заказчика BR-3): задача —
|
||||
только мониторинг; reap — отдельная задача (ремедиация).
|
||||
- **Дефолт-on сигнала** — отвергнуто: привилегия `pid: host` + риск false-positive требуют осознанного
|
||||
включения; зеркало `WATCHDOG_DISK_CRIT_ENABLED=false`.
|
||||
|
||||
## Последствия
|
||||
- **+** Закрыта дыра наблюдаемости: долго живущий блокирующий pytest даёт ранний адресный алерт
|
||||
(PID/cmdline/возраст), даже если орк лёг и ни одна стадия формально не `stuck`.
|
||||
- **+** Строго read-only + never-raise + дефолт-off + изменения только в наблюдателе ⇒
|
||||
self-hosting-безопасно; enduro не затронут; конвейер byte-for-byte; deploy без рестарта прод-орка
|
||||
(NFR-3).
|
||||
- **+** Анти-false-positive и отсутствие дубля с `agent_hung` — структурно (cmdline-скоуп + порог
|
||||
возраста), а не хрупким матчингом PID.
|
||||
- **−** Расширение привилегии наблюдателя (`pid: host`): sidecar видит таблицу процессов хоста.
|
||||
Митигейшн: привилегия read-only и **меньше**, чем уже смонтированный `docker.sock` (полная
|
||||
интроспекция контейнеров); код читает **только** `/stat`+`/cmdline`, никогда `/environ`; сигнал
|
||||
дефолт-off; cmdline в алерте усечена. (R-1/R-2.)
|
||||
- **−** Новая поверхность совместимости с `/proc`-форматом (Linux-специфично); на не-Linux/битом
|
||||
`/proc` коллектор → `[]` (один сигнал тих). Митигейшн: чистый разбор + фикстуры.
|
||||
- **−** Канон тиража: при добавлении ключей/правке compose — синхронизировать в **том же PR**
|
||||
`.env.watchdog.example` ↔ блок `WATCHDOG_*` `.env.example`, `docs/deployment/LITE_SETUP.md`,
|
||||
`docs/architecture/README.md` (NFR-5; key-sync `tests/test_lite_setup_doc.py`).
|
||||
- **Масштаб:** новый компонентный сигнал + изменение топологии/привилегий наблюдателя →
|
||||
рекомендуется лейбл **`arch:major-change`**; прод-выкат — через staging-эквивалент sidecar
|
||||
(smoke на staging-хосте), без рестарта прод-`orchestrator`.
|
||||
- **Откат:** `WATCHDOG_PROC_ENABLED=false` (мгновенный, привилегия дремлет) или удаление
|
||||
`watchdog/collectors/proc.py` + builder/врезки + ключей + `pid: host` — без следов в БД/схеме/
|
||||
контракте `/metrics`.
|
||||
|
||||
## Ссылки
|
||||
- BRD: `docs/work-items/ORCH-111/01-brd.md`
|
||||
- TRZ: `docs/work-items/ORCH-111/02-trz.md`
|
||||
- Acceptance: `docs/work-items/ORCH-111/03-acceptance-criteria.md`
|
||||
- Инфра: `docs/work-items/ORCH-111/07-infra-requirements.md`
|
||||
- Риски: `docs/work-items/ORCH-111/10-tech-risks.md`
|
||||
- Сквозной ADR: `docs/architecture/adr/adr-0041-watchdog-orphan-test-process-alert.md`
|
||||
- Связанные ADR: `adr-0033` (sidecar-watchdog F1b — машина `decide`/`AlertState`/never-raise),
|
||||
`adr-0030` (контракт `/metrics`/`schema_version` — НЕ трогаем), `adr-0024` (disk-watchdog — образец
|
||||
pure-решающей функции + dedup), `adr-0040` (ORCH-109 timeout-kill `-9` — источник осиротения).
|
||||
- Сверено по коду: `watchdog/{core,signals,config,decision,notify}.py`,
|
||||
`watchdog/collectors/{host,orch}.py`, `docker-compose.yml` (сервис `orchestrator-watchdog`),
|
||||
`src/merge_gate.py::retest_branch`, `src/coverage_gate.py::measure_coverage`,
|
||||
`src/config.py` (`merge_retest_timeout_s=600`, `coverage_run_timeout_s=900`),
|
||||
`tests/watchdog/test_compose_service.py`, `tests/test_lite_setup_doc.py`.
|
||||
</content>
|
||||
@@ -1,62 +0,0 @@
|
||||
---
|
||||
work_item: ORCH-111
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-15
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 07 — Инфра-требования: ORCH-111 — watchdog-алерт на долго живущий тест-процесс
|
||||
|
||||
Work Item: **ORCH-111** · Repo: **orchestrator** · Стадия: architecture
|
||||
|
||||
> Применимо: меняется топология контейнера-наблюдателя (`pid: host`) и добавляются env-ключи
|
||||
> watchdog. Решение — `06-adr/ADR-001` + сквозной `adr-0041`.
|
||||
|
||||
## I-1. Топология / окружения
|
||||
- **Изменение:** сервису `orchestrator-watchdog` в `docker-compose.yml` добавляется **`pid: host`**
|
||||
(ADR-001 D6). Под `pid: host` контейнерный `/proc` отражает корневой PID-namespace хоста →
|
||||
watchdog видит таблицу процессов хоста (включая осиротевшие pytest, репарентированные на tini
|
||||
orchestrator-контейнера). **Отдельный mount `/proc` не требуется** (procfs зависит от namespace
|
||||
читателя).
|
||||
- `pid: host` — **НЕ volume** → существующий тест `tests/watchdog/test_compose_service.py::
|
||||
test_host_paths_mounted_read_only` (требует `:ro` на каждом volume) остаётся зелёным; разработчик
|
||||
добавляет позитивный тест на наличие `pid: host`.
|
||||
- Привилегия — **только у наблюдателя** (`orchestrator-watchdog`). Прод `orchestrator` и
|
||||
`orchestrator-staging` **не** меняются. Прочие тома/порты/сеть watchdog — без изменений
|
||||
(`network_mode: host`, `docker.sock:ro`, `/repos:ro`, `./data:ro`, `mem_limit: 128m`).
|
||||
- **Тираж (Lite/Bundled, ORCH-102/103):** `pid: host` входит в канонический compose sidecar; сигнал
|
||||
дефолт-off → нулевое изменение поведения у тиражных инсталляций.
|
||||
|
||||
## I-2. Переменные окружения / секреты
|
||||
- **Новые ключи** (ADR-001 D5), парсеры never-raise:
|
||||
| Ключ | Дефолт | Смысл |
|
||||
|------|--------|-------|
|
||||
| `WATCHDOG_PROC_ENABLED` | `false` | kill-switch / осознанный opt-in |
|
||||
| `WATCHDOG_PROC_AGE_MIN` | `60` | порог возраста (мин); **обязан** > `max(merge_retest_timeout_s=600, coverage_run_timeout_s=900)/60` |
|
||||
| `WATCHDOG_PROC_PATTERNS` | `pytest` | CSV паттернов cmdline (substring-матч) |
|
||||
| `WATCHDOG_PROC_COOLDOWN_S` | `1800` | per-signal cooldown |
|
||||
- **Канон тиража (NFR-5 / AC-10):** ключи добавить в **том же PR** в `.env.watchdog.example` **И** в
|
||||
блок `WATCHDOG_*` `.env.example` (равенство множеств держит `tests/test_lite_setup_doc.py`
|
||||
TC-02b) + описать в `docs/deployment/LITE_SETUP.md` и `docs/architecture/README.md`.
|
||||
- **Секреты:** новых нет. Канал алертов — существующий `WATCHDOG_TG_*` (свой бот sidecar, C-1).
|
||||
- **На прод-хосте (разово, человек):** в `.env.watchdog` выставить `WATCHDOG_PROC_ENABLED=true`
|
||||
(включение сигнала; без этого — дремлет).
|
||||
|
||||
## I-3. Деплой / рестарт
|
||||
- **Self-hosting инвариант (NFR-3):** выкат пересобирает/рестартит **только** контейнер
|
||||
`orchestrator-watchdog` (`docker compose up -d --build orchestrator-watchdog`). Прод-контейнер
|
||||
`orchestrator` **НЕ** перезапускается (иначе встанет конвейер всех проектов, включая enduro).
|
||||
- Прод-выкат sidecar — через staging-эквивалент (smoke на staging-хосте перед прод): проверить, что
|
||||
под `pid: host` коллектор видит процессы, сигнал поднимается на синтетическом старом pytest и молчит
|
||||
при дефолт-off.
|
||||
- **Откат:** `WATCHDOG_PROC_ENABLED=false` (мгновенный; привилегия дремлет) либо снятие `pid: host` +
|
||||
рестарт только sidecar.
|
||||
|
||||
## I-4. CI/CD
|
||||
- Без изменений `.gitea/workflows/`. Новые тесты — `tests/watchdog/test_proc_blocking_signal.py`,
|
||||
`tests/watchdog/test_tick_proc_blocking_integration.py` (TRZ §2) — исполняются существующим
|
||||
`pytest tests/`. Key-sync (`test_lite_setup_doc.py`) и compose-тесты watchdog должны остаться
|
||||
зелёными.
|
||||
</content>
|
||||
@@ -1,38 +0,0 @@
|
||||
---
|
||||
work_item: ORCH-111
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-15
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 10 — Технические риски: ORCH-111 — watchdog-алерт на долго живущий тест-процесс
|
||||
|
||||
Work Item: **ORCH-111** · Repo: **orchestrator** · Стадия: architecture
|
||||
|
||||
> Информационный (гейтом не парсится). Риски реализации и их митигейшн.
|
||||
|
||||
## Реестр рисков
|
||||
|
||||
| ID | Риск | Вер. | Влия. | Митигейшн |
|
||||
|----|------|------|-------|-----------|
|
||||
| TR-1 | **Расширение привилегии наблюдателя** (`pid: host`): sidecar видит таблицу процессов всего хоста (все контейнеры). | Сред. | Сред. | Привилегия **read-only** и **меньше**, чем уже-смонтированный `docker.sock` (полная интроспекция контейнеров); код читает **только** `/proc/<pid>/{stat,cmdline}`, **никогда** `/proc/<pid>/environ`; сигнал дефолт-off; обоснование в ADR-001 D1/D6 + adr-0041. (NFR-2/AC-3) |
|
||||
| TR-2 | **Утечка секретов через cmdline** в Telegram-алерт (если тест-команда содержит чувствительный аргумент). | Низ. | Сред. | Скоуп паттерна — `pytest` (не принимает секретов в аргументах); cmdline в detail **усекать** до ограниченного фрагмента; канал — приватный бот оператора (C-1). |
|
||||
| TR-3 | **Ложные срабатывания** на легитимном длинном прогоне → спам. | Низ. | Сред. | Порог возраста **обязан** > `max(merge_retest_timeout_s=600, coverage_run_timeout_s=900)`; дефолт `WATCHDOG_PROC_AGE_MIN=60` мин (4× запас); cmdline-скоуп; дедуп/cooldown через `decision.decide`/`AlertState` (BR-4/BR-5, по построению D2). |
|
||||
| TR-4 | **Кросс-namespace PID не совпадают** (`pid: host` даёт хост-глобальные PID; `/metrics agents[].pid` — namespace орка) → ненадёжная атрибуция «процесс активного джоба». | Сред. | Низ. | Атрибуция **не** через PID, а через порог возраста (namespace-агностичен) + cmdline-скоуп; дубль с `agent_hung` исключён по построению (claude ≠ pytest). ADR-001 D2. |
|
||||
| TR-5 | **Отсутствие RECOVERY** для исчезнувшего процесса (динамический per-entity ключ — как у `agent_hung`/`stage_stuck`, которые не recovery'ятся при пропадании сущности). | Сред. | Низ. | Синтез `Signal(active=False)` для `proc_blocking`-ключей, alerting=True но исчезнувших из наблюдаемых → один RECOVERY через `decide()` (ADR-001 D4, AC-6). Покрыть интеграционным тестом tick→recovery. |
|
||||
| TR-6 | **PID-recycling**: PID переиспользован после смерти орфана → ложная пара recovery+new-alert. | Низ. | Низ. | Естественный цикл vanish→recovery→new-alert корректен; опционально усилить ключ `("proc_blocking", pid, start_ticks)`. |
|
||||
| TR-7 | **never-raise регресс**: гонка «процесс умер между `listdir(/proc)` и `read`» или битый `/proc` роняет тик. | Низ. | Выс. | Per-pid guard (skip), top-level guard → `[]`; чистый разбор отделён от I/O и покрыт фикстурами; AC-8. |
|
||||
| TR-8 | **Дрейф канона тиража**: ключи добавлены в код, но не синхронизированы в `.env.example`/`.env.watchdog.example`/`LITE_SETUP.md`. | Сред. | Низ. | Key-sync `tests/test_lite_setup_doc.py` (TC-02b) красит PR; норматив NFR-5 «обновить в том же PR»; reviewer-ось ORCH-079 (доки). |
|
||||
| TR-9 | **Не-Linux / нет `/proc`** (тиражная инсталляция на не-Linux) → сигнал не работает. | Низ. | Низ. | Коллектор → `[]` (один сигнал тих, тик жив); сигнал дефолт-off; Linux-специфичность задокументирована (как CPU-liveness `agent_hung`). |
|
||||
|
||||
## Сводный вывод
|
||||
Доминирующий класс — **безопасность наблюдателя** (TR-1/TR-2: привилегия `pid: host` + видимость
|
||||
cmdline). Остаточный риск для прод-конвейера **низкий**: все изменения строго в наблюдателе
|
||||
(`watchdog/**` + сервис watchdog), read-only, never-raise, дефолт-off; `src/**` / `/metrics` /
|
||||
`STAGE_TRANSITIONS` / `QG_CHECKS` / `check_*` / схема БД — не тронуты; выкат не рестартит прод-`orchestrator`
|
||||
(NFR-3). Эскалация: рекомендуется лейбл **`arch:major-change`** (изменение топологии/привилегий
|
||||
наблюдателя + новый компонентный сигнал). Возврат в анализ **не требуется** — ТЗ удовлетворяется без
|
||||
нарушения принципов архитектуры (всё в Docker на одном сервере, stdlib-only, без новых зависимостей).
|
||||
</content>
|
||||
@@ -1,156 +0,0 @@
|
||||
---
|
||||
verdict: APPROVED
|
||||
work_item: ORCH-111
|
||||
stage: review
|
||||
author_agent: reviewer
|
||||
status: approved
|
||||
created_at: 2026-06-15
|
||||
model_used: claude-opus-4-8
|
||||
type: review
|
||||
work_item_id: ORCH-111
|
||||
version: 2
|
||||
---
|
||||
|
||||
# Review ORCH-111
|
||||
|
||||
## Summary
|
||||
|
||||
PR добавляет в sidecar-watchdog opt-in сигнал `proc_blocking` — алерт на долго живущий осиротевший
|
||||
тест-процесс (pytest), репарентированный на хост и грузящий CPU (инцидент: осиротевший
|
||||
`test_install_lite_script.py` жил >2 суток без единого алерта и через CPU-голодание валил merge-gate
|
||||
re-test на ORCH-109). Изменение **строго внутри наблюдателя** (`watchdog/**` + одна строка `pid: host`
|
||||
в сервисе `orchestrator-watchdog` `docker-compose.yml`).
|
||||
|
||||
Проверено по всем 4 осям, с независимой верификацией (прогон тестов, скан запрещённых вызовов, сверка
|
||||
`src/` diff, сверка key-sync канона, атрибуция деплой-фейла). **Замечаний уровня P0/P1 нет.**
|
||||
`src/**` — байт-в-байт не тронут (`git diff origin/main…HEAD -- src/` пуст), конвейерные контракты
|
||||
сохранены, документация наблюдателя обновлена в том же PR, watchdog+key-sync тесты зелёные
|
||||
(**125 passed** на текущем HEAD). **Вердикт: APPROVED.**
|
||||
|
||||
> **Re-review (v2).** Задача вернулась на `review` после `deploy_status: FAILED` (`hook_exit_code: 1`,
|
||||
> ORCH-036 self-deploy). Деплой-фейл **расследован и НЕ относится к диффу** (см. раздел «Атрибуция
|
||||
> деплой-фейла» ниже): normal-deploy хука рестартит **только** сервис `orchestrator` (retag
|
||||
> прев-валидированного образа + health-check порта 8500), сервис `orchestrator-watchdog` он **не
|
||||
> трогает** — правка `pid: host` физически не могла вызвать exit 1. Это деплой-инфра/окружение
|
||||
> (CPU-голодание хоста — ровно тот класс осиротевших процессов, который и закрывает эта задача), не
|
||||
> ось code-review. Дифф с момента прошлого review/testing **кодово не менялся** (поздний developer
|
||||
> commit run 680 добавил только детерминированные gate-артефакты `17-security-report.md`/
|
||||
> `18-coverage-report.md`). Подтверждаю APPROVED на тех же основаниях.
|
||||
|
||||
### Сверка по осям
|
||||
|
||||
**1. Соответствие ТЗ / Acceptance Criteria — PASS.**
|
||||
- FR-1 (`watchdog/signals.py::proc_signals` — чистый builder, per-entity key `("proc_blocking", pid)`,
|
||||
active ⇔ `age_s > cfg.proc_age_s`, действенный RU-`detail`: PID + возраст(с) + усечённый cmdline
|
||||
≤120 + накопленное CPU) — ✓.
|
||||
- FR-2 (`watchdog/collectors/proc.py` — stdlib-only `/proc`-скан, read-only, never-raise → `[]`,
|
||||
чистый разбор `parse_btime`/`parse_pid_stat`/`decode_cmdline`/`matches_patterns` отделён от I/O
|
||||
`collect_candidates`, инъектируемые `proc_root`/`now`/`clk_tck`/`read_*` для тестов на фейк-`/proc`) — ✓.
|
||||
- FR-3 (4 ключа `WATCHDOG_PROC_*`, парсеры `_bool`/`_float`/`_csv` never-raise, дефолт-off,
|
||||
derived `proc_age_s`) — ✓.
|
||||
- FR-4 (только наблюдение — нет `os.kill`/сигналов/`subprocess`/мутаций/чтения `/proc/<pid>/environ`;
|
||||
независимо подтвердил grep'ом: совпадения только в докстрингах-контракте) — ✓.
|
||||
- FR-5 (диспетч `core.tick()` через существующую `decision.decide()`/`AlertState`; RECOVERY
|
||||
синтезируется `_synthesize_proc_recoveries` без новой анти-спам-логики — per-family bookkeeping) — ✓.
|
||||
- FR-6 (без дубля с `agent_hung` — по построению: cmdline-скоуп `pytest` ≠ `claude` + порог возраста
|
||||
выше бюджета; кросс-namespace матчинг PID не нужен) — ✓.
|
||||
- AC-1…AC-10 покрыты: TC-01 (red→green builder), TC-02 (граница strict `>`), TC-03 (конфиг/kill-switch),
|
||||
TC-04 (never-raise/read-only AST), TC-05 (alert→none→realert→recovery→no-repeat), TC-06 (partition
|
||||
vs agent_hung), TC-07 (red→green tick→dispatch «алерт даже когда ни одна стадия не stuck» + flag-off
|
||||
+ collector-explodes), TC-12 (compose `pid: host` + прод-orch его НЕ получает), key-sync.
|
||||
- §7 (порог): дефолт `WATCHDOG_PROC_AGE_MIN=60` (=3600s) > `max(merge_retest_timeout_s=600,
|
||||
coverage_run_timeout_s=900)=900s` (4× запас) — кросс-инвариант D2 соблюдён (анти-false-positive AC-4).
|
||||
|
||||
**2. Соответствие ADR — PASS.**
|
||||
- Реализация 1:1 соответствует ADR-001: D1 (watchdog-side `/proc` под `pid: host`, НЕ orch-side
|
||||
`/metrics`), D2 (анти-FP/анти-дубль по построению), D3 (коллектор), D4 (builder + синтез RECOVERY
|
||||
для исчезнувшего PID), D5 (конфиг дефолт-off), D6 (`pid: host` **только** на `orchestrator-watchdog`),
|
||||
D7 (инварианты конвейера). PID-recycling — осознанный край ADR D4 (start_ticks в ключ не добавлен;
|
||||
«опциональное усиление»), допустимо.
|
||||
- Сквозной `docs/architecture/adr/adr-0041-watchdog-orphan-test-process-alert.md` присутствует.
|
||||
- **Трассировка (TRACEABILITY.md):** правки `watchdog/{core,signals,config}.py` + сервиса watchdog —
|
||||
аддитивные врезки, гейтированные на `proc_enabled`; маркированные инварианты предшественников
|
||||
(ORCH-100 sidecar `decide`/`AlertState`/never-raise; read-only-маунты) не сломаны. Существующий
|
||||
`test_host_paths_mounted_read_only` остаётся зелёным (`pid` — не volume), добавлен позитивный
|
||||
`test_watchdog_shares_host_pid_namespace`.
|
||||
- Глобальные инварианты (AC-9): `STAGE_TRANSITIONS` / `QG_CHECKS` / `check_*` / machine-verdict /
|
||||
схема БД / `/metrics`+`schema_version` — **байт-в-байт не тронуты** (подтверждено: `git diff` по
|
||||
`src/` пуст).
|
||||
|
||||
**3. Качество кода — PASS.**
|
||||
- Docstrings на всех публичных функциях (коллектор/builder/synth/tick) — содержательные, со ссылками
|
||||
на D-решения ADR.
|
||||
- Тесты содержательные, не тривиальные: red→green регресс-якоря (TC-01 builder, TC-07 tick→dispatch),
|
||||
граничный strict `>`, патологический `comm` со скобками/пробелами, NUL-cmdline, гонка «pid исчез
|
||||
mid-scan», AST-скан read-only-контракта, полная последовательность alert→none→realert→recovery.
|
||||
- **Регресс-тест дефекта (ORCH-019 BR-4 / усиление):** задача эскалирована `escalate: full-cycle`
|
||||
(прошла `architecture`, не bug-fast-track), но несёт явные тест-фиксаторы дефекта (TC-01 builder,
|
||||
TC-07 tick→dispatch — оба red→green) — требование «фикс кода несёт тест-фиксатор» выполнено.
|
||||
- Безопасность: read-only (per-pid + top-level guard), never-raise, `/proc/<pid>/environ` не читается
|
||||
(секреты, R-2), cmdline усечена до 120 (анти-утечка аргументов). Привилегия `pid: host` — read-only,
|
||||
только у наблюдателя, обоснована в `07-infra-requirements.md`; меньше уже-смонтированного
|
||||
`docker.sock`.
|
||||
- Корректность вычислений: `age_s = now − (btime + starttime/clk_tck)`, `cpu_s = (utime+stime)/clk_tck`,
|
||||
`clk_tck` с безопасным фолбэком 100 — верно; CPU вне активации (информационно), как требует ADR.
|
||||
|
||||
**4. Документация — PASS.**
|
||||
- `src/**` НЕ изменён → жёсткое правило «src изменён, доки нет → P0» не активируется; доки наблюдателя
|
||||
обновлены в том же PR независимо: `CHANGELOG.md`, `docs/architecture/README.md` (раздел
|
||||
`proc_blocking`), `docs/deployment/LITE_SETUP.md` (opt-in блок + «Проверка»), ADR work-item
|
||||
`06-adr/ADR-001` + сквозной `adr-0041`, `.env.watchdog.example` ↔ блок `WATCHDOG_*` `.env.example`
|
||||
(4 ключа синхронизированы 1:1, key-sync `tests/test_lite_setup_doc.py` зелёный).
|
||||
- Витрина `docs/overview/` (ORCH-011): sidecar-watchdog описан абстрактно (каталог сигналов не
|
||||
перечисляет); новый opt-in (дефолт-off) сигнал абстрактную формулировку не противоречит,
|
||||
машинно-проверяемые факты не меняет → обновление витрины не обязательно (не P1).
|
||||
- Стадийное владение артефактами соблюдено (rule 3/4): ретроактивных правок ТЗ/ADR нет.
|
||||
|
||||
## Атрибуция деплой-фейла (вне оси code-review, информационно)
|
||||
|
||||
`14-deploy-log.md` фиксирует `deploy_status: FAILED` / `hook_exit_code: 1`. Расследование:
|
||||
- Normal-deploy `scripts/orchestrator-deploy-hook.sh` (шаги 2b/3/4) выполняет **retag
|
||||
прев-валидированного `SOURCE_IMAGE`** на `orchestrator` + `docker compose up -d --no-build
|
||||
$TARGET_SERVICE` **только для сервиса `orchestrator`** + health-check **порта 8500**. Сервис
|
||||
`orchestrator-watchdog` хук **не пересобирает и не рестартит**.
|
||||
- Следовательно правка `pid: host` (только в watchdog-сервисе) и весь код `watchdog/**`
|
||||
**физически не участвуют** в этом деплое и не могли дать exit 1.
|
||||
- Признаки в истории (`chore: retrigger merge-gate re-test (flaked under host CPU starvation)`)
|
||||
указывают на CPU-голодание хоста — ровно тот класс осиротевших pytest-процессов, который и
|
||||
закрывает ORCH-111. Это деплой-инфра/окружение, не дефект диффа.
|
||||
- **Путь вперёд** — повторный прод-деплой после стабилизации хоста (вне ответственности reviewer);
|
||||
блокировать review по инфра-фейлу деплоя нет оснований.
|
||||
|
||||
## Findings
|
||||
|
||||
### P0 — Blocker
|
||||
- Нет.
|
||||
|
||||
### P1 — Must fix
|
||||
- Нет.
|
||||
|
||||
### P2 — Should fix
|
||||
- Нет.
|
||||
|
||||
### P3 — Nice to have (не блокируют)
|
||||
- [ ] `watchdog/collectors/proc.py:202` — опечатка в комментарии top-level `except`: «one signal tih»
|
||||
→ «one signal **тих**» (косметика).
|
||||
- [ ] `core.py::_dispatch`: после RECOVERY ключ `("proc_blocking", pid)` остаётся в `self._states`
|
||||
с `alerting=False` навсегда (мелкое неограниченное накопление мёртвых-PID ключей за время жизни
|
||||
sidecar). Эффект пренебрежимо мал (запись крошечная; алертящий PID требует процесс >1ч matching
|
||||
`pytest` — событие исключительное), зеркалит существующий паттерн `container_down`; повторный
|
||||
RECOVERY не синтезируется (`state.alerting` уже False). Опционально — очищать ключ после RECOVERY.
|
||||
- [ ] Индекс `docs/architecture/adr/README.md` не содержит `adr-0041` — **предсуществующий долг**
|
||||
(нет также `adr-0038/0039/0040`), не свойство этого PR и не per-PR-контракт. Не вменяется ORCH-111.
|
||||
|
||||
## Документация
|
||||
|
||||
Документация обновлена корректно и в полном объёме **в том же PR**:
|
||||
- `CHANGELOG.md` — запись с разбивкой по D-решениям. ✓
|
||||
- `docs/architecture/README.md` — раздел `proc_blocking` в описании sidecar-watchdog. ✓
|
||||
- `docs/deployment/LITE_SETUP.md` — opt-in блок с «Проверкой» (NFR-5). ✓
|
||||
- `docs/work-items/ORCH-111/06-adr/ADR-001-...` + сквозной `docs/architecture/adr/adr-0041-...`. ✓
|
||||
- `.env.watchdog.example` ↔ блок `WATCHDOG_*` `.env.example` — синхронизированы (4 ключа), key-sync
|
||||
тест зелёный. ✓
|
||||
|
||||
`src/**` байт-в-байт не тронут → жёсткое правило P0 не активируется; функционал наблюдателя
|
||||
задокументирован, конвейерные контракты сохранены, выкат пересобирает только `orchestrator-watchdog`
|
||||
(прод `orchestrator` не рестартится, NFR-3). **Документация = golden source: требование выполнено.**
|
||||
@@ -1,77 +0,0 @@
|
||||
---
|
||||
result: PASS
|
||||
work_item: ORCH-111
|
||||
stage: testing
|
||||
author_agent: tester
|
||||
status: pass
|
||||
created_at: 2026-06-15
|
||||
model_used: claude-opus-4-8
|
||||
type: test-report
|
||||
work_item_id: ORCH-111
|
||||
---
|
||||
|
||||
# Test Report — ORCH-111
|
||||
|
||||
BUG: watchdog must alert on long-lived pytest/child processes that block the pipeline.
|
||||
Новый opt-in сигнал sidecar-watchdog `proc_blocking` (дефолт-off, never-raise, read-only).
|
||||
|
||||
## Окружение
|
||||
- Python: 3.12.13
|
||||
- pytest: 8.3.3
|
||||
- Worktree: `/repos/_wt/orchestrator/feature_ORCH-111-bug-watchdog-must-alert-on-lon/`
|
||||
- Branch: `feature/ORCH-111-bug-watchdog-must-alert-on-lon`
|
||||
- Дата: 2026-06-15
|
||||
|
||||
## Smoke API (read-only)
|
||||
- `GET /health` → `{"status":"ok","service":"orchestrator"}` — OK
|
||||
- `GET /status` → 200, активная задача `ORCH-111` (task 99) на стадии `testing` — OK
|
||||
- `GET /queue` → 200; блок `serial_gate` присутствует (orchestrator: active=ORCH-111),
|
||||
блок `auto_labels` присутствует — OK; counts: done=1873, failed=8, breaker=closed
|
||||
|
||||
## Результаты — покрытие тест-плана (04-test-plan.yaml)
|
||||
|
||||
| TC ID | Описание | Тест(ы) | Результат |
|
||||
|-------|----------|---------|-----------|
|
||||
| TC-01 | РЕГРЕСС (red→green): builder активирует `proc_blocking` для долгоживущего pytest-процесса вне активного джоба (AC-1) | `test_proc_blocking_signal.py::test_tc01_builder_emits_active_proc_blocking_signal` | PASS |
|
||||
| TC-02 | Анти-false-positive: возраст ниже порога / атрибуция активному джобу → сигнал неактивен (AC-4) | `test_tc02_below_threshold_is_inactive`, `test_tc02_boundary_is_strict_greater_than` | PASS |
|
||||
| TC-03 | Конфиг/kill-switch: `WATCHDOG_PROC_*` парсятся с безопасными дефолтами; дефолт-off инертен; порог > merge_retest_timeout (AC-7) | `test_tc03_defaults_are_off_and_safe`, `test_tc03_env_overrides_and_malformed_degrade`, `test_tc03_killswitch_off_makes_collector_inert`, `test_config_killswitch.py::test_proc_blocking_*` | PASS |
|
||||
| TC-04 | never-raise/read-only коллектора: битый/пустой/недоступный источник → `[]`; нет os.kill/signal/subprocess (AC-3/AC-8) | `test_tc04_collector_degrades_to_empty_on_broken_source`, `test_tc04_collector_empty_when_btime_unreadable`, `test_tc04_collector_source_is_read_only`, `test_tc04_builder_skips_records_missing_fields` | PASS |
|
||||
| TC-05 | Анти-спам/recovery через decision.decide+AlertState: ALERT→NONE→REALERT→однократный RECOVERY (AC-6) | `test_tc05_alert_throttle_realert_then_recovery` | PASS |
|
||||
| TC-06 | Без дубля с `agent_hung`: процесс из /metrics agents[] / claude-агент не порождает `proc_blocking` (AC-5) | `test_tc06_claude_agent_cmdline_never_matches_pytest_pattern`, `test_tc06_collector_excludes_non_matching_processes` | PASS |
|
||||
| TC-07 | РЕГРЕСС tick→dispatch: `Watchdog.tick()` диспетчеризует `proc_blocking`-алерт; флаг-off → ничего; never-raise (AC-1/AC-7) | `test_tick_proc_blocking_integration.py::test_tc07_tick_dispatches_proc_blocking_alert`, `test_tc07_killswitch_off_dispatches_nothing`, `test_tc07_in_budget_process_does_not_alert`, `test_tc07_tick_never_raises_when_collector_explodes` | PASS |
|
||||
| TC-08 | Конфиг-канон/тираж: key-set `.env.watchdog.example` ↔ блок `WATCHDOG_*` в `.env.example` синхронизирован (AC-10) | `test_config_killswitch.py` + key-sync (`test_lite_setup_doc.py`) | PASS |
|
||||
| TC-09 | Полный регресс `pytest tests/` зелёный; конвейер/QG не затронуты; schema_version /metrics не бампнут (AC-9) | `pytest tests/` (1933 passed) | PASS |
|
||||
|
||||
Дополнительно зелёный leaf-набор коллектора `tests/watchdog/test_proc_collector.py`
|
||||
(13 тестов: разбор `/proc/stat` btime, `pid/stat` с comm в скобках/пробелах, NUL-cmdline,
|
||||
паттерны, фильтрация, гонка «pid исчез mid-scan») и compose-инвариант
|
||||
`test_compose_service.py::test_watchdog_shares_host_pid_namespace` + read-only маунты.
|
||||
|
||||
Все TC сопоставлены с критериями приёмки `03-acceptance-criteria.md` (AC-1…AC-10) и выполнены.
|
||||
|
||||
## Сверка инвариантов (AC-3 / AC-9)
|
||||
- `git diff origin/main...HEAD -- src/` — **пуст**: `src/**`/`STAGE_TRANSITIONS`/`QG_CHECKS`/`check_*`/
|
||||
machine-verdict/схема БД байт-в-байт не тронуты. Изменения только в `watchdog/**`, `tests/**`, docs,
|
||||
`.env*.example` и одна строка `pid: host` сервиса `orchestrator-watchdog` в `docker-compose.yml`.
|
||||
- Read-only/без ремедиации: grep `os.kill|subprocess.(Popen|run|call)|send_signal|terminate|kill` по
|
||||
`watchdog/**` даёт единственное совпадение — докстринг `collectors/proc.py`, явно фиксирующий
|
||||
read-only-инвариант (`/proc/stat`, `/proc/<pid>/stat`, `/proc/<pid>/cmdline` только на чтение).
|
||||
|
||||
## Вывод pytest
|
||||
Независимый прогон tester (HEAD `521a72e`, worktree ветки задачи):
|
||||
```
|
||||
$ cd /repos/_wt/orchestrator/feature_ORCH-111-bug-watchdog-must-alert-on-lon && \
|
||||
python -m pytest tests/ -q --tb=short
|
||||
............................................................. [100%]
|
||||
================ 1933 passed, 1 warning in 447.41s (0:07:27) ==================
|
||||
EXIT=0
|
||||
```
|
||||
Целевые watchdog-модули детально: `37 passed` (proc_blocking_signal + tick_integration +
|
||||
config_killswitch + proc_collector).
|
||||
Единственный warning — предсуществующий `PydanticDeprecatedSince20` в `src/config.py:8`
|
||||
(не связан с ORCH-111, не блокирует).
|
||||
|
||||
## Итог
|
||||
PASS — полный регресс зелёный (1933 passed), smoke API (`/health`, `/status`, `/queue`
|
||||
с блоками `serial_gate`/`auto_labels`) — OK, каждый TC из `04-test-plan.yaml` выполнен и
|
||||
сопоставлен с критериями приёмки. Задача готова к переходу на `deploy-staging`.
|
||||
@@ -1,12 +0,0 @@
|
||||
---
|
||||
deploy_status: SUCCESS
|
||||
work_item: ORCH-111
|
||||
hook_exit_code: 0
|
||||
deployed_by: deploy-finalizer
|
||||
---
|
||||
|
||||
# Deploy log — ORCH-036 executable self-deploy
|
||||
|
||||
Прод-деплой завершён хост-хуком с exit-code `0` -> `deploy_status: SUCCESS`.
|
||||
|
||||
Вердикт зафиксирован детерминированным finalizer'ом (Фаза C), не LLM.
|
||||
@@ -1,33 +0,0 @@
|
||||
---
|
||||
staging_status: SUCCESS
|
||||
work_item: ORCH-111
|
||||
stage: deploy-staging
|
||||
author_agent: deployer
|
||||
status: success
|
||||
created_at: 2026-06-15
|
||||
model_used: claude-opus-4-8
|
||||
timestamp: 2026-06-15T05:46:24Z
|
||||
base_url: http://localhost:8501
|
||||
---
|
||||
|
||||
# Staging Gate Log
|
||||
|
||||
Staging test suite completed against the live `orchestrator-staging` instance (port 8501,
|
||||
mode=stub), run canonically INSIDE the container (`docker exec orchestrator-staging
|
||||
python3 /repos/orchestrator/scripts/staging_check.py --base-url http://localhost:8501 --mode stub`).
|
||||
|
||||
**Result: 8/10 checks PASS, exit code 0 → `staging_status: SUCCESS`.**
|
||||
|
||||
- REAL failed: none — all real checks green.
|
||||
- SANDBOX_INFRA failed (tolerated, ORCH-061): C9a, C9b.
|
||||
|
||||
INFRA-WAIVED: C9a Branch appears in orchestrator-sandbox, C9b Analyst job enqueued in staging queue (known sandbox-infra; real checks green)
|
||||
VERDICT: SUCCESS (exit 0) — SUCCESS (infra-waived): ['C9a Branch appears in orchestrator-sandbox', 'C9b Analyst job enqueued in staging queue'] are known sandbox-infra checks; all real checks green
|
||||
|
||||
## Blocks
|
||||
- Block A (SMOKE): A1, A2, A3 — PASS
|
||||
- Block B (ACCESS): B4, B5, B6 (registry isolation: sandbox present, prod ET/ORCH absent) — PASS
|
||||
- Block C (E2E, stub): C7, C8 — PASS; C9a, C9b — sandbox-infra waived (exit 0)
|
||||
|
||||
Tolerance active: `staging_infra_tolerance_enabled=True`. Exit-code → verdict mapping unchanged;
|
||||
waived checks not re-judged.
|
||||
@@ -1,25 +0,0 @@
|
||||
---
|
||||
security_status: PASS
|
||||
secrets_found: 0
|
||||
deps_blocking: 0
|
||||
deps_warning: 4
|
||||
deps_audit_degraded: false
|
||||
---
|
||||
# Security Report — ORCH-111
|
||||
|
||||
Детерминированный security-гейт (ORCH-022): secret-scanning (gitleaks, offline) + dependency audit (pip-audit). Машинный вердикт читается ТОЛЬКО из frontmatter выше.
|
||||
|
||||
## Verdict
|
||||
clean: 0 secrets, 0 blocking CVE(s)
|
||||
|
||||
## Secrets
|
||||
- None
|
||||
|
||||
## Dependencies (blocking)
|
||||
- None
|
||||
|
||||
## Dependencies (warning)
|
||||
- `pytest==8.3.3` — GHSA-6w46-j5rx-g56g severity=UNKNOWN fix=9.0.3
|
||||
- `starlette==0.38.6` — PYSEC-2026-161 severity=UNKNOWN fix=1.0.1
|
||||
- `starlette==0.38.6` — GHSA-f96h-pmfr-66vw severity=UNKNOWN fix=0.40.0
|
||||
- `starlette==0.38.6` — GHSA-2c2j-9gv5-cj73 severity=UNKNOWN fix=0.47.2
|
||||
@@ -1,22 +0,0 @@
|
||||
---
|
||||
coverage_status: PASS
|
||||
work_item: ORCH-111
|
||||
measured_coverage: 79.94
|
||||
baseline: 79.95
|
||||
floor: 0.00
|
||||
policy: both
|
||||
epsilon: 0.50
|
||||
delta: -0.01
|
||||
---
|
||||
# Coverage Report — ORCH-111
|
||||
|
||||
Детерминированный гейт покрытия (ORCH-027) — под-гейт ребра `deploy-staging→deploy` (ПОСЛЕ merge-gate, ДО image-freshness). Машинный вердикт читается ТОЛЬКО из `coverage_status:` frontmatter выше.
|
||||
|
||||
## Verdict
|
||||
measured=79.94% policy=both eps=0.50: absolute 79.94% >= floor 0.00%-eps0.50 -> PASS; baseline 79.94% >= base 79.95%-eps0.50 -> PASS
|
||||
|
||||
## Measurement
|
||||
pytest --cov=src: line coverage src/ = 79.94%
|
||||
|
||||
## Policy
|
||||
policy=both, floor=0.0%, baseline=79.95%, epsilon=0.5%
|
||||
@@ -1,42 +0,0 @@
|
||||
---
|
||||
staging_status: SUCCESS
|
||||
work_item: ORCH-113
|
||||
stage: deploy-staging
|
||||
author_agent: deployer
|
||||
status: success
|
||||
created_at: 2026-06-15
|
||||
model_used: claude-opus-4-8
|
||||
timestamp: 2026-06-15T10:04:59Z
|
||||
base_url: http://localhost:8501
|
||||
---
|
||||
|
||||
# Staging Gate Log
|
||||
|
||||
Staging test suite completed against the live staging environment
|
||||
(`orchestrator-staging`, port 8501, mode=stub), run inside the container via the
|
||||
Docker Exec API (canonical `docker exec` path — host `docker` CLI unavailable;
|
||||
ADR-001/ORCH-048 invariant preserved: B6 registry-isolation reads the running
|
||||
instance's own `.env.staging` process-env).
|
||||
|
||||
## Result
|
||||
|
||||
```
|
||||
RESULT: 8/10 checks PASS
|
||||
REAL failed : none
|
||||
SANDBOX_INFRA failed: ['C9a Branch appears in orchestrator-sandbox', 'C9b Analyst job enqueued in staging queue']
|
||||
tolerance: staging_infra_tolerance_enabled=True
|
||||
```
|
||||
|
||||
INFRA-WAIVED: C9a Branch appears in orchestrator-sandbox, C9b Analyst job enqueued in staging queue (known sandbox-infra; real checks green)
|
||||
VERDICT: SUCCESS (exit 0) — SUCCESS (infra-waived): ['C9a Branch appears in orchestrator-sandbox', 'C9b Analyst job enqueued in staging queue'] are known sandbox-infra checks; all real checks green
|
||||
|
||||
## Verdict mapping (ORCH-061)
|
||||
|
||||
- Suite exit code: **0** → `staging_status: SUCCESS`.
|
||||
- All REAL checks green (Blocks A/B SMOKE+ACCESS, C7/C8 E2E).
|
||||
- C9a/C9b are the two tolerated sandbox-infra checks (depend on SANDBOX bot
|
||||
accounts being project members — not on the pipeline). They were waived per
|
||||
ORCH-061; the script printed the `INFRA-WAIVED:`/`VERDICT:` lines and exited 0.
|
||||
Exit code is trusted; waived checks are not re-judged.
|
||||
|
||||
Staging gate passed → advance to `deploy`.
|
||||
@@ -563,26 +563,14 @@ class AgentLauncher:
|
||||
# so this is the only reliable source for the tracker's "· model · effort"
|
||||
# line. Empty resolve (no --effort flag) -> NULL so the suffix is omitted.
|
||||
# Reuses the still-open conn; never blocks the launch.
|
||||
#
|
||||
# ORCH-109 (D1): stamp the resolved MODEL in the SAME UPDATE. Previously the
|
||||
# model was only written post-hoc from the final usage-JSON (usage.record_usage,
|
||||
# model=COALESCE(?, model)); a timeout-killed run never emits that JSON, so the
|
||||
# model stayed NULL exactly when an incident needs it. Resolving it here is
|
||||
# deterministic (resolve_agent_model above), so the value is present from launch,
|
||||
# survives a timeout-kill (-9), and is visible in-flight in /metrics & /queue.
|
||||
# The post-hoc record_usage stays an ENRICHMENT (COALESCE keeps the launch stamp
|
||||
# when the JSON model is None/missing). Empty resolve (model == "", CLI default
|
||||
# with no --model) -> NULL, symmetric with `effort or None`, so the tracker's
|
||||
# model suffix is correctly omitted. never-raise: failure is isolated + WARNING;
|
||||
# the launch continues (model_flag is built from the local `model`, not the DB).
|
||||
try:
|
||||
conn.execute(
|
||||
"UPDATE agent_runs SET model=?, effort=? WHERE id=?",
|
||||
(model or None, effort or None, run_id),
|
||||
"UPDATE agent_runs SET effort=? WHERE id=?",
|
||||
(effort or None, run_id),
|
||||
)
|
||||
conn.commit()
|
||||
except Exception as e:
|
||||
logger.warning(f"model/effort stamp failed for run_id={run_id}: {e}")
|
||||
logger.warning(f"effort stamp failed for run_id={run_id}: {e}")
|
||||
model_flag = f"--model {model} " if model else ""
|
||||
effort_flag = f"--effort {effort} " if effort else ""
|
||||
# ORCH-074 (G2): agent_fallback_model is read directly here, bypassing
|
||||
@@ -670,34 +658,16 @@ class AgentLauncher:
|
||||
notify_agent_started(run_id, agent, task_id)
|
||||
return run_id
|
||||
|
||||
# ORCH-109 (D3): dedicated raised-budget keys for the two HEAVY roles. Maps the
|
||||
# role to its Settings attribute; resolved BELOW the operator JSON escape-hatch
|
||||
# and ABOVE the global default. A role absent here keeps the global default.
|
||||
_TIMEOUT_ROLE_KEYS = {
|
||||
"developer": "agent_timeout_developer_s",
|
||||
"reviewer": "agent_timeout_reviewer_s",
|
||||
}
|
||||
|
||||
@staticmethod
|
||||
def _resolve_timeout(agent: str = None) -> int:
|
||||
"""ORCH-7 (M-2) + ORCH-109 (D3): resolve the wall-clock timeout for an agent.
|
||||
"""ORCH-7 (M-2): resolve the wall-clock timeout for an agent.
|
||||
|
||||
Deterministic priority ladder (highest first):
|
||||
1. settings.agent_timeout_overrides_json[agent] -- operator escape-hatch,
|
||||
wins for ANY role (full BC). A malformed JSON is ignored + logged.
|
||||
2. dedicated per-role key (ORCH-109): developer -> agent_timeout_developer_s
|
||||
(3600), reviewer -> agent_timeout_reviewer_s (3000). A non-positive /
|
||||
non-int value is ignored + logged (never-break) and falls through to (3).
|
||||
3. settings.agent_timeout_seconds -- the global default (1800) for every
|
||||
other role (analyst/architect/tester/deployer), byte-for-byte as before.
|
||||
|
||||
Never raises: any bad config degrades to the global default so a bad env
|
||||
never bricks runs. Cross-invariant (ORCH-065): max(resolved) + grace must
|
||||
stay < reaper_max_running_s (raised to 5400 in lockstep; see config.py).
|
||||
Per-agent override from settings.agent_timeout_overrides_json (a JSON object
|
||||
like {"reviewer": 3600}) wins; otherwise the global default
|
||||
settings.agent_timeout_seconds is used. A malformed override JSON is ignored
|
||||
(falls back to the default) and only logged, so a bad env never bricks runs.
|
||||
"""
|
||||
default = settings.agent_timeout_seconds
|
||||
|
||||
# (1) operator JSON override -- highest priority, unchanged semantics.
|
||||
raw = (settings.agent_timeout_overrides_json or "").strip()
|
||||
if agent and raw:
|
||||
try:
|
||||
@@ -706,22 +676,6 @@ class AgentLauncher:
|
||||
return int(overrides[agent])
|
||||
except (ValueError, TypeError) as e:
|
||||
logger.warning(f"Invalid agent_timeout_overrides_json, using default: {e}")
|
||||
|
||||
# (2) dedicated per-role raised budget (ORCH-109 D3/D4).
|
||||
key = AgentLauncher._TIMEOUT_ROLE_KEYS.get(agent)
|
||||
if key is not None:
|
||||
try:
|
||||
value = int(getattr(settings, key))
|
||||
if value > 0:
|
||||
return value
|
||||
logger.warning(
|
||||
f"Non-positive {key}={value!r}; falling back to "
|
||||
f"agent_timeout_seconds={default}"
|
||||
)
|
||||
except (ValueError, TypeError) as e:
|
||||
logger.warning(f"Invalid {key} for agent '{agent}', using default: {e}")
|
||||
|
||||
# (3) global default.
|
||||
return default
|
||||
|
||||
def _watchdog(self, pid: int, run_id: int, timeout: int = None,
|
||||
|
||||
@@ -120,28 +120,10 @@ class Settings(BaseSettings):
|
||||
# (env ORCH_AGENT_KILL_GRACE_SECONDS).
|
||||
# agent_timeout_overrides_json -> optional per-agent override JSON object,
|
||||
# e.g. {"reviewer": 3600, "architect": 2700}
|
||||
# (env ORCH_AGENT_TIMEOUT_OVERRIDES_JSON). HIGHEST
|
||||
# priority escape-hatch in _resolve_timeout (wins for
|
||||
# any role).
|
||||
# ORCH-109 (D3/D4): raised wall-clock budgets for the two HEAVY roles.
|
||||
# agent_timeout_developer_s -> developer is the bottleneck (effort xhigh,
|
||||
# coding/agentic); 3600s/60m (env
|
||||
# ORCH_AGENT_TIMEOUT_DEVELOPER_S).
|
||||
# agent_timeout_reviewer_s -> reviewer reads a large diff + writes the review
|
||||
# (high reasoning); 3000s/50m (env
|
||||
# ORCH_AGENT_TIMEOUT_REVIEWER_S).
|
||||
# _resolve_timeout ladder: overrides_json[agent] > dedicated role key >
|
||||
# agent_timeout_seconds (other roles stay at 1800, byte-for-byte). A malformed
|
||||
# JSON / non-positive dedicated value falls back to agent_timeout_seconds +
|
||||
# WARNING (never-break). The defaults ARE the prod budget (ORCH-101 canon: empty
|
||||
# .env reproduces prod). CROSS-INVARIANT (ORCH-065): reaper_max_running_s MUST
|
||||
# stay > max(resolved timeout) + agent_kill_grace_seconds; raised in lockstep to
|
||||
# 5400 below (5400 > 3600 + 20 = 3620).
|
||||
# (env ORCH_AGENT_TIMEOUT_OVERRIDES_JSON).
|
||||
agent_timeout_seconds: int = 1800
|
||||
agent_kill_grace_seconds: int = 20
|
||||
agent_timeout_overrides_json: str = ""
|
||||
agent_timeout_developer_s: int = 3600
|
||||
agent_timeout_reviewer_s: int = 3000
|
||||
|
||||
# ORCH-41: per-agent LLM model. Empty -> agent_model_default. Resolution order:
|
||||
# project-override (projects_json agent_models) > ORCH_AGENT_MODEL_<AGENT> >
|
||||
@@ -202,50 +184,18 @@ class Settings(BaseSettings):
|
||||
# only the self-hosting repo (orchestrator). Other
|
||||
# repos -> conditional no-op (mirrors ORCH-35 staging).
|
||||
# merge_retest_timeout_s -> wall-clock budget for the post-rebase re-test.
|
||||
# ORCH-110 (D5): raised 600 -> 900 (74% headroom over the observed 516.7s
|
||||
# suite vs the prior ~16%). Cross-invariant (ORCH-065/109): keep
|
||||
# reaper_max_running_s (5400) > Σ(deploy-staging gate-work) + grace — see
|
||||
# docs/work-items/ORCH-110/07-infra-requirements.md.
|
||||
# merge_retest_target -> pytest target for the re-test (portability across repos).
|
||||
# merge_lock_timeout_s -> max lease age; an older lease is reclaimed (crash backstop).
|
||||
# merge_defer_delay_s -> delay before re-running the gate when the lock is busy.
|
||||
# merge_defer_max_attempts -> defer retries before escalation (avoids livelock).
|
||||
merge_gate_enabled: bool = True
|
||||
merge_gate_repos: str = ""
|
||||
merge_retest_timeout_s: int = 900
|
||||
merge_retest_timeout_s: int = 600
|
||||
merge_retest_target: str = "tests/"
|
||||
merge_lock_timeout_s: int = 300
|
||||
merge_defer_delay_s: int = 60
|
||||
merge_defer_max_attempts: int = 5
|
||||
|
||||
# ORCH-110: merge-gate re-test infra-timeout tolerance + tree-kill of the
|
||||
# orchestrator-spawned pytest subprocess (re-test + coverage). Each default =
|
||||
# the desired prod behaviour (ORCH-101 canon); each flag is an INDEPENDENT
|
||||
# kill-switch (off -> byte-for-byte pre-ORCH-110). Detailed ADR:
|
||||
# docs/work-items/ORCH-110/06-adr/ADR-001-merge-gate-retest-infra-tolerance-and-tree-kill.md.
|
||||
# subprocess_tree_kill_enabled -> D1: spawn the re-test / coverage
|
||||
# pytest in its own process group and tree-kill the WHOLE group on timeout
|
||||
# (no orphan grandchildren grinding the host CPU). off -> the prior
|
||||
# subprocess.run(timeout=) (ORCH_SUBPROCESS_TREE_KILL_ENABLED).
|
||||
# merge_retest_infra_tolerance_enabled -> D3: a re-test TIMEOUT is a transient
|
||||
# (bounded infra-retry, NOT a code-fault rollback to development burning a
|
||||
# developer retry). off -> timeout = the prior rollback
|
||||
# (ORCH_MERGE_RETEST_INFRA_TOLERANCE_ENABLED).
|
||||
# merge_retest_infra_max_retries -> D3: infra-retry budget before an
|
||||
# infra-alert (anti-loop). (ORCH_MERGE_RETEST_INFRA_MAX_RETRIES)
|
||||
# merge_retest_infra_retry_delay_s -> D3: delay before the staging-deployer
|
||||
# re-run. (ORCH_MERGE_RETEST_INFRA_RETRY_DELAY_S)
|
||||
# merge_retest_skip_when_current_enabled -> D4: skip the local re-test when the
|
||||
# pre-merge rebase was a PROVEN no-op (branch already at origin/main; HEAD is
|
||||
# exactly the CI/tester/staging-validated commit). off -> always re-test
|
||||
# after rebase (ORCH_MERGE_RETEST_SKIP_WHEN_CURRENT_ENABLED).
|
||||
# The tree-kill grace reuses the existing agent_kill_grace_seconds (no new key).
|
||||
subprocess_tree_kill_enabled: bool = True
|
||||
merge_retest_infra_tolerance_enabled: bool = True
|
||||
merge_retest_infra_max_retries: int = 2
|
||||
merge_retest_infra_retry_delay_s: int = 120
|
||||
merge_retest_skip_when_current_enabled: bool = True
|
||||
|
||||
# ORCH-036: executable self-deploy (deploy stage drives the host hook).
|
||||
# The `deploy` stage for the self-hosting repo is turned into a REAL prod
|
||||
# restart via a detached host process, gated by a manual approve. Three-phase
|
||||
@@ -530,9 +480,6 @@ class Settings(BaseSettings):
|
||||
# reaper_max_running_s -> Tier-3 backstop ceiling: a job 'running' longer than
|
||||
# this is reaped even when liveness is unknowable. MUST be
|
||||
# > max agent_timeout + grace so a legit agent is safe.
|
||||
# ORCH-109 (D4): raised 3600 -> 5400 in lockstep with the
|
||||
# developer budget (5400 > 3600 + 20 = 3620; headroom 1780s
|
||||
# also covers the monitor finalization window).
|
||||
# reaper_finalize_grace_s -> Tier-2 anti-false-positive: a LIVE monitor writes
|
||||
# agent_runs.exit_code FIRST, THEN does git commit/push +
|
||||
# PR + Plane usage comments (seconds..minutes) and only
|
||||
@@ -547,7 +494,7 @@ class Settings(BaseSettings):
|
||||
reaper_enabled: bool = True
|
||||
reaper_interval_s: int = 60
|
||||
reaper_dead_ticks: int = 2
|
||||
reaper_max_running_s: int = 5400
|
||||
reaper_max_running_s: int = 3600
|
||||
reaper_finalize_grace_s: int = 300
|
||||
lease_reclaim_enabled: bool = True
|
||||
|
||||
|
||||
@@ -44,8 +44,7 @@ Invariants (ADR-001 §7, never broken):
|
||||
artefact / decides. It never calls the deploy hook, never restarts the prod
|
||||
container, never pushes / force-pushes ``main``.
|
||||
|
||||
This module is a **leaf**: it imports only ``config`` / ``git_worktree`` /
|
||||
``proc_group`` (the ORCH-110 stdlib-only process-group runner) and lazily
|
||||
This module is a **leaf**: it imports only ``config`` / ``git_worktree`` and lazily
|
||||
``qg.checks.is_self_hosting_repo`` / ``db`` / ``notifications``; it never imports
|
||||
``stage_engine``.
|
||||
"""
|
||||
@@ -53,11 +52,11 @@ This module is a **leaf**: it imports only ``config`` / ``git_worktree`` /
|
||||
import json
|
||||
import logging
|
||||
import os
|
||||
import subprocess
|
||||
import sys
|
||||
|
||||
from .config import settings
|
||||
from .git_worktree import ensure_worktree, get_worktree_path
|
||||
from .proc_group import run_in_process_group # ORCH-110 D1: tree-kill on timeout
|
||||
|
||||
logger = logging.getLogger("orchestrator.coverage_gate")
|
||||
|
||||
@@ -153,25 +152,22 @@ def measure_coverage(repo: str, branch: str) -> float | None:
|
||||
"-q",
|
||||
]
|
||||
timeout = settings.coverage_run_timeout_s
|
||||
# ORCH-110 (D1 / FR-2 / BR-3): run the coverage suite in its OWN process group so
|
||||
# a timeout tree-kills the WHOLE subtree (the sibling orphan-leak source of the
|
||||
# ORCH-109 incident), not just the direct child. The metric is read from the JSON
|
||||
# file regardless of the exit code, so a non-timeout spawn/OS error (returncode
|
||||
# None) just falls through to "no coverage json produced" -> None, byte-for-byte
|
||||
# the prior fail-open contract.
|
||||
res = run_in_process_group(
|
||||
cmd,
|
||||
cwd=wt,
|
||||
timeout=timeout,
|
||||
tree_kill=bool(getattr(settings, "subprocess_tree_kill_enabled", True)),
|
||||
grace_s=settings.agent_kill_grace_seconds,
|
||||
)
|
||||
if res.timed_out:
|
||||
try:
|
||||
subprocess.run(cmd, cwd=wt, capture_output=True, text=True, timeout=timeout)
|
||||
except subprocess.TimeoutExpired:
|
||||
logger.warning(
|
||||
"measure_coverage: pytest --cov timed out after %ss for %s/%s",
|
||||
timeout, repo, branch,
|
||||
)
|
||||
return None
|
||||
except FileNotFoundError:
|
||||
logger.warning(
|
||||
"measure_coverage: pytest / pytest-cov not available for %s/%s", repo, branch
|
||||
)
|
||||
return None
|
||||
except (subprocess.SubprocessError, OSError) as e:
|
||||
logger.warning("measure_coverage: pytest --cov error for %s/%s: %s", repo, branch, e)
|
||||
return None
|
||||
|
||||
data = None
|
||||
try:
|
||||
|
||||
@@ -225,11 +225,6 @@ async def queue():
|
||||
"reaper": reaper.status(),
|
||||
"post_deploy": post_deploy.status(),
|
||||
"merge_verify": merge_gate.merge_verify_status(),
|
||||
# ORCH-110 (D6): merge-gate re-test infra-timeout observability (read-only) —
|
||||
# tolerance/skip/tree-kill flags + timeout/infra-retry/skip counters, so an
|
||||
# infra-timeout is distinguishable from a code-fault rollback. Additive block;
|
||||
# never-raise.
|
||||
"merge_gate": merge_gate.merge_gate_status(),
|
||||
# ORCH-026 (G-2): declarative task-dependency observability (read-only,
|
||||
# NOT a source of truth) — declared edges, blocked tasks, detected cycle.
|
||||
"task_deps": task_deps.snapshot(),
|
||||
|
||||
@@ -36,7 +36,6 @@ import time
|
||||
|
||||
from .config import settings
|
||||
from .git_worktree import ensure_worktree, get_worktree_path
|
||||
from .proc_group import run_in_process_group # ORCH-110 D1: tree-kill on timeout
|
||||
|
||||
logger = logging.getLogger("orchestrator.merge_gate")
|
||||
|
||||
@@ -176,103 +175,17 @@ def auto_rebase_onto_main(repo: str, branch: str) -> tuple[bool, str]:
|
||||
# ---------------------------------------------------------------------------
|
||||
# re-test in the caught-up worktree
|
||||
# ---------------------------------------------------------------------------
|
||||
def _resolve_retest_timeout() -> int:
|
||||
"""Resolve the re-test wall-clock budget (ORCH-110 D5), never-break.
|
||||
|
||||
``int(settings.merge_retest_timeout_s)`` when it is a positive int; otherwise
|
||||
the safe default (900) + WARNING (mirrors ``launcher._resolve_timeout``). A
|
||||
malformed / non-positive config never reaches ``subprocess`` (FR-3 / AC-5).
|
||||
"""
|
||||
default = 900
|
||||
try:
|
||||
v = int(settings.merge_retest_timeout_s)
|
||||
if v > 0:
|
||||
return v
|
||||
logger.warning(
|
||||
"Non-positive merge_retest_timeout_s=%r; using default %ss",
|
||||
settings.merge_retest_timeout_s, default,
|
||||
)
|
||||
except (TypeError, ValueError):
|
||||
logger.warning(
|
||||
"Invalid merge_retest_timeout_s=%r; using default %ss",
|
||||
settings.merge_retest_timeout_s, default,
|
||||
)
|
||||
return default
|
||||
|
||||
|
||||
def head_sha(repo: str, branch: str) -> str:
|
||||
"""Return ``git rev-parse HEAD`` of the branch worktree, or ``""`` (ORCH-110 D4).
|
||||
|
||||
Used by ``check_branch_mergeable`` to detect a no-op rebase (HEAD unchanged ->
|
||||
branch already contained the latest origin/main). Reads ONLY the existing
|
||||
per-branch worktree (``get_worktree_path``; the worktree exists by the
|
||||
deploy-staging->deploy edge) — it never CREATES one, so on an absent worktree it
|
||||
safely returns ``""`` (the no-op-skip then never triggers; re-test runs —
|
||||
fail-safe). Never-raise: any git/OS error -> ``""``.
|
||||
"""
|
||||
try:
|
||||
wt = get_worktree_path(repo, branch)
|
||||
if not os.path.isdir(wt):
|
||||
return ""
|
||||
r = subprocess.run(
|
||||
["git", "-C", wt, "rev-parse", "HEAD"],
|
||||
capture_output=True, text=True, timeout=_SHORT_TIMEOUT,
|
||||
)
|
||||
if r.returncode != 0:
|
||||
return ""
|
||||
return (r.stdout or "").strip()
|
||||
except (subprocess.SubprocessError, OSError) as e:
|
||||
logger.warning("head_sha error for %s/%s: %s", repo, branch, e)
|
||||
return ""
|
||||
|
||||
|
||||
def classify_retest_failure(reason: str) -> str:
|
||||
"""Classify a merge-gate FAIL ``reason`` (ORCH-110 D2). Pure, never-raise.
|
||||
|
||||
The single point for the 'magic string' of the re-test outcome so the routing
|
||||
in ``stage_engine._handle_merge_gate`` can distinguish an INFRA timeout from a
|
||||
real RED re-test without scattering ``"timeout" in reason`` checks:
|
||||
|
||||
* ``"timeout"`` — the re-test hit its wall-clock budget (infra/resource);
|
||||
``check_branch_mergeable`` returns ``"re-test timeout after <T>s"``.
|
||||
* ``"red"`` — a deterministically red re-test (a real code defect):
|
||||
``"re-test failed after rebase: ..."``.
|
||||
* ``"lock-busy"`` — merge-lock contention (``"merge-lock busy"``).
|
||||
* ``"other"`` — rebase conflict / setup error / anything else.
|
||||
|
||||
SCOPE (ADR D2): ONLY the re-test timeout is an infra-tolerated transient.
|
||||
``auto_rebase_onto_main``'s own ``"rebase timeout"`` is a DIFFERENT timeout (git
|
||||
hung) and stays on the rollback path — without a successful rebase the branch
|
||||
cannot be caught up to ``main``, so a merge is impossible by construction.
|
||||
"""
|
||||
try:
|
||||
r = (reason or "").strip().lower()
|
||||
if r == "merge-lock busy":
|
||||
return "lock-busy"
|
||||
if "re-test timeout" in r:
|
||||
return "timeout"
|
||||
if r.startswith("re-test failed"):
|
||||
return "red"
|
||||
return "other"
|
||||
except Exception: # noqa: BLE001 - never-raise; unknown -> other (safe: rollback)
|
||||
return "other"
|
||||
|
||||
|
||||
def retest_branch(repo: str, branch: str) -> tuple[bool, str]:
|
||||
"""Run the project test-suite in the (already caught-up) branch worktree.
|
||||
|
||||
Command: ``python -m pytest <merge_retest_target>`` (default ``tests/``),
|
||||
matching the orchestrator CI / check_tests_local pattern. Bounded by the
|
||||
validated ``_resolve_retest_timeout()`` budget (ORCH-110 D5).
|
||||
matching the orchestrator CI / check_tests_local pattern. Bounded by
|
||||
``settings.merge_retest_timeout_s``.
|
||||
|
||||
ORCH-110 (D1 / FR-2): the suite is spawned in its OWN process group via
|
||||
``run_in_process_group`` so a timeout tree-kills the WHOLE subtree (no orphan
|
||||
grandchildren grinding the host CPU). The RETURN contract is byte-for-byte the
|
||||
prior one — only the side effect (no leak) changes:
|
||||
Returns:
|
||||
* ``(True, "re-test green")`` — pytest rc == 0
|
||||
* ``(False, "re-test timeout after <T>s")`` — exceeded the timeout (AC-4/AC-6)
|
||||
* ``(False, "re-test timeout after <T>s")`` — exceeded the timeout (AC-6)
|
||||
* ``(False, "re-test failed: ...<tail>")`` — non-zero rc, with output tail
|
||||
* ``(False, "re-test error: ...")`` — spawn / OS error (not a timeout)
|
||||
Never-raise (AC-9): any setup/OS error -> ``(False, "<reason>")``.
|
||||
"""
|
||||
wt = get_worktree_path(repo, branch)
|
||||
@@ -284,25 +197,21 @@ def retest_branch(repo: str, branch: str) -> tuple[bool, str]:
|
||||
return False, f"re-test setup error: {e}"
|
||||
|
||||
target = settings.merge_retest_target or "tests/"
|
||||
timeout = _resolve_retest_timeout()
|
||||
res = run_in_process_group(
|
||||
["python", "-m", "pytest", target, "-q"],
|
||||
cwd=wt,
|
||||
timeout=timeout,
|
||||
tree_kill=bool(getattr(settings, "subprocess_tree_kill_enabled", True)),
|
||||
grace_s=settings.agent_kill_grace_seconds,
|
||||
)
|
||||
if res.timed_out:
|
||||
timeout = settings.merge_retest_timeout_s
|
||||
try:
|
||||
r = subprocess.run(
|
||||
["python", "-m", "pytest", target, "-q"],
|
||||
cwd=wt, capture_output=True, text=True, timeout=timeout,
|
||||
)
|
||||
except subprocess.TimeoutExpired:
|
||||
logger.warning("retest_branch: timeout (%ss) on %s/%s", timeout, repo, branch)
|
||||
return False, f"re-test timeout after {timeout}s"
|
||||
if res.returncode is None:
|
||||
# Spawn / OS error that was NOT a timeout -> preserve the prior error reason.
|
||||
detail = (res.stderr or "").strip()[:200]
|
||||
logger.warning("retest_branch: spawn error on %s/%s: %s", repo, branch, detail)
|
||||
return False, f"re-test error: {detail}"
|
||||
if res.returncode == 0:
|
||||
except (subprocess.SubprocessError, OSError) as e:
|
||||
return False, f"re-test error: {e}"
|
||||
|
||||
if r.returncode == 0:
|
||||
return True, "re-test green"
|
||||
tail = ((res.stdout or "") + (res.stderr or ""))[-500:]
|
||||
tail = ((r.stdout or "") + (r.stderr or ""))[-500:]
|
||||
logger.warning("retest_branch: red on %s/%s", repo, branch)
|
||||
return False, f"re-test failed: ...{tail}"
|
||||
|
||||
@@ -667,82 +576,6 @@ def merge_verify_status() -> dict:
|
||||
return {"enabled": False}
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# ORCH-110 (D6): re-test infra-timeout observability counters (read-only).
|
||||
#
|
||||
# In-process counters (mirror _MERGE_VERIFY_COUNTERS): reset only on process start,
|
||||
# surfaced read-only via merge_gate_status() in GET /queue. NEVER the source of any
|
||||
# decision — purely informational, so an infra timeout is distinguishable from a
|
||||
# code-fault rollback in the snapshot. never-raise.
|
||||
# ---------------------------------------------------------------------------
|
||||
_MERGE_GATE_COUNTERS: dict = {
|
||||
"retest_timeout_total": 0, # re-test hit its wall-clock budget
|
||||
"retest_infra_retry_total": 0, # infra-timeout -> bounded re-queue (D3)
|
||||
"retest_infra_exhausted_total": 0, # infra-retry budget exhausted -> infra-alert
|
||||
"retest_skipped_current_total": 0, # re-test skipped on a no-op rebase (D4)
|
||||
"last_infra_timeout_wi": None,
|
||||
}
|
||||
|
||||
|
||||
def note_retest_timeout(work_item_id: str | None = None) -> None:
|
||||
"""Bump the 're-test timeout' counter (observability only). Never raises."""
|
||||
try:
|
||||
_MERGE_GATE_COUNTERS["retest_timeout_total"] += 1
|
||||
_MERGE_GATE_COUNTERS["last_infra_timeout_wi"] = work_item_id
|
||||
except Exception: # noqa: BLE001 - observability must never break a decision
|
||||
pass
|
||||
|
||||
|
||||
def note_retest_infra_retry() -> None:
|
||||
"""Bump the 'infra-timeout re-queue' counter (observability only). Never raises."""
|
||||
try:
|
||||
_MERGE_GATE_COUNTERS["retest_infra_retry_total"] += 1
|
||||
except Exception: # noqa: BLE001 - observability must never break a decision
|
||||
pass
|
||||
|
||||
|
||||
def note_retest_infra_exhausted() -> None:
|
||||
"""Bump the 'infra-retry exhausted' counter (observability only). Never raises."""
|
||||
try:
|
||||
_MERGE_GATE_COUNTERS["retest_infra_exhausted_total"] += 1
|
||||
except Exception: # noqa: BLE001 - observability must never break a decision
|
||||
pass
|
||||
|
||||
|
||||
def note_retest_skipped_current() -> None:
|
||||
"""Bump the 're-test skipped (no-op rebase)' counter (D4). Never raises."""
|
||||
try:
|
||||
_MERGE_GATE_COUNTERS["retest_skipped_current_total"] += 1
|
||||
except Exception: # noqa: BLE001 - observability must never break a decision
|
||||
pass
|
||||
|
||||
|
||||
def merge_gate_status() -> dict:
|
||||
"""Read-only snapshot of the ORCH-110 merge-gate re-test path for GET /queue.
|
||||
|
||||
Additive block; existing /queue keys are untouched. Surfaces the flags +
|
||||
counters so an infra-timeout (retry/exhaustion) is distinguishable from a
|
||||
code-fault rollback. Never the source of any decision. never-raise.
|
||||
"""
|
||||
try:
|
||||
return {
|
||||
"infra_tolerance_enabled": bool(settings.merge_retest_infra_tolerance_enabled),
|
||||
"infra_max_retries": settings.merge_retest_infra_max_retries,
|
||||
"infra_retry_delay_s": settings.merge_retest_infra_retry_delay_s,
|
||||
"skip_when_current_enabled": bool(settings.merge_retest_skip_when_current_enabled),
|
||||
"tree_kill_enabled": bool(settings.subprocess_tree_kill_enabled),
|
||||
"retest_timeout_s": settings.merge_retest_timeout_s,
|
||||
"retest_timeout_total": _MERGE_GATE_COUNTERS["retest_timeout_total"],
|
||||
"retest_infra_retry_total": _MERGE_GATE_COUNTERS["retest_infra_retry_total"],
|
||||
"retest_infra_exhausted_total": _MERGE_GATE_COUNTERS["retest_infra_exhausted_total"],
|
||||
"retest_skipped_current_total": _MERGE_GATE_COUNTERS["retest_skipped_current_total"],
|
||||
"last_infra_timeout_wi": _MERGE_GATE_COUNTERS["last_infra_timeout_wi"],
|
||||
}
|
||||
except Exception as e: # noqa: BLE001 - never-raise contract
|
||||
logger.warning("merge_gate_status error: %s", e)
|
||||
return {"infra_tolerance_enabled": False}
|
||||
|
||||
|
||||
def merge_verify_applies(repo: str) -> bool:
|
||||
"""Whether the ORCH-071 merge-verify under-gate is REAL for this repo.
|
||||
|
||||
@@ -1204,7 +1037,6 @@ MAIN_REGRESSION_MARKERS: list[tuple[str, str, str]] = [
|
||||
("ORCH-073", "check_main_regression", "src/merge_gate.py"),
|
||||
("ORCH-082", "ensure_open_pr", "src/merge_gate.py"),
|
||||
("ORCH-093", "_classify_merge_response", "src/merge_gate.py"),
|
||||
("ORCH-110", "classify_retest_failure", "src/merge_gate.py"),
|
||||
]
|
||||
|
||||
|
||||
|
||||
@@ -1,179 +0,0 @@
|
||||
"""Process-group runner with tree-kill on timeout (ORCH-110 D1).
|
||||
|
||||
Background
|
||||
----------
|
||||
The orchestrator spawns its OWN pytest subprocesses OUTSIDE the LLM-agent path:
|
||||
``merge_gate.retest_branch`` (the merge-gate re-test) and
|
||||
``coverage_gate.measure_coverage`` (the coverage measurement). Both used a plain
|
||||
``subprocess.run(..., timeout=...)``. On ``TimeoutExpired`` CPython kills only the
|
||||
DIRECT child (``proc.kill()``); any grandchildren (pytest-xdist workers, tests that
|
||||
spawn their own processes) are re-parented to PID 1 and keep running — for days,
|
||||
starving the host CPU. That orphan leak is a ROOT cause of the ORCH-109 / PR #129
|
||||
incident (a 516s suite blew its 600s budget under CPU starvation -> a false
|
||||
merge-gate rollback after a green CI).
|
||||
|
||||
This leaf gives those orchestrator-spawned runs the SAME SIGTERM->grace->SIGKILL
|
||||
cascade the LLM agents already get from ``launcher.stop_process`` — but at the
|
||||
process-GROUP level so the WHOLE subtree dies on a timeout:
|
||||
|
||||
* the child becomes the leader of a NEW session / process group
|
||||
(``start_new_session=True`` -> ``setsid``), so every descendant shares
|
||||
``pgid == child.pid``;
|
||||
* on timeout the whole group is killed with ``os.killpg`` (SIGTERM, grace poll,
|
||||
then SIGKILL), then reaped (no zombies).
|
||||
|
||||
Invariants:
|
||||
* **stdlib-only leaf** — imports only ``os`` / ``signal`` / ``subprocess`` /
|
||||
``time`` / ``logging`` / ``dataclasses``; NEVER another ``src/*`` module
|
||||
(mirrors the purity of ``serial_gate`` / ``staging_verdict``).
|
||||
* **never-raise** — any OS error degrades to a safe ``ProcResult`` (the caller maps
|
||||
it to its existing contract); an exception never escapes.
|
||||
* **never-break fallback** — with ``tree_kill=False`` OR on a platform without
|
||||
``os.killpg`` / ``os.setsid`` (non-POSIX) it degrades to the prior
|
||||
``subprocess.run(cmd, ..., timeout=timeout)`` (byte-for-byte the old behaviour;
|
||||
prod is Linux and never hits the fallback).
|
||||
"""
|
||||
|
||||
import logging
|
||||
import os
|
||||
import signal
|
||||
import subprocess
|
||||
import time
|
||||
from dataclasses import dataclass
|
||||
|
||||
logger = logging.getLogger("orchestrator.proc_group")
|
||||
|
||||
|
||||
@dataclass
|
||||
class ProcResult:
|
||||
"""Outcome of a process-group run (ORCH-110 D1).
|
||||
|
||||
``returncode`` is the child's exit code, or ``None`` when the process could not
|
||||
be reaped with a real code (timeout-kill / spawn error). ``timed_out`` is True
|
||||
iff the command exceeded its wall-clock budget (and the whole group was killed).
|
||||
"""
|
||||
|
||||
returncode: int | None
|
||||
stdout: str
|
||||
stderr: str
|
||||
timed_out: bool
|
||||
|
||||
|
||||
def _tree_kill_supported() -> bool:
|
||||
"""POSIX process-group ops available? (non-POSIX -> fall back to subprocess.run)."""
|
||||
return hasattr(os, "killpg") and hasattr(os, "getpgid") and hasattr(os, "setsid")
|
||||
|
||||
|
||||
def _kill_group(pid: int, grace_s: float) -> None:
|
||||
"""SIGTERM -> grace -> SIGKILL the whole process GROUP led by ``pid``.
|
||||
|
||||
Mirrors ``launcher.stop_process`` but targets the process GROUP (``os.killpg``)
|
||||
so grandchildren die too. ``ProcessLookupError`` is tolerated at every step (the
|
||||
group may already be gone). Never raises.
|
||||
"""
|
||||
try:
|
||||
pgid = os.getpgid(pid)
|
||||
except (ProcessLookupError, OSError):
|
||||
return
|
||||
|
||||
# Phase 1: SIGTERM the whole group (graceful).
|
||||
try:
|
||||
os.killpg(pgid, signal.SIGTERM)
|
||||
except ProcessLookupError:
|
||||
return
|
||||
except OSError as e: # noqa: BLE001 - never-raise
|
||||
logger.warning("proc_group: SIGTERM killpg(%s) error: %s", pgid, e)
|
||||
|
||||
# Phase 2: poll for graceful group exit within the grace window.
|
||||
poll = 0.2
|
||||
waited = 0.0
|
||||
while waited < max(0.0, grace_s):
|
||||
time.sleep(poll)
|
||||
waited += poll
|
||||
try:
|
||||
os.killpg(pgid, 0) # signal 0 = liveness probe of the group
|
||||
except ProcessLookupError:
|
||||
return # whole group gone
|
||||
except OSError:
|
||||
break
|
||||
|
||||
# Phase 3: still alive -> hard SIGKILL the group.
|
||||
try:
|
||||
os.killpg(pgid, signal.SIGKILL)
|
||||
except ProcessLookupError:
|
||||
return
|
||||
except OSError as e: # noqa: BLE001 - never-raise
|
||||
logger.warning("proc_group: SIGKILL killpg(%s) error: %s", pgid, e)
|
||||
|
||||
|
||||
def _run_plain(cmd, *, cwd, timeout, env=None) -> ProcResult:
|
||||
"""Fallback path: prior ``subprocess.run`` semantics (never-break)."""
|
||||
try:
|
||||
r = subprocess.run(
|
||||
cmd, cwd=cwd, env=env, capture_output=True, text=True, timeout=timeout
|
||||
)
|
||||
return ProcResult(
|
||||
returncode=r.returncode, stdout=r.stdout or "", stderr=r.stderr or "",
|
||||
timed_out=False,
|
||||
)
|
||||
except subprocess.TimeoutExpired:
|
||||
return ProcResult(returncode=None, stdout="", stderr="", timed_out=True)
|
||||
except (subprocess.SubprocessError, OSError) as e:
|
||||
logger.warning("proc_group(_run_plain): error for %s: %s", cmd, e)
|
||||
return ProcResult(returncode=None, stdout="", stderr=str(e), timed_out=False)
|
||||
|
||||
|
||||
def run_in_process_group(
|
||||
cmd, *, cwd, timeout, env=None, grace_s: float = 5.0, tree_kill: bool = True
|
||||
) -> ProcResult:
|
||||
"""Run ``cmd`` in its own process group; tree-kill the whole group on timeout.
|
||||
|
||||
See the module docstring. Returns a ``ProcResult``; ``timed_out=True`` iff the
|
||||
command exceeded ``timeout`` (and the whole group was killed). Never raises.
|
||||
|
||||
Fallback (never-break): ``tree_kill=False`` or a non-POSIX platform -> a plain
|
||||
``subprocess.run(cmd, ..., timeout=timeout)`` (the prior behaviour).
|
||||
"""
|
||||
if not tree_kill or not _tree_kill_supported():
|
||||
return _run_plain(cmd, cwd=cwd, timeout=timeout, env=env)
|
||||
|
||||
try:
|
||||
proc = subprocess.Popen( # noqa: S603 - cmd is an internal, fixed argv
|
||||
cmd,
|
||||
cwd=cwd,
|
||||
env=env,
|
||||
stdout=subprocess.PIPE,
|
||||
stderr=subprocess.PIPE,
|
||||
text=True,
|
||||
start_new_session=True, # setsid -> child leads a new process group
|
||||
)
|
||||
except (OSError, ValueError) as e:
|
||||
logger.warning("proc_group: spawn error for %s: %s", cmd, e)
|
||||
return ProcResult(returncode=None, stdout="", stderr=str(e), timed_out=False)
|
||||
|
||||
try:
|
||||
out, err = proc.communicate(timeout=timeout)
|
||||
return ProcResult(
|
||||
returncode=proc.returncode, stdout=out or "", stderr=err or "",
|
||||
timed_out=False,
|
||||
)
|
||||
except subprocess.TimeoutExpired:
|
||||
# Tree-kill the WHOLE group (children + grandchildren), then reap to avoid
|
||||
# leaving a zombie behind.
|
||||
_kill_group(proc.pid, grace_s)
|
||||
out, err = "", ""
|
||||
try:
|
||||
out, err = proc.communicate(timeout=grace_s + 5.0)
|
||||
except (subprocess.TimeoutExpired, OSError, ValueError):
|
||||
try:
|
||||
proc.wait(timeout=grace_s + 5.0)
|
||||
except (subprocess.TimeoutExpired, OSError, ValueError):
|
||||
pass
|
||||
return ProcResult(
|
||||
returncode=proc.returncode, stdout=out or "", stderr=err or "",
|
||||
timed_out=True,
|
||||
)
|
||||
except (OSError, ValueError) as e: # noqa: BLE001 - never-raise
|
||||
logger.warning("proc_group: communicate error for %s: %s", cmd, e)
|
||||
_kill_group(proc.pid, grace_s)
|
||||
return ProcResult(returncode=proc.returncode, stdout="", stderr=str(e), timed_out=False)
|
||||
@@ -708,38 +708,10 @@ def check_branch_mergeable(repo: str, work_item_id: str, branch: str) -> tuple[b
|
||||
logger.info("check_branch_mergeable: %s up-to-date with main", branch)
|
||||
return True, "branch up-to-date with main"
|
||||
|
||||
# ORCH-110 (D4): capture HEAD before/after the rebase to detect a no-op
|
||||
# rebase (branch already contained the latest origin/main).
|
||||
pre_sha = merge_gate.head_sha(repo, branch)
|
||||
ok, rb_reason = merge_gate.auto_rebase_onto_main(repo, branch)
|
||||
if not ok:
|
||||
merge_gate.release_merge_lease(repo, branch)
|
||||
return False, rb_reason # "rebase conflict: ..."
|
||||
post_sha = merge_gate.head_sha(repo, branch)
|
||||
|
||||
# ORCH-110 (D4 / FR-4 / AC-6): re-test contract. ORCH-043 catches a
|
||||
# SEMANTIC merge conflict that can only arise when ``main`` actually moved
|
||||
# and the branch was really rebased onto new commits. When the rebase was
|
||||
# a PROVEN no-op (HEAD unchanged), there is no "moved main" -> the local
|
||||
# re-test re-checks exactly the commit CI + tester + staging already
|
||||
# validated on THIS HEAD -> it is a redundant single point of false
|
||||
# failure (the ORCH-109 timeout incident). Skip it ONLY on a proven no-op
|
||||
# (both SHAs non-empty AND equal); on ANY uncertainty (empty SHA / flag
|
||||
# off) the re-test runs (fail-safe to BR-6/AC-3). This extends to the
|
||||
# premerge_rebase_always=True path the same optimisation the
|
||||
# premerge_rebase_always=False not-behind short-circuit already has.
|
||||
if (
|
||||
bool(getattr(settings, "merge_retest_skip_when_current_enabled", False))
|
||||
and pre_sha and post_sha and pre_sha == post_sha
|
||||
):
|
||||
logger.info(
|
||||
"check_branch_mergeable: %s rebase no-op (HEAD %s unchanged) -> "
|
||||
"re-test skipped (HEAD CI-validated)", branch, pre_sha[:8],
|
||||
)
|
||||
merge_gate.note_retest_skipped_current()
|
||||
return True, (
|
||||
"branch up-to-date (re-test skipped: rebase no-op, HEAD CI-validated)"
|
||||
)
|
||||
|
||||
ok_t, t_reason = merge_gate.retest_branch(repo, branch)
|
||||
if ok_t:
|
||||
|
||||
@@ -995,22 +995,6 @@ def _handle_merge_gate(
|
||||
)
|
||||
return True
|
||||
|
||||
# ORCH-110 (D2/D3): classify the FAIL cause. An INFRA re-test TIMEOUT (the
|
||||
# ORCH-109 incident: green CI + green tester, but the local re-test blew its
|
||||
# wall-clock budget under CPU starvation) is a TRANSIENT, NOT a code fault — it
|
||||
# must NOT take the _handle_merge_gate_rollback path (rollback to development +
|
||||
# burn a developer retry that nobody can fix). Route it to a bounded infra-retry
|
||||
# instead. A deterministically RED re-test / conflict still rolls back (BR-6 /
|
||||
# AC-3). Kill-switch off -> byte-for-byte the prior behaviour (timeout ->
|
||||
# rollback), NFR-2.
|
||||
if merge_gate.classify_retest_failure(reason) == "timeout":
|
||||
merge_gate.note_retest_timeout(work_item_id)
|
||||
if settings.merge_retest_infra_tolerance_enabled:
|
||||
_handle_merge_gate_infra_retry(
|
||||
task_id, current_stage, repo, work_item_id, branch, reason, result
|
||||
)
|
||||
return True
|
||||
|
||||
_handle_merge_gate_rollback(
|
||||
task_id, current_stage, repo, work_item_id, branch, reason, result
|
||||
)
|
||||
@@ -1060,110 +1044,6 @@ def _handle_merge_gate_defer(
|
||||
)
|
||||
|
||||
|
||||
def _merge_infra_retry_count(task_id: int) -> int:
|
||||
"""How many times this task was re-queued by the merge-gate infra-timeout path.
|
||||
|
||||
Restart-safe (mirror of ``_merge_defer_count``): counted from the persisted jobs
|
||||
queue by the infra-retry marker in task_content, so a service restart never
|
||||
resets the infra-retry budget (ORCH-110 D3 / AC-9).
|
||||
"""
|
||||
conn = get_db()
|
||||
n = conn.execute(
|
||||
"SELECT COUNT(*) FROM jobs WHERE task_id=? AND "
|
||||
"task_content LIKE '%merge-gate infra-timeout retry%'",
|
||||
(task_id,),
|
||||
).fetchone()[0]
|
||||
conn.close()
|
||||
return n
|
||||
|
||||
|
||||
def _handle_merge_gate_infra_retry(
|
||||
task_id, current_stage, repo, work_item_id, branch, reason, result: AdvanceResult
|
||||
):
|
||||
"""ORCH-110 (D3): merge-gate re-test INFRA timeout -> bounded infra-retry.
|
||||
|
||||
Mirror of ``_handle_merge_gate_defer`` (NOT ``_handle_merge_gate_rollback``): the
|
||||
task STAYS on deploy-staging, the staging-deployer is re-queued after a delay, and
|
||||
there is NO ``update_task_stage("development")``, NO developer-retry increment and
|
||||
NO code-fault QG-failure semantics — so a green-CI + green-tester task is never
|
||||
falsely sent back to development for an infra hiccup (BR-1 / AC-1). The merge lease
|
||||
was already released by ``check_branch_mergeable`` on the timeout, so the re-run
|
||||
re-acquires it normally (defer-path parity).
|
||||
|
||||
Bounded (anti-loop, NFR-5 / AC-9): after ``merge_retest_infra_max_retries``
|
||||
re-tries the task is blocked with an INFRA-specific alert (a resource problem,
|
||||
explicitly NOT "developer must fix"), so it never bounces forever. The first
|
||||
timeout already tree-killed the orphan processes (D1), so the next re-test usually
|
||||
passes — the retry is recovery, not masking. The task does NOT move to development.
|
||||
|
||||
never-raise (TC-09): any unexpected error in this transient path is logged with a
|
||||
WARNING and swallowed (the task simply stays on deploy-staging for the reconciler /
|
||||
reaper to re-drive) so an exception never escapes into ``advance_stage``.
|
||||
"""
|
||||
try:
|
||||
_merge_gate_infra_retry_impl(
|
||||
task_id, current_stage, repo, work_item_id, branch, reason, result
|
||||
)
|
||||
except Exception as e: # noqa: BLE001 - never-raise; do not crash advance_stage
|
||||
logger.warning(
|
||||
f"Task {task_id}: merge-gate infra-retry path error: {e} "
|
||||
f"(swallowed; task stays on deploy-staging)"
|
||||
)
|
||||
result.note = "merge-gate-infra-retry-error"
|
||||
|
||||
|
||||
def _merge_gate_infra_retry_impl(
|
||||
task_id, current_stage, repo, work_item_id, branch, reason, result: AdvanceResult
|
||||
):
|
||||
"""Body of the merge-gate infra-retry (ORCH-110 D3); wrapped by the never-raise
|
||||
``_handle_merge_gate_infra_retry``."""
|
||||
retries = _merge_infra_retry_count(task_id)
|
||||
if retries < settings.merge_retest_infra_max_retries:
|
||||
task_desc = (
|
||||
f"Work item: {work_item_id}\nRepo: {repo}\nBranch: {branch}\n"
|
||||
f"Stage: deploy-staging\nNote: merge-gate infra-timeout retry "
|
||||
f"(attempt {retries + 1}/{settings.merge_retest_infra_max_retries}) — "
|
||||
f"re-test hit the wall-clock budget (infra/resource, NOT a code defect); "
|
||||
f"retrying after {settings.merge_retest_infra_retry_delay_s}s. Reason: {reason}."
|
||||
)
|
||||
new_job = enqueue_job(
|
||||
"deployer", repo, task_desc, task_id=task_id,
|
||||
available_at_delay_s=settings.merge_retest_infra_retry_delay_s,
|
||||
)
|
||||
merge_gate.note_retest_infra_retry()
|
||||
result.enqueued_agent = "deployer"
|
||||
result.enqueued_job_id = new_job
|
||||
result.note = "merge-gate-infra-retry"
|
||||
logger.warning(
|
||||
f"Task {task_id}: merge-gate re-test infra-timeout, re-queued deployer "
|
||||
f"(job_id={new_job}, attempt {retries + 1}/"
|
||||
f"{settings.merge_retest_infra_max_retries}); NOT a code fault ({reason})"
|
||||
)
|
||||
else:
|
||||
merge_gate.note_retest_infra_exhausted()
|
||||
set_issue_blocked(work_item_id)
|
||||
send_telegram(
|
||||
f"⏳ {link_for(work_item_id)}: merge-gate re-test infra-timeout "
|
||||
f"сохраняется после {settings.merge_retest_infra_max_retries} повторов — "
|
||||
f"ресурсная проблема (CPU / осиротевшие процессы), НЕ дефект кода. "
|
||||
f"Проверьте хост / нужно ручное вмешательство."
|
||||
)
|
||||
plane_add_comment(
|
||||
work_item_id,
|
||||
f"⏳ Merge-gate re-test infra-timeout сохраняется после "
|
||||
f"{settings.merge_retest_infra_max_retries} повторов — инфраструктурная "
|
||||
f"проблема (ресурсы / осиротевшие процессы), НЕ дефект кода. Задача "
|
||||
f"остаётся на deploy-staging; нужно ручное вмешательство (НЕ доработка кода).",
|
||||
author="deployer",
|
||||
)
|
||||
result.alerted = True
|
||||
result.note = "merge-gate-infra-retry-exhausted"
|
||||
logger.error(
|
||||
f"Task {task_id}: merge-gate re-test infra-timeout exhausted "
|
||||
f"({settings.merge_retest_infra_max_retries} retries) ({reason})"
|
||||
)
|
||||
|
||||
|
||||
def _handle_merge_gate_rollback(
|
||||
task_id, current_stage, repo, work_item_id, branch, reason, result: AdvanceResult
|
||||
):
|
||||
|
||||
@@ -56,7 +56,7 @@ def test_merge_gate_settings_defaults(monkeypatch):
|
||||
s = Settings()
|
||||
assert s.merge_gate_enabled is True
|
||||
assert s.merge_gate_repos == ""
|
||||
assert s.merge_retest_timeout_s == 900 # ORCH-110 D5: raised 600 -> 900
|
||||
assert s.merge_retest_timeout_s == 600
|
||||
assert s.merge_retest_target == "tests/"
|
||||
assert s.merge_lock_timeout_s == 300
|
||||
assert s.merge_defer_delay_s == 60
|
||||
@@ -195,9 +195,7 @@ def test_reaper_settings_defaults(monkeypatch):
|
||||
assert s.reaper_enabled is True
|
||||
assert s.reaper_interval_s == 60
|
||||
assert s.reaper_dead_ticks == 2
|
||||
# ORCH-109 (D4): raised 3600 -> 5400 in lockstep with the developer budget so the
|
||||
# Tier-3 backstop stays > max(agent_timeout)+grace (5400 > 3600 + 20 = 3620).
|
||||
assert s.reaper_max_running_s == 5400
|
||||
assert s.reaper_max_running_s == 3600
|
||||
assert s.lease_reclaim_enabled is True
|
||||
|
||||
|
||||
|
||||
@@ -425,14 +425,12 @@ def test_tc14_real_measurement(tmp_path, monkeypatch):
|
||||
|
||||
|
||||
def test_tc14_measure_timeout_returns_none(monkeypatch):
|
||||
# ORCH-110: measure_coverage now runs via proc_group.run_in_process_group
|
||||
# (tree-kill on timeout). A timed_out ProcResult -> None (prior contract).
|
||||
from src.proc_group import ProcResult
|
||||
import subprocess
|
||||
monkeypatch.setattr(cg, "ensure_worktree", lambda r, b: "/tmp")
|
||||
monkeypatch.setattr(
|
||||
cg, "run_in_process_group",
|
||||
lambda *a, **k: ProcResult(returncode=None, stdout="", stderr="", timed_out=True),
|
||||
)
|
||||
|
||||
def _timeout(*a, **k):
|
||||
raise subprocess.TimeoutExpired(cmd="pytest", timeout=1)
|
||||
monkeypatch.setattr(cg.subprocess, "run", _timeout)
|
||||
assert cg.measure_coverage(_REPO, _BRANCH) is None
|
||||
|
||||
|
||||
|
||||
@@ -160,19 +160,12 @@ class TestDeadCodeRemoved:
|
||||
# ORCH-7 (M-2): configurable timeout + per-agent override
|
||||
# ---------------------------------------------------------------------------
|
||||
class TestResolveTimeout:
|
||||
"""M-2: _resolve_timeout honours a per-agent JSON override, else the default.
|
||||
|
||||
ORCH-109 (D3): the ladder grew a middle level — dedicated raised budgets for
|
||||
developer/reviewer between the JSON escape-hatch and the global default. These
|
||||
tests are updated to assert the global default via a NON-raised role; the new
|
||||
dedicated-key ladder is covered in full by tests/test_orch109_timeout_model.py.
|
||||
"""
|
||||
"""M-2: _resolve_timeout honours a per-agent JSON override, else the default."""
|
||||
|
||||
def test_default_when_no_override(self, monkeypatch):
|
||||
monkeypatch.setattr(settings, "agent_timeout_seconds", 1800)
|
||||
monkeypatch.setattr(settings, "agent_timeout_overrides_json", "")
|
||||
# ORCH-109: a role WITHOUT a dedicated key keeps the global default.
|
||||
assert AgentLauncher._resolve_timeout("analyst") == 1800
|
||||
assert AgentLauncher._resolve_timeout("developer") == 1800
|
||||
assert AgentLauncher._resolve_timeout(None) == 1800
|
||||
|
||||
def test_override_for_specific_agent(self, monkeypatch):
|
||||
@@ -180,19 +173,16 @@ class TestResolveTimeout:
|
||||
monkeypatch.setattr(
|
||||
settings, "agent_timeout_overrides_json", '{"reviewer": 3600, "architect": 2700}'
|
||||
)
|
||||
# JSON override stays the HIGHEST priority for ANY role (full BC).
|
||||
assert AgentLauncher._resolve_timeout("reviewer") == 3600
|
||||
assert AgentLauncher._resolve_timeout("architect") == 2700
|
||||
# ORCH-109: a role not in the override map AND without a dedicated key
|
||||
# (tester) falls back to the global default.
|
||||
assert AgentLauncher._resolve_timeout("tester") == 1800
|
||||
# an agent not in the override map falls back to the default
|
||||
assert AgentLauncher._resolve_timeout("developer") == 1800
|
||||
|
||||
def test_malformed_override_falls_back_to_default(self, monkeypatch):
|
||||
monkeypatch.setattr(settings, "agent_timeout_seconds", 1800)
|
||||
monkeypatch.setattr(settings, "agent_timeout_overrides_json", "{not-json")
|
||||
# must not raise; a role without a dedicated key returns the global default
|
||||
# (ORCH-109: developer/reviewer would return their dedicated budget instead).
|
||||
assert AgentLauncher._resolve_timeout("architect") == 1800
|
||||
# must not raise, must return the default
|
||||
assert AgentLauncher._resolve_timeout("reviewer") == 1800
|
||||
|
||||
|
||||
class TestWatchdogGracefulKill:
|
||||
|
||||
@@ -203,16 +203,10 @@ def fake_worktree(tmp_path, monkeypatch):
|
||||
return str(wt)
|
||||
|
||||
|
||||
# ORCH-110: retest_branch now runs the suite via proc_group.run_in_process_group
|
||||
# (tree-kill on timeout). The seam is mocked with a ProcResult; the RETURN contract
|
||||
# is byte-for-byte the prior one.
|
||||
from src.proc_group import ProcResult # noqa: E402
|
||||
|
||||
|
||||
def test_tc07_retest_green(fake_worktree, monkeypatch):
|
||||
monkeypatch.setattr(
|
||||
merge_gate, "run_in_process_group",
|
||||
lambda *a, **k: ProcResult(returncode=0, stdout="1 passed", stderr="", timed_out=False),
|
||||
merge_gate.subprocess, "run",
|
||||
lambda *a, **k: subprocess.CompletedProcess(a, 0, "1 passed", ""),
|
||||
)
|
||||
ok, reason = merge_gate.retest_branch("orchestrator", "feature/x")
|
||||
assert ok is True
|
||||
@@ -221,11 +215,9 @@ def test_tc07_retest_green(fake_worktree, monkeypatch):
|
||||
|
||||
def test_tc08_retest_red_with_tail(fake_worktree, monkeypatch):
|
||||
monkeypatch.setattr(
|
||||
merge_gate, "run_in_process_group",
|
||||
lambda *a, **k: ProcResult(
|
||||
returncode=1,
|
||||
stdout="FAILED tests/test_x.py::t - AssertionError\n1 failed",
|
||||
stderr="", timed_out=False,
|
||||
merge_gate.subprocess, "run",
|
||||
lambda *a, **k: subprocess.CompletedProcess(
|
||||
a, 1, "FAILED tests/test_x.py::t - AssertionError\n1 failed", ""
|
||||
),
|
||||
)
|
||||
ok, reason = merge_gate.retest_branch("orchestrator", "feature/x")
|
||||
@@ -235,11 +227,11 @@ def test_tc08_retest_red_with_tail(fake_worktree, monkeypatch):
|
||||
|
||||
|
||||
def test_tc09_retest_timeout(fake_worktree, monkeypatch):
|
||||
def _boom(*a, **k):
|
||||
raise subprocess.TimeoutExpired(cmd="pytest", timeout=1)
|
||||
|
||||
monkeypatch.setattr(merge_gate.settings, "merge_retest_timeout_s", 1)
|
||||
monkeypatch.setattr(
|
||||
merge_gate, "run_in_process_group",
|
||||
lambda *a, **k: ProcResult(returncode=None, stdout="", stderr="", timed_out=True),
|
||||
)
|
||||
monkeypatch.setattr(merge_gate.subprocess, "run", _boom)
|
||||
ok, reason = merge_gate.retest_branch("orchestrator", "feature/x")
|
||||
assert ok is False
|
||||
assert "re-test timeout" in reason
|
||||
|
||||
@@ -1,554 +0,0 @@
|
||||
"""ORCH-109: timeout budgets + launch-time model telemetry for developer/reviewer.
|
||||
|
||||
Covers FR-1..FR-6 / AC-1..AC-10 through TC-01..TC-12 (04-test-plan.yaml). Fully
|
||||
deterministic: an isolated temp SQLite DB + synthetic agent_runs / jobs rows; no
|
||||
network, no Claude CLI subprocess. Settings are monkeypatched / overridden.
|
||||
|
||||
Two production changes under test (ADR-001):
|
||||
* D1 — launcher._spawn stamps the resolved model into agent_runs.model in the
|
||||
SAME UPDATE as the effort stamp, so the model is present from launch and
|
||||
survives a timeout-kill / is visible in-flight.
|
||||
* D3/D4 — launcher._resolve_timeout grows a dedicated per-role budget level
|
||||
(developer 3600 / reviewer 3000) between the JSON escape-hatch and the global
|
||||
default; reaper_max_running_s raised 3600 -> 5400 in lockstep (ORCH-065).
|
||||
FR-2 (COALESCE preserve), FR-4/NFR-6 (kill / in-flight visibility) and FR-5
|
||||
(anti-salvage) are STRUCTURAL guarantees already present in the code — pinned here
|
||||
as regression tests, not new branches.
|
||||
"""
|
||||
import os
|
||||
import sqlite3
|
||||
import tempfile
|
||||
|
||||
os.environ.setdefault("ORCH_PLANE_API_TOKEN", "test-token")
|
||||
os.environ.setdefault("ORCH_GITEA_TOKEN", "test-token")
|
||||
|
||||
_test_db = os.path.join(tempfile.gettempdir(), "test_orch109_timeout_model.db")
|
||||
os.environ["ORCH_DB_PATH"] = _test_db
|
||||
os.environ.setdefault("ORCH_REPOS_DIR", tempfile.gettempdir())
|
||||
|
||||
import pytest # noqa: E402
|
||||
|
||||
import src.db as db_module # noqa: E402
|
||||
from src.db import init_db, get_db, get_running_agents # noqa: E402
|
||||
from src.config import settings, Settings # noqa: E402
|
||||
from src.agents.launcher import AgentLauncher, resolve_agent_model # noqa: E402
|
||||
from src import usage as U # noqa: E402
|
||||
from src import notifications as N # noqa: E402
|
||||
|
||||
|
||||
@pytest.fixture(autouse=True)
|
||||
def setup_db(monkeypatch):
|
||||
# get_db() reads settings.db_path live; pin it to our isolated DB.
|
||||
monkeypatch.setattr(db_module.settings, "db_path", _test_db, raising=False)
|
||||
if os.path.exists(_test_db):
|
||||
os.unlink(_test_db)
|
||||
init_db()
|
||||
# render-only tests: never consult the live Plane overlay (no network).
|
||||
monkeypatch.setattr(N._get_settings(), "tracker_live_status", False, raising=False)
|
||||
yield
|
||||
if os.path.exists(_test_db):
|
||||
os.unlink(_test_db)
|
||||
|
||||
|
||||
# --------------------------------------------------------------------------- #
|
||||
# TC-01..TC-03 — _resolve_timeout dedicated-budget ladder (FR-3, AC-3 / AC-4)
|
||||
# --------------------------------------------------------------------------- #
|
||||
class TestResolveTimeoutLadder:
|
||||
"""The priority ladder: overrides_json > dedicated role key > global default."""
|
||||
|
||||
def _pin(self, monkeypatch, *, dev=3600, rev=3000, default=1800, overrides=""):
|
||||
monkeypatch.setattr(settings, "agent_timeout_seconds", default)
|
||||
monkeypatch.setattr(settings, "agent_timeout_overrides_json", overrides)
|
||||
monkeypatch.setattr(settings, "agent_timeout_developer_s", dev)
|
||||
monkeypatch.setattr(settings, "agent_timeout_reviewer_s", rev)
|
||||
|
||||
def test_tc01_developer_reviewer_raised(self, monkeypatch):
|
||||
"""TC-01/AC-3: developer/reviewer resolve to their raised dedicated budget."""
|
||||
self._pin(monkeypatch)
|
||||
assert AgentLauncher._resolve_timeout("developer") == 3600
|
||||
assert AgentLauncher._resolve_timeout("reviewer") == 3000
|
||||
|
||||
def test_tc01_dedicated_keys_are_configurable(self, monkeypatch):
|
||||
"""TC-01/AC-3: the budgets are config-driven, not hardcoded."""
|
||||
self._pin(monkeypatch, dev=4200, rev=2400)
|
||||
assert AgentLauncher._resolve_timeout("developer") == 4200
|
||||
assert AgentLauncher._resolve_timeout("reviewer") == 2400
|
||||
|
||||
def test_tc02_other_roles_use_global_default(self, monkeypatch):
|
||||
"""TC-02/AC-3: roles without a dedicated key keep the global default (1800)."""
|
||||
self._pin(monkeypatch)
|
||||
for role in ("analyst", "architect", "tester", "deployer"):
|
||||
assert AgentLauncher._resolve_timeout(role) == 1800
|
||||
# unknown role / None also fall through to the global default.
|
||||
assert AgentLauncher._resolve_timeout("unknown-role") == 1800
|
||||
assert AgentLauncher._resolve_timeout(None) == 1800
|
||||
|
||||
def test_tc01_overrides_json_wins_over_dedicated(self, monkeypatch):
|
||||
"""AC-3: the operator JSON escape-hatch stays HIGHEST priority for ANY role."""
|
||||
self._pin(monkeypatch, overrides='{"developer": 1234, "reviewer": 999}')
|
||||
assert AgentLauncher._resolve_timeout("developer") == 1234
|
||||
assert AgentLauncher._resolve_timeout("reviewer") == 999
|
||||
|
||||
def test_tc03_malformed_overrides_json_never_raises(self, monkeypatch):
|
||||
"""TC-03/AC-4: malformed JSON is ignored; resolution still succeeds (never-break)."""
|
||||
self._pin(monkeypatch, overrides="{not-json")
|
||||
# malformed JSON ignored -> developer still resolves via its dedicated key.
|
||||
assert AgentLauncher._resolve_timeout("developer") == 3600
|
||||
# a role without a dedicated key falls through to the global default.
|
||||
assert AgentLauncher._resolve_timeout("analyst") == 1800
|
||||
|
||||
@pytest.mark.parametrize("bad", [0, -5, "abc"])
|
||||
def test_tc03_non_positive_dedicated_falls_back(self, monkeypatch, bad):
|
||||
"""TC-03/AC-4: an absurd/non-positive/non-int dedicated value -> global default."""
|
||||
self._pin(monkeypatch, dev=bad)
|
||||
# must NOT raise; falls back to agent_timeout_seconds + WARNING.
|
||||
assert AgentLauncher._resolve_timeout("developer") == 1800
|
||||
|
||||
|
||||
# --------------------------------------------------------------------------- #
|
||||
# TC-04 / TC-05 — launch-time model stamp in _spawn (FR-1, AC-1 + NFR-2)
|
||||
# --------------------------------------------------------------------------- #
|
||||
class TestLaunchModelStamp:
|
||||
"""_spawn writes the resolved model to agent_runs.model at launch (next to effort)."""
|
||||
|
||||
def _seed_task(self, repo="orchestrator", branch="feature/ORCH-109-x", wid="ORCH-109"):
|
||||
conn = get_db()
|
||||
cur = conn.execute(
|
||||
"INSERT INTO tasks (plane_id, work_item_id, repo, branch, stage, title) "
|
||||
"VALUES (?,?,?,?,?,?)",
|
||||
("p1", wid, repo, branch, "development", "t"),
|
||||
)
|
||||
tid = cur.lastrowid
|
||||
conn.commit()
|
||||
conn.close()
|
||||
return tid
|
||||
|
||||
def _fake_spawn_env(self, tmp_path, monkeypatch, repo="orchestrator"):
|
||||
"""Fake every OS/process side-effect so _spawn touches only the DB."""
|
||||
import src.agents.launcher as L
|
||||
(tmp_path / repo).mkdir()
|
||||
monkeypatch.setattr(L.settings, "repos_dir", str(tmp_path), raising=False)
|
||||
monkeypatch.setattr(L.settings, "runs_dir", str(tmp_path / "runs"), raising=False)
|
||||
monkeypatch.setattr(L, "ensure_worktree", lambda r, b: str(tmp_path / repo))
|
||||
monkeypatch.setattr("src.projects.get_project_by_repo", lambda r: None)
|
||||
|
||||
class _Proc:
|
||||
pid = 4242
|
||||
|
||||
monkeypatch.setattr(L.subprocess, "Popen", lambda *a, **k: _Proc())
|
||||
|
||||
class _T:
|
||||
def __init__(self, *a, **k):
|
||||
pass
|
||||
|
||||
def start(self):
|
||||
pass
|
||||
|
||||
monkeypatch.setattr(L.threading, "Thread", _T)
|
||||
monkeypatch.setattr(L, "notify_agent_started", lambda *a, **k: None)
|
||||
return L
|
||||
|
||||
def test_tc04_spawn_stamps_model_and_effort(self, tmp_path, monkeypatch):
|
||||
"""TC-04/AC-1: after _spawn the run row carries the resolved model AND effort."""
|
||||
L = self._fake_spawn_env(tmp_path, monkeypatch)
|
||||
# Deterministic resolve: developer -> claude-opus-4-8 (default) / xhigh (floor).
|
||||
monkeypatch.setattr(L.settings, "agent_model_developer", "", raising=False)
|
||||
monkeypatch.setattr(L.settings, "agent_model_default", "claude-opus-4-8", raising=False)
|
||||
monkeypatch.setattr(L.settings, "agent_effort_developer", "", raising=False)
|
||||
monkeypatch.setattr(L.settings, "agent_effort_default", "", raising=False)
|
||||
|
||||
tid = self._seed_task()
|
||||
run_id = L.AgentLauncher()._spawn(
|
||||
"developer", "orchestrator", task_content=None, task_id=tid
|
||||
)
|
||||
|
||||
conn = get_db()
|
||||
row = conn.execute(
|
||||
"SELECT model, effort FROM agent_runs WHERE id=?", (run_id,)
|
||||
).fetchone()
|
||||
conn.close()
|
||||
assert row["model"] == "claude-opus-4-8"
|
||||
assert row["effort"] == "xhigh"
|
||||
# The stamp matches the resolver — single source of truth.
|
||||
assert row["model"] == resolve_agent_model("developer", None)
|
||||
|
||||
def test_tc05_stamp_failure_is_isolated(self, tmp_path, monkeypatch):
|
||||
"""TC-05/NFR-2: a failing model/effort stamp does NOT propagate out of _spawn."""
|
||||
L = self._fake_spawn_env(tmp_path, monkeypatch)
|
||||
real_get_db = db_module.get_db
|
||||
|
||||
class _RaisingConn:
|
||||
"""Delegates to a real conn but raises on the launch stamp UPDATE only."""
|
||||
|
||||
def __init__(self, real):
|
||||
self._real = real
|
||||
|
||||
def execute(self, sql, *a, **k):
|
||||
if "SET model=?, effort=?" in sql:
|
||||
raise sqlite3.OperationalError("simulated stamp failure")
|
||||
return self._real.execute(sql, *a, **k)
|
||||
|
||||
def commit(self):
|
||||
return self._real.commit()
|
||||
|
||||
def close(self):
|
||||
return self._real.close()
|
||||
|
||||
def __getattr__(self, name):
|
||||
return getattr(self._real, name)
|
||||
|
||||
monkeypatch.setattr(L, "get_db", lambda: _RaisingConn(real_get_db()))
|
||||
|
||||
tid = self._seed_task()
|
||||
# Must NOT raise even though the stamp UPDATE blows up.
|
||||
run_id = L.AgentLauncher()._spawn(
|
||||
"developer", "orchestrator", task_content=None, task_id=tid
|
||||
)
|
||||
assert run_id is not None
|
||||
|
||||
# The run row exists; model stayed NULL (stamp failed) — launch unharmed.
|
||||
conn = real_get_db()
|
||||
row = conn.execute(
|
||||
"SELECT id, model FROM agent_runs WHERE id=?", (run_id,)
|
||||
).fetchone()
|
||||
conn.close()
|
||||
assert row is not None
|
||||
assert row["model"] is None
|
||||
|
||||
|
||||
# --------------------------------------------------------------------------- #
|
||||
# TC-06 / TC-07 — post-hoc enrich preserves / refines the launch stamp (FR-2)
|
||||
# --------------------------------------------------------------------------- #
|
||||
class TestRecordUsagePreservesStamp:
|
||||
"""record_usage (model=COALESCE(?, model)) never clobbers a launch-stamped model."""
|
||||
|
||||
def _run_with_model(self, model="claude-opus-4-8", agent="developer"):
|
||||
conn = get_db()
|
||||
cur = conn.execute(
|
||||
"INSERT INTO agent_runs (task_id, agent, model) VALUES (?,?,?)",
|
||||
(1, agent, model),
|
||||
)
|
||||
rid = cur.lastrowid
|
||||
conn.commit()
|
||||
conn.close()
|
||||
return rid
|
||||
|
||||
def _model_of(self, rid):
|
||||
conn = get_db()
|
||||
row = conn.execute("SELECT model FROM agent_runs WHERE id=?", (rid,)).fetchone()
|
||||
conn.close()
|
||||
return row["model"]
|
||||
|
||||
def test_tc06_record_usage_none_preserves_model(self):
|
||||
"""TC-06/AC-2: usage=None (no final JSON, e.g. timeout) keeps the launch stamp."""
|
||||
rid = self._run_with_model()
|
||||
U.record_usage(rid, None) # must not raise
|
||||
assert self._model_of(rid) == "claude-opus-4-8"
|
||||
|
||||
def test_tc06_record_usage_model_none_preserves_model(self):
|
||||
"""TC-06/AC-2: a usage JSON with model=None keeps the launch stamp (COALESCE)."""
|
||||
rid = self._run_with_model()
|
||||
U.record_usage(rid, {"input_tokens": 10, "output_tokens": 5, "model": None})
|
||||
assert self._model_of(rid) == "claude-opus-4-8"
|
||||
|
||||
def test_tc07_record_usage_nonempty_model_enriches_blank(self):
|
||||
"""TC-07/AC-2: a non-empty model in the JSON sets a blank (CLI-default) stamp."""
|
||||
rid = self._run_with_model(model=None)
|
||||
U.record_usage(
|
||||
rid, {"input_tokens": 1, "output_tokens": 1, "model": "claude-opus-4-8"}
|
||||
)
|
||||
assert self._model_of(rid) == "claude-opus-4-8"
|
||||
|
||||
def test_tc07_record_usage_refines_existing_model(self):
|
||||
"""TC-07/AC-2: a fuller provider-prefixed id refines a bare launch stamp."""
|
||||
rid = self._run_with_model(model="claude-opus-4-8")
|
||||
U.record_usage(
|
||||
rid,
|
||||
{"input_tokens": 1, "output_tokens": 1, "model": "tokenator/claude-opus-4-8"},
|
||||
)
|
||||
assert self._model_of(rid) == "tokenator/claude-opus-4-8"
|
||||
|
||||
|
||||
# --------------------------------------------------------------------------- #
|
||||
# TC-08 — reaper cross-invariant (NFR-4, AC-5)
|
||||
# --------------------------------------------------------------------------- #
|
||||
class TestReaperInvariant:
|
||||
"""reaper_max_running_s MUST stay > max(resolved timeout) + grace (ORCH-065)."""
|
||||
|
||||
def test_tc08_shipped_defaults_satisfy_invariant(self, monkeypatch):
|
||||
"""TC-08/AC-5: the canonical shipped defaults hold the invariant."""
|
||||
for name in (
|
||||
"ORCH_AGENT_TIMEOUT_SECONDS",
|
||||
"ORCH_AGENT_KILL_GRACE_SECONDS",
|
||||
"ORCH_AGENT_TIMEOUT_OVERRIDES_JSON",
|
||||
"ORCH_AGENT_TIMEOUT_DEVELOPER_S",
|
||||
"ORCH_AGENT_TIMEOUT_REVIEWER_S",
|
||||
"ORCH_REAPER_MAX_RUNNING_S",
|
||||
):
|
||||
monkeypatch.delenv(name, raising=False)
|
||||
s = Settings()
|
||||
max_budget = max(
|
||||
s.agent_timeout_seconds,
|
||||
s.agent_timeout_developer_s,
|
||||
s.agent_timeout_reviewer_s,
|
||||
)
|
||||
assert s.reaper_max_running_s > max_budget + s.agent_kill_grace_seconds
|
||||
# Concrete shipped numbers (ADR-001 D4): 5400 > 3600 + 20 = 3620.
|
||||
assert (max_budget, s.agent_kill_grace_seconds, s.reaper_max_running_s) == (
|
||||
3600,
|
||||
20,
|
||||
5400,
|
||||
)
|
||||
|
||||
def test_tc08_resolved_max_is_developer(self, monkeypatch):
|
||||
"""TC-08/AC-5: the max resolved per-role budget is the developer budget."""
|
||||
monkeypatch.setattr(settings, "agent_timeout_seconds", 1800)
|
||||
monkeypatch.setattr(settings, "agent_timeout_overrides_json", "")
|
||||
monkeypatch.setattr(settings, "agent_timeout_developer_s", 3600)
|
||||
monkeypatch.setattr(settings, "agent_timeout_reviewer_s", 3000)
|
||||
monkeypatch.setattr(settings, "agent_kill_grace_seconds", 20)
|
||||
monkeypatch.setattr(settings, "reaper_max_running_s", 5400)
|
||||
roles = ["analyst", "architect", "developer", "reviewer", "tester", "deployer"]
|
||||
max_timeout = max(AgentLauncher._resolve_timeout(r) for r in roles)
|
||||
assert max_timeout == 3600
|
||||
assert settings.reaper_max_running_s > max_timeout + settings.agent_kill_grace_seconds
|
||||
|
||||
|
||||
# --------------------------------------------------------------------------- #
|
||||
# TC-09 — tracker stage line shows model+effort on a timeout-killed run (FR-4)
|
||||
# --------------------------------------------------------------------------- #
|
||||
class TestTrackerTimeoutVisibility:
|
||||
"""A -9 run still renders '· <model> · <effort>' because both are launch-stamped.
|
||||
|
||||
The stage line takes its model/effort from the LAST run of the agent
|
||||
(stage_runs[-1] in _stage_line). When that last run is a timeout-kill (-9), its
|
||||
launch-stamped values are exactly what the operator sees — the whole point of
|
||||
stamping at launch. Without the stamp the -9 row would carry model=NULL and the
|
||||
line would drop the model suffix (the AC-6 FAIL condition).
|
||||
"""
|
||||
|
||||
def _mk_task(self, stage="done", wid="ORCH-109"):
|
||||
conn = get_db()
|
||||
cur = conn.execute(
|
||||
"INSERT INTO tasks (plane_id, work_item_id, repo, branch, stage, title) "
|
||||
"VALUES (?,?,?,?,?,?)",
|
||||
("p1", wid, "orchestrator", "feature/ORCH-109-x", stage, "t"),
|
||||
)
|
||||
tid = cur.lastrowid
|
||||
conn.commit()
|
||||
conn.close()
|
||||
return tid
|
||||
|
||||
def _add_run(self, tid, *, exit_code, model, effort, started, finished):
|
||||
conn = get_db()
|
||||
conn.execute(
|
||||
"INSERT INTO agent_runs (task_id, agent, started_at, finished_at, "
|
||||
"exit_code, input_tokens, output_tokens, cost_usd, model, effort) "
|
||||
"VALUES (?,?,?,?,?,?,?,?,?,?)",
|
||||
(tid, "developer", started, finished, exit_code, 10, 5, 0.0, model, effort),
|
||||
)
|
||||
conn.commit()
|
||||
conn.close()
|
||||
|
||||
def test_tc09_killed_run_renders_model_effort(self):
|
||||
"""TC-09/AC-6: the -9 (last) developer run's launch-stamped model+effort show."""
|
||||
tid = self._mk_task(stage="done")
|
||||
# run 1: succeeded (opens the ✅ stage line) — DIFFERENT model so we can prove
|
||||
# the displayed value comes from the killed run, not this one.
|
||||
self._add_run(
|
||||
tid,
|
||||
exit_code=0,
|
||||
model="claude-sonnet-4-6",
|
||||
effort="high",
|
||||
started="2026-06-14 09:00:00",
|
||||
finished="2026-06-14 09:20:00",
|
||||
)
|
||||
# run 2: timeout-killed (-9), the LAST run -> _stage_line reads its row.
|
||||
self._add_run(
|
||||
tid,
|
||||
exit_code=-9,
|
||||
model="tokenator/claude-opus-4-8",
|
||||
effort="xhigh",
|
||||
started="2026-06-14 09:25:00",
|
||||
finished="2026-06-14 09:55:00",
|
||||
)
|
||||
|
||||
text = N.render_task_tracker(tid)
|
||||
line = [ln for ln in text.splitlines() if ln.startswith("✅ Разработка")][0]
|
||||
# model NOT null: the killed run's launch-stamped opus-4-8 · xhigh is shown.
|
||||
assert line.rstrip().endswith("opus-4-8 · xhigh")
|
||||
assert "sonnet" not in line # the displayed value is the -9 run's, not run 1's
|
||||
|
||||
def test_tc09_unstamped_killed_run_drops_model_suffix(self):
|
||||
"""AC-6 FAIL-guard: a -9 run with model=NULL would omit the suffix (negative)."""
|
||||
tid = self._mk_task(stage="done")
|
||||
self._add_run(
|
||||
tid,
|
||||
exit_code=0,
|
||||
model="tokenator/claude-opus-4-8",
|
||||
effort="xhigh",
|
||||
started="2026-06-14 09:00:00",
|
||||
finished="2026-06-14 09:20:00",
|
||||
)
|
||||
# killed run WITHOUT a launch stamp (the pre-ORCH-109 bug): model+effort NULL.
|
||||
self._add_run(
|
||||
tid,
|
||||
exit_code=-9,
|
||||
model=None,
|
||||
effort=None,
|
||||
started="2026-06-14 09:25:00",
|
||||
finished="2026-06-14 09:55:00",
|
||||
)
|
||||
text = N.render_task_tracker(tid)
|
||||
line = [ln for ln in text.splitlines() if ln.startswith("✅ Разработка")][0]
|
||||
# No launch stamp -> the model/effort suffix is dropped (cost shown without model).
|
||||
assert "opus-4-8" not in line
|
||||
assert "xhigh" not in line
|
||||
|
||||
|
||||
# --------------------------------------------------------------------------- #
|
||||
# TC-10 — in-flight model visibility via get_running_agents (NFR-6)
|
||||
# --------------------------------------------------------------------------- #
|
||||
class TestInflightModelVisibility:
|
||||
"""get_running_agents exposes the launch-stamped model for a RUNNING job."""
|
||||
|
||||
def test_tc10_running_job_exposes_model(self):
|
||||
"""TC-10/AC-7: /metrics & /queue see the model before the run finishes."""
|
||||
conn = get_db()
|
||||
cur = conn.execute(
|
||||
"INSERT INTO agent_runs (task_id, agent, model, effort) VALUES (?,?,?,?)",
|
||||
(1, "developer", "claude-opus-4-8", "xhigh"),
|
||||
)
|
||||
rid = cur.lastrowid
|
||||
conn.execute(
|
||||
"INSERT INTO jobs (agent, repo, status, run_id, started_at) "
|
||||
"VALUES (?,?,?,?,datetime('now'))",
|
||||
("developer", "orchestrator", "running", rid),
|
||||
)
|
||||
conn.commit()
|
||||
conn.close()
|
||||
|
||||
rows = get_running_agents()
|
||||
assert len(rows) == 1
|
||||
assert rows[0]["model"] == "claude-opus-4-8" # non-null in-flight
|
||||
assert rows[0]["effort"] == "xhigh"
|
||||
|
||||
|
||||
# --------------------------------------------------------------------------- #
|
||||
# TC-11 — anti-salvage: a timeout-killed run does NOT advance the stage (FR-5)
|
||||
# --------------------------------------------------------------------------- #
|
||||
class TestAntiSalvage:
|
||||
"""Advancement is gated by `if exit_code == 0`; a -9 run is routed to retry/fail."""
|
||||
|
||||
class _Proc:
|
||||
def __init__(self, code):
|
||||
self._code = code
|
||||
|
||||
def wait(self):
|
||||
return self._code
|
||||
|
||||
def _seed_run(self, agent="developer"):
|
||||
conn = get_db()
|
||||
cur = conn.execute(
|
||||
"INSERT INTO agent_runs (task_id, agent) VALUES (?,?)", (1, agent)
|
||||
)
|
||||
rid = cur.lastrowid
|
||||
conn.commit()
|
||||
conn.close()
|
||||
return rid
|
||||
|
||||
def _drive(self, monkeypatch, exit_code, agent="developer", job_id=7):
|
||||
import src.agents.launcher as L
|
||||
|
||||
calls = {"advance": [], "finalize": []}
|
||||
monkeypatch.setattr(
|
||||
L.AgentLauncher,
|
||||
"_try_advance_stage",
|
||||
lambda self, *a, **k: calls["advance"].append(a),
|
||||
)
|
||||
monkeypatch.setattr(
|
||||
L.AgentLauncher,
|
||||
"_finalize_job",
|
||||
lambda self, *a, **k: calls["finalize"].append(a),
|
||||
)
|
||||
monkeypatch.setattr(
|
||||
L.AgentLauncher, "_post_usage_comments", lambda self, *a, **k: None
|
||||
)
|
||||
monkeypatch.setattr(L, "notify_agent_finished", lambda *a, **k: None)
|
||||
monkeypatch.setattr(L, "get_worktree_path", lambda r, b: "/nonexistent/path")
|
||||
|
||||
# git status returns "no changes" so the commit/push branch is skipped.
|
||||
class _R:
|
||||
stdout = ""
|
||||
stderr = ""
|
||||
returncode = 0
|
||||
|
||||
monkeypatch.setattr(L.subprocess, "run", lambda *a, **k: _R())
|
||||
|
||||
rid = self._seed_run(agent)
|
||||
L.AgentLauncher()._monitor_agent(
|
||||
self._Proc(exit_code),
|
||||
rid,
|
||||
agent,
|
||||
"orchestrator",
|
||||
"feature/ORCH-109-x",
|
||||
output_path=None,
|
||||
log_fh=None,
|
||||
job_id=job_id,
|
||||
)
|
||||
return calls
|
||||
|
||||
def test_tc11_killed_developer_run_does_not_advance(self, monkeypatch):
|
||||
"""TC-11/AC-8: a developer run killed (-9) does not auto-advance the stage."""
|
||||
calls = self._drive(monkeypatch, exit_code=-9, agent="developer")
|
||||
assert calls["advance"] == [] # NO auto-advance on -9
|
||||
assert len(calls["finalize"]) == 1 # routed to retry/fail finalizer instead
|
||||
|
||||
def test_tc11_killed_reviewer_run_does_not_advance(self, monkeypatch):
|
||||
"""TC-11/AC-8: same guard for the reviewer role (review -> testing)."""
|
||||
calls = self._drive(monkeypatch, exit_code=-9, agent="reviewer")
|
||||
assert calls["advance"] == []
|
||||
|
||||
def test_tc11_clean_exit_advances(self, monkeypatch):
|
||||
"""Positive control: a clean exit (0) DOES reach _try_advance_stage."""
|
||||
calls = self._drive(monkeypatch, exit_code=0, agent="developer")
|
||||
assert len(calls["advance"]) == 1
|
||||
|
||||
|
||||
# --------------------------------------------------------------------------- #
|
||||
# TC-12 — contracts & schema untouched (NFR-1 / NFR-3, AC-9)
|
||||
# --------------------------------------------------------------------------- #
|
||||
class TestContractsUnchanged:
|
||||
"""ORCH-109 lives entirely outside the stage-machine / QG / schema layers."""
|
||||
|
||||
def test_tc12_stage_transitions_unchanged(self):
|
||||
"""AC-9: no new edge / sink introduced."""
|
||||
from src.stages import STAGE_TRANSITIONS
|
||||
|
||||
assert set(STAGE_TRANSITIONS) == {
|
||||
"created",
|
||||
"analysis",
|
||||
"architecture",
|
||||
"development",
|
||||
"review",
|
||||
"testing",
|
||||
"deploy-staging",
|
||||
"deploy",
|
||||
"done",
|
||||
"cancelled",
|
||||
}
|
||||
|
||||
def test_tc12_agent_runs_model_effort_columns_preexist(self):
|
||||
"""AC-9: model/effort are PRE-EXISTING columns; ORCH-109 adds no migration."""
|
||||
conn = get_db()
|
||||
cols = [r[1] for r in conn.execute("PRAGMA table_info(agent_runs)").fetchall()]
|
||||
conn.close()
|
||||
assert "model" in cols
|
||||
assert "effort" in cols
|
||||
|
||||
def test_tc12_qg_checks_registry_present(self):
|
||||
"""AC-9: the QG registry is untouched (timeout/telemetry is not a gate)."""
|
||||
from src.qg.checks import QG_CHECKS
|
||||
|
||||
assert "check_ci_green" in QG_CHECKS
|
||||
assert "check_reviewer_verdict" in QG_CHECKS
|
||||
@@ -1,82 +0,0 @@
|
||||
"""ORCH-110 TC-08: re-test budget validation + cross-invariants (D5).
|
||||
|
||||
Covers FR-3 / AC-5 / NFR-6:
|
||||
* ``_resolve_retest_timeout`` validates the config (malformed / non-positive ->
|
||||
safe default 900 + WARNING; never reaches subprocess);
|
||||
* the budget was bumped 600 -> 900;
|
||||
* the cross-invariant ``reaper_max_running_s > Σ(deploy-staging gate-work) + grace``
|
||||
(ORCH-065/109) still holds with the new 900s re-test budget — WITHOUT raising
|
||||
``reaper_max_running_s``.
|
||||
"""
|
||||
import os
|
||||
import tempfile
|
||||
|
||||
os.environ.setdefault("ORCH_DB_PATH", os.path.join(tempfile.gettempdir(), "test_orch110_budget.db"))
|
||||
os.environ.setdefault("ORCH_GITEA_TOKEN", "test-token")
|
||||
os.environ.setdefault("ORCH_PLANE_API_TOKEN", "test-token")
|
||||
|
||||
import pytest # noqa: E402
|
||||
|
||||
from src import merge_gate # noqa: E402
|
||||
from src.config import Settings, settings # noqa: E402
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# _resolve_retest_timeout — validation (never-break).
|
||||
# ---------------------------------------------------------------------------
|
||||
def test_tc08_resolve_uses_positive_config(monkeypatch):
|
||||
monkeypatch.setattr(merge_gate.settings, "merge_retest_timeout_s", 1234, raising=False)
|
||||
assert merge_gate._resolve_retest_timeout() == 1234
|
||||
|
||||
|
||||
@pytest.mark.parametrize("bad", [0, -5, "abc", None, 3.0])
|
||||
def test_tc08_resolve_bad_config_falls_back_to_default(monkeypatch, bad):
|
||||
monkeypatch.setattr(merge_gate.settings, "merge_retest_timeout_s", bad, raising=False)
|
||||
# 3.0 is a valid positive int(3) -> stays 3; everything else -> 900 default.
|
||||
out = merge_gate._resolve_retest_timeout()
|
||||
if bad == 3.0:
|
||||
assert out == 3
|
||||
else:
|
||||
assert out == 900
|
||||
|
||||
|
||||
def test_tc08_default_budget_bumped_to_900():
|
||||
"""D5: the shipped default budget is 900 (raised from 600)."""
|
||||
assert Settings().merge_retest_timeout_s == 900
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# Cross-invariant: reaper backstop covers the worst-case deploy-staging gate-work.
|
||||
# ---------------------------------------------------------------------------
|
||||
def test_tc08_reaper_covers_deploy_staging_worstcase():
|
||||
"""ORCH-065/109 invariant with the new 900s re-test budget (ADR D5 table)."""
|
||||
s = Settings()
|
||||
# Worst-case sum of work charged to a deploy-staging-deployer job (ADR D5).
|
||||
security = 120
|
||||
rebase = 120
|
||||
image = 600
|
||||
worst = (
|
||||
s.agent_timeout_seconds # deployer agent (1800)
|
||||
+ security
|
||||
+ rebase
|
||||
+ s.merge_retest_timeout_s # re-test (900, new)
|
||||
+ s.coverage_run_timeout_s # coverage (900)
|
||||
+ image
|
||||
+ s.agent_kill_grace_seconds # grace (20)
|
||||
)
|
||||
assert worst <= 4460 # matches the ADR D5 table
|
||||
assert s.reaper_max_running_s > worst, (
|
||||
f"reaper_max_running_s={s.reaper_max_running_s} must exceed "
|
||||
f"deploy-staging worst-case {worst}"
|
||||
)
|
||||
|
||||
|
||||
def test_tc08_reaper_still_covers_max_agent_timeout():
|
||||
"""ORCH-065/109: reaper_max_running_s > max(agent timeout) + grace (unchanged)."""
|
||||
s = Settings()
|
||||
assert s.reaper_max_running_s > s.agent_timeout_developer_s + s.agent_kill_grace_seconds
|
||||
|
||||
|
||||
def test_tc08_reaper_max_running_s_unchanged():
|
||||
"""D5 must NOT change reaper_max_running_s (stays 5400 from ORCH-109)."""
|
||||
assert settings.reaper_max_running_s == 5400
|
||||
@@ -1,213 +0,0 @@
|
||||
"""ORCH-110 TC-10: regression of the ORCH-109 / PR #129 incident.
|
||||
|
||||
Incident: tester PASS + green CI + the branch not-behind, but the merge-gate local
|
||||
re-test blew its wall-clock budget under CPU starvation -> ``check_branch_mergeable``
|
||||
returned ``(False, "re-test timeout ...")`` -> the engine routed it to
|
||||
``_handle_merge_gate_rollback`` (rollback deploy-staging -> development + a developer
|
||||
retry) -> every retry timed out the same way -> "Merge-gate still failing after 3
|
||||
developer retries" -> a stuck task needing manual intervention.
|
||||
|
||||
This drives the REAL ``check_branch_mergeable`` through ``advance_stage`` (only the
|
||||
git/test primitives are mocked) and asserts the incident can no longer happen:
|
||||
|
||||
* Scenario A (D4) — a not-behind branch (no-op rebase) on a green-CI HEAD: the
|
||||
local re-test is SKIPPED entirely -> the gate passes -> advance to deploy.
|
||||
* Scenario B (D3) — a real catch-up whose re-test times out: a bounded infra-retry
|
||||
(task stays on deploy-staging), NEVER a rollback to development and NEVER the
|
||||
"Merge-gate still failing after N developer retries" alert.
|
||||
|
||||
RED-before / GREEN-after: on pre-ORCH-110 code both scenarios would roll the task
|
||||
back to development (Scenario A would even run the doomed re-test), so the
|
||||
``rolled_back_to is None`` / ``stage == deploy-staging`` assertions below would FAIL.
|
||||
"""
|
||||
import os
|
||||
import tempfile
|
||||
|
||||
import pytest
|
||||
|
||||
_test_db = os.path.join(tempfile.gettempdir(), "test_orch110_regression.db")
|
||||
os.environ["ORCH_DB_PATH"] = _test_db
|
||||
os.environ["ORCH_REPOS_DIR"] = tempfile.gettempdir()
|
||||
os.environ.setdefault("ORCH_GITEA_TOKEN", "test-token")
|
||||
os.environ.setdefault("ORCH_PLANE_API_TOKEN", "test-token")
|
||||
|
||||
from unittest.mock import MagicMock # noqa: E402
|
||||
|
||||
import src.db as _db # noqa: E402
|
||||
from src.db import init_db, get_db # noqa: E402
|
||||
from src import stage_engine # noqa: E402
|
||||
from src import merge_gate # noqa: E402
|
||||
from src.qg import checks as qg # noqa: E402
|
||||
from src.stage_engine import advance_stage # noqa: E402
|
||||
|
||||
_REPO = "orchestrator"
|
||||
_WI = "ORCH-110"
|
||||
_BRANCH = "feature/ORCH-110-x"
|
||||
|
||||
|
||||
@pytest.fixture(autouse=True)
|
||||
def fresh_db(monkeypatch):
|
||||
monkeypatch.setattr(_db.settings, "db_path", _test_db)
|
||||
if os.path.exists(_test_db):
|
||||
os.unlink(_test_db)
|
||||
init_db()
|
||||
yield
|
||||
|
||||
|
||||
@pytest.fixture(autouse=True)
|
||||
def silence(monkeypatch):
|
||||
for name in (
|
||||
"notify_stage_change", "notify_qg_failure", "send_telegram",
|
||||
"plane_notify_stage", "plane_notify_qg", "plane_add_comment",
|
||||
"set_issue_in_progress", "set_issue_blocked", "notify_approve_requested",
|
||||
"set_issue_in_review", "set_issue_needs_input",
|
||||
):
|
||||
monkeypatch.setattr(stage_engine, name, MagicMock())
|
||||
# Keep the merge-gate the only intervening sub-gate on the edge; no Phase A.
|
||||
monkeypatch.setattr(stage_engine.settings, "deploy_require_manual_approve", False)
|
||||
# Real gate scope: orchestrator self-hosting.
|
||||
monkeypatch.setattr(qg.settings, "merge_gate_enabled", True, raising=False)
|
||||
monkeypatch.setattr(qg.settings, "merge_gate_repos", "", raising=False)
|
||||
monkeypatch.setattr(qg.settings, "premerge_rebase_always", True, raising=False)
|
||||
monkeypatch.setattr(qg.settings, "merge_retest_skip_when_current_enabled", True, raising=False)
|
||||
monkeypatch.setattr(stage_engine.settings, "merge_retest_infra_tolerance_enabled", True)
|
||||
monkeypatch.setattr(stage_engine.settings, "merge_retest_infra_max_retries", 2)
|
||||
monkeypatch.setattr(stage_engine.settings, "merge_retest_infra_retry_delay_s", 120)
|
||||
|
||||
|
||||
def _pass(*a, **k):
|
||||
return (True, "ok")
|
||||
|
||||
|
||||
def _patch_edge_gates_except_merge(monkeypatch):
|
||||
"""All edge gates pass EXCEPT check_branch_mergeable, which stays the REAL one."""
|
||||
patched = {**stage_engine.QG_CHECKS}
|
||||
patched["check_staging_status"] = _pass
|
||||
patched["check_security_gate"] = _pass
|
||||
patched["check_coverage_gate"] = _pass
|
||||
patched["check_staging_image_fresh"] = _pass
|
||||
monkeypatch.setattr(stage_engine, "QG_CHECKS", patched)
|
||||
|
||||
|
||||
def _mock_merge_primitives(monkeypatch, *, head_shas, retest_result, retest_calls):
|
||||
"""Mock the git/test primitives the real check_branch_mergeable composes."""
|
||||
monkeypatch.setattr(merge_gate, "acquire_merge_lease", lambda *a, **k: (True, "lease acquired"))
|
||||
monkeypatch.setattr(merge_gate, "release_merge_lease", lambda *a, **k: None)
|
||||
monkeypatch.setattr(merge_gate, "branch_is_behind_main", lambda r, b: True)
|
||||
monkeypatch.setattr(merge_gate, "auto_rebase_onto_main", lambda r, b: (True, "rebased onto origin/main"))
|
||||
|
||||
shas = list(head_shas)
|
||||
|
||||
def _head_sha(r, b):
|
||||
return shas.pop(0) if shas else ""
|
||||
|
||||
monkeypatch.setattr(merge_gate, "head_sha", _head_sha)
|
||||
|
||||
def _retest(r, b):
|
||||
retest_calls.append((r, b))
|
||||
return retest_result
|
||||
|
||||
monkeypatch.setattr(merge_gate, "retest_branch", _retest)
|
||||
|
||||
|
||||
def _make_task():
|
||||
conn = get_db()
|
||||
cur = conn.execute(
|
||||
"INSERT INTO tasks (plane_id, work_item_id, repo, branch, stage) VALUES (?,?,?,?,?)",
|
||||
(f"plane-{_WI}", _WI, _REPO, _BRANCH, "deploy-staging"),
|
||||
)
|
||||
tid = cur.lastrowid
|
||||
conn.commit()
|
||||
conn.close()
|
||||
return tid
|
||||
|
||||
|
||||
def _stage(task_id):
|
||||
conn = get_db()
|
||||
row = conn.execute("SELECT stage FROM tasks WHERE id=?", (task_id,)).fetchone()
|
||||
conn.close()
|
||||
return row[0]
|
||||
|
||||
|
||||
def _agents():
|
||||
conn = get_db()
|
||||
rows = conn.execute("SELECT agent FROM jobs ORDER BY id").fetchall()
|
||||
conn.close()
|
||||
return [r[0] for r in rows]
|
||||
|
||||
|
||||
def _advance(task_id):
|
||||
return advance_stage(task_id, "deploy-staging", _REPO, _WI, _BRANCH, finished_agent="deployer")
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# Scenario A (D4): the literal incident — not-behind branch, green CI HEAD.
|
||||
# The re-test is SKIPPED, so the timeout can never happen; advance to deploy.
|
||||
# ---------------------------------------------------------------------------
|
||||
def test_tc10_incident_noop_rebase_skips_retest_and_advances(monkeypatch):
|
||||
_patch_edge_gates_except_merge(monkeypatch)
|
||||
retest_calls = []
|
||||
# Same SHA before/after rebase -> proven no-op. retest is rigged to TIME OUT if
|
||||
# it were (wrongly) called — proving the skip is what avoids the false rollback.
|
||||
_mock_merge_primitives(
|
||||
monkeypatch,
|
||||
head_shas=["abc123", "abc123"],
|
||||
retest_result=(False, "re-test timeout after 900s"),
|
||||
retest_calls=retest_calls,
|
||||
)
|
||||
task_id = _make_task()
|
||||
res = _advance(task_id)
|
||||
|
||||
assert retest_calls == [], "re-test must be SKIPPED on a no-op rebase (D4)"
|
||||
assert res.rolled_back_to is None # the incident's false rollback is gone
|
||||
assert res.advanced is True
|
||||
assert res.to_stage == "deploy"
|
||||
assert _stage(task_id) == "deploy"
|
||||
assert "developer" not in _agents() # no developer-retry burned
|
||||
assert stage_engine.set_issue_blocked.called is False
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# Scenario B (D3): a real catch-up whose re-test times out -> infra-retry, not
|
||||
# rollback, and never the "still failing after N retries" manual gate.
|
||||
# ---------------------------------------------------------------------------
|
||||
def test_tc10_real_catchup_retest_timeout_infra_retries_not_rollback(monkeypatch):
|
||||
_patch_edge_gates_except_merge(monkeypatch)
|
||||
retest_calls = []
|
||||
# HEAD moved (real catch-up) -> re-test runs -> times out.
|
||||
_mock_merge_primitives(
|
||||
monkeypatch,
|
||||
head_shas=["old111", "new222"],
|
||||
retest_result=(False, "re-test timeout after 900s"),
|
||||
retest_calls=retest_calls,
|
||||
)
|
||||
task_id = _make_task()
|
||||
res = _advance(task_id)
|
||||
|
||||
assert retest_calls, "re-test SHOULD run on a real (HEAD-moving) catch-up"
|
||||
assert res.rolled_back_to is None # NOT the code-fault rollback
|
||||
assert res.note == "merge-gate-infra-retry"
|
||||
assert _stage(task_id) == "deploy-staging" # stays put for a bounded retry
|
||||
assert _agents() == ["deployer"] # staging-deployer re-queued, NOT developer
|
||||
assert stage_engine.set_issue_blocked.called is False
|
||||
# The "Merge-gate still failing after N developer retries" manual gate never fires.
|
||||
for call in stage_engine.send_telegram.call_args_list:
|
||||
assert "developer retries" not in call[0][0]
|
||||
|
||||
|
||||
def test_tc10_real_catchup_red_retest_still_rolls_back(monkeypatch):
|
||||
"""Anti-over-tolerance guard inside the incident scenario: a genuinely RED
|
||||
re-test on a real catch-up STILL rolls back (BR-6 / AC-3)."""
|
||||
_patch_edge_gates_except_merge(monkeypatch)
|
||||
retest_calls = []
|
||||
_mock_merge_primitives(
|
||||
monkeypatch,
|
||||
head_shas=["old111", "new222"],
|
||||
retest_result=(False, "re-test failed: ...1 failed"),
|
||||
retest_calls=retest_calls,
|
||||
)
|
||||
task_id = _make_task()
|
||||
res = _advance(task_id)
|
||||
assert res.rolled_back_to == "development"
|
||||
assert _stage(task_id) == "development"
|
||||
assert _agents() == ["developer"]
|
||||
@@ -1,103 +0,0 @@
|
||||
"""ORCH-110 TC-07: kill-switches + non-self repo => byte-for-byte pre-ORCH-110.
|
||||
|
||||
Covers NFR-2 / FR-5 / AC-7. Each ORCH-110 behaviour is an INDEPENDENT kill-switch;
|
||||
with a flag off the affected path reverts to the prior behaviour. A non-self-hosting
|
||||
repo (enduro-trails) never reaches the infra-retry / tree-kill paths at all (the
|
||||
merge-gate is N/A for it).
|
||||
"""
|
||||
import os
|
||||
import tempfile
|
||||
|
||||
os.environ.setdefault("ORCH_DB_PATH", os.path.join(tempfile.gettempdir(), "test_orch110_killswitch.db"))
|
||||
os.environ.setdefault("ORCH_REPOS_DIR", tempfile.gettempdir())
|
||||
os.environ.setdefault("ORCH_GITEA_TOKEN", "test-token")
|
||||
os.environ.setdefault("ORCH_PLANE_API_TOKEN", "test-token")
|
||||
|
||||
import pytest # noqa: E402
|
||||
|
||||
from src import merge_gate # noqa: E402
|
||||
from src.qg import checks as qg # noqa: E402
|
||||
from src.proc_group import ProcResult # noqa: E402
|
||||
|
||||
_REPO = "orchestrator"
|
||||
_BRANCH = "feature/ORCH-110-x"
|
||||
_WI = "ORCH-110"
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# D1 kill-switch: subprocess_tree_kill_enabled=False -> the fallback path.
|
||||
# ---------------------------------------------------------------------------
|
||||
def test_tc07_tree_kill_off_passes_tree_kill_false(tmp_path, monkeypatch):
|
||||
wt = tmp_path / "wt"
|
||||
wt.mkdir()
|
||||
monkeypatch.setattr(merge_gate, "get_worktree_path", lambda r, b: str(wt))
|
||||
monkeypatch.setattr(merge_gate.settings, "subprocess_tree_kill_enabled", False, raising=False)
|
||||
captured = {}
|
||||
|
||||
def _fake(cmd, *, cwd, timeout, env=None, grace_s=5.0, tree_kill=True):
|
||||
captured["tree_kill"] = tree_kill
|
||||
return ProcResult(returncode=0, stdout="1 passed", stderr="", timed_out=False)
|
||||
|
||||
monkeypatch.setattr(merge_gate, "run_in_process_group", _fake)
|
||||
ok, reason = merge_gate.retest_branch(_REPO, _BRANCH)
|
||||
assert ok is True and reason == "re-test green"
|
||||
assert captured["tree_kill"] is False # -> run_in_process_group degrades to subprocess.run
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# D4 kill-switch: merge_retest_skip_when_current_enabled=False -> always re-test
|
||||
# after a rebase (even a proven no-op).
|
||||
# ---------------------------------------------------------------------------
|
||||
@pytest.fixture
|
||||
def gate_primitives(monkeypatch):
|
||||
calls = {"retest": 0}
|
||||
monkeypatch.setattr(qg.settings, "merge_gate_enabled", True, raising=False)
|
||||
monkeypatch.setattr(qg.settings, "merge_gate_repos", "", raising=False)
|
||||
monkeypatch.setattr(qg.settings, "premerge_rebase_always", True, raising=False)
|
||||
monkeypatch.setattr(merge_gate, "acquire_merge_lease", lambda *a, **k: (True, "lease acquired"), raising=False)
|
||||
monkeypatch.setattr(merge_gate, "branch_is_behind_main", lambda r, b: True, raising=False)
|
||||
monkeypatch.setattr(merge_gate, "auto_rebase_onto_main", lambda r, b: (True, "rebased"), raising=False)
|
||||
monkeypatch.setattr(merge_gate, "release_merge_lease", lambda *a, **k: None, raising=False)
|
||||
# A PROVEN no-op rebase: HEAD is identical before/after.
|
||||
monkeypatch.setattr(merge_gate, "head_sha", lambda r, b: "deadbeefcafe", raising=False)
|
||||
|
||||
def _retest(r, b):
|
||||
calls["retest"] += 1
|
||||
return True, "re-test green"
|
||||
|
||||
monkeypatch.setattr(merge_gate, "retest_branch", _retest, raising=False)
|
||||
return calls
|
||||
|
||||
|
||||
def test_tc07_skip_when_current_off_always_retests(gate_primitives, monkeypatch):
|
||||
monkeypatch.setattr(qg.settings, "merge_retest_skip_when_current_enabled", False, raising=False)
|
||||
ok, reason = qg.check_branch_mergeable(_REPO, _WI, _BRANCH)
|
||||
assert ok is True
|
||||
assert reason == "rebased onto main, re-test green"
|
||||
assert gate_primitives["retest"] == 1 # re-test STILL runs (D4 off)
|
||||
|
||||
|
||||
def test_tc07_skip_when_current_on_skips_noop_retest(gate_primitives, monkeypatch):
|
||||
"""Mirror sanity: with the flag ON, the proven no-op rebase skips the re-test."""
|
||||
monkeypatch.setattr(qg.settings, "merge_retest_skip_when_current_enabled", True, raising=False)
|
||||
ok, reason = qg.check_branch_mergeable(_REPO, _WI, _BRANCH)
|
||||
assert ok is True
|
||||
assert "re-test skipped" in reason
|
||||
assert gate_primitives["retest"] == 0 # re-test NOT run on the no-op
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# Non-self repo (enduro-trails): the merge-gate is N/A -> never the new paths.
|
||||
# ---------------------------------------------------------------------------
|
||||
def test_tc07_non_self_repo_is_noop(monkeypatch):
|
||||
monkeypatch.setattr(qg.settings, "merge_gate_enabled", True, raising=False)
|
||||
monkeypatch.setattr(qg.settings, "merge_gate_repos", "", raising=False)
|
||||
# Guard: if the gate wrongly engaged it would touch the lease -> fail loudly.
|
||||
monkeypatch.setattr(
|
||||
merge_gate, "acquire_merge_lease",
|
||||
lambda *a, **k: pytest.fail("merge-gate must be N/A for enduro-trails"),
|
||||
raising=False,
|
||||
)
|
||||
ok, reason = qg.check_branch_mergeable("enduro-trails", "ET-1", "feature/ET-1-x")
|
||||
assert ok is True
|
||||
assert "N/A" in reason
|
||||
@@ -1,64 +0,0 @@
|
||||
"""ORCH-110 TC-03: classify_retest_failure distinguishes infra-timeout from red.
|
||||
|
||||
Covers D2 (FR-1 / AC-2): the pure predicate that lets the engine route an INFRA
|
||||
re-test timeout differently from a deterministically RED re-test, WITHOUT changing
|
||||
the name / PASS-FAIL semantics of the registered ``check_branch_mergeable``.
|
||||
|
||||
The critical scope guard: an ``auto_rebase_onto_main`` "rebase timeout" is a
|
||||
DIFFERENT timeout (git hung) and must NOT be classified as the infra-tolerated
|
||||
re-test timeout (it stays on the rollback path).
|
||||
"""
|
||||
import os
|
||||
import tempfile
|
||||
|
||||
os.environ.setdefault("ORCH_DB_PATH", os.path.join(tempfile.gettempdir(), "test_orch110_classify.db"))
|
||||
os.environ.setdefault("ORCH_GITEA_TOKEN", "test-token")
|
||||
os.environ.setdefault("ORCH_PLANE_API_TOKEN", "test-token")
|
||||
|
||||
import pytest # noqa: E402
|
||||
|
||||
from src import merge_gate # noqa: E402
|
||||
|
||||
classify = merge_gate.classify_retest_failure
|
||||
|
||||
|
||||
@pytest.mark.parametrize(
|
||||
"reason,expected",
|
||||
[
|
||||
("re-test timeout after 900s", "timeout"),
|
||||
("re-test timeout after 600s", "timeout"),
|
||||
("re-test failed after rebase: 1 failed, 5 passed", "red"),
|
||||
("re-test failed: ...AssertionError\n1 failed", "red"),
|
||||
("merge-lock busy", "lock-busy"),
|
||||
("rebase conflict: src/db.py", "other"),
|
||||
# SCOPE GUARD: a git "rebase timeout" is NOT the infra-tolerated re-test
|
||||
# timeout — it must stay on the rollback path (ADR D2).
|
||||
("rebase timeout", "other"),
|
||||
("push --force-with-lease failed: ...", "other"),
|
||||
("", "other"),
|
||||
],
|
||||
)
|
||||
def test_tc03_classify_reasons(reason, expected):
|
||||
assert classify(reason) == expected
|
||||
|
||||
|
||||
def test_tc03_classify_never_raises_on_bad_input():
|
||||
# None / non-str must degrade to the safe "other" (-> rollback), never raise.
|
||||
assert classify(None) == "other"
|
||||
assert classify(12345) == "other"
|
||||
|
||||
|
||||
def test_tc03_case_insensitive():
|
||||
assert classify("RE-TEST TIMEOUT AFTER 900S") == "timeout"
|
||||
assert classify("Merge-Lock Busy") == "lock-busy"
|
||||
|
||||
|
||||
def test_tc03_distinct_from_lock_busy_and_conflict():
|
||||
"""timeout is a distinct class from the existing defer (lock-busy) and rollback
|
||||
(conflict) reasons — the three must never collide."""
|
||||
classes = {
|
||||
classify("re-test timeout after 900s"),
|
||||
classify("merge-lock busy"),
|
||||
classify("rebase conflict: x"),
|
||||
}
|
||||
assert classes == {"timeout", "lock-busy", "other"}
|
||||
@@ -1,261 +0,0 @@
|
||||
"""ORCH-110 TC-04 / TC-05 / TC-06 / TC-09: merge-gate infra-timeout routing.
|
||||
|
||||
Drives the engine (``stage_engine.advance_stage``) on the deploy-staging -> deploy
|
||||
edge with ``check_branch_mergeable`` monkeypatched, exactly like the existing
|
||||
``test_stage_engine.TestMergeGate`` suite, and asserts the NEW routing (D3):
|
||||
|
||||
* TC-04 — an INFRA re-test timeout -> bounded infra-retry (re-queue the
|
||||
staging-deployer with a delay, task STAYS on deploy-staging) — NOT a rollback to
|
||||
development and NOT a developer-retry.
|
||||
* TC-05 — a deterministically RED re-test STILL rolls back to development +
|
||||
developer retry (BR-6 / AC-3 anti-over-tolerance).
|
||||
* TC-06 — the infra-retry is bounded (anti-loop): after the budget it blocks with
|
||||
ONE infra-alert, no infinite bounce, no new job, task NOT in development.
|
||||
* TC-09 — never-raise: an error in the transient path is swallowed (a WARNING) and
|
||||
never escapes into advance_stage.
|
||||
|
||||
Offline: isolated sqlite DB; Plane/Telegram/notifications mocked at stage_engine.
|
||||
"""
|
||||
import os
|
||||
import tempfile
|
||||
|
||||
import pytest
|
||||
|
||||
_test_db = os.path.join(tempfile.gettempdir(), "test_orch110_routing.db")
|
||||
os.environ["ORCH_DB_PATH"] = _test_db
|
||||
os.environ["ORCH_REPOS_DIR"] = tempfile.gettempdir()
|
||||
os.environ.setdefault("ORCH_GITEA_TOKEN", "test-token")
|
||||
os.environ.setdefault("ORCH_PLANE_API_TOKEN", "test-token")
|
||||
|
||||
from unittest.mock import MagicMock # noqa: E402
|
||||
|
||||
import src.db as _db # noqa: E402
|
||||
from src.db import init_db, get_db # noqa: E402
|
||||
from src import stage_engine # noqa: E402
|
||||
from src.stage_engine import advance_stage # noqa: E402
|
||||
|
||||
_REPO = "orchestrator"
|
||||
_WI = "ORCH-110"
|
||||
_BRANCH = "feature/ORCH-110-x"
|
||||
_TIMEOUT_REASON = "re-test timeout after 900s"
|
||||
|
||||
|
||||
@pytest.fixture(autouse=True)
|
||||
def fresh_db(monkeypatch):
|
||||
monkeypatch.setattr(_db.settings, "db_path", _test_db)
|
||||
if os.path.exists(_test_db):
|
||||
os.unlink(_test_db)
|
||||
init_db()
|
||||
yield
|
||||
|
||||
|
||||
@pytest.fixture(autouse=True)
|
||||
def silence_side_effects(monkeypatch):
|
||||
for name in (
|
||||
"notify_stage_change", "notify_qg_failure", "send_telegram",
|
||||
"plane_notify_stage", "plane_notify_qg", "plane_add_comment",
|
||||
"set_issue_in_progress", "set_issue_blocked",
|
||||
):
|
||||
monkeypatch.setattr(stage_engine, name, MagicMock())
|
||||
# The merge-gate sub-gate runs only AFTER the stage QG + security + coverage pass;
|
||||
# the self-deploy Phase A interception is irrelevant (merge-gate intervenes first).
|
||||
monkeypatch.setattr(stage_engine.settings, "deploy_require_manual_approve", False)
|
||||
|
||||
|
||||
@pytest.fixture(autouse=True)
|
||||
def tolerance_on(monkeypatch):
|
||||
monkeypatch.setattr(stage_engine.settings, "merge_retest_infra_tolerance_enabled", True)
|
||||
monkeypatch.setattr(stage_engine.settings, "merge_retest_infra_max_retries", 2)
|
||||
monkeypatch.setattr(stage_engine.settings, "merge_retest_infra_retry_delay_s", 120)
|
||||
|
||||
|
||||
def _pass(*a, **k):
|
||||
return (True, "ok")
|
||||
|
||||
|
||||
def _fail(reason):
|
||||
def _f(*a, **k):
|
||||
return (False, reason)
|
||||
return _f
|
||||
|
||||
|
||||
def _patch_gates(monkeypatch, merge_reason):
|
||||
monkeypatch.setattr(
|
||||
stage_engine, "QG_CHECKS",
|
||||
{**stage_engine.QG_CHECKS,
|
||||
"check_staging_status": _pass,
|
||||
"check_security_gate": _pass,
|
||||
"check_coverage_gate": _pass,
|
||||
"check_branch_mergeable": _fail(merge_reason),
|
||||
"check_staging_image_fresh": _pass},
|
||||
)
|
||||
|
||||
|
||||
def _make_task(stage="deploy-staging"):
|
||||
conn = get_db()
|
||||
cur = conn.execute(
|
||||
"INSERT INTO tasks (plane_id, work_item_id, repo, branch, stage) VALUES (?,?,?,?,?)",
|
||||
(f"plane-{_WI}", _WI, _REPO, _BRANCH, stage),
|
||||
)
|
||||
tid = cur.lastrowid
|
||||
conn.commit()
|
||||
conn.close()
|
||||
return tid
|
||||
|
||||
|
||||
def _stage(task_id):
|
||||
conn = get_db()
|
||||
row = conn.execute("SELECT stage FROM tasks WHERE id=?", (task_id,)).fetchone()
|
||||
conn.close()
|
||||
return row[0]
|
||||
|
||||
|
||||
def _jobs():
|
||||
conn = get_db()
|
||||
rows = conn.execute(
|
||||
"SELECT agent, task_content, available_at FROM jobs ORDER BY id"
|
||||
).fetchall()
|
||||
conn.close()
|
||||
return [dict(r) for r in rows]
|
||||
|
||||
|
||||
def _seed_infra_retry_jobs(task_id, n):
|
||||
conn = get_db()
|
||||
for _ in range(n):
|
||||
conn.execute(
|
||||
"INSERT INTO jobs (agent, repo, task_id, task_content) "
|
||||
"VALUES ('deployer','orchestrator',?, 'Note: merge-gate infra-timeout retry')",
|
||||
(task_id,),
|
||||
)
|
||||
conn.commit()
|
||||
conn.close()
|
||||
|
||||
|
||||
def _advance(task_id):
|
||||
return advance_stage(
|
||||
task_id, "deploy-staging", _REPO, _WI, _BRANCH, finished_agent="deployer"
|
||||
)
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# TC-04 — infra-timeout -> bounded infra-retry, NOT a rollback to development.
|
||||
# ---------------------------------------------------------------------------
|
||||
def test_tc04_infra_timeout_reschedules_not_rollback(monkeypatch):
|
||||
_patch_gates(monkeypatch, _TIMEOUT_REASON)
|
||||
task_id = _make_task()
|
||||
res = _advance(task_id)
|
||||
|
||||
assert res.advanced is False
|
||||
assert res.rolled_back_to is None # NOT a code-fault rollback
|
||||
assert res.note == "merge-gate-infra-retry"
|
||||
assert _stage(task_id) == "deploy-staging" # stays put
|
||||
jobs = _jobs()
|
||||
assert len(jobs) == 1
|
||||
assert jobs[0]["agent"] == "deployer" # re-queued staging-deployer, NOT developer
|
||||
assert "merge-gate infra-timeout retry" in jobs[0]["task_content"]
|
||||
assert jobs[0]["available_at"] is not None # delayed re-pickup
|
||||
assert stage_engine.set_issue_blocked.called is False
|
||||
# No developer-retry semantics: the rollback comment / in-progress is never set.
|
||||
assert stage_engine.set_issue_in_progress.called is False
|
||||
|
||||
|
||||
def test_tc04_killswitch_within_routing_is_observed(monkeypatch):
|
||||
"""The infra-timeout always bumps the timeout counter (observability), even when
|
||||
routed to the retry path."""
|
||||
_patch_gates(monkeypatch, _TIMEOUT_REASON)
|
||||
before = stage_engine.merge_gate.merge_gate_status()["retest_timeout_total"]
|
||||
task_id = _make_task()
|
||||
_advance(task_id)
|
||||
after = stage_engine.merge_gate.merge_gate_status()["retest_timeout_total"]
|
||||
assert after == before + 1
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# TC-05 — a deterministically RED re-test STILL rolls back (BR-6 / AC-3).
|
||||
# ---------------------------------------------------------------------------
|
||||
def test_tc05_red_retest_still_rolls_back(monkeypatch):
|
||||
_patch_gates(monkeypatch, "re-test failed after rebase: 1 failed, 5 passed")
|
||||
task_id = _make_task()
|
||||
res = _advance(task_id)
|
||||
|
||||
assert res.advanced is False
|
||||
assert res.rolled_back_to == "development"
|
||||
assert _stage(task_id) == "development"
|
||||
jobs = _jobs()
|
||||
assert len(jobs) == 1
|
||||
assert jobs[0]["agent"] == "developer" # developer re-queued (retry)
|
||||
|
||||
|
||||
def test_tc05_conflict_still_rolls_back(monkeypatch):
|
||||
_patch_gates(monkeypatch, "rebase conflict: src/db.py")
|
||||
task_id = _make_task()
|
||||
res = _advance(task_id)
|
||||
assert res.rolled_back_to == "development"
|
||||
assert _stage(task_id) == "development"
|
||||
assert _jobs()[0]["agent"] == "developer"
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# TC-06 — anti-loop: infra-retry is bounded; exhaustion -> ONE infra-alert.
|
||||
# ---------------------------------------------------------------------------
|
||||
def test_tc06_infra_retry_bounded_then_infra_alert(monkeypatch):
|
||||
monkeypatch.setattr(stage_engine.settings, "merge_retest_infra_max_retries", 2)
|
||||
_patch_gates(monkeypatch, _TIMEOUT_REASON)
|
||||
task_id = _make_task()
|
||||
_seed_infra_retry_jobs(task_id, 2) # budget already spent
|
||||
|
||||
res = _advance(task_id)
|
||||
assert res.advanced is False
|
||||
assert res.rolled_back_to is None # NOT a rollback even at exhaustion
|
||||
assert res.note == "merge-gate-infra-retry-exhausted"
|
||||
assert res.alerted is True
|
||||
assert _stage(task_id) == "deploy-staging" # NOT moved to development
|
||||
assert stage_engine.set_issue_blocked.called
|
||||
assert stage_engine.send_telegram.called
|
||||
# No NEW retry job past the cap (still only the 2 we seeded).
|
||||
assert len(_jobs()) == 2
|
||||
# The alert is INFRA-specific, not "developer must fix".
|
||||
msg = stage_engine.send_telegram.call_args[0][0]
|
||||
assert "infra" in msg.lower() or "ресурс" in msg.lower()
|
||||
assert "НЕ дефект кода" in msg
|
||||
|
||||
|
||||
def test_tc06_below_budget_keeps_retrying(monkeypatch):
|
||||
monkeypatch.setattr(stage_engine.settings, "merge_retest_infra_max_retries", 3)
|
||||
_patch_gates(monkeypatch, _TIMEOUT_REASON)
|
||||
task_id = _make_task()
|
||||
_seed_infra_retry_jobs(task_id, 1) # one retry already done, budget 3
|
||||
|
||||
res = _advance(task_id)
|
||||
assert res.note == "merge-gate-infra-retry"
|
||||
assert res.alerted is not True
|
||||
# The seeded job + the new retry job.
|
||||
assert len(_jobs()) == 2
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# TC-09 — never-raise: an error in the transient path is swallowed.
|
||||
# ---------------------------------------------------------------------------
|
||||
def test_tc09_infra_retry_never_raises(monkeypatch):
|
||||
_patch_gates(monkeypatch, _TIMEOUT_REASON)
|
||||
|
||||
def _boom(*a, **k):
|
||||
raise RuntimeError("enqueue exploded")
|
||||
|
||||
monkeypatch.setattr(stage_engine, "enqueue_job", _boom)
|
||||
task_id = _make_task()
|
||||
# Must NOT raise into advance_stage.
|
||||
res = _advance(task_id)
|
||||
assert res.note == "merge-gate-infra-retry-error"
|
||||
assert _stage(task_id) == "deploy-staging" # left for the reconciler/reaper
|
||||
|
||||
|
||||
def test_tc09_killswitch_off_falls_back_to_rollback(monkeypatch):
|
||||
"""tolerance off -> a timeout takes the prior rollback path byte-for-byte (NFR-2)."""
|
||||
monkeypatch.setattr(stage_engine.settings, "merge_retest_infra_tolerance_enabled", False)
|
||||
_patch_gates(monkeypatch, _TIMEOUT_REASON)
|
||||
task_id = _make_task()
|
||||
res = _advance(task_id)
|
||||
assert res.rolled_back_to == "development"
|
||||
assert _stage(task_id) == "development"
|
||||
assert _jobs()[0]["agent"] == "developer"
|
||||
@@ -1,135 +0,0 @@
|
||||
"""ORCH-110 TC-12: observability of the infra-timeout path (D6 / FR-6 / AC-9).
|
||||
|
||||
The infra-timeout state must be (a) reflected in read-only counters, (b) surfaced in
|
||||
the additive ``merge_gate`` block of ``GET /queue``, and (c) distinguishable from a
|
||||
code-fault rollback — with the exhaustion alert carrying the CLICKABLE issue number
|
||||
and an explicitly infrastructural (NOT "developer must fix") wording. No dedup/overlap
|
||||
with ORCH-111 (which only OBSERVES surviving processes; ORCH-110 prevents/tolerates).
|
||||
"""
|
||||
import asyncio
|
||||
import os
|
||||
import tempfile
|
||||
|
||||
_test_db = os.path.join(tempfile.gettempdir(), "test_orch110_observability.db")
|
||||
os.environ["ORCH_DB_PATH"] = _test_db
|
||||
os.environ["ORCH_REPOS_DIR"] = tempfile.gettempdir()
|
||||
os.environ.setdefault("ORCH_GITEA_TOKEN", "test-token")
|
||||
os.environ.setdefault("ORCH_PLANE_API_TOKEN", "test-token")
|
||||
|
||||
from unittest.mock import MagicMock # noqa: E402
|
||||
|
||||
import pytest # noqa: E402
|
||||
|
||||
import src.db as _db # noqa: E402
|
||||
from src.db import init_db, get_db # noqa: E402
|
||||
from src import merge_gate # noqa: E402
|
||||
from src import stage_engine # noqa: E402
|
||||
from src.stage_engine import AdvanceResult # noqa: E402
|
||||
|
||||
|
||||
@pytest.fixture(autouse=True)
|
||||
def fresh_db(monkeypatch):
|
||||
monkeypatch.setattr(_db.settings, "db_path", _test_db)
|
||||
if os.path.exists(_test_db):
|
||||
os.unlink(_test_db)
|
||||
init_db()
|
||||
# Reset the in-process counters so each test starts from a known baseline.
|
||||
merge_gate._MERGE_GATE_COUNTERS.update(
|
||||
retest_timeout_total=0, retest_infra_retry_total=0,
|
||||
retest_infra_exhausted_total=0, retest_skipped_current_total=0,
|
||||
last_infra_timeout_wi=None,
|
||||
)
|
||||
yield
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# merge_gate_status() snapshot + counter increments.
|
||||
# ---------------------------------------------------------------------------
|
||||
def test_tc12_status_exposes_flags_and_counters():
|
||||
snap = merge_gate.merge_gate_status()
|
||||
for key in (
|
||||
"infra_tolerance_enabled", "infra_max_retries", "infra_retry_delay_s",
|
||||
"skip_when_current_enabled", "tree_kill_enabled", "retest_timeout_s",
|
||||
"retest_timeout_total", "retest_infra_retry_total",
|
||||
"retest_infra_exhausted_total", "retest_skipped_current_total",
|
||||
"last_infra_timeout_wi",
|
||||
):
|
||||
assert key in snap, f"missing /queue merge_gate key: {key}"
|
||||
|
||||
|
||||
def test_tc12_counters_track_infra_timeout_distinctly():
|
||||
merge_gate.note_retest_timeout("ORCH-110")
|
||||
merge_gate.note_retest_infra_retry()
|
||||
merge_gate.note_retest_infra_exhausted()
|
||||
merge_gate.note_retest_skipped_current()
|
||||
snap = merge_gate.merge_gate_status()
|
||||
assert snap["retest_timeout_total"] == 1
|
||||
assert snap["retest_infra_retry_total"] == 1
|
||||
assert snap["retest_infra_exhausted_total"] == 1
|
||||
assert snap["retest_skipped_current_total"] == 1
|
||||
# Distinguishable from a code-fault: the last infra-timeout WI is tracked here,
|
||||
# NOT in the merge-verify (code/merge) counters.
|
||||
assert snap["last_infra_timeout_wi"] == "ORCH-110"
|
||||
|
||||
|
||||
def test_tc12_status_never_raises(monkeypatch):
|
||||
# A broken settings attribute -> the snapshot degrades, never raises.
|
||||
monkeypatch.delattr(merge_gate.settings, "merge_retest_infra_tolerance_enabled", raising=False)
|
||||
snap = merge_gate.merge_gate_status()
|
||||
assert isinstance(snap, dict)
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# GET /queue carries the additive merge_gate block (and the legacy keys stay).
|
||||
# ---------------------------------------------------------------------------
|
||||
def test_tc12_queue_endpoint_includes_merge_gate_block():
|
||||
from src.main import queue
|
||||
out = asyncio.run(queue())
|
||||
assert "merge_gate" in out
|
||||
assert "infra_tolerance_enabled" in out["merge_gate"]
|
||||
# The pre-existing observability keys are untouched (additive only).
|
||||
assert "merge_verify" in out and "coverage" in out
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# The exhaustion alert is INFRA-specific + carries the clickable issue number,
|
||||
# distinct from the code-fault "Merge-gate still failing after N developer retries".
|
||||
# ---------------------------------------------------------------------------
|
||||
def test_tc12_exhaustion_alert_is_infra_specific_and_clickable(monkeypatch):
|
||||
sent = {}
|
||||
|
||||
def _tg(msg):
|
||||
sent["msg"] = msg
|
||||
|
||||
monkeypatch.setattr(stage_engine, "send_telegram", _tg)
|
||||
monkeypatch.setattr(stage_engine, "set_issue_blocked", MagicMock())
|
||||
monkeypatch.setattr(stage_engine, "plane_add_comment", MagicMock())
|
||||
# link_for builds the clickable number; use a recognisable sentinel.
|
||||
monkeypatch.setattr(stage_engine, "link_for", lambda wi, **k: f"<a href='x'>{wi}</a>")
|
||||
monkeypatch.setattr(stage_engine.settings, "merge_retest_infra_max_retries", 2)
|
||||
|
||||
# Seed an exhausted budget for the task.
|
||||
conn = get_db()
|
||||
cur = conn.execute(
|
||||
"INSERT INTO tasks (plane_id, work_item_id, repo, branch, stage) VALUES (?,?,?,?,?)",
|
||||
("plane-ORCH-110", "ORCH-110", "orchestrator", "feature/ORCH-110-x", "deploy-staging"),
|
||||
)
|
||||
task_id = cur.lastrowid
|
||||
for _ in range(2):
|
||||
conn.execute(
|
||||
"INSERT INTO jobs (agent, repo, task_id, task_content) "
|
||||
"VALUES ('deployer','orchestrator',?, 'Note: merge-gate infra-timeout retry')",
|
||||
(task_id,),
|
||||
)
|
||||
conn.commit()
|
||||
conn.close()
|
||||
|
||||
res = AdvanceResult()
|
||||
stage_engine._handle_merge_gate_infra_retry(
|
||||
task_id, "deploy-staging", "orchestrator", "ORCH-110",
|
||||
"feature/ORCH-110-x", "re-test timeout after 900s", res,
|
||||
)
|
||||
assert res.note == "merge-gate-infra-retry-exhausted"
|
||||
assert "ORCH-110" in sent["msg"] # clickable issue number present
|
||||
assert "developer retries" not in sent["msg"] # NOT the code-fault wording
|
||||
assert "НЕ дефект кода" in sent["msg"] # explicitly infrastructural
|
||||
@@ -1,95 +0,0 @@
|
||||
"""ORCH-110 TC-11: the local re-test necessity contract (D4 / FR-4 / AC-6).
|
||||
|
||||
The chosen contract: run the local re-test IFF the pre-merge rebase actually moved
|
||||
HEAD (``main`` had moved -> a real semantic-conflict risk). When the rebase is a
|
||||
PROVEN no-op (HEAD unchanged -> branch already at origin/main, the CI/tester/staging-
|
||||
validated commit) the re-test is SKIPPED — it would be a redundant single point of
|
||||
false failure. On ANY uncertainty (an empty SHA) the re-test runs (fail-safe -> the
|
||||
red-rollback contract BR-6/AC-3 is never weakened).
|
||||
"""
|
||||
import os
|
||||
import tempfile
|
||||
|
||||
os.environ.setdefault("ORCH_DB_PATH", os.path.join(tempfile.gettempdir(), "test_orch110_contract.db"))
|
||||
os.environ.setdefault("ORCH_REPOS_DIR", tempfile.gettempdir())
|
||||
os.environ.setdefault("ORCH_GITEA_TOKEN", "test-token")
|
||||
os.environ.setdefault("ORCH_PLANE_API_TOKEN", "test-token")
|
||||
|
||||
import pytest # noqa: E402
|
||||
|
||||
from src import merge_gate # noqa: E402
|
||||
from src.qg import checks as qg # noqa: E402
|
||||
|
||||
_REPO = "orchestrator"
|
||||
_BRANCH = "feature/ORCH-110-x"
|
||||
_WI = "ORCH-110"
|
||||
|
||||
|
||||
@pytest.fixture
|
||||
def gate(monkeypatch):
|
||||
"""Real check_branch_mergeable, mocked primitives; record control flow."""
|
||||
state = {"retest": 0, "released": 0, "rebased": 0}
|
||||
monkeypatch.setattr(qg.settings, "merge_gate_enabled", True, raising=False)
|
||||
monkeypatch.setattr(qg.settings, "merge_gate_repos", "", raising=False)
|
||||
monkeypatch.setattr(qg.settings, "premerge_rebase_always", True, raising=False)
|
||||
monkeypatch.setattr(qg.settings, "merge_retest_skip_when_current_enabled", True, raising=False)
|
||||
monkeypatch.setattr(merge_gate, "acquire_merge_lease", lambda *a, **k: (True, "lease acquired"))
|
||||
monkeypatch.setattr(merge_gate, "branch_is_behind_main", lambda r, b: True)
|
||||
|
||||
def _rebase(r, b):
|
||||
state["rebased"] += 1
|
||||
return True, "rebased onto origin/main"
|
||||
|
||||
def _release(r, b=None):
|
||||
state["released"] += 1
|
||||
|
||||
def _retest(r, b):
|
||||
state["retest"] += 1
|
||||
return True, "re-test green"
|
||||
|
||||
monkeypatch.setattr(merge_gate, "auto_rebase_onto_main", _rebase)
|
||||
monkeypatch.setattr(merge_gate, "release_merge_lease", _release)
|
||||
monkeypatch.setattr(merge_gate, "retest_branch", _retest)
|
||||
return state
|
||||
|
||||
|
||||
def _set_head_shas(monkeypatch, shas):
|
||||
seq = list(shas)
|
||||
monkeypatch.setattr(merge_gate, "head_sha", lambda r, b: seq.pop(0) if seq else "")
|
||||
|
||||
|
||||
def test_tc11_noop_rebase_skips_retest_lease_held(gate, monkeypatch):
|
||||
"""Proven no-op rebase (HEAD unchanged) -> skip re-test, PASS, lease HELD."""
|
||||
_set_head_shas(monkeypatch, ["sha_same", "sha_same"])
|
||||
ok, reason = qg.check_branch_mergeable(_REPO, _WI, _BRANCH)
|
||||
assert ok is True
|
||||
assert "re-test skipped" in reason
|
||||
assert gate["retest"] == 0 # re-test NOT run
|
||||
assert gate["released"] == 0 # lease HELD until the merge
|
||||
|
||||
|
||||
def test_tc11_head_moved_runs_retest(gate, monkeypatch):
|
||||
"""A real catch-up (HEAD moved) -> re-test RUNS (the ORCH-043 risk is real)."""
|
||||
_set_head_shas(monkeypatch, ["sha_old", "sha_new"])
|
||||
ok, reason = qg.check_branch_mergeable(_REPO, _WI, _BRANCH)
|
||||
assert ok is True
|
||||
assert reason == "rebased onto main, re-test green"
|
||||
assert gate["retest"] == 1
|
||||
|
||||
|
||||
@pytest.mark.parametrize("shas", [["", "sha_new"], ["sha_old", ""], ["", ""]])
|
||||
def test_tc11_uncertain_sha_runs_retest_failsafe(gate, monkeypatch, shas):
|
||||
"""Cannot prove a no-op (empty SHA) -> re-test RUNS (fail-safe, never skips on
|
||||
uncertainty)."""
|
||||
_set_head_shas(monkeypatch, shas)
|
||||
ok, reason = qg.check_branch_mergeable(_REPO, _WI, _BRANCH)
|
||||
assert ok is True
|
||||
assert gate["retest"] == 1 # re-test still runs on uncertainty
|
||||
|
||||
|
||||
def test_tc11_skip_bumps_observability_counter(gate, monkeypatch):
|
||||
"""The skip increments the read-only observability counter (D6)."""
|
||||
merge_gate._MERGE_GATE_COUNTERS["retest_skipped_current_total"] = 0
|
||||
_set_head_shas(monkeypatch, ["sha_same", "sha_same"])
|
||||
qg.check_branch_mergeable(_REPO, _WI, _BRANCH)
|
||||
assert merge_gate._MERGE_GATE_COUNTERS["retest_skipped_current_total"] == 1
|
||||
@@ -1,185 +0,0 @@
|
||||
"""ORCH-110 TC-01 / TC-02: process-group tree-kill of orchestrator-spawned pytest.
|
||||
|
||||
Covers D1 (FR-2 / BR-3 / AC-4): a timeout in ``merge_gate.retest_branch`` /
|
||||
``coverage_gate.measure_coverage`` must tree-kill the WHOLE subprocess subtree
|
||||
(children + grandchildren) — the orphan-leak root cause of the ORCH-109 incident —
|
||||
not just the direct child.
|
||||
|
||||
Fully deterministic and offline:
|
||||
* TC-01 runs a REAL throwaway process that spawns a long-sleeping grandchild via
|
||||
``sys.executable`` (always present), then asserts the grandchild is dead after a
|
||||
``run_in_process_group`` timeout — the concrete "no orphan survives" proof.
|
||||
* TC-01b / TC-02 assert the two call sites delegate to ``run_in_process_group``
|
||||
with the right tree-kill kwargs and map a timed-out ProcResult to their existing
|
||||
contract (``(False, "re-test timeout after <T>s")`` / ``None``).
|
||||
No network, no Plane/Gitea, no Claude CLI.
|
||||
"""
|
||||
import os
|
||||
import tempfile
|
||||
import time
|
||||
|
||||
os.environ.setdefault("ORCH_DB_PATH", os.path.join(tempfile.gettempdir(), "test_orch110_lifecycle.db"))
|
||||
os.environ.setdefault("ORCH_REPOS_DIR", tempfile.gettempdir())
|
||||
os.environ.setdefault("ORCH_GITEA_TOKEN", "test-token")
|
||||
os.environ.setdefault("ORCH_PLANE_API_TOKEN", "test-token")
|
||||
|
||||
import sys # noqa: E402
|
||||
|
||||
import pytest # noqa: E402
|
||||
|
||||
from src import coverage_gate as cg # noqa: E402
|
||||
from src import merge_gate # noqa: E402
|
||||
from src import proc_group # noqa: E402
|
||||
from src.proc_group import ProcResult, run_in_process_group # noqa: E402
|
||||
|
||||
_POSIX = hasattr(os, "killpg") and hasattr(os, "setsid")
|
||||
|
||||
|
||||
def _alive(pid: int) -> bool:
|
||||
"""True iff ``pid`` is a live (non-reaped) process."""
|
||||
try:
|
||||
os.kill(pid, 0)
|
||||
return True
|
||||
except ProcessLookupError:
|
||||
return False
|
||||
except PermissionError:
|
||||
return True
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# TC-01: real grandchild is tree-killed on timeout (the FR-2 / AC-4 proof).
|
||||
# ---------------------------------------------------------------------------
|
||||
@pytest.mark.skipif(not _POSIX, reason="process-group tree-kill is POSIX-only")
|
||||
def test_tc01_grandchild_orphan_is_tree_killed_on_timeout(tmp_path):
|
||||
pidfile = tmp_path / "grandchild.pid"
|
||||
script = tmp_path / "spawner.py"
|
||||
# The leader spawns a long-sleeping grandchild, records its pid, then sleeps far
|
||||
# past the timeout. A naive subprocess.run(timeout=) would kill ONLY the leader
|
||||
# and leak the grandchild (the ORCH-109 bug). The process-group tree-kill must
|
||||
# reap the grandchild too.
|
||||
script.write_text(
|
||||
"import subprocess, sys, time\n"
|
||||
"gc = subprocess.Popen([sys.executable, '-c', 'import time; time.sleep(120)'])\n"
|
||||
"open(sys.argv[1], 'w').write(str(gc.pid))\n"
|
||||
"time.sleep(120)\n",
|
||||
encoding="utf-8",
|
||||
)
|
||||
|
||||
res = run_in_process_group(
|
||||
[sys.executable, str(script), str(pidfile)],
|
||||
cwd=str(tmp_path), timeout=2, grace_s=1, tree_kill=True,
|
||||
)
|
||||
assert res.timed_out is True
|
||||
|
||||
# Wait for the leader to actually have written the grandchild pid.
|
||||
deadline = time.time() + 5
|
||||
while time.time() < deadline and not pidfile.exists():
|
||||
time.sleep(0.05)
|
||||
assert pidfile.exists(), "spawner never recorded the grandchild pid"
|
||||
gc_pid = int(pidfile.read_text().strip())
|
||||
|
||||
# The grandchild must die (be reaped) within a short window after the tree-kill.
|
||||
deadline = time.time() + 8
|
||||
while time.time() < deadline and _alive(gc_pid):
|
||||
time.sleep(0.1)
|
||||
assert not _alive(gc_pid), "grandchild orphan survived the timeout tree-kill (FR-2/AC-4)"
|
||||
|
||||
|
||||
@pytest.mark.skipif(not _POSIX, reason="process-group runner is POSIX-only")
|
||||
def test_tc01_green_and_red_returncodes_passthrough(tmp_path):
|
||||
"""The runner returns the real exit code on a normal (non-timeout) completion."""
|
||||
ok = run_in_process_group(
|
||||
[sys.executable, "-c", "import sys; sys.exit(0)"],
|
||||
cwd=str(tmp_path), timeout=30, tree_kill=True,
|
||||
)
|
||||
assert ok.timed_out is False and ok.returncode == 0
|
||||
red = run_in_process_group(
|
||||
[sys.executable, "-c", "import sys; sys.exit(3)"],
|
||||
cwd=str(tmp_path), timeout=30, tree_kill=True,
|
||||
)
|
||||
assert red.timed_out is False and red.returncode == 3
|
||||
|
||||
|
||||
def test_tc01_fallback_when_tree_kill_disabled(tmp_path, monkeypatch):
|
||||
"""tree_kill=False -> degrades to subprocess.run (never-break); still times out."""
|
||||
res = run_in_process_group(
|
||||
[sys.executable, "-c", "import time; time.sleep(30)"],
|
||||
cwd=str(tmp_path), timeout=1, tree_kill=False,
|
||||
)
|
||||
assert res.timed_out is True
|
||||
|
||||
|
||||
def test_tc01_fallback_on_non_posix(tmp_path, monkeypatch):
|
||||
"""No os.killpg/setsid (non-POSIX) -> the plain subprocess.run fallback runs."""
|
||||
monkeypatch.setattr(proc_group, "_tree_kill_supported", lambda: False)
|
||||
res = run_in_process_group(
|
||||
[sys.executable, "-c", "import sys; sys.exit(0)"],
|
||||
cwd=str(tmp_path), timeout=30,
|
||||
)
|
||||
assert res.timed_out is False and res.returncode == 0
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# TC-01b: retest_branch delegates to the process-group runner with the right
|
||||
# kwargs and maps a timeout to its existing contract.
|
||||
# ---------------------------------------------------------------------------
|
||||
def test_tc01b_retest_branch_uses_process_group_and_maps_timeout(tmp_path, monkeypatch):
|
||||
wt = tmp_path / "wt"
|
||||
wt.mkdir()
|
||||
monkeypatch.setattr(merge_gate, "get_worktree_path", lambda repo, branch: str(wt))
|
||||
monkeypatch.setattr(merge_gate.settings, "merge_retest_timeout_s", 900, raising=False)
|
||||
monkeypatch.setattr(merge_gate.settings, "subprocess_tree_kill_enabled", True, raising=False)
|
||||
monkeypatch.setattr(merge_gate.settings, "agent_kill_grace_seconds", 7, raising=False)
|
||||
|
||||
captured = {}
|
||||
|
||||
def _fake(cmd, *, cwd, timeout, env=None, grace_s=5.0, tree_kill=True):
|
||||
captured.update(cmd=cmd, cwd=cwd, timeout=timeout, grace_s=grace_s, tree_kill=tree_kill)
|
||||
return ProcResult(returncode=None, stdout="", stderr="", timed_out=True)
|
||||
|
||||
monkeypatch.setattr(merge_gate, "run_in_process_group", _fake)
|
||||
ok, reason = merge_gate.retest_branch("orchestrator", "feature/x")
|
||||
assert ok is False
|
||||
assert reason == "re-test timeout after 900s"
|
||||
# FR-2: spawned via the process-group runner with tree-kill + the agent grace.
|
||||
assert captured["tree_kill"] is True
|
||||
assert captured["grace_s"] == 7
|
||||
assert captured["cmd"][:3] == ["python", "-m", "pytest"]
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# TC-02: coverage_gate.measure_coverage — sibling orphan source (BR-3). Timeout
|
||||
# tree-kills + returns None; uses the same runner with tree-kill from settings.
|
||||
# ---------------------------------------------------------------------------
|
||||
def test_tc02_measure_coverage_timeout_tree_kill_returns_none(tmp_path, monkeypatch):
|
||||
monkeypatch.setattr(cg, "ensure_worktree", lambda r, b: str(tmp_path))
|
||||
monkeypatch.setattr(cg.settings, "subprocess_tree_kill_enabled", True, raising=False)
|
||||
monkeypatch.setattr(cg.settings, "agent_kill_grace_seconds", 5, raising=False)
|
||||
monkeypatch.setattr(cg.settings, "coverage_run_timeout_s", 900, raising=False)
|
||||
|
||||
captured = {}
|
||||
|
||||
def _fake(cmd, *, cwd, timeout, env=None, grace_s=5.0, tree_kill=True):
|
||||
captured.update(tree_kill=tree_kill, grace_s=grace_s, timeout=timeout)
|
||||
return ProcResult(returncode=None, stdout="", stderr="", timed_out=True)
|
||||
|
||||
monkeypatch.setattr(cg, "run_in_process_group", _fake)
|
||||
assert cg.measure_coverage("orchestrator", "feature/x") is None
|
||||
assert captured["tree_kill"] is True
|
||||
assert captured["grace_s"] == 5
|
||||
assert captured["timeout"] == 900
|
||||
|
||||
|
||||
def test_tc02_measure_coverage_respects_tree_kill_killswitch(tmp_path, monkeypatch):
|
||||
"""With the tree-kill kill-switch off, the runner is asked for the fallback path."""
|
||||
monkeypatch.setattr(cg, "ensure_worktree", lambda r, b: str(tmp_path))
|
||||
monkeypatch.setattr(cg.settings, "subprocess_tree_kill_enabled", False, raising=False)
|
||||
captured = {}
|
||||
|
||||
def _fake(cmd, *, cwd, timeout, env=None, grace_s=5.0, tree_kill=True):
|
||||
captured.update(tree_kill=tree_kill)
|
||||
return ProcResult(returncode=None, stdout="", stderr="", timed_out=True)
|
||||
|
||||
monkeypatch.setattr(cg, "run_in_process_group", _fake)
|
||||
assert cg.measure_coverage("orchestrator", "feature/x") is None
|
||||
assert captured["tree_kill"] is False
|
||||
@@ -48,17 +48,6 @@ def test_host_paths_mounted_read_only():
|
||||
assert v.endswith(":ro"), f"watchdog mount must be :ro: {v}"
|
||||
|
||||
|
||||
def test_watchdog_shares_host_pid_namespace():
|
||||
# ORCH-111 (adr-0041 D6): the sidecar shares the host PID-namespace so its
|
||||
# /proc reflects the host (proc_blocking collector). `pid: host` is NOT a
|
||||
# volume, so the read-only-mounts invariant above is unaffected.
|
||||
wd = _compose()["services"]["orchestrator-watchdog"]
|
||||
assert wd.get("pid") == "host", "orchestrator-watchdog must declare `pid: host`"
|
||||
# The privilege stays on the OBSERVER only — prod orchestrator must NOT get it.
|
||||
orch = _compose()["services"]["orchestrator"]
|
||||
assert "pid" not in orch, "the prod orchestrator service must not share the host PID-namespace"
|
||||
|
||||
|
||||
def test_env_file_is_optional():
|
||||
# A missing .env.watchdog must not break `docker compose up` (self-hosting).
|
||||
wd = _compose()["services"]["orchestrator-watchdog"]
|
||||
|
||||
@@ -67,35 +67,3 @@ def test_malformed_env_degrades_to_default():
|
||||
cfg = Config.from_env({"WATCHDOG_INTERVAL_S": "abc", "WATCHDOG_MEM_PCT": ""})
|
||||
assert cfg.interval_s == 30.0
|
||||
assert cfg.mem_pct == 90.0
|
||||
|
||||
|
||||
# -- ORCH-111: proc_blocking config (kill-switch default-off + safe threshold) --
|
||||
def test_proc_blocking_defaults_off_and_safe():
|
||||
cfg = Config.from_env({})
|
||||
assert cfg.proc_enabled is False # opt-in (needs `pid: host`)
|
||||
assert cfg.proc_patterns == ["pytest"]
|
||||
assert cfg.proc_cooldown_s == 1800.0
|
||||
# Cross-invariant (adr-0041 D2): the default age threshold MUST exceed the max
|
||||
# legitimate test-run budget max(merge_retest_timeout_s=600, coverage=900).
|
||||
assert cfg.proc_age_s > 900.0
|
||||
|
||||
|
||||
def test_proc_blocking_thresholds_read_from_env():
|
||||
cfg = Config.from_env(
|
||||
{
|
||||
"WATCHDOG_PROC_ENABLED": "true",
|
||||
"WATCHDOG_PROC_AGE_MIN": "45",
|
||||
"WATCHDOG_PROC_PATTERNS": "pytest,coverage run",
|
||||
"WATCHDOG_PROC_COOLDOWN_S": "900",
|
||||
}
|
||||
)
|
||||
assert cfg.proc_enabled is True
|
||||
assert cfg.proc_age_s == 45 * 60.0
|
||||
assert cfg.proc_patterns == ["pytest", "coverage run"]
|
||||
assert cfg.proc_cooldown_s == 900.0
|
||||
|
||||
|
||||
def test_proc_blocking_malformed_env_degrades():
|
||||
cfg = Config.from_env({"WATCHDOG_PROC_AGE_MIN": "nope", "WATCHDOG_PROC_ENABLED": ""})
|
||||
assert cfg.proc_age_min == 60.0
|
||||
assert cfg.proc_enabled is False
|
||||
|
||||
@@ -1,256 +0,0 @@
|
||||
"""ORCH-111 TC-01…TC-06: the proc_blocking signal builder + decision surface.
|
||||
|
||||
Pure / deterministic — no real ``/proc``, no container, no socket, no timer. The
|
||||
collector is exercised here only for its never-raise / read-only contract
|
||||
(TC-04); its ``/proc`` parsing fixtures live in ``test_proc_collector.py``.
|
||||
|
||||
TC-01 is the REGRESS anchor: before ORCH-111 there was no ``proc_blocking``
|
||||
builder/dispatch at all, so a long-lived orphaned pytest raised no alert; this
|
||||
asserts the active signal is now produced (red→green).
|
||||
"""
|
||||
import ast as _ast
|
||||
import inspect as _inspect
|
||||
|
||||
from watchdog.collectors import proc as proc_mod
|
||||
from watchdog.config import Config
|
||||
from watchdog.core import Watchdog
|
||||
from watchdog.decision import (
|
||||
ACTION_ALERT,
|
||||
ACTION_NONE,
|
||||
ACTION_REALERT,
|
||||
ACTION_RECOVERY,
|
||||
)
|
||||
from watchdog.signals import proc_signals
|
||||
|
||||
|
||||
def _cfg(**kw) -> Config:
|
||||
base = {"WATCHDOG_PROC_ENABLED": "true", "WATCHDOG_PROC_AGE_MIN": "60"}
|
||||
return Config.from_env({**base, **kw})
|
||||
|
||||
|
||||
def _candidate(pid=4242, age_s=7200.0, cmdline="python3 -m pytest tests/", cpu_s=1234.0):
|
||||
return {"pid": pid, "cmdline": cmdline, "age_s": age_s, "cpu_s": cpu_s, "start_ticks": 1}
|
||||
|
||||
|
||||
# -- TC-01: regress — active signal for a long-lived blocking process ---------
|
||||
def test_tc01_builder_emits_active_proc_blocking_signal():
|
||||
cfg = _cfg() # proc_age_s == 3600
|
||||
sigs = proc_signals(cfg, [_candidate(pid=4242, age_s=7200.0)])
|
||||
assert len(sigs) == 1
|
||||
sig = sigs[0]
|
||||
assert sig.key == ("proc_blocking", 4242)
|
||||
assert sig.active is True # 7200 > 3600
|
||||
# AC-2: actionable detail — PID, age in seconds, cmdline fragment, CPU time.
|
||||
assert "4242" in sig.detail
|
||||
assert "7200" in sig.detail
|
||||
assert "pytest" in sig.detail
|
||||
assert "CPU" in sig.detail
|
||||
assert sig.cooldown_s == cfg.proc_cooldown_s
|
||||
|
||||
|
||||
# -- TC-02: anti-false-positive — below the threshold -> inactive -------------
|
||||
def test_tc02_below_threshold_is_inactive():
|
||||
cfg = _cfg() # proc_age_s == 3600
|
||||
sigs = proc_signals(cfg, [_candidate(age_s=600.0)]) # within a 600s test budget
|
||||
assert len(sigs) == 1
|
||||
assert sigs[0].active is False # 600 < 3600 -> no alert (BR-4 / AC-4)
|
||||
|
||||
|
||||
def test_tc02_boundary_is_strict_greater_than():
|
||||
cfg = _cfg()
|
||||
at_threshold = proc_signals(cfg, [_candidate(age_s=cfg.proc_age_s)])
|
||||
assert at_threshold[0].active is False # strict `>`: exactly at threshold is OK
|
||||
over = proc_signals(cfg, [_candidate(age_s=cfg.proc_age_s + 1)])
|
||||
assert over[0].active is True
|
||||
|
||||
|
||||
# -- TC-03: config / kill-switch + default threshold > test-run budget --------
|
||||
def test_tc03_defaults_are_off_and_safe():
|
||||
cfg = Config.from_env({})
|
||||
assert cfg.proc_enabled is False # default-OFF (opt-in, D5)
|
||||
assert cfg.proc_patterns == ["pytest"]
|
||||
assert cfg.proc_cooldown_s == 1800.0
|
||||
# Cross-invariant (D2): default age threshold MUST exceed the max legitimate
|
||||
# test-run budget max(merge_retest_timeout_s=600, coverage_run_timeout_s=900).
|
||||
assert cfg.proc_age_s > 900.0
|
||||
|
||||
|
||||
def test_tc03_env_overrides_and_malformed_degrade():
|
||||
cfg = Config.from_env(
|
||||
{
|
||||
"WATCHDOG_PROC_ENABLED": "true",
|
||||
"WATCHDOG_PROC_AGE_MIN": "30",
|
||||
"WATCHDOG_PROC_PATTERNS": "pytest,coverage run",
|
||||
"WATCHDOG_PROC_COOLDOWN_S": "600",
|
||||
}
|
||||
)
|
||||
assert cfg.proc_enabled is True
|
||||
assert cfg.proc_age_s == 30 * 60.0
|
||||
assert cfg.proc_patterns == ["pytest", "coverage run"]
|
||||
assert cfg.proc_cooldown_s == 600.0
|
||||
# malformed numerics degrade to defaults (never-raise config).
|
||||
bad = Config.from_env({"WATCHDOG_PROC_AGE_MIN": "abc", "WATCHDOG_PROC_COOLDOWN_S": ""})
|
||||
assert bad.proc_age_min == 60.0
|
||||
assert bad.proc_cooldown_s == 1800.0
|
||||
|
||||
|
||||
def test_tc03_killswitch_off_makes_collector_inert():
|
||||
cfg = Config.from_env({"WATCHDOG_PROC_ENABLED": "false"})
|
||||
dog = Watchdog(cfg, notifier=_Notifier(), docker=_StubDocker(), now_provider=lambda: 0.0)
|
||||
# The gated collector returns [] without ever touching /proc (zero overhead).
|
||||
assert dog._collect_proc(now=0.0) == []
|
||||
|
||||
|
||||
# -- TC-04: collector never-raise / read-only ---------------------------------
|
||||
def test_tc04_collector_degrades_to_empty_on_broken_source():
|
||||
# Missing /proc root -> [] (one signal skipped), no exception.
|
||||
assert proc_mod.collect_candidates(["pytest"], now=0.0, proc_root="/no/such/proc") == []
|
||||
|
||||
|
||||
def test_tc04_collector_empty_when_btime_unreadable(tmp_path):
|
||||
# /proc with no parseable btime -> [] (cannot compute age -> no bogus signal).
|
||||
(tmp_path / "stat").write_text("cpu 1 2 3\nintr 0\n")
|
||||
assert proc_mod.collect_candidates(["pytest"], now=0.0, proc_root=str(tmp_path)) == []
|
||||
|
||||
|
||||
def _docstring_node_ids(tree) -> set:
|
||||
"""ids of the Constant nodes that are module/func/class docstrings (prose)."""
|
||||
out = set()
|
||||
for node in _ast.walk(tree):
|
||||
if isinstance(node, (_ast.Module, _ast.FunctionDef, _ast.AsyncFunctionDef, _ast.ClassDef)):
|
||||
body = getattr(node, "body", [])
|
||||
if (
|
||||
body
|
||||
and isinstance(body[0], _ast.Expr)
|
||||
and isinstance(body[0].value, _ast.Constant)
|
||||
and isinstance(body[0].value.value, str)
|
||||
):
|
||||
out.add(id(body[0].value))
|
||||
return out
|
||||
|
||||
|
||||
def test_tc04_collector_source_is_read_only():
|
||||
# AC-3 / NFR-2: the EXECUTABLE code (not the prose describing the contract)
|
||||
# carries no kill / signal / subprocess / environ-read. Scan the AST so the
|
||||
# docstring that documents the ban does not trip the check.
|
||||
tree = _ast.parse(_inspect.getsource(proc_mod))
|
||||
docstrings = _docstring_node_ids(tree)
|
||||
violations: list[str] = []
|
||||
_MUTATING_ATTRS = {"kill", "system", "Popen", "popen", "run", "send_signal", "terminate"}
|
||||
for node in _ast.walk(tree):
|
||||
if isinstance(node, _ast.Import):
|
||||
for a in node.names:
|
||||
if a.name.split(".")[0] in {"subprocess", "signal"}:
|
||||
violations.append(f"import {a.name}")
|
||||
elif isinstance(node, _ast.ImportFrom):
|
||||
if (node.module or "").split(".")[0] in {"subprocess", "signal"}:
|
||||
violations.append(f"from {node.module}")
|
||||
elif isinstance(node, _ast.Attribute) and node.attr in _MUTATING_ATTRS:
|
||||
violations.append(f".{node.attr}")
|
||||
elif isinstance(node, _ast.Constant) and isinstance(node.value, str):
|
||||
if id(node) not in docstrings and "environ" in node.value:
|
||||
violations.append("reads /proc/<pid>/environ")
|
||||
assert not violations, f"read-only contract violated in proc.py: {violations}"
|
||||
|
||||
|
||||
def test_tc04_builder_skips_records_missing_fields():
|
||||
cfg = _cfg()
|
||||
sigs = proc_signals(cfg, [{"pid": None}, {"cmdline": "pytest"}, _candidate()])
|
||||
assert [s.key for s in sigs] == [("proc_blocking", 4242)] # only the valid record
|
||||
|
||||
|
||||
# -- TC-05: anti-spam / recovery through decide()/AlertState ------------------
|
||||
def test_tc05_alert_throttle_realert_then_recovery():
|
||||
seq = {"candidates": [_candidate(pid=7, age_s=7200.0)]}
|
||||
cfg = _cfg(WATCHDOG_PROC_COOLDOWN_S="1000")
|
||||
t = {"v": 0.0}
|
||||
notifier = _Notifier()
|
||||
dog = Watchdog(cfg, notifier=notifier, docker=_StubDocker(), now_provider=lambda: t["v"])
|
||||
dog._collect_proc = lambda now: list(seq["candidates"]) # inject collector
|
||||
|
||||
def proc_alerts():
|
||||
return [m for m in notifier.sent if "Блокирующий процесс" in m]
|
||||
|
||||
def actions():
|
||||
return [a for a, s in dog.tick() if getattr(s, "key", (None,))[0] == "proc_blocking"]
|
||||
|
||||
# tick 1: threshold crossed -> exactly one ALERT.
|
||||
assert ACTION_ALERT in actions()
|
||||
assert len(proc_alerts()) == 1
|
||||
# tick 2: still alive, within cooldown -> NONE (anti-spam, no new alert).
|
||||
t["v"] = 100.0
|
||||
assert actions() == [ACTION_NONE]
|
||||
assert len(proc_alerts()) == 1
|
||||
# tick 3: cooldown elapsed -> REALERT.
|
||||
t["v"] = 1100.0
|
||||
assert ACTION_REALERT in actions()
|
||||
assert len(proc_alerts()) == 2
|
||||
# tick 4: the process vanished -> exactly one RECOVERY (synthesised, D4).
|
||||
seq["candidates"] = []
|
||||
t["v"] = 1200.0
|
||||
assert ACTION_RECOVERY in actions()
|
||||
recoveries = [m for m in notifier.sent if "восстановление" in m and "Блокирующий" in m]
|
||||
assert len(recoveries) == 1
|
||||
# tick 5: still gone -> no repeated recovery (state cleared).
|
||||
t["v"] = 1300.0
|
||||
dog.tick()
|
||||
assert len([m for m in notifier.sent if "восстановление" in m and "Блокирующий" in m]) == 1
|
||||
|
||||
|
||||
# -- TC-06: no duplicate with agent_hung (cmdline partition) ------------------
|
||||
def test_tc06_claude_agent_cmdline_never_matches_pytest_pattern():
|
||||
# A claude agent process (covered by agent_hung) is excluded by the collector
|
||||
# pattern scope -> proc_blocking never fires for it (NFR-4 / AC-5, by construction).
|
||||
assert proc_mod.matches_patterns("claude --model claude-opus-4-8 -p ...", ["pytest"]) is False
|
||||
assert proc_mod.matches_patterns("python3 -m pytest tests/", ["pytest"]) is True
|
||||
|
||||
|
||||
def test_tc06_collector_excludes_non_matching_processes(tmp_path):
|
||||
_write_fake_proc(
|
||||
tmp_path,
|
||||
btime=1_000_000,
|
||||
procs={
|
||||
"100": ("claude --model claude-opus-4-8", _stat_line(start_ticks=0)),
|
||||
"200": ("python3 -m pytest tests/test_x.py", _stat_line(start_ticks=0)),
|
||||
},
|
||||
)
|
||||
recs = proc_mod.collect_candidates(
|
||||
["pytest"], now=1_010_000.0, proc_root=str(tmp_path), clk_tck=100
|
||||
)
|
||||
assert [r["pid"] for r in recs] == [200] # only the pytest process
|
||||
|
||||
|
||||
# -- shared fakes -------------------------------------------------------------
|
||||
class _Notifier:
|
||||
def __init__(self):
|
||||
self.sent = []
|
||||
|
||||
def send(self, text):
|
||||
self.sent.append(text)
|
||||
return True
|
||||
|
||||
|
||||
class _StubDocker:
|
||||
def inspect(self, name):
|
||||
return {"State": {"Status": "running"}}
|
||||
|
||||
|
||||
def _stat_line(start_ticks: int, utime: int = 0, stime: int = 0) -> str:
|
||||
# /proc/<pid>/stat: pid (comm) state ppid ... utime(14) stime(15) ... starttime(22) ...
|
||||
fields = ["0"] * 52
|
||||
fields[0] = "999"
|
||||
fields[1] = "(python3)"
|
||||
fields[2] = "S"
|
||||
fields[13] = str(utime) # field 14
|
||||
fields[14] = str(stime) # field 15
|
||||
fields[21] = str(start_ticks) # field 22
|
||||
return " ".join(fields)
|
||||
|
||||
|
||||
def _write_fake_proc(root, *, btime: int, procs: dict):
|
||||
(root / "stat").write_text(f"cpu 1 2 3\nbtime {btime}\nintr 0\n")
|
||||
for pid, (cmdline, stat_line) in procs.items():
|
||||
d = root / pid
|
||||
d.mkdir()
|
||||
(d / "cmdline").write_bytes(cmdline.replace(" ", "\x00").encode() + b"\x00")
|
||||
(d / "stat").write_text(stat_line)
|
||||
@@ -1,148 +0,0 @@
|
||||
"""ORCH-111: the /proc collector — pure parsing + a fake /proc tree (never-raise).
|
||||
|
||||
Mirrors ``test_host_collector.py``: the pure parsers are unit-tested on text
|
||||
fixtures and ``collect_candidates`` is driven against a temporary ``/proc`` tree,
|
||||
so no real host / Linux kernel is required.
|
||||
"""
|
||||
from watchdog.collectors import proc as proc_mod
|
||||
|
||||
|
||||
# -- parse_btime --------------------------------------------------------------
|
||||
def test_parse_btime_reads_the_btime_line():
|
||||
text = "cpu 1 2 3 4\nbtime 1700000000\nprocesses 99\n"
|
||||
assert proc_mod.parse_btime(text) == 1700000000
|
||||
|
||||
|
||||
def test_parse_btime_absent_is_none():
|
||||
assert proc_mod.parse_btime("cpu 1 2 3\nintr 0\n") is None
|
||||
|
||||
|
||||
def test_parse_btime_garbage_is_none():
|
||||
assert proc_mod.parse_btime("btime not-a-number\n") is None
|
||||
assert proc_mod.parse_btime("") is None
|
||||
|
||||
|
||||
# -- parse_pid_stat (comm may contain spaces/parens) --------------------------
|
||||
def test_parse_pid_stat_simple():
|
||||
# field 14 utime, 15 stime, 22 starttime.
|
||||
fields = ["0"] * 52
|
||||
fields[0], fields[1], fields[2] = "1234", "(python3)", "R"
|
||||
fields[13], fields[14], fields[21] = "50", "25", "9000"
|
||||
st = proc_mod.parse_pid_stat(" ".join(fields))
|
||||
assert st == {"utime": 50, "stime": 25, "starttime": 9000}
|
||||
|
||||
|
||||
def test_parse_pid_stat_comm_with_spaces_and_parens():
|
||||
# A pathological comm "(py (test) x)" must not break field indexing — we
|
||||
# split after the LAST ')'.
|
||||
fields = ["0"] * 52
|
||||
fields[13], fields[14], fields[21] = "7", "3", "4242"
|
||||
tail = " ".join(fields[2:])
|
||||
line = f"1234 (py (test) x) {tail}"
|
||||
st = proc_mod.parse_pid_stat(line)
|
||||
assert st == {"utime": 7, "stime": 3, "starttime": 4242}
|
||||
|
||||
|
||||
def test_parse_pid_stat_truncated_is_none():
|
||||
assert proc_mod.parse_pid_stat("1234 (python3) R 1 2 3") is None
|
||||
assert proc_mod.parse_pid_stat("no parens here") is None
|
||||
assert proc_mod.parse_pid_stat("") is None
|
||||
|
||||
|
||||
# -- decode_cmdline -----------------------------------------------------------
|
||||
def test_decode_cmdline_nul_separated():
|
||||
raw = b"python3\x00-m\x00pytest\x00tests/test_x.py\x00"
|
||||
assert proc_mod.decode_cmdline(raw) == "python3 -m pytest tests/test_x.py"
|
||||
|
||||
|
||||
def test_decode_cmdline_empty_for_kernel_thread():
|
||||
assert proc_mod.decode_cmdline(b"") == ""
|
||||
assert proc_mod.decode_cmdline(None) == ""
|
||||
|
||||
|
||||
# -- matches_patterns ---------------------------------------------------------
|
||||
def test_matches_patterns_substring_any():
|
||||
assert proc_mod.matches_patterns("python3 -m pytest x", ["pytest"]) is True
|
||||
assert proc_mod.matches_patterns("python3 -m coverage run", ["pytest", "coverage run"]) is True
|
||||
assert proc_mod.matches_patterns("bash -c sleep", ["pytest"]) is False
|
||||
assert proc_mod.matches_patterns("", ["pytest"]) is False
|
||||
assert proc_mod.matches_patterns("pytest", []) is False
|
||||
|
||||
|
||||
# -- collect_candidates (fake /proc tree) -------------------------------------
|
||||
def _stat_line(start_ticks, utime=0, stime=0):
|
||||
fields = ["0"] * 52
|
||||
fields[0], fields[1], fields[2] = "999", "(python3)", "S"
|
||||
fields[13], fields[14], fields[21] = str(utime), str(stime), str(start_ticks)
|
||||
return " ".join(fields)
|
||||
|
||||
|
||||
def _write_proc(root, btime, procs):
|
||||
(root / "stat").write_text(f"cpu 1 2 3\nbtime {btime}\n")
|
||||
for pid, (cmdline, stat) in procs.items():
|
||||
d = root / pid
|
||||
d.mkdir()
|
||||
(d / "cmdline").write_bytes(cmdline.replace(" ", "\x00").encode() + b"\x00")
|
||||
(d / "stat").write_text(stat)
|
||||
|
||||
|
||||
def test_collect_candidates_computes_age_and_cpu(tmp_path):
|
||||
# btime=1_000_000, starttime=200_000 ticks @ 100 Hz -> start epoch = 1_002_000.
|
||||
# now=1_010_000 -> age 8000s; utime+stime=300 ticks @100Hz -> cpu 3s.
|
||||
_write_proc(
|
||||
tmp_path,
|
||||
btime=1_000_000,
|
||||
procs={"200": ("python3 -m pytest tests/", _stat_line(200_000, utime=200, stime=100))},
|
||||
)
|
||||
recs = proc_mod.collect_candidates(
|
||||
["pytest"], now=1_010_000.0, proc_root=str(tmp_path), clk_tck=100
|
||||
)
|
||||
assert len(recs) == 1
|
||||
r = recs[0]
|
||||
assert r["pid"] == 200
|
||||
assert r["cmdline"] == "python3 -m pytest tests/"
|
||||
assert abs(r["age_s"] - 8000.0) < 1e-6
|
||||
assert abs(r["cpu_s"] - 3.0) < 1e-6
|
||||
|
||||
|
||||
def test_collect_candidates_filters_by_pattern(tmp_path):
|
||||
_write_proc(
|
||||
tmp_path,
|
||||
btime=1_000_000,
|
||||
procs={
|
||||
"100": ("claude --model x", _stat_line(0)),
|
||||
"200": ("python3 -m pytest a", _stat_line(0)),
|
||||
"300": ("/usr/bin/dockerd", _stat_line(0)),
|
||||
},
|
||||
)
|
||||
recs = proc_mod.collect_candidates(
|
||||
["pytest"], now=1_010_000.0, proc_root=str(tmp_path), clk_tck=100
|
||||
)
|
||||
assert [r["pid"] for r in recs] == [200]
|
||||
|
||||
|
||||
def test_collect_candidates_skips_unreadable_pid(tmp_path):
|
||||
# A matching pid whose stat is unparseable (race: vanished mid-scan) is
|
||||
# skipped without dropping the rest.
|
||||
_write_proc(
|
||||
tmp_path,
|
||||
btime=1_000_000,
|
||||
procs={
|
||||
"200": ("python3 -m pytest a", "garbage no parens"),
|
||||
"201": ("python3 -m pytest b", _stat_line(0)),
|
||||
},
|
||||
)
|
||||
recs = proc_mod.collect_candidates(
|
||||
["pytest"], now=1_010_000.0, proc_root=str(tmp_path), clk_tck=100
|
||||
)
|
||||
assert [r["pid"] for r in recs] == [201]
|
||||
|
||||
|
||||
def test_collect_candidates_ignores_non_numeric_entries(tmp_path):
|
||||
_write_proc(tmp_path, btime=1_000_000, procs={"200": ("pytest", _stat_line(0))})
|
||||
(tmp_path / "self").mkdir() # non-numeric -> ignored
|
||||
(tmp_path / "meminfo").write_text("noise")
|
||||
recs = proc_mod.collect_candidates(
|
||||
["pytest"], now=1_000_000.0, proc_root=str(tmp_path), clk_tck=100
|
||||
)
|
||||
assert [r["pid"] for r in recs] == [200]
|
||||
@@ -1,128 +0,0 @@
|
||||
"""ORCH-111 TC-07: full tick -> dispatch of the proc_blocking alert (integration).
|
||||
|
||||
REGRESS: ``Watchdog.tick()`` with a collector that returns a long-lived blocking
|
||||
process must dispatch exactly one ``proc_blocking`` alert through the fake
|
||||
Notifier — even though ``/metrics`` reports no ``stuck`` stage and no hung agent.
|
||||
With the kill-switch OFF the path is inert (byte-for-byte as before ORCH-111).
|
||||
|
||||
The orchestrator ``/metrics`` envelope is stubbed healthy so ONLY the new signal
|
||||
can fire; the proc collector is stubbed at the module boundary so the real
|
||||
``_collect_proc`` gate + wrapper still execute.
|
||||
"""
|
||||
from watchdog.collectors import orch as orch_mod
|
||||
from watchdog.collectors import proc as proc_mod
|
||||
from watchdog.config import Config
|
||||
from watchdog.core import Watchdog
|
||||
|
||||
|
||||
class _Notifier:
|
||||
def __init__(self):
|
||||
self.sent = []
|
||||
|
||||
def send(self, text):
|
||||
self.sent.append(text)
|
||||
return True
|
||||
|
||||
|
||||
class _StubDocker:
|
||||
def inspect(self, name):
|
||||
return {"State": {"Status": "running"}}
|
||||
|
||||
|
||||
def _healthy_metrics(monkeypatch):
|
||||
env = {
|
||||
"schema_version": 1,
|
||||
"generated_at": "2026-06-15T00:00:00Z",
|
||||
"clk_tck": 100,
|
||||
"agents": [],
|
||||
"stages": [],
|
||||
"queue": {"depth": 0, "counts": {"failed": 0}},
|
||||
}
|
||||
monkeypatch.setattr(
|
||||
orch_mod, "fetch_metrics",
|
||||
lambda *a, **k: orch_mod.FetchResult(ok=True, envelope=env),
|
||||
)
|
||||
|
||||
|
||||
def _cfg(**kw):
|
||||
base = {
|
||||
"WATCHDOG_TG_BOT_TOKEN": "t",
|
||||
"WATCHDOG_TG_CHAT_ID": "c",
|
||||
"WATCHDOG_PROC_ENABLED": "true",
|
||||
"WATCHDOG_PROC_AGE_MIN": "60", # proc_age_s == 3600
|
||||
"WATCHDOG_CONTAINERS": "orchestrator",
|
||||
}
|
||||
return Config.from_env({**base, **kw})
|
||||
|
||||
|
||||
def _blocking(monkeypatch, age_s=7200.0):
|
||||
rec = {"pid": 4242, "cmdline": "python3 -m pytest tests/test_install_lite_script.py",
|
||||
"age_s": age_s, "cpu_s": 99999.0, "start_ticks": 1}
|
||||
monkeypatch.setattr(proc_mod, "collect_candidates", lambda *a, **k: [rec])
|
||||
|
||||
|
||||
def _proc_alerts(notifier):
|
||||
return [m for m in notifier.sent if "Блокирующий процесс" in m]
|
||||
|
||||
|
||||
def test_tc07_tick_dispatches_proc_blocking_alert(monkeypatch):
|
||||
_healthy_metrics(monkeypatch)
|
||||
_blocking(monkeypatch)
|
||||
notifier = _Notifier()
|
||||
dog = Watchdog(_cfg(), notifier=notifier, docker=_StubDocker(), now_provider=lambda: 0.0)
|
||||
|
||||
dog.tick()
|
||||
|
||||
alerts = _proc_alerts(notifier)
|
||||
assert len(alerts) == 1
|
||||
assert "4242" in alerts[0]
|
||||
assert "pytest" in alerts[0]
|
||||
assert alerts[0].startswith("\U0001f534") # red ALERT prefix
|
||||
|
||||
|
||||
def test_tc07_killswitch_off_dispatches_nothing(monkeypatch):
|
||||
_healthy_metrics(monkeypatch)
|
||||
# Even if the collector WOULD return a blocking process, the gate skips it.
|
||||
called = {"n": 0}
|
||||
|
||||
def _boom(*a, **k):
|
||||
called["n"] += 1
|
||||
return [{"pid": 1, "cmdline": "pytest", "age_s": 9e9, "cpu_s": 0.0}]
|
||||
|
||||
monkeypatch.setattr(proc_mod, "collect_candidates", _boom)
|
||||
notifier = _Notifier()
|
||||
dog = Watchdog(
|
||||
_cfg(WATCHDOG_PROC_ENABLED="false"),
|
||||
notifier=notifier, docker=_StubDocker(), now_provider=lambda: 0.0,
|
||||
)
|
||||
|
||||
dog.tick()
|
||||
|
||||
assert _proc_alerts(notifier) == []
|
||||
assert called["n"] == 0 # collector never invoked when disabled (zero overhead)
|
||||
|
||||
|
||||
def test_tc07_in_budget_process_does_not_alert(monkeypatch):
|
||||
# A process below the threshold (legitimate in-flight run) -> no alert (AC-4).
|
||||
_healthy_metrics(monkeypatch)
|
||||
_blocking(monkeypatch, age_s=600.0)
|
||||
notifier = _Notifier()
|
||||
dog = Watchdog(_cfg(), notifier=notifier, docker=_StubDocker(), now_provider=lambda: 0.0)
|
||||
|
||||
dog.tick()
|
||||
|
||||
assert _proc_alerts(notifier) == []
|
||||
|
||||
|
||||
def test_tc07_tick_never_raises_when_collector_explodes(monkeypatch):
|
||||
_healthy_metrics(monkeypatch)
|
||||
|
||||
def _explode(*a, **k):
|
||||
raise RuntimeError("boom")
|
||||
|
||||
monkeypatch.setattr(proc_mod, "collect_candidates", _explode)
|
||||
notifier = _Notifier()
|
||||
dog = Watchdog(_cfg(), notifier=notifier, docker=_StubDocker(), now_provider=lambda: 0.0)
|
||||
|
||||
dog.tick() # must not raise — collector error degrades to one skipped signal
|
||||
assert _proc_alerts(notifier) == []
|
||||
@@ -1,205 +0,0 @@
|
||||
"""Collector: long-lived host processes whose cmdline matches a test-class (ORCH-111).
|
||||
|
||||
stdlib-only ``/proc`` scan (ADR-001 D3). Under ``pid: host`` (D6) the container's
|
||||
``/proc`` reflects the host PID-namespace, so the sidecar sees the orphaned
|
||||
``pytest`` subprocess regardless of which container spawned it (the merge-gate /
|
||||
coverage-gate re-test the orchestrator launches itself; on a timeout-kill of the
|
||||
agent — ``exit_code=-9``, ORCH-109 — the grand-child ``pytest`` reparents onto
|
||||
tini and keeps running for days).
|
||||
|
||||
Strictly **READ-ONLY** (BR-3 / NFR-2): opens only ``/proc/stat``,
|
||||
``/proc/<pid>/stat`` and ``/proc/<pid>/cmdline`` for reading. There is **no**
|
||||
``os.kill``, signal-send, ``subprocess`` or any mutation on this path, and it
|
||||
**never** reads ``/proc/<pid>/environ`` (secrets, ADR-001 D3 / R-2).
|
||||
|
||||
**never-raise** (NFR-1): a per-pid race — the process died between ``listdir``
|
||||
and ``read`` — skips that pid without breaking the list; any top-level failure
|
||||
(non-Linux / missing ``/proc`` / unreadable ``/proc/stat``) degrades the whole
|
||||
scan to ``[]`` (one signal skipped, the tick lives, D8).
|
||||
|
||||
Pure parsing (``parse_btime`` / ``parse_pid_stat`` / ``decode_cmdline`` /
|
||||
``matches_patterns``) is split from the I/O orchestration (``collect_candidates``)
|
||||
so the scan is testable against a fake ``/proc`` tree, no real host needed.
|
||||
"""
|
||||
from __future__ import annotations
|
||||
|
||||
import logging
|
||||
import os
|
||||
|
||||
logger = logging.getLogger("watchdog.collectors.proc")
|
||||
|
||||
# /proc/<pid>/stat field indices, 0-based AFTER the trailing ')' of `comm`.
|
||||
# /proc/<pid>/stat is: `pid (comm) state ppid ... utime stime ... starttime ...`.
|
||||
# Fields are 1-based in proc(5); field 3 (state) is the first token after the
|
||||
# last ')'. So field N (>=3) lives at index N-3 of the post-')'-split:
|
||||
# utime = field 14 -> index 11
|
||||
# stime = field 15 -> index 12
|
||||
# starttime = field 22 -> index 19
|
||||
_STAT_UTIME_IDX = 11
|
||||
_STAT_STIME_IDX = 12
|
||||
_STAT_STARTTIME_IDX = 19
|
||||
_STAT_MIN_FIELDS = _STAT_STARTTIME_IDX + 1 # need starttime present
|
||||
|
||||
_DEFAULT_CLK_TCK = 100
|
||||
|
||||
|
||||
def parse_btime(stat_text: str) -> int | None:
|
||||
"""Boot time (epoch seconds) from the ``btime <N>`` line of ``/proc/stat``.
|
||||
|
||||
Returns ``None`` when the line is absent / unparseable (never raises) so the
|
||||
caller degrades the whole scan to ``[]`` rather than emitting a bogus age.
|
||||
"""
|
||||
try:
|
||||
for line in stat_text.splitlines():
|
||||
if line.startswith("btime "):
|
||||
parts = line.split()
|
||||
if len(parts) >= 2:
|
||||
return int(parts[1])
|
||||
except Exception as e: # noqa: BLE001 - tolerant: no btime -> no scan
|
||||
logger.warning("watchdog: cannot parse /proc/stat btime: %s", e)
|
||||
return None
|
||||
|
||||
|
||||
def parse_pid_stat(stat_text: str) -> dict | None:
|
||||
"""Parse ``/proc/<pid>/stat`` -> ``{utime, stime, starttime}`` (clock ticks).
|
||||
|
||||
The ``comm`` field (2) is wrapped in parens and may itself contain spaces or
|
||||
parens (e.g. ``(python -m) ()``), so we split AFTER the **last** ``')'`` and
|
||||
index the remaining space-separated fields. Returns ``None`` on a malformed /
|
||||
truncated line (never raises).
|
||||
"""
|
||||
try:
|
||||
rparen = stat_text.rfind(")")
|
||||
if rparen < 0:
|
||||
return None
|
||||
rest = stat_text[rparen + 1:].split()
|
||||
if len(rest) < _STAT_MIN_FIELDS:
|
||||
return None
|
||||
return {
|
||||
"utime": int(rest[_STAT_UTIME_IDX]),
|
||||
"stime": int(rest[_STAT_STIME_IDX]),
|
||||
"starttime": int(rest[_STAT_STARTTIME_IDX]),
|
||||
}
|
||||
except Exception as e: # noqa: BLE001 - one bad line, skip this pid
|
||||
logger.debug("watchdog: cannot parse pid stat: %s", e)
|
||||
return None
|
||||
|
||||
|
||||
def decode_cmdline(raw: bytes | str | None) -> str:
|
||||
"""NUL-separated ``/proc/<pid>/cmdline`` -> a space-joined string.
|
||||
|
||||
Empty for kernel threads (they carry no cmdline) -> never matches a pattern.
|
||||
Tolerant of bytes / str / ``None`` and undecodable bytes (never raises).
|
||||
"""
|
||||
try:
|
||||
if raw is None:
|
||||
return ""
|
||||
if isinstance(raw, str):
|
||||
raw = raw.encode("utf-8", "replace")
|
||||
text = raw.decode("utf-8", "replace")
|
||||
parts = [p for p in text.split("\x00") if p]
|
||||
return " ".join(parts)
|
||||
except Exception: # noqa: BLE001 - undecodable cmdline -> treat as empty
|
||||
return ""
|
||||
|
||||
|
||||
def matches_patterns(cmdline: str, patterns: list[str]) -> bool:
|
||||
"""``True`` iff ``cmdline`` contains ANY pattern as a substring.
|
||||
|
||||
This is the test-class scope (ADR-001 D4): pattern-filtering happens in the
|
||||
collector, so the signal builder only applies the age threshold. The default
|
||||
pattern ``pytest`` never matches a ``claude`` agent cmdline -> zero overlap
|
||||
with ``agent_hung`` by construction (NFR-4 / AC-5).
|
||||
"""
|
||||
if not cmdline:
|
||||
return False
|
||||
for p in patterns or []:
|
||||
if p and p in cmdline:
|
||||
return True
|
||||
return False
|
||||
|
||||
|
||||
def _clk_tck() -> int:
|
||||
"""``os.sysconf('SC_CLK_TCK')`` with a safe fallback (never raises)."""
|
||||
try:
|
||||
v = os.sysconf("SC_CLK_TCK")
|
||||
return int(v) if v and int(v) > 0 else _DEFAULT_CLK_TCK
|
||||
except Exception: # noqa: BLE001 - non-Linux / unsupported -> conventional 100
|
||||
return _DEFAULT_CLK_TCK
|
||||
|
||||
|
||||
def _read_text(path: str) -> str | None:
|
||||
try:
|
||||
with open(path, "r") as f:
|
||||
return f.read()
|
||||
except Exception: # noqa: BLE001 - missing / unreadable -> None (per-pid race)
|
||||
return None
|
||||
|
||||
|
||||
def _read_bytes(path: str) -> bytes:
|
||||
try:
|
||||
with open(path, "rb") as f:
|
||||
return f.read()
|
||||
except Exception: # noqa: BLE001 - missing / unreadable -> empty cmdline
|
||||
return b""
|
||||
|
||||
|
||||
def collect_candidates(
|
||||
patterns: list[str],
|
||||
*,
|
||||
now: float,
|
||||
proc_root: str = "/proc",
|
||||
clk_tck: int | None = None,
|
||||
read_text=None,
|
||||
read_bytes=None,
|
||||
) -> list[dict]:
|
||||
"""Scan ``/proc`` for live processes whose cmdline matches ``patterns``.
|
||||
|
||||
Returns one ``{pid, cmdline, age_s, cpu_s, start_ticks}`` record per matching
|
||||
live process. Pattern-filtering happens HERE (D4); the builder applies the
|
||||
age threshold. ``age_s = now - (btime + starttime/clk_tck)``;
|
||||
``cpu_s = (utime + stime)/clk_tck`` (accumulated CPU time — informational for
|
||||
BR-2, NOT part of activation).
|
||||
|
||||
never-raise (D8): a top-level failure -> ``[]``; a per-pid race (vanished
|
||||
process / unreadable file) is skipped silently. ``proc_root`` / ``now`` /
|
||||
``clk_tck`` / ``read_*`` are injectable so the scan is unit-testable against a
|
||||
fake ``/proc`` tree with no real host.
|
||||
"""
|
||||
out: list[dict] = []
|
||||
try:
|
||||
rt = read_text or _read_text
|
||||
rb = read_bytes or _read_bytes
|
||||
ticks = clk_tck if (clk_tck and clk_tck > 0) else _clk_tck()
|
||||
btime = parse_btime(rt(os.path.join(proc_root, "stat")) or "")
|
||||
if btime is None:
|
||||
return []
|
||||
for entry in os.listdir(proc_root):
|
||||
if not entry.isdigit():
|
||||
continue
|
||||
try:
|
||||
cmdline = decode_cmdline(rb(os.path.join(proc_root, entry, "cmdline")))
|
||||
if not matches_patterns(cmdline, patterns):
|
||||
continue
|
||||
st = parse_pid_stat(rt(os.path.join(proc_root, entry, "stat")) or "")
|
||||
if st is None:
|
||||
continue
|
||||
start_ticks = st["starttime"]
|
||||
age_s = now - (btime + start_ticks / ticks)
|
||||
cpu_s = (st["utime"] + st["stime"]) / ticks
|
||||
out.append(
|
||||
{
|
||||
"pid": int(entry),
|
||||
"cmdline": cmdline,
|
||||
"age_s": age_s,
|
||||
"cpu_s": cpu_s,
|
||||
"start_ticks": start_ticks,
|
||||
}
|
||||
)
|
||||
except Exception as e: # noqa: BLE001 - per-pid race, skip and continue
|
||||
logger.debug("watchdog: skip /proc/%s: %s", entry, e)
|
||||
continue
|
||||
except Exception as e: # noqa: BLE001 - non-Linux / no /proc -> one signal tih
|
||||
logger.warning("watchdog: proc scan error: %s", e)
|
||||
return []
|
||||
return out
|
||||
@@ -116,16 +116,6 @@ class Config:
|
||||
containers: list[str] = field(default_factory=lambda: ["orchestrator"])
|
||||
docker_sock: str = "/var/run/docker.sock"
|
||||
|
||||
# -- blocking test/child processes (opt-in; pid: host /proc scan, D5) --
|
||||
# Default-OFF: the signal needs the `pid: host` privilege (D6) and a
|
||||
# conscious opt-in (mirror of disk_crit_enabled). proc_age_min MUST exceed
|
||||
# max(merge_retest_timeout_s, coverage_run_timeout_s)/60 so a legitimate
|
||||
# in-flight test run never crosses the threshold (D2 / AC-4).
|
||||
proc_enabled: bool = False
|
||||
proc_age_min: float = 60.0 # minutes a test process may live before alerting
|
||||
proc_patterns: list[str] = field(default_factory=lambda: ["pytest"])
|
||||
proc_cooldown_s: float = 1800.0 # per-signal re-alert throttle
|
||||
|
||||
# -- external dependencies -------------------------------------------
|
||||
deps: dict[str, str] = field(default_factory=dict)
|
||||
|
||||
@@ -142,10 +132,6 @@ class Config:
|
||||
def stage_stuck_s(self) -> float:
|
||||
return self.stage_stuck_min * 60.0
|
||||
|
||||
@property
|
||||
def proc_age_s(self) -> float:
|
||||
return self.proc_age_min * 60.0
|
||||
|
||||
@classmethod
|
||||
def from_env(cls, env: dict | None = None) -> "Config":
|
||||
"""Build a Config from ``env`` (defaults to ``os.environ``). never-raise."""
|
||||
@@ -167,10 +153,6 @@ class Config:
|
||||
queue_depth=_int(e, "WATCHDOG_QUEUE_DEPTH", 20),
|
||||
containers=_csv(e, "WATCHDOG_CONTAINERS", ["orchestrator"]),
|
||||
docker_sock=_str(e, "WATCHDOG_DOCKER_SOCK", "/var/run/docker.sock"),
|
||||
proc_enabled=_bool(e, "WATCHDOG_PROC_ENABLED", False),
|
||||
proc_age_min=_float(e, "WATCHDOG_PROC_AGE_MIN", 60.0),
|
||||
proc_patterns=_csv(e, "WATCHDOG_PROC_PATTERNS", ["pytest"]),
|
||||
proc_cooldown_s=_float(e, "WATCHDOG_PROC_COOLDOWN_S", 1800.0),
|
||||
deps=_deps(e, "WATCHDOG_DEPS"),
|
||||
tg_bot_token=_str(e, "WATCHDOG_TG_BOT_TOKEN", ""),
|
||||
tg_chat_id=_str(e, "WATCHDOG_TG_CHAT_ID", ""),
|
||||
|
||||
@@ -19,7 +19,6 @@ from .collectors import containers as containers_mod
|
||||
from .collectors import deps as deps_mod
|
||||
from .collectors import host as host_mod
|
||||
from .collectors import orch as orch_mod
|
||||
from .collectors import proc as proc_mod
|
||||
from .config import Config
|
||||
from .notify import Notifier
|
||||
from . import signals as signals_mod
|
||||
@@ -94,18 +93,6 @@ class Watchdog:
|
||||
logger.warning("watchdog: deps collect error: %s", e)
|
||||
return {}
|
||||
|
||||
def _collect_proc(self, now: float) -> list:
|
||||
# Opt-in: when WATCHDOG_PROC_ENABLED is false the scan is NOT called
|
||||
# (gate mirrors _collect_disk on disk_crit_enabled) -> zero overhead and
|
||||
# byte-for-byte tick behaviour as before ORCH-111 (D5 / AC-7).
|
||||
if not self.cfg.proc_enabled:
|
||||
return []
|
||||
try:
|
||||
return proc_mod.collect_candidates(self.cfg.proc_patterns, now=now)
|
||||
except Exception as e: # noqa: BLE001 - never-raise: one signal skipped
|
||||
logger.warning("watchdog: proc collect error: %s", e)
|
||||
return []
|
||||
|
||||
# -- one tick ---------------------------------------------------------
|
||||
def tick(self) -> list:
|
||||
"""Run one full pass; returns the dispatched ``(action, Signal)`` list.
|
||||
@@ -147,53 +134,10 @@ class Watchdog:
|
||||
# 4) external dependency pings
|
||||
built.extend(signals_mod.dep_signals(self._collect_deps()))
|
||||
|
||||
# 5) long-lived blocking test/child processes (opt-in; pid: host /proc).
|
||||
# Gated entirely on proc_enabled so a disabled sidecar is byte-for-byte
|
||||
# as before ORCH-111 (D5/AC-7); RECOVERY for a vanished process is
|
||||
# synthesised through the SAME decide()/AlertState machinery (D4).
|
||||
if self.cfg.proc_enabled:
|
||||
proc_sigs = signals_mod.proc_signals(self.cfg, self._collect_proc(now))
|
||||
proc_sigs.extend(self._synthesize_proc_recoveries(proc_sigs))
|
||||
built.extend(proc_sigs)
|
||||
|
||||
dispatched = self._dispatch(built, now)
|
||||
self.last_run_ts = now
|
||||
return dispatched
|
||||
|
||||
def _synthesize_proc_recoveries(self, current_sigs: list) -> list:
|
||||
"""Synthesise an inactive ``Signal`` for every vanished proc_blocking key.
|
||||
|
||||
``proc_signals`` emits a signal ONLY for a currently observed candidate,
|
||||
so a process that disappeared leaves an alerting :class:`AlertState` with
|
||||
no fresh signal and would never recover. Reusing ``decide()``/
|
||||
``AlertState`` (FR-5 — no separate anti-spam logic), we emit an
|
||||
``active=False`` signal for each alerting ``("proc_blocking", …)`` key
|
||||
absent from the current set -> ``decide`` yields exactly one RECOVERY and
|
||||
clears the state. This is per-family bookkeeping, not new throttling.
|
||||
"""
|
||||
out: list = []
|
||||
try:
|
||||
current_keys = {s.key for s in current_sigs}
|
||||
for key, state in list(self._states.items()):
|
||||
if (
|
||||
isinstance(key, tuple)
|
||||
and key
|
||||
and key[0] == "proc_blocking"
|
||||
and state.alerting
|
||||
and key not in current_keys
|
||||
):
|
||||
out.append(
|
||||
signals_mod.Signal(
|
||||
key=key,
|
||||
active=False,
|
||||
title="Блокирующий процесс",
|
||||
detail=f"процесс PID {key[1]} завершился",
|
||||
)
|
||||
)
|
||||
except Exception as e: # noqa: BLE001 - never-raise: skip recovery synthesis
|
||||
logger.warning("watchdog: proc recovery synth error: %s", e)
|
||||
return out
|
||||
|
||||
# -- decision + dispatch ----------------------------------------------
|
||||
def _dispatch(self, built: list, now: float) -> list:
|
||||
"""Run each signal through ``decide`` and send alert/realert/recovery."""
|
||||
|
||||
@@ -246,54 +246,6 @@ def container_signals(cfg: Config, statuses: dict) -> list:
|
||||
return sigs
|
||||
|
||||
|
||||
# Max cmdline length surfaced in an alert: truncate so a long arg list does not
|
||||
# leak random arguments into the Telegram channel (ADR-001 D4 / R-2).
|
||||
_PROC_CMDLINE_MAX = 120
|
||||
|
||||
|
||||
def proc_signals(cfg: Config, candidates: list) -> list:
|
||||
"""Build per-process ``proc_blocking`` signals from candidate records. Pure.
|
||||
|
||||
Each candidate is ``{pid, cmdline, age_s, cpu_s?, start_ticks?}`` already
|
||||
filtered to the test-class by the collector (D4). The signal is
|
||||
``active`` iff ``age_s > cfg.proc_age_s`` (the threshold is set above the max
|
||||
legitimate test-run budget, so an in-flight run is never active — AC-4). Key
|
||||
is per-entity ``("proc_blocking", pid)`` (mirror of ``("container_down",
|
||||
name)``) so ``AlertState`` / cooldown work per process. The detail is
|
||||
actionable (RU): truncated cmdline + PID + age (s) + accumulated CPU (s).
|
||||
"""
|
||||
sigs: list = []
|
||||
for rec in candidates or []:
|
||||
try:
|
||||
pid = rec.get("pid")
|
||||
age_s = rec.get("age_s")
|
||||
if pid is None or age_s is None:
|
||||
continue
|
||||
cmdline = (rec.get("cmdline") or "").strip()
|
||||
frag = cmdline[:_PROC_CMDLINE_MAX]
|
||||
if len(cmdline) > _PROC_CMDLINE_MAX:
|
||||
frag += "…"
|
||||
detail = (
|
||||
f"PID {pid} живёт {int(age_s)}s "
|
||||
f"(порог {int(cfg.proc_age_s)}s): {frag}"
|
||||
)
|
||||
cpu_s = rec.get("cpu_s")
|
||||
if cpu_s is not None:
|
||||
detail += f" · CPU {int(cpu_s)}s"
|
||||
sigs.append(
|
||||
Signal(
|
||||
key=("proc_blocking", pid),
|
||||
active=age_s > cfg.proc_age_s,
|
||||
title="Блокирующий процесс",
|
||||
detail=detail,
|
||||
cooldown_s=cfg.proc_cooldown_s,
|
||||
)
|
||||
)
|
||||
except Exception as e: # noqa: BLE001 - one bad record, others still build
|
||||
logger.warning("watchdog: proc signal build error: %s", e)
|
||||
return sigs
|
||||
|
||||
|
||||
def dep_signals(reachability: dict) -> list:
|
||||
"""Build per-dependency down signals from ``{name: reachable}``. Pure."""
|
||||
sigs: list = []
|
||||
|
||||
Reference in New Issue
Block a user