fix(merge-gate): tolerate re-test infra-timeout + tree-kill spawned pytest
Eliminate the false `deploy-staging -> development` rollback that fired when the merge-gate local re-test timed out (infra/resource) on a green CI + tester + staging branch (incident ORCH-109/PR #129: a 516.7s suite blew its 600s budget under CPU starvation from orphaned pytest processes -> timeout misrouted as a code fault -> developer-retry loop -> manual gate). Additive, 5 independent kill-switches, never-raise, self-hosting scope. Untouched byte-for-byte: STAGE_TRANSITIONS, the QG_CHECKS registry, check_branch_mergeable name/semantics, machine-verdict keys, the DB schema. INV-4 (never push/force-push main) and the no-prod-restart rule are preserved. - D1: new stdlib-only leaf src/proc_group.py runs the spawned re-test/coverage pytest in its own process group (start_new_session) and tree-kills the WHOLE group on timeout (os.killpg SIGTERM->grace->SIGKILL); used by merge_gate.retest_branch and coverage_gate.measure_coverage. No orphan leak. Fallback never-break: subprocess_tree_kill_enabled=False / non-POSIX -> the prior subprocess.run. - D2/D3: merge_gate.classify_retest_failure distinguishes timeout/red/lock-busy/ other; an infra timeout routes to _handle_merge_gate_infra_retry (bounded re-queue, task stays on deploy-staging, no rollback / no developer-retry); a red re-test / conflict still rolls back (BR-6). Exhaustion -> one infra alert. - D4: skip the local re-test when the pre-merge rebase was a proven no-op (HEAD already CI/tester/staging-validated); fail-safe runs the re-test on any uncertainty. Flag merge_retest_skip_when_current_enabled. - D5: merge_retest_timeout_s 600 -> 900 + _resolve_retest_timeout validation; reaper_max_running_s invariant preserved without change. - D6: in-process counters + read-only merge_gate block in GET /queue; appended ("ORCH-110","classify_retest_failure","src/merge_gate.py") to MAIN_REGRESSION_MARKERS. Docs (README/internals overview/CLAUDE/CHANGELOG/ .env.example) updated in the same PR. Tests: tests/test_orch110_*.py (TC-01..TC-12, incl. the red-before/green-after incident regression). Full suite green (1988 passed). Refs: ORCH-110 Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
This commit is contained in:
@@ -447,7 +447,10 @@ Self-hosting зацикливался на `deploy-staging`: `scripts/staging_ch
|
||||
Назначение: ветка валидируется относительно того `main`, из которого создана; параллельная задача могла уйти вперёд → семантический конфликт слияния (зелёная ветка ломает обновлённый `main`). Merge-gate гарантирует проверку против **актуального** `origin/main` перед слиянием:
|
||||
- **Догон:** ветка отстаёт (⇔ `origin/main` не предок HEAD) → `rebase origin/main` в worktree + `push --force-with-lease` (ТОЛЬКО ветка задачи; `main` — никогда). Текстовый конфликт → `rebase --abort` → откат на `development`.
|
||||
- **Безусловный pre-merge rebase (ORCH-026, A-2):** при `premerge_rebase_always` (дефолт `True`, скоуп `merge_gate_repos`) short-circuit `branch_is_behind_main` пропускается — `auto_rebase_onto_main` вызывается **всегда** под лизом. На актуальной ветке это no-op (`rebase` не меняет HEAD, `push --force-with-lease` → «Everything up-to-date», CI не триггерится); на отстающей — реальный догон. Детерминированный структурный анти-фантом на уровне планировщика (дополняет рубежи ORCH-073, не заменяет). Kill-switch `premerge_rebase_always=False` → прежнее поведение (ребейз только при behind).
|
||||
- **Re-test:** `python -m pytest` (`merge_retest_target`, дефолт `tests/`) в worktree догнанной ветки, тайм-аут `merge_retest_timeout_s`. **Красный** → откат на `development`. **ORCH-110 (design):** (1) re-test исполняется лишь когда rebase реально сдвинул HEAD (`main` уехал); доказанный no-op rebase (ветка уже актуальна, HEAD уже прошёл CI+tester+staging) **пропускает** локальный re-test; (2) **таймаут** re-test — инфра-транзиент (ограниченный повтор + отдельный инфра-alert), а НЕ код-фейл (раньше шёл в откат на `development` + расход developer-retry); (3) спавненный pytest бежит в отдельной группе процессов и при таймауте убивается **деревом** (`os.killpg`) — нет осиротевших процессов (см. ниже).
|
||||
- **Re-test:** `python -m pytest` (`merge_retest_target`, дефолт `tests/`) в worktree догнанной ветки, тайм-аут `merge_retest_timeout_s` (ORCH-110 D5: 600 → **900**, валидация `_resolve_retest_timeout` — малформ/непозитив → дефолт 900 + WARNING). **Красный** (детерминированный сбой теста) → откат на `development` + developer-retry (без изменений). **ORCH-110 (реализовано, [adr-0042](adr/adr-0042-merge-gate-retest-infra-tolerance-and-tree-kill.md)):**
|
||||
- **(D4) Контракт необходимости re-test:** локальный re-test исполняется лишь когда rebase реально сдвинул HEAD (`main` уехал). Доказанный **no-op** rebase (`head_sha` до==после, обе непусты — ветка уже содержит свежий `origin/main`, HEAD уже прошёл CI+tester+staging) **пропускает** re-test (`(True, "branch up-to-date (re-test skipped: rebase no-op, HEAD CI-validated)")`, лиз HELD) — распространяет на путь `premerge_rebase_always=True` ту же оптимизацию, что путь `=False` уже имеет для не-behind ветки. Fail-safe: любая неопределённость (`head_sha` пуст / git-ошибка) → re-test **выполняется**. Kill-switch `merge_retest_skip_when_current_enabled`.
|
||||
- **(D2/D3) Толерантность к инфра-таймауту:** предикат `classify_retest_failure(reason)` различает `timeout`/`red`/`lock-busy`/`other`. **Таймаут** re-test = инфра-транзиент → `_handle_merge_gate_infra_retry` (ограниченный повтор по образцу defer: задача **остаётся на `deploy-staging`**, staging-deployer перезапускается с задержкой `merge_retest_infra_retry_delay_s`, **БЕЗ** отката на `development` и **БЕЗ** расхода developer-retry), а НЕ прежний rollback. Исчерпание `merge_retest_infra_max_retries` → один **инфра-alert** (явно «НЕ дефект кода», кликабельный номер), задача НЕ уходит в `development`. Анти-над-толерантность (BR-6): **красный** re-test / конфликт по-прежнему откатывают. Scope-guard: «rebase timeout» (git завис) — НЕ инфра-таймаут re-test, остаётся на rollback-пути. Kill-switch `merge_retest_infra_tolerance_enabled` (off → таймаут=прежний rollback).
|
||||
- **(D1) Tree-kill спавненных pytest:** re-test (и coverage `measure_coverage`) бегут через `proc_group.run_in_process_group` в **отдельной группе процессов** (`start_new_session`); при таймауте убивается **всё дерево** (`os.killpg`, каскад SIGTERM→grace→SIGKILL, грейс = `agent_kill_grace_seconds`) — осиротевшие внуки-pytest не переживают бюджет (корень CPU-голодания инцидента ORCH-109). Контракты возврата сохранены. Fallback never-break: `subprocess_tree_kill_enabled=False`/не-POSIX → прежний `subprocess.run`. Наблюдаемость — блок `merge_gate` в `GET /queue`; координация с ORCH-111 (`proc_blocking`) без дубля.
|
||||
- **Сериализация (merge-lock):** файловый **merge-lease** на репо (`<repos_dir>/.merge-lease-<repo>.json`), живёт от гейта до фактического merge. Acquire **неблокирующий** (anti-deadlock при `max_concurrency=1`): busy → **defer** (повторная постановка deployer'а на `deploy-staging` с задержкой через `available_at`), а не откат. Release — на PR-merged вебхуке / `deploy→done` / откате / по возрасту (crash-реклейм). Restart-safe; без изменения схемы БД. **ORCH-026 (A-1):** это окно = «merge → main-updated» (для self `done` ⇔ SHA-in-main, ORCH-073) — пока A не в `main`, B того же репо получает `merge-lock busy` → defer. Окно сериализации per-repo НЕ переписывается; кросс-репо параллелизм сохранён (лиз — per-repo файл).
|
||||
- **Условность (как ORCH-35):** реален для `orchestrator`; прочие репо — no-op. Флаги `merge_gate_enabled` / `merge_gate_repos` — поэтапный раскат. Контракт **never-raise**.
|
||||
|
||||
|
||||
@@ -46,7 +46,10 @@ created → analysis → architecture → development → review → testing →
|
||||
4. `check_staging_image_fresh` — staging-образ собран из актуального кода.
|
||||
|
||||
Это **врезки в переход, а не стадии**: они не появляются в карте `STAGE_TRANSITIONS`, а
|
||||
исполняются stage engine'ом внутри ребра. Провал любого из них — откат на доработку. На ребре
|
||||
исполняются stage engine'ом внутри ребра. Провал любого из них — откат на доработку. Исключение
|
||||
(ORCH-110): **инфра-таймаут** локального re-test merge-gate (а не детерминированный красный тест) —
|
||||
это транзиент, а не дефект кода → ограниченный повтор + отдельный инфра-alert, без отката на
|
||||
доработку и без расхода developer-retry (красный re-test/конфликт по-прежнему откатывают). На ребре
|
||||
`deploy → done` аналогичная врезка merge-verify подтверждает, что код задачи реально слит в
|
||||
`main` (слияние — только через PR-API Gitea, см. [интеграции](tech-integrations.md)).
|
||||
|
||||
|
||||
Reference in New Issue
Block a user