feat(staging): deterministic staging-runner replacing LLM deployer on deploy-staging (ORCH-115) #141
21
.env.example
21
.env.example
@@ -557,6 +557,27 @@ ORCH_COVERAGE_EPSILON=0.5
|
||||
ORCH_COVERAGE_TOOL_FAIL_CLOSED=false
|
||||
ORCH_COVERAGE_RUN_TIMEOUT_S=900
|
||||
|
||||
# ORCH-115: deterministic staging-runner replacing the LLM `deployer` on the
|
||||
# `deploy-staging` stage (self-hosting orchestrator). Intercepted in launch_job
|
||||
# BEFORE _spawn (deploy-finalizer / post-deploy-monitor precedent): runs the same
|
||||
# staging suite, maps exit-code -> staging_status:, writes 15-staging-log.md and
|
||||
# initiates the UNCHANGED check_staging_status gate. Replaces only the producer of
|
||||
# the artifact; the gate / STAGE_TRANSITIONS / DB schema are byte-for-byte unchanged.
|
||||
# See ADR-001-deterministic-staging-runner.md / adr-0048.
|
||||
# STAGING_RUNNER_ENABLED -> kill-switch; false -> the prior LLM deployer
|
||||
# runs on deploy-staging via _spawn 1:1.
|
||||
# STAGING_RUNNER_REPOS -> CSV scope; empty -> self-hosting only.
|
||||
# STAGING_RUNNER_TIMEOUT_S -> wall-clock budget for the docker-exec suite
|
||||
# (malformed/non-positive -> default 600 + WARNING).
|
||||
# STAGING_RUNNER_INFRA_MAX_RETRIES -> tool-error (suite did NOT execute) bounded DEFER
|
||||
# budget before a fail-closed FAILED (anti ORCH-110).
|
||||
# STAGING_RUNNER_INFRA_RETRY_DELAY_S-> delay before the re-queued deployer job.
|
||||
ORCH_STAGING_RUNNER_ENABLED=true
|
||||
ORCH_STAGING_RUNNER_REPOS=
|
||||
ORCH_STAGING_RUNNER_TIMEOUT_S=600
|
||||
ORCH_STAGING_RUNNER_INFRA_MAX_RETRIES=2
|
||||
ORCH_STAGING_RUNNER_INFRA_RETRY_DELAY_S=30
|
||||
|
||||
# ORCH-057 (follow-up ORCH-040): legacy root-owned ownership detect + actionable
|
||||
# worktree error. After the uid migration (user: "1000:1000") legacy root:root files
|
||||
# in /repos broke worktree creation under uid 1000 with a raw "Permission denied".
|
||||
|
||||
@@ -45,6 +45,16 @@ then emit `staging_status:` / `deploy_status:`.
|
||||
|
||||
Run the staging test suite against the live staging environment and write the verdict.
|
||||
|
||||
> **ORCH-115 — deterministic runner leads this stage for in-scope repos.** On `deploy-staging` for
|
||||
> the self-hosting `orchestrator` repo, this stage is now driven by **deterministic code**
|
||||
> (`src/staging_runner.py`, intercepted in `launch_job` BEFORE `_spawn`, mirroring the prod Phase
|
||||
> A/B/C pattern) — it runs the SAME canonical staging suite below, maps the exit code to
|
||||
> `staging_status:` via the same `0 → SUCCESS / non-zero → FAILED` contract, writes
|
||||
> `15-staging-log.md`, and initiates the unchanged `check_staging_status` gate. The LLM steps below
|
||||
> remain the **fallback** under a disabled kill-switch (`ORCH_STAGING_RUNNER_ENABLED=false`) or for
|
||||
> non-self repos. The artifact contract / gate / machine key `staging_status:` are unchanged. Details:
|
||||
> `docs/work-items/ORCH-115/06-adr/ADR-001-deterministic-staging-runner.md`.
|
||||
|
||||
**Steps:**
|
||||
|
||||
1. Run the staging suite. **CANONICAL: run INSIDE the `orchestrator-staging` container via
|
||||
|
||||
@@ -1,4 +1,4 @@
|
||||
Work item: ORCH-112
|
||||
Work item: ORCH-115
|
||||
Repo: orchestrator
|
||||
Branch: feature/ORCH-112-bug-failed-cancelled-task-arti
|
||||
Branch: feature/ORCH-115-orch-replace-llm-deployer-with
|
||||
Stage: development
|
||||
@@ -3,6 +3,12 @@
|
||||
Формат: [Keep a Changelog](https://keepachangelog.com/). Записи — на смысловой PR/задачу.
|
||||
|
||||
## [Unreleased]
|
||||
- **Детерминированный staging-раннер вместо LLM-деплойера на `deploy-staging`** (ORCH-115, `feat`): первый реализованный срез determinization-roadmap (ORCH-118 A6, `replace-deterministic-now`) — на стадии `deploy-staging` для self-hosting `orchestrator` **LLM-агент `deployer` заменён детерминированным кодом** (`src/staging_runner.py`). Работа агента на этой стадии была чисто механической (запуск staging-сюиты + маппинг exit-кода `staging_check.py` → `staging_status:`); каждый прогон жёг токены/время opus-агента (~40–120k / 3–15 мин) и встраивал недетерминизм LLM в точку ветвления гейта. **Инвариант (NFR-1):** это замена *продюсера* артефакта, **не** гейта — контракт `15-staging-log.md`, гейт `check_staging_status`/`_parse_staging_status`, `STAGE_TRANSITIONS`, machine-verdict `staging_status:`, схема БД — **байт-в-байт не тронуты**. Аддитивно, под kill-switch, never-raise, fail-closed, скоуп self-hosting. ADR: `docs/work-items/ORCH-115/06-adr/ADR-001-deterministic-staging-runner.md`, сквозной `docs/architecture/adr/adr-0048-deterministic-staging-runner.md`.
|
||||
- **Перехват в `launch_job` до `_spawn` (D1):** `if job.agent=="deployer" and staging_runner.should_intercept(job)` → `_run_staging_runner_job` (зеркало `_run_deploy_finalizer_job`, прецедент `deploy-finalizer`/`post-deploy-monitor` `launcher.py:389/394`): синхронно ведёт `jobs`-строку через `mark_job`, возвращает `None` (нет `agent_runs`-строки, нет токенов). Дискриминатор «staging vs prod» — **стадия задачи** `deploy-staging` (роль `deployer` общая для `deploy-staging`/`deploy`), не имя роли; `should_intercept` never-raise → `False` → штатный `_spawn` (fail-safe к LLM-пути). Для не-self репо `applies==False` → прод-`deployer` никогда не перехватывается.
|
||||
- **Leaf `src/staging_runner.py` (новый, чистый never-raise):** по образцу `self_deploy`/`proc_group`/`staging_verdict` (на импорте только `config`/`proc_group`; `db`/`git_worktree`/`stage_engine`/`qg.checks`/`notifications` — лениво). Исполняет ту же сюиту (`docker exec orchestrator-staging python3 <repos_dir>/<self-repo>/scripts/staging_check.py --base-url http://localhost:<staging_port> --mode stub`, арги из config — ORCH-101, без host-хардкодов) через `proc_group.run_in_process_group` (tree-kill, таймаут `staging_runner_timeout_s=600`, малформ/непозитив → дефолт + WARNING); маппит exit-код **единым** контрактом `self_deploy.map_exit_code_to_status` (`0→SUCCESS`/иначе/None→`FAILED`, fail-closed; ORCH-061 infra-tolerance остаётся внутри `staging_check.py`, раннер не пересуживает — BR-4); пишет `15-staging-log.md` (тот же machine-key `staging_status:` UPPERCASE + 52c-схема, `author_agent: staging-runner`/`model_used: n/a`) + best-effort commit/push в **фичеветку** (не в `main` — гейт читает worktree первым, усиливает AC-8/BR-7); вызывает **существующий** `advance_stage(current_stage="deploy-staging", finished_agent="deployer")` — без новых рёбер/исходов (transition-lease ORCH-114 берётся внутри `advance_stage`, раннер не трогает — граница O1).
|
||||
- **Двухуровневый исход (D5, анти-ORCH-110):** сюита **исполнилась** (реальный exit-код) → verdict→advance (FAILED → тот же откат `deploy-staging → development` + developer-retry, что у FAILED-вердикта LLM, `stage_engine.py:932`); сюита **не исполнилась** (tool-error: spawn-error/таймаут/`returncode None`) → инфра-сбой ≠ код-фейл → bounded **DEFER** (re-queue `deployer`-джоба с задержкой + restart-safe маркер `staging-runner infra-retry` в `task_content`, счётчик подсчётом маркера — без правки схемы БД), на исчерпании `staging_runner_infra_max_retries=2` → fail-closed `FAILED` + advance + инфра-alert. Раннер **никогда** не делает тихий advance/ложный green, **никогда** не клинит очередь и **не** жжёт developer-retry на транзиентной инфре.
|
||||
- **Self-hosting safety (BR-7/AC-8):** в командной строке раннера нет рестарта 8500 / `docker compose up orchestrator` / `--build` / force-push в `main` / правок `.env` — раннер только читает/исполняет staging-сюиту (8501) и пишет лог. Наблюдаемость (D10) — in-process счётчики (`runs`/`success`/`failed`/`tool_error`/`deferred`) + read-only блок `staging_runner` в `GET /queue` + один структурный лог-вердикт на прогон (различает код-фейл и tool-error). Флаги (`config.py`, дефолт = боевое): `staging_runner_enabled` (env `ORCH_STAGING_RUNNER_ENABLED`), `staging_runner_repos` (CSV; пусто → self-hosting only), `staging_runner_timeout_s`, `staging_runner_infra_max_retries`, `staging_runner_infra_retry_delay_s`. Откат = `ORCH_STAGING_RUNNER_ENABLED=false` → на `deploy-staging` снова LLM-`deployer` через `_spawn` **байт-в-байт**.
|
||||
- **Норматив сопровождения ORCH-118 (NFR-6):** обновлены `docs/architecture/llm-call-sites.md` (A6 — реализован; машинный `ORCH-118-INVENTORY-BLOCK` сохраняет deployer как `avoidable=yes`/`axis=C` — LLM-ветвь жива как fallback), `llm-determinization-roadmap.md` (rank 1 deployer — ✅ реализован; машинный блок/инвариант «ровно один `first_slice = yes`» целы), `llm-usage-policy.md` (§5 — единственный транспорт S0 не нарушен, раннер LLM не зовёт), `.openclaw/agents/deployer.md` (LLM-ветвь `deploy-staging` — fallback), витрина `docs/overview/tech-pipeline.md`/`tech-agents.md`. Покрытие — `tests/test_orch115_staging_runner.py` (TC-01…TC-13) + зелёные `tests/test_llm_call_site_inventory.py`/`test_llm_determinization_docs.py` (TC-14).
|
||||
- **Карта LLM-консультаций + control-path-ось «avoidable» + roadmap + нормативная политика** (ORCH-118, `docs`+`test`, inventory-first, docs+tests only): зонтичный follow-up RCA-трека ORCH-114/117 — у оркестратора не было ни нормативного критерия «где LLM нужен, а где это avoidable control path», ни карты мест вызова LLM, прибитой к коду. Выпущена **доказательная карта** каждого места, где control-path потребляет (или способен потребить) суждение LLM, с control-path-разметкой и классификацией; **упорядоченный roadmap** детерминированных замен; **нормативная политика** использования LLM; набор **структурных анти-дрейф тестов**. Это **docs + tests only**: `src/**`-рантайм не меняется → `STAGE_TRANSITIONS` / реестр и имена `QG_CHECKS`/`check_*` / machine-verdict-ключи / схема БД — **байт-в-байт не тронуты**; раннеры замен **не** реализуются (FR-7); конкретные follow-up Plane-ID **не** фиксируются (R3/NFR-6 — кандидаты по роли). kill-switch не нужен (нет рантайм-поведения), как ORCH-077/079/101/102/103/011. ADR: `docs/work-items/ORCH-118/06-adr/ADR-001-llm-call-site-map-and-determinization-roadmap.md`, сквозной `docs/architecture/adr/adr-0047-llm-usage-policy-and-call-site-map.md`.
|
||||
- **Единица инвентаря — LLM-консультация** (control-path потребляет суждение LLM), а **не** «спавн процесса / существование Claude CLI» (R4, capability ≠ consultation). Карта разводит **три ортогональных факта**: (1) consultation ≠ transport/slot (единственный транспорт LLM-консультации в `src/**` — `launcher._spawn`, `launcher.py:472`/CLI-сборка `610-614`; иного транспорта нет; job-роли `deploy-finalizer`/`post-deploy-monitor` занимают слот, но перехватываются в `launch_job` **до** `_spawn`, `launcher.py:389/394` — консультации нет); (2) **control-path (C) ≠ artifact-producer (P)** по коду-потребителю в `src/qg/checks.py` (C: гейт ветвится на LLM-вердикте; P: детерминированный гейт судит артефакт независимо — файлы/CI); (3) деривируемость вердикта из tool-сигналов.
|
||||
- **Нормативное определение** «avoidable LLM control path» = двухбитный предикат (C-консультация **И** вердикт деривируем из exit-кодов `pytest`/smoke/`staging_check.py`/деплоя). Поимённый целевой набор (доказательно, прибит тестами): **avoidable = `{tester, deployer}`**; control-path-но-keep = `{reviewer}` (вердикт «приемлемость кода/решения» НЕ деривируем); не-control-path (P, keep) = `{analyst, architect, developer}`; уже детерминированы (эталон) = `{deploy-finalizer, post-deploy-monitor}`.
|
||||
|
||||
46
CLAUDE.md
46
CLAUDE.md
@@ -411,6 +411,52 @@ Plane, **не** Quality Gate и **не** стадия).
|
||||
`docs/work-items/ORCH-117/06-adr/ADR-001-sandbox-only-plane-write-guard.md`, сквозной
|
||||
`docs/architecture/adr/adr-0046-sandbox-only-plane-write-guard.md`.
|
||||
|
||||
## Детерминированный staging-раннер вместо LLM-деплойера (ORCH-115)
|
||||
Первый реализованный срез determinization-roadmap (ORCH-118 A6, `replace-deterministic-now`): на
|
||||
стадии `deploy-staging` для self-hosting `orchestrator` **LLM-агент `deployer` заменён
|
||||
детерминированным кодом** (`src/staging_runner.py`). Работа агента на этой стадии была чисто
|
||||
механической (запуск staging-сюиты + маппинг exit-кода) — теперь её делает leaf, перехватываемый в
|
||||
`launch_job` **до `_spawn`** (прецедент `deploy-finalizer`/`post-deploy-monitor`,
|
||||
`launcher.py:389/394`). **Инвариант (NFR-1):** замена *продюсера* артефакта, **не** гейта —
|
||||
контракт `15-staging-log.md`, гейт/`_parse_staging_status`/имя `check_staging_status`,
|
||||
`STAGE_TRANSITIONS`, machine-verdict `staging_status:`, схема БД — **байт-в-байт не тронуты**.
|
||||
Аддитивно, под kill-switch, never-raise, fail-closed.
|
||||
- **Перехват (D1):** `launch_job` — `if job.agent=="deployer" and staging_runner.should_intercept(job)`
|
||||
→ `_run_staging_runner_job` (зеркало `_run_deploy_finalizer_job`): синхронно ведёт `jobs`-строку
|
||||
через `mark_job`, возвращает `None` (нет `agent_runs`). Дискриминатор «staging vs prod» —
|
||||
**стадия задачи** `deploy-staging` (роль `deployer` общая для `deploy-staging`/`deploy`), не имя
|
||||
роли; `should_intercept` never-raise → `False` → штатный `_spawn` (fail-safe к LLM-пути).
|
||||
- **Раннер (D2-D7):** leaf по образцу `self_deploy`/`proc_group`/`staging_verdict` (на импорте только
|
||||
`config`/`proc_group`; `db`/`git_worktree`/`stage_engine`/`qg.checks`/`notifications` — лениво).
|
||||
Исполняет ту же сюиту (`docker exec orchestrator-staging python3 .../staging_check.py --base-url
|
||||
http://localhost:8501 --mode stub`, арги из config — ORCH-101) через `proc_group` (tree-kill,
|
||||
таймаут `staging_runner_timeout_s=600`); маппит exit-код **единым** контрактом
|
||||
`self_deploy.map_exit_code_to_status` (`0→SUCCESS`/иначе/None→`FAILED`; ORCH-061 infra-tolerance
|
||||
остаётся внутри `staging_check.py`, раннер не пересуживает); пишет `15-staging-log.md`
|
||||
(`author_agent: staging-runner`/`model_used: n/a`, 52c-схема) + best-effort push в **фичеветку**
|
||||
(не в `main` — гейт читает worktree первым, усиливает AC-8); вызывает **существующий**
|
||||
`advance_stage(current_stage="deploy-staging", finished_agent="deployer")` — без новых
|
||||
рёбер/исходов (lease ORCH-114 берётся внутри `advance_stage`, раннер не трогает).
|
||||
- **Двухуровневый исход (D5, анти-ORCH-110):** сюита **исполнилась** (реальный exit-код) → verdict→
|
||||
advance (FAILED → тот же откат `deploy-staging → development` + developer-retry, что у LLM); сюита
|
||||
**не исполнилась** (tool-error: spawn-error/таймаут/`returncode None`) → инфра-сбой ≠ код-фейл →
|
||||
bounded **DEFER** (re-queue `deployer`-джоба + restart-safe маркер `staging-runner infra-retry` в
|
||||
`task_content`, без правки схемы БД), на исчерпании `staging_runner_infra_max_retries` → fail-closed
|
||||
`FAILED` + advance + alert. Никогда тихий advance/ложный green; не клинит очередь; не жжёт
|
||||
developer-retry на транзиентной инфре.
|
||||
- **Флаги** (`config.py`, дефолт = боевое): `staging_runner_enabled` (kill-switch, env
|
||||
`ORCH_STAGING_RUNNER_ENABLED`), `staging_runner_repos` (CSV; **пусто → self-hosting only**),
|
||||
`staging_runner_timeout_s=600`, `staging_runner_infra_max_retries=2`,
|
||||
`staging_runner_infra_retry_delay_s=30`. Откат = `ORCH_STAGING_RUNNER_ENABLED=false` → на
|
||||
`deploy-staging` снова LLM-`deployer` через `_spawn` **байт-в-байт**. Наблюдаемость — in-process
|
||||
счётчики + read-only блок `staging_runner` в `GET /queue` + один структурный лог-вердикт на прогон
|
||||
(различает код-фейл и tool-error). Норматив сопровождения ORCH-118: обновлены
|
||||
`llm-call-sites.md`/`llm-determinization-roadmap.md`/`llm-usage-policy.md` (A6 — реализован, машинные
|
||||
блоки/инвариант «единственный транспорт S0» целы) + `deployer.md` (LLM-ветвь — fallback). Покрытие —
|
||||
`tests/test_orch115_staging_runner.py` (TC-01…TC-13) + зелёные LLM-анти-дрейф тесты (TC-14). Детали —
|
||||
`docs/work-items/ORCH-115/06-adr/ADR-001-deterministic-staging-runner.md`, сквозной
|
||||
`docs/architecture/adr/adr-0048-deterministic-staging-runner.md`.
|
||||
|
||||
## Машинный журнал уроков (ORCH-098)
|
||||
Шаг 1 («Фундамент», F2) эпика саморазвития: формализует свободнотекстовые «уроки» из `memory/` в
|
||||
**машинную структурированную таблицу отклонений конвейера** `lessons`, фундамент для будущих
|
||||
|
||||
@@ -10,6 +10,7 @@
|
||||
- **Review/Test Parsers** (`src/review_parse.py`, ORCH-046) — defensive-извлечение дословного must-fix текста из артефактов для встраивания в `task_desc` заворота: `extract_review_findings` (P0/P1 из `12-review.md`), `extract_test_failures` (фрагмент тела `13-test-report.md`). Контракт «never raise»: любая ошибка → `""`.
|
||||
- **Quality Gates** (`src/qg/checks.py`) — проверки выхода со стадии, реестр `QG_CHECKS`.
|
||||
- **Agent Launcher** (`src/agents/launcher.py`) — запуск Claude CLI агентов в изолированном git worktree, мониторинг, auto-advance. Модель/эффорт каждого агента резолвятся из config (`resolve_agent_model`/`resolve_agent_effort`, ORCH-41), а не из frontmatter промпта. **ORCH-74:** имя модели валидируется форматом `^claude-…$` (`is_valid_model`) перед `--model`; невалидное → лог + откат на следующий уровень/CLI-дефолт (never-break, как `VALID_EFFORTS` для эффорта). Тот же предикат гардит inline-чтение `--fallback-model`. **ORCH-109 ([adr-0040](adr/adr-0040-agent-timeout-budgets-and-launch-model-stamp.md)):** (1) резолвенная **модель стампится в `agent_runs.model` в момент launch** (`_spawn`, объединённый `UPDATE … SET model=?, effort=?` рядом со стампом эффорта ORCH-087; пустой резолв → `NULL`; never-raise) → модель видна не-`null` при любом исходе прогона, включая timeout-kill (`exit_code=-9`), и in-flight в `GET /metrics`/`GET /queue` (`get_running_agents` уже отдаёт `model`); постфактум `record_usage` (`model=COALESCE(?, model)`) остаётся **обогащением**, не единственным источником истины. (2) **Per-role wall-clock бюджеты** через выделенные ключи `agent_timeout_developer_s=3600`/`agent_timeout_reviewer_s=3000` (лестница `_resolve_timeout`: `agent_timeout_overrides_json` → выделенный ключ роли → `agent_timeout_seconds=1800`; прочие роли — байт-в-байт; малформный/вне-диапазонный конфиг → дефолт + WARNING). Инвариант reaper ORCH-065 сохранён синхронным поднятием `reaper_max_running_s` 3600→**5400** (`5400 > max(timeout)3600 + grace20`). FR-5 анти-salvage — структурно: продвижение гейтится `if exit_code==0`, timeout-kill → `_finalize_job` (retry/fail), не advance. `STAGE_TRANSITIONS`/`QG_CHECKS`/схема БД не тронуты.
|
||||
- **Staging-runner** (`src/staging_runner.py`, ORCH-115 — [adr-0048](adr/adr-0048-deterministic-staging-runner.md)) — чистый **never-raise** leaf (паттерн `self_deploy`/`proc_group`/`staging_verdict`), заменяющий **LLM-агента `deployer` на стадии `deploy-staging`** детерминированным кодом (первый реализованный срез determinization-roadmap, A6/`replace-deterministic-now`). Перехват в `launch_job` **до `_spawn`** (рядом с D1/D2 `deploy-finalizer`/`post-deploy-monitor`): дискриминатор — **стадия задачи** `deploy-staging` **И** `applies(repo)` (kill-switch `staging_runner_enabled` + скоуп `staging_runner_repos`, пусто → self-hosting only), `should_intercept` never-raise → `False` → штатный `_spawn` (fail-safe к LLM). Раннер (зеркало `run_deploy_finalizer`) исполняет ту же staging-сюиту (`docker exec orchestrator-staging … staging_check.py`) через `proc_group` (tree-kill, таймаут `staging_runner_timeout_s=600`), маппит exit-код единым контрактом `self_deploy.map_exit_code_to_status` (`0→SUCCESS`/иначе→`FAILED`; ORCH-061 infra-tolerance остаётся внутри `staging_check.py`), пишет `15-staging-log.md` (тот же machine-key `staging_status:`, `author_agent: staging-runner`/`model_used: n/a`) + best-effort push в фичеветку, и вызывает **существующий** `advance_stage(current_stage="deploy-staging", finished_agent="deployer")` — без новых рёбер/исходов; transition-lease ORCH-114 берётся внутри `advance_stage` (раннер не трогает). **Двухуровневый исход (анти-ORCH-110):** сюита исполнилась → verdict→advance (FAILED → тот же откат `deploy-staging → development` + developer-retry, что у LLM); tool-error/таймаут → bounded defer (`staging_runner_infra_max_retries`) → fail-closed `FAILED` + alert на исчерпании (инфра ≠ код-фейл, никогда тихий advance/ложный green). `STAGE_TRANSITIONS`/`QG_CHECKS`/`check_staging_status`/`_parse_staging_status`/machine-verdict/схема БД — **байт-в-байт не тронуты** (замена *продюсера*, не гейта). Наблюдаемость — in-process счётчики + блок `staging_runner` в `GET /queue`. Откат — `ORCH_STAGING_RUNNER_ENABLED=false` (прежний LLM-deployer-путь байт-в-байт). Детали — `docs/work-items/ORCH-115/06-adr/ADR-001-deterministic-staging-runner.md`.
|
||||
- **Queue** (`src/queue_worker.py`, ORCH-1) — персистентная очередь задач (SQLite `jobs`), atomic claim, max_concurrency, ретраи, restart-safe. **ORCH-026:** `claim_next_job` гейтит задачи с незавершёнными зависимостями (`job_deps`, `NOT EXISTS`) без занятия слота; декларации/циклы — leaf `src/task_deps.py`.
|
||||
- **Job-reaper** (`src/job_reaper.py`, ORCH-065 — [adr-0011](adr/adr-0011-job-reaper-lease-reclaim.md)) — фоновый daemon-поток (каркас `reconciler`), стартует/останавливается в `main.lifespan` (после `reconciler.start()` / перед `worker.stop()`). Детектирует «мёртвый» `running`-job **без рестарта** процесса (Tier-1 мёртвый `jobs.pid` после `reaper_dead_ticks` тиков; Tier-2 `agent_runs.exit_code` записан, а job ещё `running`; Tier-3 backstop `reaper_max_running_s`) и приводит строку к корректному статусу через те же контракты (`_try_advance_stage`/`_finalize_job`, gate-driven; exit≠0/неизвестно → `attempts<max`→`queued`, иначе `failed`+Telegram). Атомарный reap-claim (guard `status='running'`) совместим со стартовым `requeue_running_jobs`. Тот же поток периодически делает проактивный реклейм stale/dead merge-lease (см. ниже). never-raise; kill-switch `ORCH_REAPER_ENABLED`; снимок в `GET /queue` (блок `reaper`). **ORCH-113 ([adr-0043](adr/adr-0043-reaper-finalizer-liveness-ownership.md)):** на ребре `deploy-staging → deploy` тяжёлые edge-под-гейты (security/merge-gate re-test/coverage/image-freshness) исполняются в потоке монитора **после** штампа `finished_at` и **до** `_finalize_job` — минуты, а Tier-2 `finished_age_s` меряется от `finished_at`, поэтому живой долго финализирующий монитор ошибочно реапился (инцидент ORCH-111: повторный re-test → ложный откат `deploy-staging → development` параллельно успешному deploy). Фикс — процесс-локальный реестр владения финализацией (leaf `src/finalizer_liveness.py`, never-raise): монитор `mark()`/`clear()` (try/finally), reaper в Tier-2 при `stage=="deploy-staging"` И активном владении делает **defer** (не повторяет advance); Tier-3 backstop маркер игнорирует (мёртвый/застрявший finalizer добивается в ограниченное время). In-memory restart-safe через `requeue_running_jobs` (вызов до старта reaper); схема БД, `reaper_finalize_grace_s`/`reaper_max_running_s` и сквозной бюджет не тронуты. Kill-switch `ORCH_REAPER_FINALIZER_LIVENESS_ENABLED`.
|
||||
- **Transition-ownership lease** (`src/transition_lease.py` + таблица `transition_lease`, ORCH-114 — реализовано, [adr-0045](adr/adr-0045-transition-ownership-lease-and-stage-cas.md)) — чистый **never-raise** leaf (паттерн `serial_gate`/`coverage_gate`/`finalizer_liveness`; импортирует только `db`+`config`, лениво `merge_gate.pid_alive`/`qg.checks`/`notifications`; НЕ импортирует `stage_engine`/`launcher`), закрывающий корневой класс инцидент-цепочки ORCH-110/111/112/113 — у side-effectful переходов стадий не было единого владения. Два слоя, оба под единым kill-switch: **(1) durable transition-lease** (владение на ВХОДЕ в side-effectful регион — аддитивная таблица `transition_lease`, `task_id PK`; `acquire` атомарным rowcount-guard `INSERT … ON CONFLICT DO NOTHING` после очистки stale-строки; liveness владельца = `owner_pid`+`owner_boot_id`, НЕ heartbeat → рестарт-recovery бесплатен) и **(2) expected-stage CAS** `db.update_task_stage_cas` (на ЗАПИСИ стадии; проигравший гонку — аборт без побочных эффектов; покрывает и 6 путей записи в обход `advance_stage`). `advance_stage` захватывает lease на side-effectful рёбрах (`deploy-staging`/`deploy`) и освобождает в `try/finally`; job-reaper `_finalizer_owns` обобщён до durable cross-path lease (defer при живом, реклейм мёртвого; Tier-3 backstop игнорирует маркер → bounded; реап force-освобождает lease); reconciler F-1 и Plane-webhook делают defer; `main.lifespan` зовёт `recover_on_startup()` после `requeue_running_jobs`. Lease без своего TTL (потолок = Tier-3 `reaper_max_running_s`) → сквозной бюджет ORCH-065/109/110/113 цел. Скоуп self-hosting (`transition_lease_repos=""` → только `orchestrator`); kill-switch `ORCH_TRANSITION_LEASE_ENABLED=false` → CAS вырождается в прежний `update_task_stage`, lease инертен, reaper → ORCH-113 fallback (байт-в-байт). Наблюдаемость — блок `transition_lease` в `GET /queue` + Telegram-алерт на форсированный/устаревший реклейм + опц. `POST /transition-lease/release?work_item=<id>`. `STAGE_TRANSITIONS`/`QG_CHECKS`/`check_*`/machine-verdict/схемы существующих таблиц — байт-в-байт. Подробнее ниже (§ «Единое владение side-effectful переходами»). Детали — `docs/work-items/ORCH-114/06-adr/ADR-001-transition-ownership-lease-and-stage-cas.md`.
|
||||
@@ -441,6 +442,12 @@ ORCH-079 синхронизирует витрину с кодом и закры
|
||||
control-path-инвариант сверки с `src/qg/checks.py` и фиксацию avoidable-набора).
|
||||
- **Норматив сопровождения:** менял места вызова LLM **или** потребителя вердикта в `src/qg/checks.py`
|
||||
→ обнови карту/разметку и политику в том же PR.
|
||||
- **Первый срез реализован (ORCH-115 — [adr-0048](adr/adr-0048-deterministic-staging-runner.md)):**
|
||||
rank-1 кандидат **deployer (staging-status)** заменён детерминированным `src/staging_runner.py`
|
||||
(перехват в `launch_job` до `_spawn`, как D1/D2) — A6 переходит из «план» в «реализовано». Карта
|
||||
`llm-call-sites.md` (A6), `llm-determinization-roadmap.md` (rank 1, инвариант «ровно один
|
||||
`first_slice`») и анти-дрейф-тесты обновляются **атомарно с кодом** в development (норматив
|
||||
сопровождения NFR-6). Второй кандидат — `tester`-гибрид (rank 2) — остаётся планом.
|
||||
- ADR: [adr-0047](adr/adr-0047-llm-usage-policy-and-call-site-map.md); детально —
|
||||
`docs/work-items/ORCH-118/06-adr/ADR-001-llm-call-site-map-and-determinization-roadmap.md`.
|
||||
|
||||
|
||||
@@ -0,0 +1,92 @@
|
||||
---
|
||||
work_item: ORCH-115
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-16
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# adr-0048: Детерминированный staging-раннер — первый реализованный срез determinization-roadmap
|
||||
|
||||
> **Сквозной (cross-cutting) ADR.** Агрегирует решение ORCH-115, влияющее на **весь**
|
||||
> оркестратор: вводит новый компонент-leaf `src/staging_runner.py`, снимает первую
|
||||
> avoidable LLM-консультацию (`deployer`/`staging-status`, A6) и переводит rank-1
|
||||
> determinization-roadmap из «план» в «реализовано». Локальная детализация (все решения
|
||||
> D1–D11) — `docs/work-items/ORCH-115/06-adr/ADR-001-deterministic-staging-runner.md`.
|
||||
|
||||
## Статус
|
||||
Proposed
|
||||
|
||||
## Контекст
|
||||
|
||||
ORCH-118 ([adr-0047](adr-0047-llm-usage-policy-and-call-site-map.md)) зафиксировал
|
||||
нормативную политику и карту LLM-консультаций и назвал **avoidable LLM control paths =
|
||||
`{tester, deployer}`**, поставив **deployer (staging-status)** первым срезом
|
||||
(`first_slice = yes`, `replace-deterministic-now`, `hybrid_needed = no`). ORCH-118 раннеры
|
||||
**не реализовывал** (docs+tests). ORCH-115 — первая фактическая реализация этого среза.
|
||||
|
||||
Вердикт `staging_status:` на стадии `deploy-staging` сейчас эмитит LLM-агент `deployer`, но
|
||||
он есть **чистый маппинг exit-кода** `scripts/staging_check.py` (infra-tolerance ORCH-061
|
||||
уже внутри скрипта), а гейт `check_staging_status` детерминирован. Это удовлетворяет обоим
|
||||
условиям «avoidable»: C-консультация **и** деривируемый вердикт. Прецедент детерминированной
|
||||
замены агента (`launch_job`-перехват до `_spawn`, D1/D2 `deploy-finalizer`/`post-deploy-monitor`)
|
||||
и эталон «детерминированный джоб → `advance_stage`» (`run_deploy_finalizer`) уже работают в
|
||||
проде — архитектурный риск снят.
|
||||
|
||||
## Решение
|
||||
|
||||
**Новый leaf `src/staging_runner.py` + перехват в `launch_job` до `_spawn`** (рядом с D1/D2).
|
||||
На `deploy-staging` для in-scope репо джоб `deployer` обрабатывает раннер: исполняет
|
||||
staging-сюиту через `proc_group` (tree-kill, ORCH-110), маппит exit-код единым контрактом
|
||||
`self_deploy.map_exit_code_to_status`, пишет `15-staging-log.md` (тот же machine-key
|
||||
`staging_status:`), вызывает **существующий** `advance_stage(finished_agent="deployer")`.
|
||||
|
||||
Кросс-каттинговые инварианты (сохранены **байт-в-байт**):
|
||||
- `STAGE_TRANSITIONS` (`src/stages.py`), реестр и имена `QG_CHECKS`/`check_*`/`_parse_*`,
|
||||
machine-verdict-ключи (`staging_status:`/`deploy_status:`/`verdict:`/`result:`/
|
||||
`security_status:`/`coverage_status:`), **схема БД** — не тронуты. Это замена *продюсера*
|
||||
артефакта, не гейта/стадии.
|
||||
- Единственный транспорт LLM-консультации (`launcher._spawn`/S0,
|
||||
[llm-usage-policy.md](../llm-usage-policy.md) §5) — соблюдён: раннер **не зовёт LLM**;
|
||||
второй транспорт не вводится.
|
||||
- Сквозной бюджет времени ORCH-065/109/110 (`reaper_max_running_s` > Σ(работ на ребре
|
||||
`deploy-staging`) + grace) — соблюдён **без** правки `reaper_max_running_s` (раннер-таймаут
|
||||
600s ≤ прежнего LLM-окна).
|
||||
- Граница ORCH-112/ORCH-114: transition-lease берётся **внутри** `advance_stage`; раннер
|
||||
lease/гигиену не модифицирует.
|
||||
|
||||
Скоуп — **self-hosting only** (`staging_runner_repos=""` → `is_self_hosting_repo`), под
|
||||
kill-switch `staging_runner_enabled` (off → `_spawn` LLM-deployer'а байт-в-байт). never-raise
|
||||
во всех публичных функциях; **двухуровневый исход** (verdict при исполнившейся сюите; bounded
|
||||
defer → fail-closed на tool-error/таймауте) убирает с staging-ребра RCA-класс ORCH-110 (инфра
|
||||
≠ код-фейл).
|
||||
|
||||
**Эволюция карты LLM (норматив сопровождения, в том же PR — D11 локального ADR):**
|
||||
`llm-call-sites.md` (A6 → реализовано детерминированно), `llm-determinization-roadmap.md`
|
||||
(rank 1 deployer → реализован; инвариант «ровно один `first_slice`» цел), `llm-usage-policy.md`
|
||||
(§5 — транспорт не нарушен), плюс анти-дрейф-тесты (`test_llm_call_site_inventory.py`/
|
||||
`test_llm_determinization_docs.py`). Эти правки коуплены к коду → применяются в development
|
||||
атомарно с реализацией, не в architecture-стадии.
|
||||
|
||||
## Последствия
|
||||
|
||||
- **+** Минус один avoidable LLM control path; первый доказанный раннер-паттерн замены
|
||||
C-консультации (опора для второго кандидата — `tester`-гибрид, rank 2).
|
||||
- **+** Дешевле/быстрее/детерминированнее собственный `deploy-staging`; нет токенов/латентности
|
||||
LLM в точке ветвления.
|
||||
- **+** Паттерн переиспользуем: leaf + перехват до `_spawn` + `advance_stage` — шаблон для
|
||||
будущих срезов и для Phase 2 (project deploy contract не-self репо).
|
||||
- **−** Новый компонент + врезка + defer-механика. Митигейшн: never-raise leaf, kill-switch
|
||||
(fail-safe к LLM), без схемы БД, структурное покрытие.
|
||||
- **Откат:** `ORCH_STAGING_RUNNER_ENABLED=false` → прежний LLM-путь на `deploy-staging`
|
||||
байт-в-байт.
|
||||
|
||||
## Ссылки
|
||||
- Локальный ADR: `docs/work-items/ORCH-115/06-adr/ADR-001-deterministic-staging-runner.md`
|
||||
- Политика/карта/roadmap: [llm-usage-policy.md](../llm-usage-policy.md),
|
||||
[llm-call-sites.md](../llm-call-sites.md), [llm-determinization-roadmap.md](../llm-determinization-roadmap.md),
|
||||
[adr-0047](adr-0047-llm-usage-policy-and-call-site-map.md)
|
||||
- Прецеденты: D1/D2 (`launcher.py:389/394`), `run_deploy_finalizer` (`stage_engine.py:2010`),
|
||||
`proc_group` (ORCH-110, [adr-0042](adr-0042-merge-gate-retest-infra-tolerance-and-tree-kill.md)),
|
||||
transition-lease (ORCH-114, [adr-0045](adr-0045-transition-ownership-lease-and-stage-cas.md))
|
||||
@@ -96,6 +96,20 @@ claude.exe --print --system-prompt --allowedTools Read,Write,Edit,Bash
|
||||
3. Стартует **watchdog thread** (per-role wall-clock бюджет → SIGTERM→grace→SIGKILL по pid; ORCH-109: developer 60 мин / reviewer 50 мин / прочие 30 мин дефолт, `_resolve_timeout`)
|
||||
4. Стартует **monitor thread**: `proc.wait()` (гарантированный reap → реальный exit_code в БД) → закрывает log_fh → git commit/push → auto-advance
|
||||
|
||||
**Детерминированные перехваты `launch_job` ДО `_spawn` (no-LLM джобы).** Перед `_spawn` `launch_job`
|
||||
перехватывает зарезервированные роли и исполняет их детерминированно, сам ведя `jobs`-строку через
|
||||
`mark_job` (нет `agent_runs`, нет токенов): `deploy-finalizer` (D1, ORCH-036 Phase C) и
|
||||
`post-deploy-monitor` (D2, ORCH-021). **ORCH-115 ([adr-0048](adr/adr-0048-deterministic-staging-runner.md)):**
|
||||
тем же паттерном перехватывается джоб `deployer` на стадии `deploy-staging` для in-scope репо
|
||||
(дискриминатор — **стадия задачи**, не имя роли: роль `deployer` общая для `deploy-staging`/`deploy`;
|
||||
+`staging_runner.applies(repo)` под kill-switch `staging_runner_enabled`, скоуп `staging_runner_repos`,
|
||||
пусто → self-hosting only; `should_intercept` never-raise → `False` → штатный `_spawn`, fail-safe к
|
||||
LLM). Leaf `src/staging_runner.py` (зеркало `run_deploy_finalizer`) исполняет staging-сюиту через
|
||||
`proc_group` (tree-kill, таймаут `staging_runner_timeout_s`), маппит exit-код
|
||||
`self_deploy.map_exit_code_to_status`, пишет `15-staging-log.md` (тот же machine-key `staging_status:`)
|
||||
и вызывает существующий `advance_stage(finished_agent="deployer")` (см. §5). Так LLM-агент `deployer`
|
||||
на `deploy-staging` исчезает из happy-path; `STAGE_TRANSITIONS`/`QG_CHECKS`/схема БД не тронуты.
|
||||
|
||||
### 5. Auto-advance (`launcher._try_advance_stage`)
|
||||
|
||||
После успешного завершения агента:
|
||||
|
||||
@@ -58,7 +58,7 @@
|
||||
| **A3** | `.openclaw/agents/developer.md` | стадия `development` | developer | код + PR | — | `check_ci_green:82` (+ `check_branch_mergeable:657`) — CI/merge | ~150–400k / 10–40 мин | да (через S0) | **P** | `keep-LLM` | написание кода — настоящее суждение; гейт судит CI/merge, не самоотчёт |
|
||||
| **A4** | `.openclaw/agents/reviewer.md` | стадия `review` | reviewer | `12-review.md` | `verdict:` | `check_reviewer_verdict:336` (`verdict:`) | ~100–300k / 5–25 мин | да (через S0) | **C** | `keep-LLM` | control path, но вердикт «приемлемость кода/решения» **НЕ деривируем** из exit-кода — настоящее суждение |
|
||||
| **A5** | `.openclaw/agents/tester.md` | стадия `testing` | tester | `13-test-report.md` | `result:` | `check_tests_passed:182` → `_parse_tests_verdict:226` (`result:`) | ~60–150k / 5–20 мин | да (через S0) | **C** | `needs-hybrid-fallback` | **avoidable**: PASS/FAIL = exit-code `pytest`+smoke (деривируем); LLM нужен лишь на триаж падений / маппинг TC↔критерии |
|
||||
| **A6** | `.openclaw/agents/deployer.md` | стадии `deploy-staging` / `deploy` | deployer | `15-staging-log.md` / `14-deploy-log.md` | `staging_status:` / `deploy_status:` | `check_staging_status:599` → `_parse_staging_status:538` (`staging_status:`); `check_deploy_status:473` → `_parse_deploy_status:413` (`deploy_status:`) | ~40–120k / 3–15 мин | да (через S0) | **C** | `replace-deterministic-now` | **avoidable**: staging-вердикт = маппинг exit-кода `staging_check.py`; прод уже детерминирован Phase A/B/C (ORCH-036) |
|
||||
| **A6** | `.openclaw/agents/deployer.md` | стадии `deploy-staging` / `deploy` | deployer | `15-staging-log.md` / `14-deploy-log.md` | `staging_status:` / `deploy_status:` | `check_staging_status:599` → `_parse_staging_status:538` (`staging_status:`); `check_deploy_status:473` → `_parse_deploy_status:413` (`deploy_status:`) | ~40–120k / 3–15 мин | да (через S0; для in-scope репо на `deploy-staging` — **нет**, перехват до `_spawn`) | **C** | `replace-deterministic-now` | **avoidable, СРЕЗ РЕАЛИЗОВАН (ORCH-115):** на `deploy-staging` для self-hosting `orchestrator` вердикт `staging_status:` производит детерминированный `src/staging_runner.py` (перехват в `launch_job` до `_spawn`, как D1/D2) — маппинг exit-кода `staging_check.py`; прод уже детерминирован Phase A/B/C (ORCH-036). LLM-ветвь остаётся fallback'ом под выключенным флагом / для не-self репо |
|
||||
| **D1** | `src/agents/launcher.py:389` (перехват в `launch_job` **до** `_spawn`; «Not an LLM spawn» `407`) | post-deploy edge | deploy-finalizer | jobs-row | — | — | — (детерминированный) | **нет** (слот, перехват до `_spawn`) | — | `already-deterministic` (эталон) | Занимает слот агента, но LLM не консультируется — рабочий прецедент замены |
|
||||
| **D2** | `src/agents/launcher.py:394` (перехват в `launch_job` **до** `_spawn`; «Not an LLM spawn» `428`) | post-deploy observation | post-deploy-monitor | jobs-row | — | — | — (детерминированный) | **нет** (слот, перехват до `_spawn`) | — | `already-deterministic` (эталон) | Тик наблюдения; LLM не консультируется |
|
||||
|
||||
@@ -147,8 +147,14 @@
|
||||
|
||||
- **Docs + tests only (ORCH-118).** `STAGE_TRANSITIONS` / реестр и имена `QG_CHECKS`/`check_*` /
|
||||
machine-verdict-ключи (`verdict:`/`result:`/`staging_status:`/`deploy_status:`/`security_status:`/
|
||||
`coverage_status:`) / схема БД — **байт-в-байт не тронуты**. Раннеры замен **не** реализованы
|
||||
(см. roadmap — follow-up'ы по роли, без Plane-ID).
|
||||
`coverage_status:`) / схема БД — **байт-в-байт не тронуты** (это инвариант самой карты).
|
||||
- **Реализованные срезы.** Первый срез roadmap'а — **deployer (staging-status)** — реализован
|
||||
**ORCH-115** (`src/staging_runner.py`, перехват в `launch_job` до `_spawn`): на `deploy-staging`
|
||||
для in-scope репо вердикт `staging_status:` производит детерминированный код, не LLM. Это
|
||||
`replace-deterministic-now` без ввода второго транспорта (раннер LLM не зовёт) — карта/инвариант
|
||||
«единственный транспорт S0» соблюдены. Машинный `ORCH-118-INVENTORY-BLOCK` сохраняет deployer как
|
||||
`avoidable=yes`/`axis=C` (LLM-ветвь жива как fallback под выключенным флагом / для не-self репо).
|
||||
Второй кандидат (`tester`) остаётся follow-up'ом по роли.
|
||||
- **Анти-дрейф тесты:** `tests/test_llm_call_site_inventory.py` (TC-01…TC-06, TC-09, TC-12, TC-13,
|
||||
TC-14) и `tests/test_llm_determinization_docs.py` (TC-07/08/11). Дискриминатор всех проверок —
|
||||
**«консультирует LLM», а не «спавнит subprocess»**.
|
||||
|
||||
@@ -15,7 +15,17 @@
|
||||
|
||||
---
|
||||
|
||||
## 1. Рекомендованный первый срез — **deployer (staging-status)**
|
||||
## 1. Рекомендованный первый срез — **deployer (staging-status)** — ✅ РЕАЛИЗОВАН (ORCH-115)
|
||||
|
||||
> **Статус: реализовано.** Срез выполнен в **ORCH-115** — `src/staging_runner.py` (перехват в
|
||||
> `launch_job` до `_spawn`, как `D1`/`D2`): на стадии `deploy-staging` для self-hosting `orchestrator`
|
||||
> вердикт `staging_status:` производит детерминированный код (маппинг exit-кода `staging_check.py`
|
||||
> через `self_deploy.map_exit_code_to_status`), а не LLM. Под kill-switch `staging_runner_enabled` +
|
||||
> скоуп `staging_runner_repos` (пусто → self-hosting only); LLM-ветвь остаётся fallback'ом.
|
||||
> Контракт артефакта/гейта `check_staging_status`/`STAGE_TRANSITIONS`/схема БД — не тронуты. Детали —
|
||||
> `docs/work-items/ORCH-115/06-adr/ADR-001-deterministic-staging-runner.md`, сквозной
|
||||
> `docs/architecture/adr/adr-0048-deterministic-staging-runner.md`. Запись `rank 1` в машинном блоке
|
||||
> §4 сохраняется (`first_slice = yes`, инвариант карты) как историческая фиксация первого среза.
|
||||
|
||||
Обоснование (самый низкорисковый «чисто деривируемый» control path):
|
||||
|
||||
|
||||
@@ -94,3 +94,8 @@ Call-site является **avoidable LLM control path** тогда и толь
|
||||
`launcher._spawn` (S0). Ввод второго транспорта (новый `_spawn`, импорт `anthropic`/`openai`/иного
|
||||
LLM-SDK, прямой HTTP Anthropic/Claude, второй model-invoking subprocess) запрещён без явного ADR;
|
||||
прибито тестами TC-01/TC-12.
|
||||
- **Реализованный срез (ORCH-115).** Снятие C-консультации с деривируемым вердиктом — это разрешённое
|
||||
`replace-deterministic-now`, а не ввод новой LLM-консультации. ORCH-115 снял A6/staging-status:
|
||||
детерминированный `src/staging_runner.py` производит `staging_status:` без `_spawn` (перехват до
|
||||
него, как `D1`/`D2`) — раннер **LLM не зовёт** и **второй транспорт не вводит**, поэтому инвариант
|
||||
«единственный транспорт S0» соблюдён (TC-12 зелёный). Это образец для последующих срезов roadmap'а.
|
||||
|
||||
@@ -48,6 +48,12 @@ Machine-verdict ключи читаются гейтами **только из Y
|
||||
Особенность: промпт `deployer` сознательно на английском (самый safety-critical — несёт
|
||||
запреты self-hosting в видной рамке); остальные пять — на русском.
|
||||
|
||||
Особенность (ORCH-115): на стадии `deploy-staging` для self-hosting `orchestrator` LLM-`deployer`
|
||||
заменён **детерминированным staging-раннером** (`src/staging_runner.py`) — его работа была чисто
|
||||
механической (запуск staging-сюиты + маппинг exit-кода). LLM-промпт `deployer` остаётся fallback'ом
|
||||
под выключенным флагом / для не-self репо и продолжает вести прод-стадию `deploy`. Подробнее —
|
||||
[конвейер](tech-pipeline.md) и [карта LLM-консультаций](../architecture/llm-call-sites.md).
|
||||
|
||||
## Человек как седьмая роль
|
||||
|
||||
Человек не пишет артефакты конвейера, но принимает два решения, которые не делегированы
|
||||
|
||||
@@ -34,6 +34,16 @@ created → analysis → architecture → development → review → testing →
|
||||
| `done` | — | — | терминал |
|
||||
| `cancelled` | — | — | терминал (сток отмены) |
|
||||
|
||||
> **Детерминированный staging-раннер (ORCH-115).** На стадии `deploy-staging` для self-hosting
|
||||
> `orchestrator` работу ведёт **детерминированный код** (`src/staging_runner.py`), а не LLM-агент
|
||||
> `deployer`: он перехватывается в `launch_job` до запуска агента (как Phase A/B/C прод-деплоя),
|
||||
> исполняет ту же staging-сюиту, маппит exit-код в `staging_status:` и инициирует **тот же** гейт
|
||||
> `check_staging_status`. Это замена *продюсера* артефакта, а не гейта: контракт `15-staging-log.md`,
|
||||
> имя/семантика `check_staging_status`, `STAGE_TRANSITIONS` — не изменились. Под kill-switch
|
||||
> `staging_runner_enabled` (скоуп `staging_runner_repos`, пусто → self-hosting only); при выключении
|
||||
> на стадии снова работает LLM-`deployer` байт-в-байт. Это первый реализованный срез
|
||||
> determinization-roadmap (см. `docs/architecture/llm-determinization-roadmap.md`).
|
||||
|
||||
## Под-гейты деплойного ребра — врезки, не стадии
|
||||
|
||||
На переходе `deploy-staging → deploy` исполняются четыре под-гейта в нормативном порядке
|
||||
|
||||
@@ -50,7 +50,10 @@ LLM, и **нормативную политику** «LLM — только та
|
||||
control-path и его вердикт деривируем из exit-кодов (тогда консультацию можно заменить
|
||||
детерминированным раннером). Поимённо: avoidable = `{tester, deployer}`; настоящее суждение
|
||||
сохраняется у `{analyst, architect, developer, reviewer}`. Карта — снимок, прибитый структурными
|
||||
анти-дрейф тестами; реализация замен — отдельные follow-up'ы по роли.
|
||||
анти-дрейф тестами. **Первый срез реализован (ORCH-115):** на `deploy-staging` для self-hosting
|
||||
`orchestrator` LLM-`deployer` заменён детерминированным `src/staging_runner.py` (вердикт
|
||||
`staging_status:` = маппинг exit-кода staging-сюиты); LLM-ветвь остаётся fallback'ом, гейт
|
||||
`check_staging_status` не тронут. Замена второго кандидата (`tester`) — follow-up по роли.
|
||||
|
||||
- Карта вызовов LLM: [`../architecture/llm-call-sites.md`](../architecture/llm-call-sites.md)
|
||||
- Нормативная политика: [`../architecture/llm-usage-policy.md`](../architecture/llm-usage-policy.md)
|
||||
|
||||
7
docs/work-items/ORCH-115/00-business-request.md
Normal file
7
docs/work-items/ORCH-115/00-business-request.md
Normal file
@@ -0,0 +1,7 @@
|
||||
# Business Request: ORCH: replace LLM deployer with deterministic deploy runner
|
||||
|
||||
Work Item ID: ORCH-115
|
||||
|
||||
## Description
|
||||
|
||||
TBD
|
||||
175
docs/work-items/ORCH-115/01-brd.md
Normal file
175
docs/work-items/ORCH-115/01-brd.md
Normal file
@@ -0,0 +1,175 @@
|
||||
---
|
||||
work_item: ORCH-115
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-16
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 01 — BRD (бизнес-требования): ORCH-115 — заменить LLM-деплойера детерминированным staging-раннером
|
||||
|
||||
Work Item: **ORCH-115** · Repo: **orchestrator** · Стадия: analysis
|
||||
|
||||
## 1. Бизнес-контекст и проблема
|
||||
|
||||
Стадия `deploy-staging` сейчас исполняется **LLM-агентом `deployer`** (`src/stages.py:18`,
|
||||
`get_agent_for_stage("testing") = "deployer"`). Фактическая работа агента на этой стадии —
|
||||
**чисто детерминированная**: запустить staging-сюиту (`docker exec orchestrator-staging python3
|
||||
scripts/staging_check.py --base-url http://localhost:8501 --mode stub`), смаппить **exit-код**
|
||||
в вердикт (`0 → SUCCESS`, ≠0 → `FAILED`), записать `15-staging-log.md` с frontmatter
|
||||
`staging_status:` и смержить лог в `main` (`.openclaw/agents/deployer.md`, шаги 1–4).
|
||||
|
||||
Это **avoidable LLM control path** по нормативной политике (`docs/architecture/llm-usage-policy.md`
|
||||
§3): (i) это C-консультация — её вердикт `staging_status:` потребляется гейтом
|
||||
`check_staging_status` (`src/qg/checks.py:599`), и (ii) вердикт **полностью деривируем** из
|
||||
exit-кода `staging_check.py`. Карта вызовов (`docs/architecture/llm-call-sites.md`, строка **A6**)
|
||||
классифицирует deployer как **`replace-deterministic-now`**, а roadmap
|
||||
(`docs/architecture/llm-determinization-roadmap.md`, машинный блок) ставит его **rank 1** с
|
||||
`first_slice = yes`, `hybrid_needed = no`. Эта задача — **первый срез** реализации того roadmap.
|
||||
|
||||
**Боль / риск, который закрываем:**
|
||||
- **Недетерминизм в потоке управления.** Решение «advance или rollback» на `deploy-staging` зависит
|
||||
от LLM-сессии (стоимость, латентность, риск галлюцинации команд), хотя сводится к одному exit-коду.
|
||||
- **Стоимость и латентность.** Каждый прогон deployer'а на staging тратит токены/время opus-агента
|
||||
(оценка по `agent_runs`: deployer-строки ~40–120k токенов / 3–15 мин на прогон; точное число —
|
||||
`GET /metrics`) ради действия, которое выполняется тремя shell-строками.
|
||||
- **Класс инцидентов «LLM принял решение, которое есть исполнение фиксированных команд + маппинг
|
||||
результата»** — тот же RCA-трек, что ORCH-110/111/112/113/114/117.
|
||||
|
||||
Установленные факты (не изобретать):
|
||||
- Пьюр-логика вердикта уже существует и юнит-тестируема: `src/staging_verdict.py::compute_staging_verdict`
|
||||
(ORCH-061) считает infra-tolerant вердикт **внутри** `staging_check.py`; раннеру остаётся доверять
|
||||
exit-коду (как уже делает LLM-deployer — `deployer.md` step 2).
|
||||
- Детерминированный прецедент замены агента уже работает: `launch_job` перехватывает зарезервированные
|
||||
роли `deploy-finalizer` (D1, `src/agents/launcher.py:389`) и `post-deploy-monitor`
|
||||
(D2, `:394`) **до `_spawn`** и исполняет их как no-LLM-джобы.
|
||||
- Прод-ребро `deploy` для self-hosting уже детерминировано (`src/self_deploy.py` Phase A/B/C,
|
||||
ORCH-036) — LLM в критическом self-restart-пути нет. Срез не трогает критический прод-путь.
|
||||
|
||||
## 2. Объём (scope)
|
||||
|
||||
### В объёме (Phase 1)
|
||||
- **Детерминированный staging-раннер** для `deploy-staging` репо `orchestrator` (self-hosting):
|
||||
исполняет staging-сюиту, маппит exit-код в `staging_status:`, пишет `15-staging-log.md`, мержит в
|
||||
`main` — **без** запуска LLM-агента `deployer`.
|
||||
- Раннер активируется через **перехват в `launch_job` до `_spawn`** (прецедент D1/D2), **без правки
|
||||
`src/stages.py`/`STAGE_TRANSITIONS`** (роль `deployer` в словаре остаётся; меняется лишь *кто*
|
||||
обрабатывает джоб на стадии `deploy-staging` для in-scope репо).
|
||||
- После выпуска вердикта раннер инициирует **существующую** оценку exit-гейта `check_staging_status`
|
||||
ровно так, как это делал завершившийся LLM-deployer (`_try_advance_stage` → `advance_stage(
|
||||
finished_agent="deployer")`) — все нижестоящие под-гейты (security → merge → coverage →
|
||||
image-freshness, ORCH-022/043/027/058) и Phase A (ORCH-036) ведут себя идентично.
|
||||
- Kill-switch + скоуп-CSV (паттерн ORCH-022/027/043/089/090): `*_enabled` (откат к LLM-пути) и
|
||||
`*_repos` (пусто → self-hosting only).
|
||||
- Наблюдаемость: read-only блок в `GET /queue` + структурный лог вердикта.
|
||||
|
||||
### Вне объёма (явно НЕ делаем в ORCH-115)
|
||||
- **Phase 2 — «project deploy contract» для не-self репо** (например `enduro-trails`): конфигурируемый
|
||||
контракт deploy/rollback/healthcheck для произвольных репо. Описан как **forward-looking
|
||||
follow-up** (см. §6 и `02-trz.md` §8); **в приёмку ORCH-115 не входит**. Для не-self репо
|
||||
`deploy-staging` сейчас — мгновенный pass (`check_staging_status` → N/A, `src/qg/checks.py:620`),
|
||||
поэтому Phase 1 их не затрагивает.
|
||||
- **Прод-ребро `deploy`** (Phase A/B/C self-deploy, ORCH-036) — уже детерминировано; не трогаем.
|
||||
- **LLM debug/triage-аналитик после детерминированного FAILED** — `replace-deterministic-now` без
|
||||
гибрида (roadmap `hybrid_needed = no`). В этом срезе LLM на `deploy-staging` отсутствует и в
|
||||
happy-path, и в fail-path; опциональный off-control-path debug-аналитик оставлен как будущее
|
||||
улучшение и **требованиями не запрещён** (см. NFR-7).
|
||||
- **Любая правка `STAGE_TRANSITIONS` / реестра и имён `QG_CHECKS` / семантики `check_*` /
|
||||
machine-verdict-ключей / схемы БД** (см. NFR-1).
|
||||
- **ORCH-112 (checkout hygiene) и ORCH-114 (transition lease)** — по явной границе задачи не
|
||||
смешиваем: раннер вызывает `advance_stage`, который уже владеет lease ORCH-114; сам lease/гигиену
|
||||
не модифицируем.
|
||||
|
||||
## 3. Заинтересованные стороны
|
||||
|
||||
- **Заказчик / Owner** (`homenet542@gmail.com`) — инициатор детерминизации LLM-control-path'ов.
|
||||
- **Платформа orchestrator (self-hosting)** — прямой потребитель: дешевле/быстрее/детерминированнее
|
||||
собственный `deploy-staging`.
|
||||
- **Другие проекты на общем инстансе** (enduro-trails) — НЕ затронуты в Phase 1 (скоуп self-hosting),
|
||||
выигрывают позже от Phase 2.
|
||||
- **Reviewer / Tester / Deployer-роли конвейера** — принимают результат через неизменные гейты.
|
||||
|
||||
## 4. Бизнес-требования (BR)
|
||||
|
||||
- **BR-1 — Детерминированный staging без LLM.** На `deploy-staging` для in-scope репо вердикт
|
||||
`staging_status:` производится детерминированным кодом (исполнение `staging_check.py` + маппинг
|
||||
exit-кода), **без** консультации LLM. Happy-path `deploy-staging` не вызывает `_spawn`.
|
||||
- **BR-2 — Контракт артефакта неизменен.** Раннер пишет тот же `15-staging-log.md` с тем же
|
||||
frontmatter-ключом `staging_status: SUCCESS|FAILED`, который читает `check_staging_status`/
|
||||
`_parse_staging_status`. Гейт байт-в-байт не меняется.
|
||||
- **BR-3 — Эквивалентность маршрутизации.** SUCCESS → продвижение на `deploy` через те же под-гейты
|
||||
и Phase A; FAILED → существующий откат `deploy-staging → development` (тот же путь, что у
|
||||
FAILED-вердикта LLM-deployer'а, `src/stage_engine.py:932`). Никаких новых рёбер/исходов.
|
||||
- **BR-4 — Переиспользование существующей пьюр-логики.** Раннер использует уже существующий
|
||||
exit-code→verdict маппинг (тривиальный `0→SUCCESS`/иначе`FAILED`, зеркало
|
||||
`self_deploy.map_exit_code_to_status`); infra-tolerance (ORCH-061) остаётся **внутри**
|
||||
`staging_check.py` — раннер ему доверяет, повторно не судит.
|
||||
- **BR-5 — Обратимость одним флагом.** Глобальный kill-switch возвращает прежний LLM-deployer-путь
|
||||
на `deploy-staging` байт-в-байт; скоуп-CSV ограничивает раннер in-scope репо (пусто → только
|
||||
`orchestrator`).
|
||||
- **BR-6 — Наблюдаемость.** Исход раннера (запущен / SUCCESS / FAILED / ошибка инструмента) виден в
|
||||
`GET /queue` и в структурном логе; деградации (например staging-инстанс недоступен) различимы от
|
||||
«код упал».
|
||||
- **BR-7 — Self-hosting safety.** Раннер на `deploy-staging` **никогда** не рестартит прод-контейнер
|
||||
8500, не трогает `main` force-push'ем, не правит `.env`/`docker-compose.yml`. Он лишь читает,
|
||||
исполняет staging-сюиту (порт 8501), пишет лог и мержит лог штатным PR/artifact-merge-путём.
|
||||
|
||||
## 5. Нефункциональные требования (NFR)
|
||||
|
||||
- **NFR-1 — Скоуп-инвариант (анти-дрейф).** `STAGE_TRANSITIONS` (`src/stages.py`), реестр и имена
|
||||
`QG_CHECKS`/`check_*`/`_parse_*` (`src/qg/checks.py`), machine-verdict-ключи
|
||||
(`staging_status:`/`deploy_status:`/`verdict:`/`result:`/`security_status:`/`coverage_status:`),
|
||||
схема БД — **байт-в-байт не тронуты**. Это замена *продюсера* артефакта, не гейта.
|
||||
- **NFR-2 — never-raise / fail-safe.** Любая ошибка раннера (docker недоступен, таймаут, I/O) →
|
||||
безопасный детерминированный исход без падения воркера: либо `FAILED` (fail-closed, никогда ложный
|
||||
green), либо штатный requeue/defer — не «тихий advance». Сбой раннера не клинит очередь всех
|
||||
проектов.
|
||||
- **NFR-3 — Изоляция процесса / таймаут.** Спавненный subprocess (`docker exec …`) имеет
|
||||
ограниченный таймаут и чистое завершение дерева процессов (согласовано с прецедентом ORCH-110
|
||||
`proc_group`/tree-kill); сирот pytest/docker не оставляет.
|
||||
- **NFR-4 — Сквозные бюджеты времени.** Таймаут раннера согласован со сквозным инвариантом
|
||||
ORCH-065/109/110 (`reaper_max_running_s` > Σ(работ на ребре deploy-staging) + grace) — без правки
|
||||
`reaper_max_running_s`.
|
||||
- **NFR-5 — Совместимость с не-self репо.** Для репо вне скоупа `deploy-staging` ведёт себя 1:1 как
|
||||
до ORCH-115 (LLM-deployer либо мгновенный N/A-pass). enduro-trails не затронут.
|
||||
- **NFR-6 — Соответствие политике LLM.** Изменение снимает LLM-консультацию A6; карта
|
||||
`docs/architecture/llm-call-sites.md` и политика/roadmap обновляются **в том же PR** (норматив
|
||||
сопровождения ORCH-118): строка deployer переходит из «consults_llm: yes» в реализованное
|
||||
детерминированное состояние.
|
||||
- **NFR-7 — Не запрещать будущий debug-fallback.** Архитектура раннера не должна архитектурно
|
||||
исключать опциональный off-control-path LLM debug-аналитик после FAILED (будущее улучшение); но
|
||||
в ORCH-115 он не реализуется.
|
||||
|
||||
## 6. Допущения и ограничения
|
||||
|
||||
- **Допущение А1.** staging-инстанс `orchestrator-staging` (8501) поднят и доступен на хосте; его
|
||||
недоступность раннер трактует детерминированно (fail-closed `FAILED` или defer — решает архитектор,
|
||||
AC-7).
|
||||
- **Допущение А2.** `scripts/staging_check.py` остаётся источником истины набора проверок и
|
||||
exit-кода (включая infra-tolerance ORCH-061). ORCH-115 его логику не меняет.
|
||||
- **Допущение А3.** Перехват «до `_spawn`» по имени джоб-роли + стадии задачи — достаточный механизм
|
||||
диспетчеризации (как D1/D2); конкретный механизм финализирует архитектор (06-adr).
|
||||
- **Ограничение О1.** Граница задачи: не смешивать с ORCH-112/ORCH-114 (их код не модифицируется).
|
||||
- **Ограничение О2.** Phase 2 (project deploy contract) — отдельный follow-up; ORCH-115 закрывает
|
||||
только Phase 1.
|
||||
|
||||
## 7. Критерии успеха
|
||||
|
||||
`deploy-staging` для `orchestrator` проходит без запуска LLM-агента `deployer`: детерминированный
|
||||
раннер исполняет staging-сюиту, пишет корректный `15-staging-log.md` (`staging_status:`),
|
||||
мержит его в `main`, и конвейер продвигается/откатывается ровно как раньше — при неизменных
|
||||
`STAGE_TRANSITIONS`/`QG_CHECKS`/гейтах/схеме БД, под kill-switch с откатом к прежнему поведению.
|
||||
Детальные PASS/FAIL — `03-acceptance-criteria.md`.
|
||||
|
||||
## 8. Риски
|
||||
|
||||
Краткий перечень (детали — `10-tech-risks.md`, заполняет архитектор):
|
||||
- **R-1** — точка диспетчеризации «до `_spawn`» должна корректно отличать staging-deployer от
|
||||
прод-deployer (по стадии задачи), иначе можно перехватить не тот джоб.
|
||||
- **R-2** — после выпуска вердикта нужно надёжно инициировать `advance_stage`, иначе задача зависнет
|
||||
на `deploy-staging` (нет «финиша агента», который раньше триггерил гейт).
|
||||
- **R-3** — таймаут/изоляция docker-subprocess; утечка процессов (ср. инцидент ORCH-110).
|
||||
- **R-4** — взаимодействие с transition-lease (ORCH-114) и serial-gate (ORCH-088) на side-effectful
|
||||
ребре — не сломать владение.
|
||||
- **R-5** — корректность отката FAILED (developer-retry cap) — должна совпасть с LLM-путём.
|
||||
158
docs/work-items/ORCH-115/02-trz.md
Normal file
158
docs/work-items/ORCH-115/02-trz.md
Normal file
@@ -0,0 +1,158 @@
|
||||
---
|
||||
work_item: ORCH-115
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-16
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 02 — ТЗ (TRZ): ORCH-115 — детерминированный staging-раннер вместо LLM-деплойера
|
||||
|
||||
Work Item: **ORCH-115** · Repo: **orchestrator** · Стадия: analysis
|
||||
|
||||
> ТЗ описывает **конкретные изменения к реализации**, выведенные из BRD и фактического кода.
|
||||
> Архитектурное обоснование (точный механизм перехвата, размещение раннера, способ инициации
|
||||
> `advance_stage`, лестница таймаутов) — задача архитектора (`06-adr/`). Здесь — требования и
|
||||
> привязка к реальным модулям `src/`.
|
||||
|
||||
## 1. Сводка изменения
|
||||
|
||||
Заменить **LLM-агента `deployer`** на стадии `deploy-staging` (для self-hosting `orchestrator`)
|
||||
**детерминированным staging-раннером**, перехватываемым в `launch_job` **до `_spawn`** (прецедент
|
||||
`deploy-finalizer`/`post-deploy-monitor`, `src/agents/launcher.py:389/394`). Раннер исполняет ту же
|
||||
staging-сюиту, что исполнял LLM (`docker exec orchestrator-staging python3
|
||||
scripts/staging_check.py …`), маппит exit-код в `staging_status:` (`0→SUCCESS`, иначе `FAILED`),
|
||||
пишет `15-staging-log.md`, best-effort мержит лог в `main`, затем инициирует **существующую** оценку
|
||||
exit-гейта `check_staging_status` ровно как завершившийся LLM-deployer. Контракт артефакта, гейт,
|
||||
`STAGE_TRANSITIONS`, схема БД — **неизменны**. Под kill-switch + скоуп-CSV; never-raise; fail-closed.
|
||||
|
||||
## 2. Задействованные модули / пути
|
||||
|
||||
| Путь | Действие | Назначение |
|
||||
|------|----------|------------|
|
||||
| `src/staging_runner.py` *(новый leaf)* | создать | Детерминированный раннер: `applies(repo)` (kill-switch + скоуп), исполнение staging-сюиты, маппинг exit-кода, запись `15-staging-log.md`, best-effort merge, снапшот для `/queue`. Leaf-чистота по образцу `self_deploy.py`/`staging_verdict.py`: импортирует только `config`/`git_worktree` (+ лениво `qg.checks.is_self_hosting_repo`), never-raise. |
|
||||
| `src/agents/launcher.py` | изменить | В `launch_job` добавить перехват **до `_spawn`** (рядом с D1/D2): если джоб — `deployer` на стадии задачи `deploy-staging` и `staging_runner.applies(repo)` → исполнить раннер синхронно в воркер-треде, инициировать `advance_stage` и пометить джоб (как `_run_deploy_finalizer_job`); вернуть `None` (нет `agent_runs`-строки). |
|
||||
| `src/config.py` | изменить | Добавить ключи `staging_runner_enabled: bool = True` (env `ORCH_STAGING_RUNNER_ENABLED`) и `staging_runner_repos: str = ""` (env `ORCH_STAGING_RUNNER_REPOS`; пусто → self-hosting only) + опц. `staging_runner_timeout_s` (см. FR-5). Дефолты = боевое; паттерн `coverage_gate_enabled`/`coverage_gate_repos`/`self_deploy_*`. |
|
||||
| `src/stage_engine.py` | (потенциально) точечно | Если архитектор решит инициировать гейт из stage_engine, а не из launcher — добавить тонкий хелпер (вызов существующего `advance_stage(finished_agent="deployer")`). **Без** правки `STAGE_TRANSITIONS`/exit-гейтов. |
|
||||
| `src/main.py` (`GET /queue`) | изменить | Read-only блок `staging_runner` (флаг/скоуп/счётчики исходов) — наблюдаемость BR-6. |
|
||||
| `.openclaw/agents/deployer.md` | изменить (docs) | Отметить, что на `deploy-staging` для in-scope репо стадию ведёт детерминированный код (зеркало формулировки prod-Phase A/B/C); LLM-ветвь `deploy-staging` остаётся как fallback под выключенным флагом / для не-self репо. |
|
||||
| `docs/architecture/llm-call-sites.md`, `llm-determinization-roadmap.md`, `llm-usage-policy.md` | изменить (docs) | Норматив сопровождения ORCH-118 (NFR-6): отразить реализацию A6 (deployer staging-status) — обновить инвентарь/политику/roadmap в том же PR; синхронно поправить `tests/test_llm_call_site_inventory.py` / `tests/test_llm_determinization_docs.py`. |
|
||||
| `CLAUDE.md`, `CHANGELOG.md`, `docs/overview/` | изменить (docs) | Паспорт/чейнджлог/витрина — правило для агентов №2. |
|
||||
| `tests/test_orch115_staging_runner.py` *(новый)* | создать | Покрытие (см. `04-test-plan.yaml`). |
|
||||
|
||||
> **Не трогать (NFR-1):** `src/stages.py::STAGE_TRANSITIONS`; имена/семантику `QG_CHECKS`/`check_*`/
|
||||
> `_parse_*` в `src/qg/checks.py`; `src/staging_verdict.py` (переиспользуем как есть); `src/self_deploy.py`
|
||||
> прод-путь; `src/transition_lease.py` (ORCH-114); `src/checkout_hygiene.py` (ORCH-112); схему БД.
|
||||
|
||||
## 3. Функциональные требования
|
||||
|
||||
### FR-1 — Детерминированный перехват на `deploy-staging` (без `_spawn`)
|
||||
В `launch_job` (`src/agents/launcher.py`) **до** вызова `_spawn`, по образцу D1/D2: если
|
||||
`job.agent == "deployer"` **и** стадия задачи (`tasks.stage` по `job.task_id`) == `deploy-staging`
|
||||
**и** `staging_runner.applies(job.repo)` истинно → не вызывать `_spawn`, а исполнить раннер
|
||||
синхронно. Контракт: возвращает `None` (нет `agent_runs`), сам ведёт `jobs`-строку
|
||||
(`mark_job(done|failed|queued)`) как `_run_deploy_finalizer_job`.
|
||||
- Дискриминатор «staging vs prod» — **стадия задачи**, не имя роли (роль `deployer` общая для
|
||||
`deploy-staging` и `deploy`). Для self-hosting прод-ребро не запускает `deployer` (Phase A), поэтому
|
||||
коллизии нет; гард по стадии — защита от перехвата не того джоба (R-1).
|
||||
- `applies(repo)`: `staging_runner_enabled=False` → `False` (откат к LLM-пути); непустой
|
||||
`staging_runner_repos` → membership; пустой CSV → `is_self_hosting_repo(repo)`. Никакой сети,
|
||||
проверяется **первым** (нулевой оверхед при выключенном флаге). Never-raise → `False` при ошибке
|
||||
(fail-safe к прежнему LLM-пути).
|
||||
|
||||
### FR-2 — Исполнение staging-сюиты
|
||||
Раннер исполняет ту же канонную команду, что исполнял LLM-deployer
|
||||
(`.openclaw/agents/deployer.md` step 1):
|
||||
`docker exec orchestrator-staging python3 /repos/orchestrator/scripts/staging_check.py
|
||||
--base-url http://localhost:8501 --mode stub` (точные аргументы/таргет — из config, не хардкодить
|
||||
host-специфику; ORCH-101). Захватывает exit-код (и stdout для observability/тела лога). infra-tolerance
|
||||
(ORCH-061) уже **внутри** `staging_check.py` → раннер вердикт повторно не судит (BR-4).
|
||||
|
||||
### FR-3 — Маппинг exit-кода → `staging_status:`
|
||||
`0 → "SUCCESS"`, любой ненулевой / отсутствие кода / ошибка запуска → `"FAILED"` (fail-closed,
|
||||
никогда ложный green). Зеркало уже существующего `self_deploy.map_exit_code_to_status` (pure,
|
||||
unit-tested) — переиспользовать общий контракт, не плодить второй маппинг.
|
||||
|
||||
### FR-4 — Запись и merge `15-staging-log.md`
|
||||
Раннер пишет `docs/work-items/<work_item_id>/15-staging-log.md` в worktree фичеветки с frontmatter:
|
||||
`staging_status: SUCCESS|FAILED` + обязательная 52c-схема (`work_item`/`stage=deploy-staging`/
|
||||
`author_agent`/`status`/`created_at`/`model_used`) — зеркало `self_deploy.build_deploy_log` для
|
||||
`14-deploy-log.md`. `author_agent`/`model_used` отражают **детерминированный** продюсер (например
|
||||
`author_agent: staging-runner`, `model_used: n/a` или платформенный литерал — финализирует архитектор;
|
||||
ключи и имя `staging_status:` не меняются). При INFRA-WAIVED-строке от `staging_check.py` — скопировать
|
||||
её в тело (observability, как требовал prompt). Best-effort `git add/commit/push` лога в `main`
|
||||
(зеркало `self_deploy.write_deploy_log`, тот же git-identity-паттерн ORCH-101); гейт всё равно
|
||||
читает worktree → origin/main fallback (`check_staging_status` lookup order, `src/qg/checks.py:627-638`).
|
||||
|
||||
### FR-5 — Инициация существующего гейта после вердикта
|
||||
После записи (и best-effort merge) раннер инициирует ту же оценку exit-гейта, что триггерил
|
||||
завершившийся LLM-deployer: `advance_stage(task_id, current_stage="deploy-staging", repo,
|
||||
work_item_id, branch, finished_agent="deployer")` (через `_try_advance_stage`-эквивалент). Это
|
||||
запускает `check_staging_status` и — на SUCCESS — под-гейты security→merge→coverage→image-freshness
|
||||
(ORCH-022/043/027/058) и Phase A (ORCH-036); на FAILED — существующий rollback
|
||||
(`src/stage_engine.py:932`). **Никакой новой ветви маршрутизации.** Lease ORCH-114 берётся внутри
|
||||
`advance_stage` как сейчас — раннер его не трогает (граница задачи).
|
||||
- Таймаут раннер-subprocess — выделенный ключ `staging_runner_timeout_s` с дефолтом, согласованным
|
||||
со сквозным бюджетом ORCH-065/109/110 (NFR-4); малформ/непозитив → дефолт + WARNING (never-break).
|
||||
|
||||
### FR-6 — Kill-switch и скоуп (обратимость)
|
||||
`staging_runner_enabled=False` → перехват не срабатывает → на `deploy-staging` запускается прежний
|
||||
LLM-deployer (`_spawn`) **байт-в-байт** как до ORCH-115. `staging_runner_repos` ограничивает скоуп
|
||||
(пусто → только `orchestrator`); не-self репо никогда не перехватываются (для них staging-гейт и так
|
||||
N/A, `src/qg/checks.py:620`).
|
||||
|
||||
### FR-7 — Наблюдаемость
|
||||
- Read-only блок `staging_runner` в `GET /queue`: `enabled`, `repos`, счётчики `success`/`failed`/
|
||||
`tool_error`/`runs`.
|
||||
- Один структурный лог-вердикт на прогон (`work_item`/`repo`/`exit_code`/`status`/`duration_s`),
|
||||
различающий «код упал» (`FAILED` от staging-сюиты) и «инструмент недоступен» (tool-error).
|
||||
|
||||
## 4. Изменения API
|
||||
|
||||
- **`GET /queue`** — добавить read-only ключ `staging_runner` (наблюдаемость). Существующие поля
|
||||
ответа не меняются.
|
||||
- Опционально (на усмотрение архитектора, по образцу `POST /coverage/baseline`): нет обязательного
|
||||
нового мутирующего эндпоинта. Откат — через env-флаг.
|
||||
- Новых вебхуков нет.
|
||||
|
||||
## 5. Изменения схемы БД
|
||||
|
||||
**Нет.** Раннер использует существующие таблицы (`tasks` для стадии, `jobs` для статуса джоба) и
|
||||
sentinel/worktree-механику. Никаких новых таблиц/колонок/миграций (NFR-1). Счётчики `/queue` —
|
||||
in-process (паттерн `_MERGE_GATE_COUNTERS`, ORCH-110), не БД.
|
||||
|
||||
## 6. Требования к новым/изменённым QG checks
|
||||
|
||||
**Нет новых QG и нет изменений существующих.** `check_staging_status` / `_parse_staging_status` /
|
||||
ключ `staging_status:` (`src/qg/checks.py:538/599`) и состав `QG_CHECKS` — **байт-в-байт неизменны**.
|
||||
ORCH-115 меняет только *продюсера* `15-staging-log.md` (детерминированный код вместо LLM); гейт,
|
||||
читающий артефакт, остаётся прежним. Это критический инвариант (NFR-1) — reviewer ловит любое
|
||||
изменение имени/семантики гейта как finding ≥P1.
|
||||
|
||||
## 7. Совместимость / регресс
|
||||
|
||||
- **Обратная совместимость:** `staging_runner_enabled=False` → прежний LLM-deployer-путь
|
||||
байт-в-байт; не-self репо → 1:1 (N/A-pass либо LLM, в зависимости от скоупа). enduro-trails не
|
||||
затронут (NFR-5).
|
||||
- **Kill-switch / область раската:** один флаг `staging_runner_enabled` + CSV `staging_runner_repos`
|
||||
(пусто → self-hosting only). Откат = `ORCH_STAGING_RUNNER_ENABLED=false`.
|
||||
- **Обратимость:** полностью обратимо флагом; артефакт и гейт неизменны, так что переключение туда-сюда
|
||||
не оставляет несовместимого состояния.
|
||||
- **never-raise / fail-safe (NFR-2):** ошибка раннера → `FAILED` (fail-closed) или штатный requeue,
|
||||
не «тихий advance»; сбой не клинит очередь. Self-hosting safety (BR-7): никаких рестартов 8500 /
|
||||
force-push в `main` / правок инфры.
|
||||
- **Граница (О1):** код ORCH-112 (checkout hygiene) и ORCH-114 (transition lease) не модифицируется.
|
||||
- **Норматив сопровождения (NFR-6):** в том же PR обновить `docs/architecture/llm-call-sites.md` /
|
||||
`llm-determinization-roadmap.md` / `llm-usage-policy.md` + соответствующие анти-дрейф тесты;
|
||||
`CLAUDE.md` / `CHANGELOG.md` / `docs/overview/`.
|
||||
|
||||
## 8. Phase 2 (forward-looking, вне приёмки ORCH-115)
|
||||
|
||||
Зафиксировано для преемственности — **не реализуется в этой задаче**, заводится отдельным follow-up:
|
||||
- **Project deploy contract** для не-self репо (enduro-trails): декларативный per-repo контракт
|
||||
`deploy` / `rollback` / `healthcheck` (команды + ожидаемые коды/эндпоинты), исполняемый тем же
|
||||
детерминированным раннер-паттерном (run → map exit code → verdict → artifact → healthcheck).
|
||||
- LLM остаётся допустим только как **off-control-path** debug/triage-аналитик после
|
||||
детерминированного провала (NFR-7) — не как продюсер вердикта.
|
||||
- Зависимость: устойчивый Phase 1 (этот work item) как доказанный паттерн перехвата + маппинга.
|
||||
166
docs/work-items/ORCH-115/03-acceptance-criteria.md
Normal file
166
docs/work-items/ORCH-115/03-acceptance-criteria.md
Normal file
@@ -0,0 +1,166 @@
|
||||
---
|
||||
work_item: ORCH-115
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-16
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 03 — Критерии приёмки (Acceptance Criteria): ORCH-115 — детерминированный staging-раннер
|
||||
|
||||
Work Item: **ORCH-115** · Repo: **orchestrator** · Стадия: analysis
|
||||
|
||||
Формат: каждый критерий имеет **PASS** (что должно быть истинно для приёмки) и **FAIL**
|
||||
(что считается провалом). Любой машинный/ручной reviewer проверяет их буквально по файлам
|
||||
репозитория.
|
||||
|
||||
---
|
||||
|
||||
## AC-1 — Детерминированный перехват на `deploy-staging` (нет `_spawn`/LLM)
|
||||
|
||||
**Условие:** При включённом флаге и in-scope репо джоб `deployer` на стадии `deploy-staging`
|
||||
обрабатывается раннером, а не LLM-агентом.
|
||||
- **PASS:** `launch_job` (`src/agents/launcher.py`) перехватывает джоб **до** `_spawn` (рядом с
|
||||
D1/D2) при `agent=="deployer"` + стадия задачи `deploy-staging` + `staging_runner.applies(repo)`;
|
||||
`_spawn` не вызывается; не создаётся строка `agent_runs`; джоб ведётся `mark_job(...)` самим
|
||||
раннером. Тест воспроизводит это без живого Claude CLI.
|
||||
- **FAIL:** На `deploy-staging` для in-scope репо при включённом флаге всё ещё вызывается `_spawn` /
|
||||
создаётся `agent_runs`-строка LLM-deployer'а.
|
||||
|
||||
---
|
||||
|
||||
## AC-2 — Контракт артефакта `15-staging-log.md` неизменен
|
||||
|
||||
**Условие:** Раннер пишет тот же артефакт с тем же machine-key, что читает гейт.
|
||||
- **PASS:** Создаётся `docs/work-items/<work_item_id>/15-staging-log.md` с frontmatter
|
||||
`staging_status: SUCCESS|FAILED` (UPPERCASE) + обязательная 52c-схема
|
||||
(`work_item`/`stage: deploy-staging`/`author_agent`/`status`/`created_at`/`model_used`).
|
||||
`_parse_staging_status` читает его и возвращает корректный вердикт **без изменения** парсера.
|
||||
- **FAIL:** Изменено имя/регистр ключа `staging_status:`, отсутствует frontmatter, либо вердикт
|
||||
записан только прозой; либо парсер `_parse_staging_status` пришлось менять.
|
||||
|
||||
---
|
||||
|
||||
## AC-3 — Корректный exit-code → verdict маппинг
|
||||
|
||||
**Условие:** Exit-код staging-сюиты детерминированно маппится в вердикт.
|
||||
- **PASS:** `0 → SUCCESS`; любой ненулевой / None / ошибка запуска → `FAILED` (fail-closed).
|
||||
Маппинг — pure-функция, переиспользующая контракт `self_deploy.map_exit_code_to_status` (или
|
||||
эквивалентный единый), покрыта unit-тестом на каждый класс входа. infra-tolerance (ORCH-061) не
|
||||
пересуживается раннером.
|
||||
- **FAIL:** Ненулевой код даёт `SUCCESS`; ошибка/None даёт `SUCCESS` (ложный green); раннер вводит
|
||||
второй несогласованный маппинг.
|
||||
|
||||
---
|
||||
|
||||
## AC-4 — Эквивалентность маршрутизации (SUCCESS / FAILED)
|
||||
|
||||
**Условие:** После вердикта конвейер ведёт себя ровно как при завершившемся LLM-deployer'е.
|
||||
- **PASS:** SUCCESS → раннер инициирует `advance_stage(finished_agent="deployer")`, далее
|
||||
отрабатывают под-гейты security→merge→coverage→image-freshness (ORCH-022/043/027/058) и Phase A
|
||||
(ORCH-036) — теми же путями. FAILED → существующий откат `deploy-staging → development` с
|
||||
инкрементом developer-retry (`src/stage_engine.py:932`), тот же исход, что у FAILED-вердикта LLM.
|
||||
- **FAIL:** Задача зависает на `deploy-staging` (гейт не инициирован); или FAILED не откатывает /
|
||||
откатывает иначе; или появляется новое ребро/исход.
|
||||
|
||||
---
|
||||
|
||||
## AC-5 — Инвариант скоупа: гейты/стадии/схема БД не тронуты (анти-дрейф)
|
||||
|
||||
**Условие:** Изменена только сторона *продюсера*, не контракт конвейера.
|
||||
- **PASS:** `git diff` не затрагивает `src/stages.py::STAGE_TRANSITIONS`; имена/семантику
|
||||
`QG_CHECKS`/`check_*`/`_parse_*` в `src/qg/checks.py`; machine-verdict-ключи
|
||||
(`staging_status:`/`deploy_status:`/`verdict:`/`result:`/`security_status:`/`coverage_status:`);
|
||||
схему БД (нет новых таблиц/колонок/миграций). Анти-дрейф-тест это подтверждает.
|
||||
- **FAIL:** Любой из перечисленных артефактов изменён по имени/семантике/структуре.
|
||||
|
||||
---
|
||||
|
||||
## AC-6 — Kill-switch и скоуп (обратимость)
|
||||
|
||||
**Условие:** Флаг возвращает прежнее поведение; скоуп ограничивает раннер.
|
||||
- **PASS:** `staging_runner_enabled=False` → на `deploy-staging` запускается прежний LLM-deployer
|
||||
через `_spawn` (байт-в-байт до ORCH-115). Пустой `staging_runner_repos` → раннер активен только для
|
||||
`orchestrator`; не-self репо никогда не перехватываются. Покрыто тестом для обоих значений флага.
|
||||
- **FAIL:** При выключенном флаге раннер всё равно перехватывает; либо не-self репо перехватывается.
|
||||
|
||||
---
|
||||
|
||||
## AC-7 — never-raise / fail-safe (инструмент недоступен)
|
||||
|
||||
**Условие:** Любая ошибка раннера приводит к безопасному детерминированному исходу.
|
||||
- **PASS:** Недоступность docker/`orchestrator-staging`, таймаут, I/O-ошибка → раннер не роняет
|
||||
воркер; исход — `FAILED` (fail-closed) **или** штатный requeue/defer, **никогда** тихий advance/
|
||||
ложный green. Все публичные функции `staging_runner.py` — never-raise; `applies()` при ошибке → `False`.
|
||||
- **FAIL:** Ошибка раннера роняет воркер/клинит очередь; либо ошибка/таймаут даёт `SUCCESS`.
|
||||
|
||||
---
|
||||
|
||||
## AC-8 — Self-hosting safety
|
||||
|
||||
**Условие:** Раннер на `deploy-staging` не выполняет опасных для прода действий.
|
||||
- **PASS:** Раннер не рестартит контейнер 8500, не выполняет `docker compose up -d orchestrator`/
|
||||
`--build`, не пушит force в `main`, не правит `.env`/`.env.staging`/`docker-compose.yml`. Merge
|
||||
лога идёт штатным PR/artifact-merge-путём (как `self_deploy.write_deploy_log`). Подтверждается
|
||||
ревью кода раннера + (где применимо) тестом, что в командах раннера нет запрещённых литералов.
|
||||
- **FAIL:** Раннер содержит любой путь, рестартящий 8500 / force-push в `main` / правящий инфру.
|
||||
|
||||
---
|
||||
|
||||
## AC-9 — Изоляция процесса и таймаут
|
||||
|
||||
**Условие:** docker-subprocess ограничен по времени и не оставляет сирот.
|
||||
- **PASS:** Раннер запускает staging-сюиту с ограниченным таймаутом
|
||||
(`staging_runner_timeout_s`, согласован со сквозным бюджетом ORCH-065/109/110, не правя
|
||||
`reaper_max_running_s`); малформ/непозитив таймаут → дефолт + WARNING; завершение чистое (без
|
||||
осиротевших docker/pytest-процессов, согласовано с `proc_group`/tree-kill ORCH-110).
|
||||
- **FAIL:** Нет таймаута / зависший subprocess клинит воркер; остаются сироты процессов.
|
||||
|
||||
---
|
||||
|
||||
## AC-10 — Наблюдаемость
|
||||
|
||||
**Условие:** Исход раннера виден и различим.
|
||||
- **PASS:** `GET /queue` содержит read-only блок `staging_runner` (`enabled`/`repos`/счётчики
|
||||
`success`/`failed`/`tool_error`/`runs`); на каждый прогон — один структурный лог-вердикт
|
||||
(`work_item`/`repo`/`exit_code`/`status`/`duration_s`), различающий код-фейл и tool-error.
|
||||
- **FAIL:** Нет блока в `/queue`; исход раннера не логируется/не различим.
|
||||
|
||||
---
|
||||
|
||||
## AC-11 — Норматив сопровождения LLM-карты/политики/витрины
|
||||
|
||||
**Условие:** Документация обновлена в том же PR (правило агентов №2 + норматив ORCH-118).
|
||||
- **PASS:** `docs/architecture/llm-call-sites.md` (строка A6) / `llm-determinization-roadmap.md` /
|
||||
`llm-usage-policy.md` отражают реализацию детерминированного deployer-staging; соответствующие
|
||||
анти-дрейф-тесты (`tests/test_llm_call_site_inventory.py`, `tests/test_llm_determinization_docs.py`)
|
||||
зелёные; `.openclaw/agents/deployer.md`, `CLAUDE.md`, `CHANGELOG.md`, `docs/overview/` обновлены.
|
||||
- **FAIL:** Карта/политика/roadmap/витрина не обновлены; анти-дрейф-тесты красные (reviewer: ≥P1).
|
||||
|
||||
---
|
||||
|
||||
## AC-12 — Полный регресс зелёный
|
||||
|
||||
**Условие:** Существующий конвейер не сломан.
|
||||
- **PASS:** `pytest tests/ -q` зелёный; новый `tests/test_orch115_staging_runner.py` зелёный;
|
||||
staging-smoke (`scripts/staging_check.py`) на 8501 проходит штатно.
|
||||
- **FAIL:** Любой ранее зелёный тест становится красным; новые тесты падают.
|
||||
|
||||
---
|
||||
|
||||
## Сводная матрица AC ↔ FR/BR
|
||||
| AC | Покрывает |
|
||||
|----|-----------|
|
||||
| AC-1 | BR-1 / FR-1 |
|
||||
| AC-2 | BR-2 / FR-4 |
|
||||
| AC-3 | BR-4 / FR-2 / FR-3 |
|
||||
| AC-4 | BR-3 / FR-5 |
|
||||
| AC-5 | NFR-1 / FR-6 |
|
||||
| AC-6 | BR-5 / FR-6 |
|
||||
| AC-7 | NFR-2 / FR-1 |
|
||||
| AC-8 | BR-7 |
|
||||
| AC-9 | NFR-3 / NFR-4 / FR-5 |
|
||||
| AC-10 | BR-6 / FR-7 |
|
||||
| AC-11 | NFR-6 |
|
||||
| AC-12 | NFR-5 / NFR-1 |
|
||||
104
docs/work-items/ORCH-115/04-test-plan.yaml
Normal file
104
docs/work-items/ORCH-115/04-test-plan.yaml
Normal file
@@ -0,0 +1,104 @@
|
||||
work_item: ORCH-115
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-16
|
||||
model_used: claude-opus-4-8
|
||||
title: "Детерминированный staging-раннер вместо LLM-деплойера (deploy-staging)"
|
||||
framework: pytest
|
||||
scope: >
|
||||
Покрывает Phase 1: перехват deployer-джоба на deploy-staging до _spawn, маппинг
|
||||
exit-кода в staging_status:, запись/merge 15-staging-log.md, инициацию существующего
|
||||
гейта check_staging_status, kill-switch/скоуп, never-raise/fail-safe, изоляцию
|
||||
процесса/таймаут, наблюдаемость, и анти-дрейф инвариант (STAGE_TRANSITIONS/QG_CHECKS/
|
||||
схема БД не тронуты). Вне покрытия: Phase 2 (project deploy contract для не-self репо),
|
||||
прод-ребро deploy (ORCH-036), живой Claude CLI и живой staging-стенд (мокируются).
|
||||
notes: >
|
||||
Тесты не требуют живого Claude CLI, docker или сети: subprocess/docker-exec и
|
||||
advance_stage мокируются; пьюр-маппинг тестируется напрямую. Полный регресс tests/
|
||||
должен оставаться зелёным. Анти-дрейф (TC-09) защищает критический инвариант NFR-1.
|
||||
|
||||
tests:
|
||||
- id: TC-01
|
||||
type: unit
|
||||
description: "applies(repo): enabled=False -> False (откат к LLM); пустой CSV -> True только для orchestrator; непустой CSV -> membership; not-self репо -> False; ошибка -> False (never-raise, fail-safe)."
|
||||
module: tests/test_orch115_staging_runner.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-02
|
||||
type: unit
|
||||
description: "Маппинг exit-кода: 0 -> SUCCESS; 1/2/любой ненулевой -> FAILED; None/нечисло/ошибка запуска -> FAILED (fail-closed). Согласован с self_deploy.map_exit_code_to_status."
|
||||
module: tests/test_orch115_staging_runner.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-03
|
||||
type: unit
|
||||
description: "Рендер 15-staging-log.md: frontmatter содержит staging_status: SUCCESS|FAILED (UPPERCASE) + 52c-схему (work_item/stage=deploy-staging/author_agent/status/created_at/model_used); INFRA-WAIVED строка из stdout копируется в тело."
|
||||
module: tests/test_orch115_staging_runner.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-04
|
||||
type: integration
|
||||
description: "Сгенерированный раннером 15-staging-log.md читается НЕИЗМЕНЁННЫМ _parse_staging_status -> корректный (bool, reason) для SUCCESS и FAILED (контракт артефакта/гейта неизменен)."
|
||||
module: tests/test_orch115_staging_runner.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-05
|
||||
type: integration
|
||||
description: "launch_job перехватывает deployer-джоб на стадии deploy-staging для in-scope репо ДО _spawn (как D1/D2): _spawn НЕ вызывается, agent_runs не создаётся, возвращается None, jobs-строка ведётся mark_job. _spawn мокирован."
|
||||
module: tests/test_orch115_staging_runner.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-06
|
||||
type: integration
|
||||
description: "Дискриминатор стадии: deployer-джоб на стадии deploy (не deploy-staging) НЕ перехватывается раннером (для self-hosting прод-ребро идёт через Phase A; для не-self остаётся прежний путь)."
|
||||
module: tests/test_orch115_staging_runner.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-07
|
||||
type: integration
|
||||
description: "После SUCCESS-вердикта раннер инициирует advance_stage(finished_agent='deployer') ровно как завершившийся LLM-deployer (advance_stage мокирован/наблюдается); после FAILED — тот же путь, что у FAILED LLM (откат deploy-staging -> development)."
|
||||
module: tests/test_orch115_staging_runner.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-08
|
||||
type: integration
|
||||
description: "Kill-switch: staging_runner_enabled=False -> на deploy-staging для orchestrator вызывается _spawn (прежний LLM-путь байт-в-байт), раннер не активируется."
|
||||
module: tests/test_orch115_staging_runner.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-09
|
||||
type: unit
|
||||
description: "Анти-дрейф NFR-1: STAGE_TRANSITIONS (src/stages.py) и реестр/имена QG_CHECKS + ключ staging_status: неизменны; в схеме БД нет новой таблицы/колонки от ORCH-115. Структурная проверка."
|
||||
module: tests/test_orch115_staging_runner.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-10
|
||||
type: integration
|
||||
description: "never-raise/fail-safe: docker exec бросает/таймаутит/возвращает ненулевой -> раннер не падает, исход FAILED (fail-closed) или штатный requeue, никогда тихий advance/ложный green; воркер/очередь не клинятся."
|
||||
module: tests/test_orch115_staging_runner.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-11
|
||||
type: unit
|
||||
description: "Таймаут: staging_runner_timeout_s применяется к subprocess; малформ/непозитив -> дефолт + WARNING (never-break); завершение чистое (tree-kill согласован с proc_group ORCH-110)."
|
||||
module: tests/test_orch115_staging_runner.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-12
|
||||
type: unit
|
||||
description: "Self-hosting safety: в командной строке раннера нет запрещённых литералов (рестарт 8500 / docker compose up orchestrator / --build / force-push main / правки .env)."
|
||||
module: tests/test_orch115_staging_runner.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-13
|
||||
type: integration
|
||||
description: "Наблюдаемость: GET /queue содержит блок staging_runner (enabled/repos/счётчики success/failed/tool_error/runs); на прогон пишется один структурный лог-вердикт, различающий код-фейл и tool-error."
|
||||
module: tests/test_orch115_staging_runner.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-14
|
||||
type: integration
|
||||
description: "Анти-дрейф LLM-карты: llm-call-sites.md (A6)/roadmap/policy обновлены под реализацию; tests/test_llm_call_site_inventory.py и tests/test_llm_determinization_docs.py остаются зелёными после правок."
|
||||
module: tests/test_llm_call_site_inventory.py
|
||||
expected: PASS
|
||||
@@ -0,0 +1,335 @@
|
||||
---
|
||||
work_item: ORCH-115
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-16
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# ADR-001: Детерминированный staging-раннер вместо LLM-деплойера на `deploy-staging`
|
||||
|
||||
Work Item: **ORCH-115** — заменить LLM-агента `deployer` на стадии `deploy-staging`
|
||||
(self-hosting `orchestrator`) детерминированным staging-раннером.
|
||||
Стадия: **architecture**
|
||||
Сквозная регистрация: **`docs/architecture/adr/adr-0048-deterministic-staging-runner.md`**
|
||||
(решение кросс-каттинговое — вводит новый компонент-leaf и реализует первый срез
|
||||
determinization-roadmap; влияет на карту LLM-консультаций всего оркестратора).
|
||||
|
||||
## Статус
|
||||
Proposed
|
||||
|
||||
## Контекст
|
||||
|
||||
Стадию `deploy-staging` сейчас исполняет **LLM-агент `deployer`** (`src/stages.py`:
|
||||
`get_agent_for_stage("testing") = "deployer"`; роль в `launcher.AGENTS`). Фактическая
|
||||
работа агента на этой стадии — **чисто детерминированная** (`.openclaw/agents/deployer.md`
|
||||
шаги 1–4):
|
||||
|
||||
1. запустить staging-сюиту — `docker exec orchestrator-staging python3
|
||||
/repos/orchestrator/scripts/staging_check.py --base-url http://localhost:8501 --mode stub`;
|
||||
2. смаппить **exit-код** в вердикт (`0 → SUCCESS`, ≠0 → `FAILED`) — infra-tolerance
|
||||
ORCH-061 уже **внутри** `staging_check.py` (`src/staging_verdict.py::compute_staging_verdict`),
|
||||
агент её не пересуживает;
|
||||
3. записать `15-staging-log.md` с frontmatter `staging_status:`;
|
||||
4. закоммитить лог.
|
||||
|
||||
Вердикт `staging_status:` потребляется детерминированным гейтом `check_staging_status`
|
||||
(`src/qg/checks.py:599` → `_parse_staging_status:538`). По нормативной политике
|
||||
(`docs/architecture/llm-usage-policy.md` §3) это **avoidable LLM control path**: (i) это
|
||||
C-консультация (LLM-вердикт ветвит гейт) **и** (ii) вердикт **деривируем** из exit-кода
|
||||
инструмента, который оркестратор уже умеет вычислять сам. Карта call-site'ов
|
||||
(`docs/architecture/llm-call-sites.md`, строка **A6**) классифицирует deployer как
|
||||
`replace-deterministic-now`; roadmap (`llm-determinization-roadmap.md`, rank 1,
|
||||
`first_slice = yes`, `hybrid_needed = no`) ставит его первым срезом. ORCH-115 — реализация
|
||||
этого среза.
|
||||
|
||||
**Установленные факты (сверено по коду, не изобретать):**
|
||||
- Детерминированный прецедент замены агента уже работает: `launch_job` перехватывает
|
||||
зарезервированные роли `deploy-finalizer` (D1, `src/agents/launcher.py:389`) и
|
||||
`post-deploy-monitor` (D2, `:394`) **до `_spawn`** и исполняет их как no-LLM-джобы,
|
||||
сами ведущие `jobs`-строку через `mark_job`.
|
||||
- Эталонный поток «детерминированный джоб → вердикт → существующий контракт»:
|
||||
`stage_engine.run_deploy_finalizer` (`:2010`) маппит exit-код, пишет `14-deploy-log.md`
|
||||
и вызывает `advance_stage(..., finished_agent="deployer")`, после чего срабатывают
|
||||
**существующие** контракты (`SUCCESS → done`/advance, `FAILED → откат на development`).
|
||||
- Пьюр-маппинг exit-кода уже есть: `self_deploy.map_exit_code_to_status` (`:81`,
|
||||
`0→SUCCESS`, иначе/None/нечисло→`FAILED`, fail-closed, unit-tested).
|
||||
- Tree-kill subprocess'а под таймаутом уже есть: `proc_group.run_in_process_group`
|
||||
(ORCH-110, stdlib-only leaf, never-raise, fallback к `subprocess.run`).
|
||||
- Прод-ребро `deploy` для self-hosting уже детерминировано (`self_deploy` Phase A/B/C,
|
||||
ORCH-036) — `deployer` там **не спавнится** (Phase A — `finished_agent is None`-путь).
|
||||
Срез не трогает критический прод-путь.
|
||||
|
||||
«Как есть» не годится: каждый прогон тратит токены/время opus-агента (по `agent_runs`:
|
||||
~40–120k / 3–15 мин на прогон) ради действия в три shell-строки, встраивает недетерминизм
|
||||
LLM в точку ветвления и принадлежит к RCA-классу «LLM принял решение, которое есть
|
||||
исполнение фиксированных команд + маппинг результата» (ORCH-110/111/112/113/114/117).
|
||||
|
||||
## Решение
|
||||
|
||||
### Сводка
|
||||
|
||||
Ввести **новый leaf `src/staging_runner.py`** (never-raise, по образцу
|
||||
`self_deploy.py`/`proc_group.py`/`staging_verdict.py`) и **перехват в `launch_job` до
|
||||
`_spawn`** (рядом с D1/D2). Когда на стадии `deploy-staging` для in-scope репо к запуску
|
||||
приходит джоб `deployer`, его обрабатывает раннер: исполняет ту же staging-сюиту через
|
||||
`proc_group`, маппит exit-код в `staging_status:`, пишет `15-staging-log.md`, и вызывает
|
||||
**существующий** `advance_stage(current_stage="deploy-staging", finished_agent="deployer")`
|
||||
— ровно как завершившийся LLM-deployer. Контракт артефакта, гейт `check_staging_status`,
|
||||
`STAGE_TRANSITIONS`, схема БД — **байт-в-байт неизменны** (это замена *продюсера*
|
||||
артефакта, не гейта). Под kill-switch + скоуп-CSV; fail-safe к прежнему LLM-пути.
|
||||
|
||||
### D1 — Точка диспетчеризации: перехват в `launch_job` **до** `_spawn` (FR-1 / AC-1)
|
||||
|
||||
В `launcher.launch_job`, рядом с существующими врезками D1/D2, **до** `_spawn`:
|
||||
|
||||
```python
|
||||
if job.get("agent") == "deployer" and staging_runner.should_intercept(job):
|
||||
return self._run_staging_runner_job(job)
|
||||
```
|
||||
|
||||
- **Дискриминатор «staging vs prod» — стадия задачи, НЕ имя роли** (роль `deployer` общая
|
||||
для `deploy-staging` и `deploy`). `should_intercept(job)` истинно ⇔ `agent=="deployer"`
|
||||
**И** `tasks.stage` (по `job["task_id"]`) `== "deploy-staging"` **И**
|
||||
`staging_runner.applies(job["repo"])`. Гард по стадии — защита от перехвата не того джоба
|
||||
(R-1): для self-hosting прод-ребро `deployer` не запускает; для не-self репо прод-`deploy`
|
||||
запускает синхронный ssh-deployer — но там `applies==False`, поэтому не перехватывается
|
||||
(NFR-5; TC-06).
|
||||
- `should_intercept` — **never-raise**: любая ошибка (DB-lookup упал) → `False` → провал
|
||||
в `_spawn` (fail-safe к прежнему LLM-пути).
|
||||
- `_run_staging_runner_job(job)` — тонкая обёртка-зеркало `_run_deploy_finalizer_job`
|
||||
(`:404`): синхронно зовёт `staging_runner.run_staging_gate(job)`, затем
|
||||
`mark_job(job["id"], "done")`; любое исключение → `mark_job(..., "failed", error=…)`;
|
||||
возвращает `None` (нет `agent_runs`-строки, `_spawn` не вызывается).
|
||||
|
||||
### D2 — Размещение логики: чистый leaf `src/staging_runner.py` (зеркало finalizer)
|
||||
|
||||
`run_staging_gate(job)` живёт в leaf'е и владеет полным детерминированным потоком
|
||||
(зеркало `stage_engine.run_deploy_finalizer`):
|
||||
1. поднять `work_item_id`/`branch`/`stage` по `task_id`;
|
||||
2. исполнить staging-сюиту (D3) → `(returncode, timed_out, stdout)`;
|
||||
3. определить исход (D5);
|
||||
4. на verdict-исходе: записать `15-staging-log.md` (D6) и вызвать
|
||||
`advance_stage(finished_agent="deployer")` (D7);
|
||||
5. на defer-исходе: requeue (D5);
|
||||
6. учесть счётчики + структурный лог (D10).
|
||||
|
||||
**Чистота leaf'а:** импортирует на уровне модуля только `config`, `logging` (+ `proc_group`);
|
||||
лениво (внутри функций) — `db`/`git_worktree`/`self_deploy.map_exit_code_to_status`/
|
||||
`qg.checks.is_self_hosting_repo`/`stage_engine.advance_stage`/`notifications`. Лениво —
|
||||
чтобы не тащить тяжёлый `stage_engine` на импорте и не плодить цикл (паттерн
|
||||
`transition_lease`/`merge_gate`). Все публичные функции — **never-raise** (AC-7).
|
||||
|
||||
### D3 — Исполнение сюиты: `proc_group` + config-арги (FR-2 / NFR-3 / AC-9 / AC-8)
|
||||
|
||||
Команда строится из конфига (ORCH-101, без host-хардкодов — анти-дрейф
|
||||
`tests/test_no_host_hardcodes.py`):
|
||||
|
||||
```
|
||||
docker exec <STAGING_SERVICE> python3 <repos_dir>/<SELF_HOSTING_REPO>/scripts/staging_check.py \
|
||||
--base-url http://localhost:<staging_port> --mode stub
|
||||
```
|
||||
где `STAGING_SERVICE = "orchestrator-staging"` (платформенный сервис-литерал, уже допущен —
|
||||
ср. `image_freshness._STAGING_SERVICE:68`), `repos_dir`/`staging_port` из `settings`,
|
||||
`SELF_HOSTING_REPO` из `qg.checks`. Запуск — через
|
||||
`proc_group.run_in_process_group(argv, cwd=None, timeout=<staging_runner_timeout_s>,
|
||||
tree_kill=settings.subprocess_tree_kill_enabled)` → SIGTERM→grace→SIGKILL всего дерева на
|
||||
таймауте, без сирот docker/pytest (согласовано с ORCH-110). **Self-hosting safety
|
||||
(BR-7/AC-8):** в argv нет литералов рестарта 8500 / `docker compose up … orchestrator` /
|
||||
`--build` / force-push / правок `.env` — раннер только читает и исполняет staging-сюиту
|
||||
(8501) и пишет лог. Покрывается TC-12 (запрет литералов).
|
||||
|
||||
### D4 — Маппинг exit-кода: переиспользовать единый контракт (FR-3 / AC-3)
|
||||
|
||||
`staging_status` = `self_deploy.map_exit_code_to_status(returncode)` (`0→SUCCESS`, иначе/
|
||||
None/нечисло→`FAILED`, fail-closed). **Второй маппинг не вводится** — общий пьюр-контракт,
|
||||
уже покрытый unit-тестом. infra-tolerance ORCH-061 остаётся внутри `staging_check.py` —
|
||||
раннер вердикт повторно не судит (BR-4).
|
||||
|
||||
### D5 — Двухуровневый исход: verdict vs tool-error (NFR-2 / AC-7 / R-3 / R-5) — **ключевое решение**
|
||||
|
||||
`AC-7`/`NFR-2`/A1 явно оставляют обработку «инструмент недоступен» архитектору, разрешая
|
||||
**FAILED (fail-closed) ИЛИ штатный requeue/defer**. Выбран **двухуровневый исход**:
|
||||
|
||||
- **Сюита ИСПОЛНИЛАСЬ (получен реальный exit-код, 0 или ≠0):** доверяем коду.
|
||||
`0 → SUCCESS → advance`; `≠0 → FAILED → откат deploy-staging → development` через
|
||||
`advance_stage` (тот же путь и developer-retry-cap, что у FAILED-вердикта LLM —
|
||||
`stage_engine.py:932`; R-5/AC-4). ORCH-061 уже внутри exit-кода.
|
||||
- **Сюита НЕ исполнилась (tool-error: spawn-error / таймаут / `returncode is None`):**
|
||||
это **инфра-сбой, а не код-фейл**. Раннер делает **ограниченный DEFER** — requeue
|
||||
свежего `deployer`-джоба с задержкой и маркером в `task_content` (restart-safe счётчик
|
||||
подсчётом маркера — зеркало `merge_gate._merge_infra_retry_count` ORCH-110 и
|
||||
`_deploy_finalize_defer_count` ORCH-036; **без правки схемы БД**, NFR-1). На
|
||||
**исчерпании** бюджета (`staging_runner_infra_max_retries`) — **fail-closed**: записать
|
||||
`staging_status: FAILED` + `advance_stage` (откат) + alert (кликабельный номер). Так
|
||||
раннер **никогда не делает тихий advance / ложный green** и **никогда не клинит очередь
|
||||
навсегда**, но **не жжёт developer-retry на транзиентной инфре**.
|
||||
|
||||
**Почему не «tool-error → немедленный FAILED-откат»:** это в точности анти-паттерн ORCH-110
|
||||
(инфра-таймаут, ошибочно маршрутизированный как код-фейл → откат на `development` + расход
|
||||
developer-retry; на следующем retry падает так же → ручное вмешательство). RCA-осведомлённый
|
||||
reviewer ловит это как регресс. Пьюр-маппинг D4 остаётся fail-closed (None→FAILED) — он
|
||||
терминальный fallback на исчерпании defer, а не реакция на первый же tool-error.
|
||||
|
||||
### D6 — Артефакт `15-staging-log.md`: зеркало `write_deploy_log` (FR-4 / AC-2 / AC-8)
|
||||
|
||||
Раннер пишет `docs/work-items/<work_item_id>/15-staging-log.md` в worktree фичеветки
|
||||
(`git_worktree.get_worktree_path`) с frontmatter:
|
||||
|
||||
```markdown
|
||||
---
|
||||
staging_status: SUCCESS # или FAILED — UPPERCASE, имя/регистр ключа не меняются
|
||||
work_item: <work_item_id>
|
||||
stage: deploy-staging
|
||||
author_agent: staging-runner
|
||||
status: success # или failed — выровнен по staging_status
|
||||
created_at: <YYYY-MM-DD>
|
||||
model_used: n/a
|
||||
timestamp: <ISO>
|
||||
base_url: http://localhost:<staging_port>
|
||||
exit_code: <returncode>
|
||||
---
|
||||
|
||||
# Staging Gate Log (deterministic runner, ORCH-115)
|
||||
<exit-код, краткий хвост stdout; строку `INFRA-WAIVED:` из stdout скопировать в тело для observability>
|
||||
```
|
||||
|
||||
- `author_agent: staging-runner` / `model_used: n/a` честно отражают **детерминированного**
|
||||
продюсера; **machine-key `staging_status:` и его регистр/значения не меняются** (AC-2/AC-5),
|
||||
читается неизменённым `_parse_staging_status` (TC-04).
|
||||
- Запись через `frontmatter.render/write_frontmatter` либо литералом — обязательная 52c-схема
|
||||
присутствует.
|
||||
- **Best-effort commit+push в ФИЧЕВЕТКУ** (зеркало `write_deploy_log` — git-identity
|
||||
ORCH-101, `_GIT_TIMEOUT`). Гейт читает worktree **первым** (`check_staging_status` lookup
|
||||
order, `:627`), поэтому отдельный PR-merge лога в `main` **не выполняется** — это
|
||||
сознательное упрощение относительно шага-4 LLM-deployer'а: исключает любую прямую работу с
|
||||
`main` (усиливает AC-8/BR-7). Итоговый мерж фичеветки в `main` идёт штатным
|
||||
merge-gate/merge-verify-путём позже.
|
||||
|
||||
### D7 — Инициация существующего гейта (FR-5 / AC-4 / R-2 / R-4, граница O1)
|
||||
|
||||
После записи лога раннер вызывает:
|
||||
```python
|
||||
advance_stage(task_id, current_stage="deploy-staging", repo, work_item_id, branch,
|
||||
finished_agent="deployer")
|
||||
```
|
||||
Это запускает `check_staging_status` и — на SUCCESS — существующие под-гейты
|
||||
security→merge→coverage→image-freshness (ORCH-022/043/027/058) и Phase A (ORCH-036); на
|
||||
FAILED — существующий откат (`stage_engine.py:932`). **Никакой новой ветви маршрутизации,
|
||||
никаких новых рёбер/исходов** (AC-4). **Граница O1/R-4:** transition-lease ORCH-114
|
||||
берётся **внутри** `advance_stage` на side-effectful ребре — раннер его **не трогает**;
|
||||
serial-gate ORCH-088 не взаимодействует (гейтит analyst-job claim, не deployer-job).
|
||||
Код ORCH-112/ORCH-114 не модифицируется.
|
||||
|
||||
### D8 — Kill-switch и скоуп: обратимость (FR-6 / AC-6 / BR-5)
|
||||
|
||||
`config.py` (паттерн `coverage_gate_*`/`self_deploy_*`):
|
||||
- `staging_runner_enabled: bool = True` (env `ORCH_STAGING_RUNNER_ENABLED`).
|
||||
- `staging_runner_repos: str = ""` (env `ORCH_STAGING_RUNNER_REPOS`; CSV; **пусто →
|
||||
self-hosting only** через `is_self_hosting_repo`).
|
||||
- `staging_runner_timeout_s: int = 600` (env `ORCH_STAGING_RUNNER_TIMEOUT_S`; см. D9).
|
||||
- `staging_runner_infra_max_retries: int = 2`, `staging_runner_infra_retry_delay_s: int = 30`
|
||||
(defer-бюджет D5; зеркало `merge_retest_infra_*`).
|
||||
|
||||
`applies(repo)` (локально, без сети, **never-raise → False**): `staging_runner_enabled==False`
|
||||
→ `False` (откат к LLM-пути); непустой CSV → membership; пустой → `is_self_hosting_repo(repo)`.
|
||||
Проверяется **первым** в `should_intercept` → при выключенном флаге нулевой оверхед, на
|
||||
`deploy-staging` штатно вызывается `_spawn` (прежний LLM-deployer **байт-в-байт**). Откат =
|
||||
`ORCH_STAGING_RUNNER_ENABLED=false`.
|
||||
|
||||
### D9 — Бюджет времени (NFR-4 / AC-9, сквозной инвариант ORCH-065/109/110)
|
||||
|
||||
`staging_runner_timeout_s = 600` (дефолт; малформ/непозитив → дефолт + WARNING, never-break
|
||||
— зеркало `_resolve_retest_timeout`). Обоснование инварианта **без правки
|
||||
`reaper_max_running_s` (5400)**: окно «running» одного deployer-джоба = `staging_check`
|
||||
(≤600s) + те же edge-под-гейты, что и раньше (security + merge re-test 900 + coverage 900 +
|
||||
image-freshness rebuild). В LLM-пути это окно включало staging-прогон LLM (3–15 мин, до ~900s)
|
||||
+ те же под-гейты. Раннер заменяет до-900s LLM-окна ограниченными ≤600s → **Σ(работ на ребре)
|
||||
не растёт** → инвариант `reaper_max_running_s > Σ + grace` сохранён без изменения reaper'а.
|
||||
|
||||
### D10 — Наблюдаемость (FR-7 / AC-10 / BR-6)
|
||||
|
||||
In-process счётчики `_STAGING_RUNNER_COUNTERS` (зеркало `_MERGE_GATE_COUNTERS`,
|
||||
`merge_gate.py:678`): `runs`/`success`/`failed`/`tool_error`/`deferred`. Read-only блок
|
||||
`staging_runner` в `GET /queue` (`enabled`/`repos`/счётчики) — `src/main.py`. Один
|
||||
структурный лог-вердикт на прогон: `work_item`/`repo`/`exit_code`/`status`/`duration_s`/
|
||||
`outcome` — различает «код упал» (`FAILED` от сюиты) и «инструмент недоступен» (`tool_error`/
|
||||
`deferred`). (Опционально, как ORCH-110: на исчерпании defer записать lesson `transient_retry`
|
||||
через `lessons.record` — не обязательно для приёмки.)
|
||||
|
||||
### D11 — Норматив сопровождения LLM-карты (NFR-6 / AC-11) — спека для developer
|
||||
|
||||
Карта/политика/roadmap и их анти-дрейф-тесты **связаны с состоянием кода**, поэтому правятся
|
||||
**в development-стадии атомарно с кодом** (иначе тесты покраснеют на полу-готовой ветке).
|
||||
Архитектура фиксирует **точную спеку** правок (developer применяет в том же PR):
|
||||
- `docs/architecture/llm-call-sites.md` — строка **A6** и машинный
|
||||
`ORCH-118-INVENTORY-BLOCK`: deployer на `deploy-staging` для in-scope репо больше не
|
||||
консультирует LLM; отразить реализованное детерминированное состояние (раннер-перехват до
|
||||
`_spawn`, как D1/D2), сохранив парсимый заголовок таблицы; синхронно — `_parse_staging_status`
|
||||
остаётся потребителем (имя гейта не меняется).
|
||||
- `docs/architecture/llm-determinization-roadmap.md` — машинный `ORCH-118-ROADMAP-BLOCK`:
|
||||
rank 1 (deployer) переходит из «план» в «реализовано»; **инвариант «ровно один
|
||||
`first_slice = yes`»** держать корректным (см. `test_llm_determinization_docs.py`).
|
||||
- `docs/architecture/llm-usage-policy.md` — §5: единственный транспорт LLM-консультации
|
||||
(`_spawn`/S0) не нарушен; ввод второго транспорта запрещён (раннер LLM не зовёт).
|
||||
- Анти-дрейф `tests/test_llm_call_site_inventory.py` / `tests/test_llm_determinization_docs.py`
|
||||
— обновить ожидания синхронно, держать зелёными (TC-14).
|
||||
- Прочие docs того же PR (правило агентов №2): `.openclaw/agents/deployer.md` (пометка, что
|
||||
на `deploy-staging` для in-scope репо стадию ведёт детерминированный код; LLM-ветвь —
|
||||
fallback под выключенным флагом / не-self репо), `CLAUDE.md`, `CHANGELOG.md`,
|
||||
`docs/overview/`.
|
||||
|
||||
**Обоснование против `llm-usage-policy.md` §5:** ORCH-115 **снимает** C-консультацию с
|
||||
деривируемым вердиктом (A6/staging-status) — это разрешённое `replace-deterministic-now`,
|
||||
не ввод новой LLM-консультации; политика соблюдена.
|
||||
|
||||
## Альтернативы
|
||||
|
||||
- **Новая стадия / новый QG для детерминированного staging** — отвергнуто: нарушает NFR-1
|
||||
(`STAGE_TRANSITIONS`/`QG_CHECKS` байт-в-байт). Меняется только *продюсер* артефакта; гейт
|
||||
и ребро прежние.
|
||||
- **tool-error → немедленный `FAILED`-откат на `development`** — отвергнуто: анти-паттерн
|
||||
ORCH-110 (инфра-сбой как код-фейл → расход developer-retry → петля). Выбран двухуровневый
|
||||
исход D5 (defer на tool-error, fail-closed на исчерпании).
|
||||
- **Merge лога отдельным PR в `main`** (как шаг-4 LLM-deployer'а) — отвергнуто: гейт читает
|
||||
worktree первым → достаточно push в фичеветку; исключение прямой работы с `main` усиливает
|
||||
AC-8/BR-7.
|
||||
- **Логика раннера прямо в `launcher.py`** — отвергнуто: нарушает разделение
|
||||
транспорт/решение; leaf тестируем без живого CLI/docker (зеркало
|
||||
`self_deploy`/`coverage_gate`).
|
||||
- **Править `llm-call-sites.md`/roadmap/policy в architecture-стадии** — отвергнуто:
|
||||
анти-дрейф-тесты коуплены к коду; правки идут атомарно с кодом (D11).
|
||||
- **Свой второй exit-code→verdict маппинг** — отвергнуто: переиспользуем
|
||||
`self_deploy.map_exit_code_to_status` (BR-4, единый контракт).
|
||||
|
||||
## Последствия
|
||||
|
||||
- **+** На `deploy-staging` для `orchestrator` исчезает LLM-консультация: дешевле/быстрее/
|
||||
детерминированнее; минус один avoidable LLM control path (первый срез roadmap).
|
||||
- **+** Happy-path не вызывает `_spawn` (нет `agent_runs`-строки, нет токенов).
|
||||
- **+** Полная обратимость одним флагом; артефакт/гейт/ребро/схема БД неизменны → переключение
|
||||
туда-сюда не оставляет несовместимого состояния.
|
||||
- **+** Двухуровневый исход (D5) убирает класс ORCH-110 (инфра ≠ код-фейл) с staging-ребра.
|
||||
- **−** Новый leaf + врезка в `launch_job` + defer-механика — рост поверхности кода.
|
||||
Митигейшн: leaf never-raise + kill-switch (fail-safe к LLM), тонкая врезка-зеркало D1/D2,
|
||||
defer-счётчик без схемы БД (маркер в `task_content`), покрытие `tests/test_orch115_*`.
|
||||
- **−** Раннер программно зависит от доступности `docker exec` в `orchestrator-staging` и от
|
||||
поднятого staging-контейнера (раньше это делал LLM). Митигейшн: D5 (defer + fail-closed),
|
||||
предусловие фиксировано в `07-infra-requirements.md`.
|
||||
- **Откат:** `ORCH_STAGING_RUNNER_ENABLED=false` → `applies()` → `False` → `should_intercept`
|
||||
→ `False` → штатный `_spawn` LLM-deployer'а на `deploy-staging` **байт-в-байт** до ORCH-115.
|
||||
|
||||
## Ссылки
|
||||
- BRD: `docs/work-items/ORCH-115/01-brd.md`
|
||||
- TRZ: `docs/work-items/ORCH-115/02-trz.md`
|
||||
- Acceptance: `docs/work-items/ORCH-115/03-acceptance-criteria.md`
|
||||
- Инфра: `docs/work-items/ORCH-115/07-infra-requirements.md`;
|
||||
Данные: `08-data-requirements.md`; Риски: `10-tech-risks.md`
|
||||
- Сквозной ADR: `docs/architecture/adr/adr-0048-deterministic-staging-runner.md`
|
||||
- Сверено по коду: `src/agents/launcher.py:389/404/1189`, `src/stage_engine.py:191/932/2010`,
|
||||
`src/self_deploy.py:81/317`, `src/qg/checks.py:525/538/599`, `src/proc_group.py`,
|
||||
`src/staging_verdict.py`, `src/merge_gate.py:678`, `src/config.py` (`coverage_gate_*`/
|
||||
`reaper_max_running_s`)
|
||||
- Политика/карта/roadmap: `docs/architecture/llm-usage-policy.md`,
|
||||
`docs/architecture/llm-call-sites.md` (A6), `docs/architecture/llm-determinization-roadmap.md`
|
||||
61
docs/work-items/ORCH-115/07-infra-requirements.md
Normal file
61
docs/work-items/ORCH-115/07-infra-requirements.md
Normal file
@@ -0,0 +1,61 @@
|
||||
---
|
||||
work_item: ORCH-115
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-16
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 07 — Инфра-требования: ORCH-115 — детерминированный staging-раннер
|
||||
|
||||
Work Item: **ORCH-115** · Repo: **orchestrator** · Стадия: architecture
|
||||
|
||||
> When-applicable. Топология **не меняется** (новых контейнеров/портов/томов/compose-правок
|
||||
> нет). Файл фиксирует **предусловия**, на которые раннер теперь опирается **программно**
|
||||
> (раньше эти же шаги исполнял LLM-deployer), чтобы предусловие было аудитопригодно (BR-7/
|
||||
> AC-8/AC-9).
|
||||
|
||||
## I-1. Топология / окружения
|
||||
**Без изменений топологии.** Раннер исполняется в прод-контейнере `orchestrator` (8500), в
|
||||
worker-треде, как `_run_deploy_finalizer_job`. Предусловия (существующие, не вводятся
|
||||
ORCH-115):
|
||||
- staging-контейнер `orchestrator-staging` (8501) поднят и доступен на хосте (Допущение А1);
|
||||
- прод-контейнер имеет возможность `docker exec` в `orchestrator-staging` (та же возможность
|
||||
использовал LLM-deployer — `.openclaw/agents/deployer.md` шаг 1; уже в проде);
|
||||
- `scripts/staging_check.py` доступен внутри `orchestrator-staging` по bind-mount
|
||||
(`/repos/orchestrator/scripts/…`, паттерн B6/ORCH-048) — источник истины набора проверок и
|
||||
exit-кода (Допущение А2), ORCH-115 его не меняет.
|
||||
|
||||
Недоступность любого из предусловий обрабатывается **детерминированно** (раннер D5: bounded
|
||||
defer → fail-closed `FAILED` + alert на исчерпании) — никогда тихий advance / ложный green.
|
||||
|
||||
## I-2. Переменные окружения / секреты
|
||||
**Новые env-ключи (config, дефолты = боевое; добавить в `.env.example`):**
|
||||
- `ORCH_STAGING_RUNNER_ENABLED` (`staging_runner_enabled`, дефолт `True`) — kill-switch;
|
||||
`false` → прежний LLM-deployer-путь байт-в-байт.
|
||||
- `ORCH_STAGING_RUNNER_REPOS` (`staging_runner_repos`, дефолт `""`) — CSV скоупа; пусто →
|
||||
self-hosting only (`orchestrator`).
|
||||
- `ORCH_STAGING_RUNNER_TIMEOUT_S` (`staging_runner_timeout_s`, дефолт `600`) — таймаут
|
||||
subprocess'а; малформ/непозитив → дефолт + WARNING.
|
||||
- `ORCH_STAGING_RUNNER_INFRA_MAX_RETRIES` (`staging_runner_infra_max_retries`, дефолт `2`) и
|
||||
`ORCH_STAGING_RUNNER_INFRA_RETRY_DELAY_S` (`staging_runner_infra_retry_delay_s`, дефолт `30`)
|
||||
— бюджет defer на tool-error (D5).
|
||||
|
||||
**Секретов не вводит.** Команда строится из существующих host-параметров (`repos_dir`/
|
||||
`staging_port`/`SELF_HOSTING_REPO`/сервис-литерал `orchestrator-staging`) — без новых
|
||||
host-хардкодов (анти-дрейф `tests/test_no_host_hardcodes.py`).
|
||||
|
||||
## I-3. Деплой / рестарт
|
||||
**Self-hosting инвариант соблюдён.** Раннер на `deploy-staging` **никогда** не рестартит
|
||||
прод-контейнер 8500, не выполняет `docker compose up -d orchestrator`/`--build`, не пушит
|
||||
force в `main`, не правит `.env`/`.env.staging`/`docker-compose.yml` (BR-7/AC-8; TC-12 —
|
||||
запрет литералов в argv). Прод-выкат самого ORCH-115 идёт штатно через staging-гейт (8501)
|
||||
→ `Confirm Deploy` (ORCH-059). Изменение **docs/prompts/код+config**, активируется на
|
||||
следующем worktree от `main`; включение в проде — флагом (по умолчанию `True`, обратимо).
|
||||
|
||||
## I-4. CI/CD
|
||||
**Без изменений `.gitea/workflows/`.** Новый `tests/test_orch115_staging_runner.py` исполняется
|
||||
существующим `pytest tests/ -q` (мокирует subprocess/docker-exec и `advance_stage`; живой
|
||||
Claude CLI / docker / сеть не требуются). Staging-smoke (`scripts/staging_check.py` на 8501)
|
||||
— штатный гейт, не меняется.
|
||||
43
docs/work-items/ORCH-115/08-data-requirements.md
Normal file
43
docs/work-items/ORCH-115/08-data-requirements.md
Normal file
@@ -0,0 +1,43 @@
|
||||
---
|
||||
work_item: ORCH-115
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-16
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 08 — Требования к данным: ORCH-115 — детерминированный staging-раннер
|
||||
|
||||
Work Item: **ORCH-115** · Repo: **orchestrator** · Стадия: architecture
|
||||
|
||||
> When-applicable. Создан **намеренно** при `N/A`-результате: «нет изменений схемы БД» — это
|
||||
> критический инвариант NFR-1/AC-5, поэтому решение фиксируется явно и аудитопригодно.
|
||||
|
||||
## D-1. Схема БД
|
||||
**Изменений нет.** Ни новых таблиц, ни колонок, ни миграций. Раннер использует существующие
|
||||
таблицы read/write через существующие хелперы:
|
||||
- `tasks` — чтение `stage`/`work_item_id`/`branch` по `task_id` (дискриминатор стадии D1,
|
||||
поля артефакта/гейта); запись стадии — **только внутри `advance_stage`** (его существующий
|
||||
CAS/lease-контракт ORCH-114, раннер схему не трогает).
|
||||
- `jobs` — статус джоба ведётся `mark_job(done|failed)` самим раннером (зеркало
|
||||
`_run_deploy_finalizer_job`); requeue defer — `enqueue_job` свежего `deployer`-джоба
|
||||
(существующий механизм).
|
||||
|
||||
## D-2. Restart-safe состояние без схемы (defer-счётчик D5)
|
||||
Счётчик infra-defer (ограничение петли tool-error, D5) — **без колонки БД**: подсчёт
|
||||
маркера-подстроки в `task_content` нового `deployer`-джоба (зеркало
|
||||
`merge_gate._merge_infra_retry_count` ORCH-110 и `_deploy_finalize_defer_count` ORCH-036).
|
||||
Сохраняет restart-safe семантику без миграции (NFR-1).
|
||||
|
||||
## D-3. Артефакт `15-staging-log.md` (контракт неизменен)
|
||||
Формат/расположение/machine-key прежние: `docs/work-items/<work_item_id>/15-staging-log.md`,
|
||||
frontmatter `staging_status: SUCCESS|FAILED` (UPPERCASE) + обязательная 52c-схема. Меняется
|
||||
лишь *продюсер* (детерминированный код вместо LLM): `author_agent: staging-runner`,
|
||||
`model_used: n/a` — **имя и регистр ключа `staging_status:` не меняются**; читается
|
||||
неизменённым `_parse_staging_status` (AC-2/AC-5; TC-04).
|
||||
|
||||
## D-4. Наблюдаемость — in-process, не БД
|
||||
Счётчики `staging_runner` (`runs`/`success`/`failed`/`tool_error`/`deferred`) — in-process
|
||||
(`_STAGING_RUNNER_COUNTERS`, паттерн `_MERGE_GATE_COUNTERS` ORCH-110), отдаются read-only в
|
||||
`GET /queue`. В БД не персистятся.
|
||||
44
docs/work-items/ORCH-115/10-tech-risks.md
Normal file
44
docs/work-items/ORCH-115/10-tech-risks.md
Normal file
@@ -0,0 +1,44 @@
|
||||
---
|
||||
work_item: ORCH-115
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-16
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 10 — Технические риски: ORCH-115 — детерминированный staging-раннер
|
||||
|
||||
Work Item: **ORCH-115** · Repo: **orchestrator** · Стадия: architecture
|
||||
|
||||
> Информационный (гейтом не парсится). Риски реализации + их митигейшн; нумерация
|
||||
> наследует R-1…R-5 из BRD §8 и добавляет производные.
|
||||
|
||||
## Реестр рисков
|
||||
|
||||
| ID | Риск | Вер. | Влия. | Митигейшн |
|
||||
|----|------|------|-------|-----------|
|
||||
| TR-1 (R-1) | Перехват «до `_spawn`» перехватит **не тот** джоб (прод-deployer вместо staging) | Низ. | Выс. | Дискриминатор = **стадия задачи** (`tasks.stage=="deploy-staging"`) **И** `applies(repo)`, не только имя роли (ADR D1). Для self-hosting прод-ребро `deployer` не спавнит; для не-self `applies==False`. Покрытие TC-05/TC-06. `should_intercept` never-raise → `False` → штатный `_spawn`. |
|
||||
| TR-2 (R-2) | После вердикта не инициирован `advance_stage` → задача зависает на `deploy-staging` (нет «финиша агента») | Низ. | Выс. | Раннер сам вызывает `advance_stage(current_stage="deploy-staging", finished_agent="deployer")` (зеркало `run_deploy_finalizer`, ADR D7). На исключении джоб → `mark_job(failed)` → reaper/worker по существующим контрактам; никогда тихий advance. Покрытие TC-07. |
|
||||
| TR-3 (R-3) | Таймаут/изоляция docker-subprocess; утечка процессов (инцидент ORCH-110) | Сред. | Сред. | `proc_group.run_in_process_group` (tree-kill SIGTERM→grace→SIGKILL всего дерева), `staging_runner_timeout_s`; малформ/непозитив → дефолт + WARNING. Покрытие TC-11; запрет сирот согласован с ORCH-110. |
|
||||
| TR-4 (R-4) | Конфликт с transition-lease (ORCH-114) / serial-gate (ORCH-088) на side-effectful ребре | Низ. | Выс. | Граница O1: lease берётся **внутри** `advance_stage` — раннер его не трогает (ADR D7). serial-gate гейтит analyst-job claim, не deployer-job. Код ORCH-112/114 не модифицируется. |
|
||||
| TR-5 (R-5) | Откат FAILED (developer-retry cap) расходится с LLM-путём | Низ. | Сред. | Реальный `≠0` exit → тот же `advance_stage`-откат (`stage_engine.py:932`, тот же cap `MAX_DEVELOPER_RETRIES`), что у FAILED-вердикта LLM. Покрытие TC-07. |
|
||||
| TR-6 | **Инфра-сбой как код-фейл** (docker down / staging недоступен / таймаут → откат + расход developer-retry → петля) — анти-паттерн ORCH-110 | Сред. | Выс. | **Двухуровневый исход D5:** сюита исполнилась → verdict; tool-error/таймаут → bounded defer (`staging_runner_infra_max_retries`) → fail-closed `FAILED` + alert на исчерпании. Не жжёт developer-retry на инфре. Покрытие TC-10. |
|
||||
| TR-7 | Скоуп-дрейф: случайная правка `STAGE_TRANSITIONS`/`QG_CHECKS`/`check_*`/machine-key/схемы БД | Низ. | Выс. | NFR-1 — замена только *продюсера*. Анти-дрейф структурный тест TC-09; reviewer ловит ≥P1. Раннер пишет тот же `staging_status:` key, читается неизменённым `_parse_staging_status`. |
|
||||
| TR-8 | Сквозной бюджет времени (`reaper_max_running_s`) превышен суммой работ на ребре | Низ. | Сред. | Таймаут 600s ≤ прежнего LLM-окна (3–15 мин) → Σ(работ на ребре) не растёт → инвариант ORCH-065/109/110 сохранён **без** правки `reaper_max_running_s` (ADR D9). |
|
||||
| TR-9 | Рассинхрон карты LLM (`llm-call-sites.md`/roadmap/policy) с реализацией → красные анти-дрейф-тесты | Сред. | Сред. | Норматив сопровождения NFR-6 (ADR D11): точная спека правок + `test_llm_call_site_inventory.py`/`test_llm_determinization_docs.py` обновляются **атомарно с кодом** в development. Инвариант «ровно один `first_slice`» держать корректным. Покрытие TC-14. |
|
||||
| TR-10 | Self-hosting safety: раннер случайно рестартит 8500 / force-push в `main` / правит инфру | Низ. | Выс. | BR-7/AC-8: argv не содержит запрещённых литералов (TC-12); лог пишется в worktree + push в **фичеветку** (не main PR-merge, ADR D6); только чтение + staging-сюита (8501). |
|
||||
|
||||
## Сводный вывод
|
||||
|
||||
Доминирующий класс — **корректность диспетчеризации и обработки инфра-сбоев** (TR-1/TR-2/TR-6)
|
||||
на side-effectful ребре общего прод-инстанса (self-hosting). Все сняты опорой на **доказанные
|
||||
прецеденты** (D1/D2 перехват, `run_deploy_finalizer`, `proc_group`, transition-lease внутри
|
||||
`advance_stage`) и **двухуровневым исходом D5**, явно адресующим RCA-класс ORCH-110.
|
||||
Изменение **аддитивное, never-raise, под kill-switch с байт-в-байт откатом**; гейт/ребро/
|
||||
схема БД неизменны. Остаточный риск для прод-конвейера — **низкий**.
|
||||
|
||||
Эскалация **не требуется**: это не новая стадия/QG/смена БД (лейбл `arch:major-change` не
|
||||
ставится), ТЗ удовлетворяется без нарушения принципов (возврат в анализ не нужен). Единственное
|
||||
**инфра-предусловие** для включения в проде — доступность `docker exec` в `orchestrator-staging`
|
||||
(уже выполнено LLM-путём); до включения флага поведение байт-в-байт прежнее.
|
||||
134
docs/work-items/ORCH-115/12-review.md
Normal file
134
docs/work-items/ORCH-115/12-review.md
Normal file
@@ -0,0 +1,134 @@
|
||||
---
|
||||
verdict: APPROVED
|
||||
work_item: ORCH-115
|
||||
stage: review
|
||||
author_agent: reviewer
|
||||
status: approved
|
||||
created_at: 2026-06-16
|
||||
model_used: claude-opus-4-8
|
||||
type: review
|
||||
work_item_id: ORCH-115
|
||||
version: 1
|
||||
---
|
||||
|
||||
# Review ORCH-115 — детерминированный staging-раннер вместо LLM-деплойера
|
||||
|
||||
## Summary
|
||||
|
||||
Замена LLM-агента `deployer` на стадии `deploy-staging` (self-hosting `orchestrator`)
|
||||
детерминированным leaf `src/staging_runner.py`, перехватываемым в `launch_job` **до** `_spawn`
|
||||
(прецедент `deploy-finalizer`/`post-deploy-monitor`). Реализация строго соблюдает корневой
|
||||
инвариант NFR-1 — это замена **продюсера** артефакта `15-staging-log.md`, а **не** гейта:
|
||||
`STAGE_TRANSITIONS`, `QG_CHECKS`, `check_staging_status`/`_parse_staging_status`, machine-key
|
||||
`staging_status:` и схема БД — байт-в-байт не тронуты. Все FR-1…FR-7 реализованы, все
|
||||
AC-1…AC-12 выполнены, документация обновлена в том же PR на всех требуемых поверхностях,
|
||||
полный регресс зелёный (**2105 passed**), новый сьют (24 теста) зелёный, анти-дрейф LLM-карты
|
||||
зелёный.
|
||||
|
||||
**Вердикт: APPROVED** — P0/P1 findings отсутствуют.
|
||||
|
||||
## Проверка по осям
|
||||
|
||||
### 1. Соответствие ТЗ (`02-trz.md`) / критериям (`03-acceptance-criteria.md`)
|
||||
- **FR-1 / AC-1** — перехват в `launch_job` до `_spawn` при `agent=="deployer"` +
|
||||
`should_intercept` (стадия `deploy-staging` + `applies`); возвращает `None`, `_spawn` не
|
||||
вызывается, `agent_runs` не создаётся, `jobs`-строка ведётся `mark_job` через
|
||||
`_run_staging_runner_job` (зеркало `_run_deploy_finalizer_job`). ✅ (TC-05)
|
||||
- **FR-2 / AC-9 / AC-8** — та же каноническая staging-сюита через `proc_group.run_in_process_group`
|
||||
(tree-kill, таймаут). Команда из config (без host-хардкодов). ✅ (TC-11/TC-12)
|
||||
- **FR-3 / AC-3** — exit-код → `staging_status:` через **единый** контракт
|
||||
`self_deploy.map_exit_code_to_status` (`0→SUCCESS`, иначе/None/нечисло→`FAILED`), второй маппинг
|
||||
не введён. ✅ (TC-02)
|
||||
- **FR-4 / AC-2** — `15-staging-log.md` с `staging_status: SUCCESS|FAILED` (UPPERCASE) + полной
|
||||
52c-схемой (`work_item`/`stage: deploy-staging`/`author_agent: staging-runner`/`status`/
|
||||
`created_at`/`model_used: n/a`); INFRA-WAIVED копируется в тело; best-effort commit/push в
|
||||
**фичеветку** (не в `main`), гейт читает worktree первым (`check_staging_status` lookup order
|
||||
подтверждён в `src/qg/checks.py:627`). ✅ (TC-03/TC-04)
|
||||
- **FR-5 / AC-4** — после вердикта вызывается существующий
|
||||
`advance_stage(current_stage="deploy-staging", finished_agent="deployer")` — параметры в точности
|
||||
соответствуют сигнатуре `stage_engine.advance_stage:191` и зеркалят `run_deploy_finalizer:2092`;
|
||||
SUCCESS → под-гейты + Phase A; FAILED → существующий откат `deploy-staging → development`
|
||||
(`stage_engine.py:932`, ветка `agent=="deployer" and qg=="check_staging_status"`). Новой ветви
|
||||
маршрутизации нет. ✅ (TC-07/TC-10)
|
||||
- **FR-6 / AC-6** — kill-switch `staging_runner_enabled` + скоуп `staging_runner_repos` (пусто →
|
||||
self-hosting only через `is_self_hosting_repo`); `applies` проверяется первым, при выключенном
|
||||
флаге `_spawn` LLM-deployer'а байт-в-байт. ✅ (TC-01/TC-08)
|
||||
- **FR-7 / AC-10** — read-only блок `staging_runner` в `GET /queue` + один структурный лог-вердикт
|
||||
на прогон, различающий `code-pass`/`code-fail`/`tool-error`. ✅ (TC-13)
|
||||
- **AC-7 (never-raise)** — все публичные функции изолированы; tool-error (spawn-error/таймаут/
|
||||
`returncode None`) даёт bounded DEFER, затем fail-closed FAILED; никогда тихий advance/ложный
|
||||
green. ✅ (TC-10)
|
||||
- **AC-12** — `pytest tests/ -q` зелёный (2105 passed); новый `tests/test_orch115_staging_runner.py`
|
||||
зелёный (24 теста, покрытие leaf 83%; непокрытые строки — исключительно defensive `except`-ветви
|
||||
never-raise). ✅
|
||||
|
||||
### 2. Соответствие ADR (`06-adr/ADR-001` + сквозной `adr-0048`)
|
||||
- D1–D11 реализованы как зафиксировано: точка диспетчеризации (перехват до `_spawn`, дискриминатор
|
||||
по **стадии задачи**, не по имени роли — защита от перехвата прод-`deploy` deployer'а, TC-06),
|
||||
чистота leaf'а (на импорте только `config`/`proc_group`; `db`/`git_worktree`/`stage_engine`/
|
||||
`qg.checks`/`self_deploy`/`notifications` — лениво), переиспользование `proc_group` и единого
|
||||
маппинга, **двухуровневый исход D5 (анти-ORCH-110)** — инфра-сбой ≠ код-фейл, restart-safe
|
||||
маркер-счётчик в `task_content` без правки схемы БД, push только в фичеветку, инициация
|
||||
существующего гейта, бюджет времени без правки `reaper_max_running_s`, наблюдаемость.
|
||||
- **Инвариант NFR-1 / AC-5 соблюдён байт-в-байт** — анти-дрейф TC-09 подтверждает неизменность
|
||||
`STAGE_TRANSITIONS["deploy-staging"]`, наличие `check_staging_status` в `QG_CHECKS`, отсутствие
|
||||
новых таблиц/колонок, неизменность machine-key `staging_status:`.
|
||||
- **Граница O1 (трассировка маркеров)** — код ORCH-114 (`transition_lease`) и ORCH-112
|
||||
(`checkout_hygiene`) не модифицируется; lease берётся **внутри** `advance_stage`, раннер его не
|
||||
трогает — зафиксированный инвариант цепочки ORCH-110/111/112/113/114 не сломан.
|
||||
|
||||
### 3. Качество кода
|
||||
- Docstrings на всех публичных функциях; следование установленным паттернам (`self_deploy`/
|
||||
`proc_group`/`merge_gate`); классификация `suite_ran = returncode is not None and not timed_out`
|
||||
корректно трактует timeout-kill (returncode может быть `-9`, но `timed_out=True`) как tool-error,
|
||||
а не код-фейл.
|
||||
- Сверены все интеграционные сигнатуры: `ProcResult`, `run_in_process_group(grace_s/tree_kill)`,
|
||||
`enqueue_job(available_at_delay_s)`, `mark_job`, `get_worktree_path`, `link_for`/`send_telegram`,
|
||||
`is_self_hosting_repo`/`SELF_HOSTING_REPO` — все совпадают.
|
||||
- **Self-hosting safety (AC-8/BR-7)** — в командной строке нет рестарта 8500 / `docker compose up`
|
||||
/ `--build` / force-push / правок `.env`; git push строго в фичеветку, никогда в `main`. ✅ (TC-12)
|
||||
- Багфикс-трек (BR-4) неприменим: ORCH-115 — полный цикл (метка не `Bug`, прошёл `architecture`),
|
||||
регресс-тест-фиксатор не требуется; покрытие обеспечено новым сьютом.
|
||||
|
||||
### 4. Документация (обязательная проверка)
|
||||
`src/` изменён → документация обновлена **в том же PR** на всех требуемых поверхностях:
|
||||
- `CLAUDE.md` (раздел-паспорт ORCH-115), `CHANGELOG.md` (`[Unreleased]`).
|
||||
- `docs/architecture/README.md` (компонент Staging-runner + adr-link), `internals.md`
|
||||
(детерминированные перехваты `launch_job`).
|
||||
- Норматив сопровождения ORCH-118: `llm-call-sites.md` (A6 — срез реализован, машинный
|
||||
`ORCH-118-INVENTORY-BLOCK` сохраняет deployer `avoidable=yes`/`axis=C` как fallback),
|
||||
`llm-determinization-roadmap.md` (rank 1 — ✅, инвариант «ровно один `first_slice`» цел),
|
||||
`llm-usage-policy.md` (§5 — единственный транспорт S0 не нарушен). Анти-дрейф
|
||||
`tests/test_llm_call_site_inventory.py` / `test_llm_determinization_docs.py` зелёные (TC-14).
|
||||
- **Витрина системы `docs/overview/` (ORCH-011)** — обновлены `tech-pipeline.md`, `tech-agents.md`,
|
||||
`tech-quality-security.md`; `tests/test_system_docs.py` зелёный.
|
||||
- `.openclaw/agents/deployer.md` (LLM-ветвь `deploy-staging` — fallback), `.env.example` (5 ключей),
|
||||
ADR work-item + сквозной `adr-0048`.
|
||||
- **README «Известные ограничения» (ORCH-079)** — корректно не тронут: ни один из трёх открытых
|
||||
пунктов (Telegram 48h / intra-repo deps / batch-autonomy) не закрывается ORCH-115; ложного
|
||||
«решённое за открытое» нет.
|
||||
|
||||
## Findings
|
||||
|
||||
### P0 — Blocker
|
||||
- Нет.
|
||||
|
||||
### P1 — Must fix
|
||||
- Нет.
|
||||
|
||||
### P2 — Should fix
|
||||
- Нет.
|
||||
|
||||
### P3 — Nice-to-have
|
||||
- [ ] `run_staging_gate` при отсутствии `work_item_id`/`branch` (повреждённая строка `tasks` —
|
||||
задача на `deploy-staging` без branch) делает ранний `return`; обёртка `_run_staging_runner_job`
|
||||
затем помечает джоб `done`, оставляя задачу «висеть» на `deploy-staging` до ре-драйва
|
||||
reconciler/reaper. Это крайний кейс (любая задача на `deploy-staging` имеет branch), логируется
|
||||
как ERROR и согласуется с never-raise-контрактом, но опционально можно сделать defensive-defer
|
||||
вместо `done`-без-эффекта. Не блокирует приёмку.
|
||||
|
||||
## Документация
|
||||
Обновлена полностью и в том же PR. Изменение `src/` сопровождено синхронным обновлением паспорта,
|
||||
чейнджлога, архитектурных доков, LLM-карты/roadmap/политики (+ зелёные анти-дрейф тесты), витрины
|
||||
`docs/overview/` (ORCH-011), промпта `deployer.md`, `.env.example` и обоих ADR. Обзорная витрина
|
||||
README не требует правок (нет закрытого ORCH-115 пункта). Документационная ось — **PASS**.
|
||||
95
docs/work-items/ORCH-115/13-test-report.md
Normal file
95
docs/work-items/ORCH-115/13-test-report.md
Normal file
@@ -0,0 +1,95 @@
|
||||
---
|
||||
result: PASS
|
||||
work_item: ORCH-115
|
||||
stage: testing
|
||||
author_agent: tester
|
||||
status: pass
|
||||
created_at: 2026-06-16
|
||||
model_used: claude-opus-4-8
|
||||
type: test-report
|
||||
work_item_id: ORCH-115
|
||||
---
|
||||
|
||||
# Test Report — ORCH-115 — детерминированный staging-раннер вместо LLM-деплойера
|
||||
|
||||
## Окружение
|
||||
- Python: 3.12.13
|
||||
- pytest: 8.3.3 (plugins: cov-5.0.0, anyio-4.13.0, asyncio-0.23.8)
|
||||
- Worktree (изолированный, ветка задачи): `/repos/_wt/orchestrator/feature_ORCH-115-orch-replace-llm-deployer-with`
|
||||
- Ветка: `feature/ORCH-115-orch-replace-llm-deployer-with`
|
||||
- Дата: 2026-06-16
|
||||
- Review verdict (`12-review.md`): **APPROVED** (P0/P1 — нет) ✅ предусловие стадии выполнено
|
||||
|
||||
## Команды
|
||||
- Полный регресс: `pytest tests/ -q --tb=short`
|
||||
- Целевой сьют + анти-дрейф LLM: `pytest tests/test_orch115_staging_runner.py tests/test_llm_call_site_inventory.py tests/test_llm_determinization_docs.py -v`
|
||||
- Покрытие leaf: `pytest tests/test_orch115_staging_runner.py --cov=src.staging_runner --cov-report=term-missing`
|
||||
- Smoke (read-only): `curl -s http://localhost:8500/{health,status,queue}`
|
||||
|
||||
## Результаты — покрытие плана тестов (`04-test-plan.yaml`)
|
||||
|
||||
Каждый TC сопоставлен с критериями `03-acceptance-criteria.md` и подтверждён конкретными
|
||||
тест-функциями.
|
||||
|
||||
| TC ID | Тип | Описание (кратко) | AC | Тест-функции | Результат |
|
||||
|-------|-----|-------------------|----|--------------|-----------|
|
||||
| TC-01 | unit | `applies(repo)`: kill-switch / скоуп / not-self / never-raise→False | AC-6/AC-7 | `test_tc01_applies_killswitch_and_scope`, `test_tc01_applies_never_raises` | PASS |
|
||||
| TC-02 | unit | Маппинг exit-кода `0→SUCCESS`, иначе/None→`FAILED` (контракт `self_deploy.map_exit_code_to_status`) | AC-3 | `test_tc02_map_exit_code` | PASS |
|
||||
| TC-03 | unit | Рендер `15-staging-log.md`: `staging_status:` UPPERCASE + 52c-схема; INFRA-WAIVED в тело | AC-2 | `test_tc03_log_render_schema_and_infra_waived` | PASS |
|
||||
| TC-04 | integration | Лог читается **неизменённым** `_parse_staging_status` для SUCCESS/FAILED | AC-2 | `test_tc04_gate_parser_unchanged` | PASS |
|
||||
| TC-05 | integration | `launch_job` перехватывает до `_spawn`, нет `agent_runs`, `mark_job` ведёт строку | AC-1 | `test_tc05_launch_job_intercepts_before_spawn` | PASS |
|
||||
| TC-06 | integration | Дискриминатор стадии: `deploy` (prod) и not-self репо НЕ перехватываются | AC-1 | `test_tc06_stage_discriminator_prod_not_intercepted`, `test_tc06_non_self_repo_not_intercepted` | PASS |
|
||||
| TC-07 | integration | SUCCESS/FAILED → `advance_stage(finished_agent="deployer")` как у LLM | AC-4 | `test_tc07_advance_initiated_like_llm[0-SUCCESS]`, `[1-FAILED]` | PASS |
|
||||
| TC-08 | integration | Kill-switch `=False` → прежний LLM-путь через `_spawn` (байт-в-байт) | AC-6 | `test_tc08_killswitch_falls_back_to_spawn` | PASS |
|
||||
| TC-09 | unit | Анти-дрейф NFR-1: `STAGE_TRANSITIONS`/`QG_CHECKS`/`staging_status:`/схема БД неизменны | AC-5 | `test_tc09_pipeline_contract_unchanged` | PASS |
|
||||
| TC-10 | integration | never-raise/fail-safe: ненулевой→FAILED+advance; таймаут→DEFER; бюджет исчерпан→FAILED; раннер не падает | AC-7 | `test_tc10_nonzero_exit_is_failed_and_advances`, `test_tc10_timeout_defers_without_advance`, `test_tc10_tool_error_budget_exhausted_fails_closed`, `test_tc10_run_gate_never_raises`, `test_tc10_launcher_contains_runner_fault` | PASS |
|
||||
| TC-11 | unit | Таймаут `staging_runner_timeout_s`; малформ→дефолт+WARNING; передаётся в `proc_group` | AC-9 | `test_tc11_resolve_timeout_default_on_bad_value`, `test_tc11_timeout_passed_to_proc_group` | PASS |
|
||||
| TC-12 | unit | Self-hosting safety: нет запрещённых литералов (рестарт 8500 / `up` / `--build` / force-push) | AC-8 | `test_tc12_command_has_no_dangerous_literals` | PASS |
|
||||
| TC-13 | integration | Наблюдаемость: блок `staging_runner` в `/queue` + структурный лог-вердикт (различает код-фейл/tool-error) | AC-10 | `test_tc13_snapshot_shape`, `test_tc13_queue_endpoint_includes_block`, `test_tc13_structured_verdict_log_distinguishes_outcomes`, `test_tc13_snapshot_never_raises` | PASS |
|
||||
| TC-14 | integration | Анти-дрейф LLM-карты: `llm-call-sites.md`(A6)/roadmap/policy обновлены, анти-дрейф зелёный | AC-11 | `test_llm_call_site_inventory.py` (9 тестов), `test_llm_determinization_docs.py` (3 теста) | PASS |
|
||||
|
||||
**Итог по плану: 14/14 TC выполнены и PASS.** Каждый AC (AC-1…AC-12) покрыт; AC-12 (полный регресс)
|
||||
подтверждён прогоном всего `tests/`.
|
||||
|
||||
## Smoke API (read-only, prod 8500)
|
||||
- `GET /health` → `{"status":"ok","service":"orchestrator"}` ✅
|
||||
- `GET /status` → отвечает, активные задачи перечислены (включая ORCH-115 на `testing`) ✅
|
||||
- `GET /queue` → отвечает; блок **`serial_gate`** присутствует (ORCH-088) ✅; блок **`auto_labels`**
|
||||
присутствует ✅. Полный набор ключей: `auto_labels, bug_fast_track, build_cache_prune,
|
||||
checkout_hygiene, counts, coverage, disk_monitor, fs_ownership, lessons, max_concurrency,
|
||||
merge_gate, merge_verify, poll_interval, post_deploy, reaper, recent, reconcile, resilience,
|
||||
serial_gate, stop, task_deps, transition_lease`.
|
||||
|
||||
> Примечание: read-only блок `staging_runner` (FR-7) на боевом 8500 ещё отсутствует — это ожидаемо,
|
||||
> т.к. ORCH-115 не задеплоен в прод. Наличие блока в коде ветки подтверждено тестами TC-13
|
||||
> (`test_tc13_queue_endpoint_includes_block`). Это **не** регресс смока: обязательный для смока
|
||||
> блок `serial_gate` присутствует.
|
||||
|
||||
## Покрытие нового кода
|
||||
`src/staging_runner.py` — **83%** (211 стэйтментов, 36 непокрытых). Непокрытые строки —
|
||||
исключительно defensive `except`-ветви контракта never-raise (согласовано с `12-review.md`).
|
||||
|
||||
## Вывод pytest
|
||||
|
||||
Полный регресс:
|
||||
```
|
||||
........................................................................ [100%]
|
||||
2105 passed, 1 warning in 93.61s (0:01:33)
|
||||
```
|
||||
|
||||
Целевой сьют ORCH-115 + анти-дрейф LLM:
|
||||
```
|
||||
tests/test_orch115_staging_runner.py ......................... (24 passed)
|
||||
tests/test_llm_call_site_inventory.py ......................... (9 passed)
|
||||
tests/test_llm_determinization_docs.py ...................... (3 passed)
|
||||
======================== 37 passed, 1 warning in 1.80s =========================
|
||||
```
|
||||
|
||||
Единственное предупреждение — `PydanticDeprecatedSince20` (class-based `config`), не относится к
|
||||
ORCH-115, присутствовало до изменения.
|
||||
|
||||
## Итог
|
||||
**PASS** — полный регресс зелёный (2105 passed), целевой сьют (24 теста) и анти-дрейф LLM-карты
|
||||
(12 тестов) зелёные, все 14 TC выполнены и сопоставлены с AC, smoke read-only OK (`serial_gate` и
|
||||
`auto_labels` присутствуют в `/queue`). Машинный вердикт: `result: PASS` → задача переходит на
|
||||
`deploy-staging`.
|
||||
12
docs/work-items/ORCH-115/14-deploy-log.md
Normal file
12
docs/work-items/ORCH-115/14-deploy-log.md
Normal file
@@ -0,0 +1,12 @@
|
||||
---
|
||||
deploy_status: SUCCESS
|
||||
work_item: ORCH-115
|
||||
hook_exit_code: 0
|
||||
deployed_by: deploy-finalizer
|
||||
---
|
||||
|
||||
# Deploy log — ORCH-036 executable self-deploy
|
||||
|
||||
Прод-деплой завершён хост-хуком с exit-code `0` -> `deploy_status: SUCCESS`.
|
||||
|
||||
Вердикт зафиксирован детерминированным finalizer'ом (Фаза C), не LLM.
|
||||
39
docs/work-items/ORCH-115/15-staging-log.md
Normal file
39
docs/work-items/ORCH-115/15-staging-log.md
Normal file
@@ -0,0 +1,39 @@
|
||||
---
|
||||
staging_status: SUCCESS
|
||||
work_item: ORCH-115
|
||||
stage: deploy-staging
|
||||
author_agent: deployer
|
||||
status: success
|
||||
created_at: 2026-06-16
|
||||
model_used: claude-opus-4-8
|
||||
timestamp: 2026-06-15T23:14:17Z
|
||||
base_url: http://localhost:8501
|
||||
---
|
||||
|
||||
# Staging Gate Log
|
||||
|
||||
Staging test suite completed against the live `orchestrator-staging` container
|
||||
(8501) via `docker exec` (Docker Engine API over the mounted socket). The suite
|
||||
ran inside the container so the B6 registry-isolation check reads the registry
|
||||
from the running instance's own process-env (`.env.staging`).
|
||||
|
||||
**Command:**
|
||||
```
|
||||
docker exec orchestrator-staging \
|
||||
python3 /repos/orchestrator/scripts/staging_check.py \
|
||||
--base-url http://localhost:8501 --mode stub
|
||||
```
|
||||
|
||||
**Result: 8/10 checks PASS — exit code 0 → `staging_status: SUCCESS`.**
|
||||
|
||||
- REAL failed: none
|
||||
- All Block A (SMOKE A1–A3), Block B (ACCESS B4–B6), and Block C creation/trigger
|
||||
checks (C7, C8) passed.
|
||||
|
||||
INFRA-WAIVED: C9a Branch appears in orchestrator-sandbox, C9b Analyst job enqueued in staging queue (known sandbox-infra; real checks green)
|
||||
VERDICT: SUCCESS (exit 0) — SUCCESS (infra-waived): ['C9a Branch appears in orchestrator-sandbox', 'C9b Analyst job enqueued in staging queue'] are known sandbox-infra checks; all real checks green
|
||||
|
||||
Per ORCH-061 waiver tolerance (`staging_infra_tolerance_enabled=True`), the two
|
||||
infra-only checks C9a/C9b depend on SANDBOX bot accounts being project members —
|
||||
not on the pipeline — and are tolerated when every REAL check is green. The
|
||||
script exits 0. Exit-code → verdict mapping is unchanged: trust the exit code.
|
||||
@@ -385,6 +385,14 @@ class AgentLauncher:
|
||||
(no-LLM) job — intercept it BEFORE _spawn (which would raise
|
||||
"Unknown agent", R-6) and run the deploy finalizer synchronously, driving
|
||||
the jobs row status itself. Returns None (no agent_run row).
|
||||
|
||||
ORCH-115: the LLM ``deployer`` on the ``deploy-staging`` stage (self-hosting
|
||||
scope) is replaced by a DETERMINISTIC staging-runner — intercepted here
|
||||
BEFORE _spawn (same precedent as deploy-finalizer / post-deploy-monitor). The
|
||||
discriminator is the TASK STAGE (deploy-staging), not the role name, so the
|
||||
prod ``deploy`` deployer is never caught (staging_runner.should_intercept).
|
||||
Kill-switch off / out of scope -> should_intercept False -> the prior LLM
|
||||
deployer runs via _spawn byte-for-byte.
|
||||
"""
|
||||
if job.get("agent") == "deploy-finalizer":
|
||||
return self._run_deploy_finalizer_job(job)
|
||||
@@ -393,6 +401,11 @@ class AgentLauncher:
|
||||
# observation tick synchronously. Returns None (no agent_run row).
|
||||
if job.get("agent") == "post-deploy-monitor":
|
||||
return self._run_post_deploy_monitor_job(job)
|
||||
# ORCH-115: deterministic staging-runner intercept (BEFORE _spawn).
|
||||
if job.get("agent") == "deployer":
|
||||
from .. import staging_runner
|
||||
if staging_runner.should_intercept(job):
|
||||
return self._run_staging_runner_job(job)
|
||||
return self._spawn(
|
||||
job["agent"],
|
||||
job["repo"],
|
||||
@@ -422,6 +435,28 @@ class AgentLauncher:
|
||||
pass
|
||||
return None
|
||||
|
||||
def _run_staging_runner_job(self, job: dict):
|
||||
"""ORCH-115: run the deterministic staging gate for a deployer job.
|
||||
|
||||
Not an LLM spawn — there is no subprocess/monitor of an agent, so we mark the
|
||||
jobs row done/failed here (mirror of _run_deploy_finalizer_job). The runner
|
||||
never-raises, but we guard anyway so a runner fault can't wedge the worker.
|
||||
Returns None (no agent_run row, _spawn not called).
|
||||
"""
|
||||
from ..db import mark_job
|
||||
from .. import staging_runner
|
||||
try:
|
||||
staging_runner.run_staging_gate(job)
|
||||
mark_job(job["id"], "done")
|
||||
logger.info(f"staging-runner job {job['id']} done")
|
||||
except Exception as e:
|
||||
logger.error(f"staging-runner job {job['id']} failed: {e}")
|
||||
try:
|
||||
mark_job(job["id"], "failed", error=f"staging-runner error: {e}")
|
||||
except Exception:
|
||||
pass
|
||||
return None
|
||||
|
||||
def _run_post_deploy_monitor_job(self, job: dict):
|
||||
"""ORCH-021: run one deterministic post-deploy monitor tick for a job.
|
||||
|
||||
|
||||
@@ -413,6 +413,51 @@ class Settings(BaseSettings):
|
||||
coverage_tool_fail_closed: bool = False
|
||||
coverage_run_timeout_s: int = 900
|
||||
|
||||
# ORCH-115: deterministic staging-runner replacing the LLM `deployer` agent on
|
||||
# the `deploy-staging` stage for the self-hosting orchestrator. A new leaf
|
||||
# src/staging_runner.py (never-raise) is intercepted in launch_job BEFORE _spawn
|
||||
# (mirroring the deploy-finalizer / post-deploy-monitor reserved-agent
|
||||
# precedent, launcher.py:389/394): it runs the SAME staging suite the LLM ran
|
||||
# (`docker exec orchestrator-staging python3 .../staging_check.py`), maps the
|
||||
# exit-code -> staging_status: via the existing self_deploy.map_exit_code_to_status
|
||||
# contract, writes 15-staging-log.md, and initiates the EXISTING check_staging_status
|
||||
# gate exactly as a finished LLM-deployer would. The artifact contract, the gate,
|
||||
# STAGE_TRANSITIONS and the DB schema are byte-for-byte UNCHANGED — this only
|
||||
# replaces the *producer* of the artifact. Pattern = coverage_gate_* / self_deploy_*.
|
||||
# See docs/work-items/ORCH-115/06-adr/ADR-001-deterministic-staging-runner.md and
|
||||
# docs/architecture/adr/adr-0048-deterministic-staging-runner.md.
|
||||
# staging_runner_enabled -> SINGLE kill-switch (env
|
||||
# ORCH_STAGING_RUNNER_ENABLED). False -> the
|
||||
# intercept never fires -> the prior LLM
|
||||
# deployer runs on deploy-staging via _spawn
|
||||
# byte-for-byte as before ORCH-115 (D8/AC-6).
|
||||
# staging_runner_repos -> CSV scope (env ORCH_STAGING_RUNNER_REPOS).
|
||||
# Empty -> self-hosting only (orchestrator)
|
||||
# via is_self_hosting_repo; non-empty ->
|
||||
# membership. Mirrors coverage_gate_repos.
|
||||
# staging_runner_timeout_s -> wall-clock budget for the docker-exec
|
||||
# staging suite (env ORCH_STAGING_RUNNER_TIMEOUT_S).
|
||||
# Malformed/non-positive -> default + WARNING
|
||||
# (never-break). Aligned with the cross-cutting
|
||||
# budget invariant ORCH-065/109/110 WITHOUT
|
||||
# touching reaper_max_running_s (D9): it replaces
|
||||
# the up-to-900s LLM staging window with a bounded
|
||||
# <=600s deterministic one (Σ on the edge does not grow).
|
||||
# staging_runner_infra_max_retries -> tool-error (suite did NOT execute: spawn-error /
|
||||
# timeout / returncode None) bounded DEFER budget
|
||||
# before a fail-closed FAILED (env
|
||||
# ORCH_STAGING_RUNNER_INFRA_MAX_RETRIES). Mirrors
|
||||
# merge_retest_infra_max_retries — infra hiccup is
|
||||
# NOT a code-fault, so it never burns a developer-retry
|
||||
# until the budget is exhausted (D5, anti ORCH-110).
|
||||
# staging_runner_infra_retry_delay_s-> delay before the re-queued deployer job
|
||||
# (env ORCH_STAGING_RUNNER_INFRA_RETRY_DELAY_S).
|
||||
staging_runner_enabled: bool = True
|
||||
staging_runner_repos: str = ""
|
||||
staging_runner_timeout_s: int = 600
|
||||
staging_runner_infra_max_retries: int = 2
|
||||
staging_runner_infra_retry_delay_s: int = 30
|
||||
|
||||
# ORCH-098 (FND/F2): machine lessons-journal — additive `lessons` table + leaf
|
||||
# src/lessons.py (never-raise observer, by образцу serial_gate/coverage_gate/
|
||||
# metrics). The journal is an OBSERVER, never a Quality Gate: writing a lesson
|
||||
|
||||
@@ -235,6 +235,7 @@ async def queue():
|
||||
from . import lessons
|
||||
from . import checkout_hygiene
|
||||
from . import transition_lease
|
||||
from . import staging_runner
|
||||
from .disk_watchdog import disk_watchdog
|
||||
from .build_cache_pruner import build_cache_pruner
|
||||
return {
|
||||
@@ -283,6 +284,11 @@ async def queue():
|
||||
# (owner/stage/age/live) + defer/reclaim/CAS-lost counters. Additive block;
|
||||
# never-raise.
|
||||
"transition_lease": transition_lease.snapshot(),
|
||||
# ORCH-115 (FR-7 / AC-10): deterministic staging-runner observability
|
||||
# (read-only) — kill-switch, scope, timeout/infra budget + run/success/
|
||||
# failed/tool_error/deferred counters, so a code-fail FAILED is distinguishable
|
||||
# from an infra tool-error. Additive block; never-raise.
|
||||
"staging_runner": staging_runner.snapshot(),
|
||||
# ORCH-098 (FR-4 / AC-4): lessons-journal observability (read-only) —
|
||||
# kill-switch + counts by type/status + last N lessons. Additive block;
|
||||
# never-raise (snapshot() returns {"enabled": ...} minimum on error).
|
||||
|
||||
581
src/staging_runner.py
Normal file
581
src/staging_runner.py
Normal file
@@ -0,0 +1,581 @@
|
||||
"""Deterministic staging-runner (ORCH-115).
|
||||
|
||||
The `deploy-staging` stage for the self-hosting ``orchestrator`` repo was driven by
|
||||
the LLM ``deployer`` agent, but the actual work is purely deterministic
|
||||
(``.openclaw/agents/deployer.md`` steps 1-4): run the staging suite, map its
|
||||
**exit-code** to a verdict (``0 -> SUCCESS``, else ``FAILED``), write
|
||||
``15-staging-log.md`` and commit it. This leaf replaces that LLM consultation with
|
||||
deterministic code, intercepted in ``launcher.launch_job`` BEFORE ``_spawn`` (the
|
||||
``deploy-finalizer`` / ``post-deploy-monitor`` reserved-agent precedent,
|
||||
``launcher.py:389/394``).
|
||||
|
||||
What is and is NOT changed (NFR-1, the critical invariant):
|
||||
* UNCHANGED — the artifact contract (``15-staging-log.md`` with
|
||||
``staging_status: SUCCESS|FAILED``), the gate ``check_staging_status`` /
|
||||
``_parse_staging_status``, ``STAGE_TRANSITIONS``, the DB schema. This module
|
||||
replaces only the *producer* of the artifact, never the gate that reads it.
|
||||
* NEW — a deterministic producer + a launch_job intercept. Under a kill-switch +
|
||||
repo-scope CSV; fail-safe back to the LLM path when off / out of scope.
|
||||
|
||||
This module is a **leaf** (mirror of ``self_deploy`` / ``proc_group`` /
|
||||
``staging_verdict``): it imports only ``config`` / ``logging`` / ``proc_group`` at
|
||||
module load; ``db`` / ``git_worktree`` / ``self_deploy.map_exit_code_to_status`` /
|
||||
``qg.checks`` / ``stage_engine.advance_stage`` / ``notifications`` are imported
|
||||
LAZILY inside functions so the heavy ``stage_engine`` is never pulled at import and
|
||||
no import cycle forms (pattern: ``transition_lease`` / ``merge_gate``). Every public
|
||||
function honours a **never-raise** contract (AC-7): a staging-infra hiccup can never
|
||||
crash the worker / wedge the queue.
|
||||
|
||||
Two-level outcome (D5 — the key safety decision, anti ORCH-110):
|
||||
* the suite EXECUTED (a real exit-code, 0 or non-zero) -> trust the code:
|
||||
``0 -> SUCCESS -> advance``; ``!=0 -> FAILED -> the existing rollback
|
||||
deploy-staging -> development`` (same developer-retry path as a FAILED LLM
|
||||
verdict). ORCH-061 infra-tolerance is already INSIDE ``staging_check.py`` — the
|
||||
runner never re-judges it (BR-4).
|
||||
* the suite did NOT execute (tool-error: spawn-error / timeout / ``returncode is
|
||||
None``) -> an infra fault, NOT a code fault -> a bounded DEFER (re-queue a fresh
|
||||
``deployer`` job with a delay + a restart-safe marker). On budget exhaustion ->
|
||||
fail-closed ``FAILED`` + advance + alert. So the runner NEVER does a silent
|
||||
advance / false green, and NEVER wedges the queue, but does NOT burn a
|
||||
developer-retry on transient infra.
|
||||
"""
|
||||
|
||||
import logging
|
||||
import time
|
||||
|
||||
from .config import settings
|
||||
from . import proc_group
|
||||
|
||||
logger = logging.getLogger("orchestrator.staging_runner")
|
||||
|
||||
# Platform service literal — the staging compose service the suite runs inside.
|
||||
# Already an accepted platform literal (mirror image_freshness._STAGING_SERVICE);
|
||||
# NOT a host hardcode (test_no_host_hardcodes forbids host IP/home/hostname only).
|
||||
STAGING_SERVICE = "orchestrator-staging"
|
||||
|
||||
# Default wall-clock budget for the docker-exec staging suite (D9). Kept <= the LLM
|
||||
# staging window it replaces so Σ(work on the deploy-staging edge) does not grow and
|
||||
# the cross-cutting reaper invariant (ORCH-065/109/110) holds WITHOUT touching
|
||||
# reaper_max_running_s.
|
||||
_DEFAULT_TIMEOUT_S = 600
|
||||
|
||||
_GIT_TIMEOUT = 60
|
||||
|
||||
# Restart-safe DEFER marker (counted from the persisted jobs queue, mirror of
|
||||
# stage_engine._merge_infra_retry_count). Embedded verbatim in the re-queued job's
|
||||
# task_content so a service restart never resets the infra-retry budget.
|
||||
_INFRA_RETRY_MARKER = "staging-runner infra-retry"
|
||||
|
||||
# In-process observability counters (mirror merge_gate._MERGE_GATE_COUNTERS, ORCH-110).
|
||||
_STAGING_RUNNER_COUNTERS: dict = {
|
||||
"runs": 0, # run_staging_gate entered
|
||||
"success": 0, # suite ran, exit 0 -> SUCCESS
|
||||
"failed": 0, # suite ran non-zero, OR infra budget exhausted -> FAILED
|
||||
"tool_error": 0, # suite did NOT execute (spawn-error / timeout / None)
|
||||
"deferred": 0, # bounded infra DEFER (re-queued)
|
||||
}
|
||||
|
||||
|
||||
def _bump(key: str) -> None:
|
||||
"""Increment an observability counter. Never raises."""
|
||||
try:
|
||||
_STAGING_RUNNER_COUNTERS[key] += 1
|
||||
except Exception: # noqa: BLE001 - observability must never break a decision
|
||||
pass
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# Conditionality (D8 / FR-6 / AC-6)
|
||||
# ---------------------------------------------------------------------------
|
||||
def applies(repo: str) -> bool:
|
||||
"""Whether the deterministic staging-runner is REAL for ``repo``.
|
||||
|
||||
Mirrors ``self_deploy_applies`` / ``coverage_gate``:
|
||||
* ``staging_runner_enabled=False`` -> always False (global kill-switch); the
|
||||
legacy LLM-deployer path runs on deploy-staging via ``_spawn``.
|
||||
* ``staging_runner_repos`` (CSV) non-empty -> only the listed repos.
|
||||
* empty CSV -> only the self-hosting repo (``orchestrator``), which is the only
|
||||
one with a staging instance.
|
||||
Checked FIRST in ``should_intercept`` (local, no network, no DB) so a disabled
|
||||
flag costs nothing. never-raise -> False (fail-safe to the prior LLM path).
|
||||
"""
|
||||
try:
|
||||
if not settings.staging_runner_enabled:
|
||||
return False
|
||||
raw = (settings.staging_runner_repos or "").strip()
|
||||
if raw:
|
||||
allowed = {r.strip().lower() for r in raw.split(",") if r.strip()}
|
||||
return (repo or "").strip().lower() in allowed
|
||||
# Lazy import keeps this module a leaf (no qg import at module load).
|
||||
from .qg.checks import is_self_hosting_repo
|
||||
return is_self_hosting_repo(repo)
|
||||
except Exception as e: # noqa: BLE001 - never-raise contract
|
||||
logger.warning("staging_runner.applies error for %s: %s", repo, e)
|
||||
return False
|
||||
|
||||
|
||||
def should_intercept(job: dict) -> bool:
|
||||
"""True iff this ``deployer`` job is the deterministic staging-suite job (D1).
|
||||
|
||||
The discriminator of "staging vs prod" is the TASK STAGE, not the role name
|
||||
(``deployer`` owns both ``deploy-staging`` and ``deploy``): intercept iff
|
||||
``agent == "deployer"`` AND the task's ``tasks.stage == "deploy-staging"`` AND
|
||||
``applies(repo)``. For self-hosting the prod ``deploy`` edge runs Phase A (no
|
||||
deployer spawn); for non-self repos ``applies`` is False, so a non-self prod
|
||||
``deployer`` job is never intercepted (R-1 / TC-06).
|
||||
|
||||
never-raise -> False (a DB-lookup failure falls through to ``_spawn``, fail-safe
|
||||
to the prior LLM path).
|
||||
"""
|
||||
try:
|
||||
if (job.get("agent") or "") != "deployer":
|
||||
return False
|
||||
# applies() FIRST (local, no DB): disabled flag -> zero DB overhead.
|
||||
if not applies(job.get("repo")):
|
||||
return False
|
||||
task_id = job.get("task_id")
|
||||
if task_id is None:
|
||||
return False
|
||||
from .db import get_db
|
||||
conn = get_db()
|
||||
row = conn.execute("SELECT stage FROM tasks WHERE id=?", (task_id,)).fetchone()
|
||||
conn.close()
|
||||
if not row:
|
||||
return False
|
||||
return (row[0] or "") == "deploy-staging"
|
||||
except Exception as e: # noqa: BLE001 - never-raise contract
|
||||
logger.warning("staging_runner.should_intercept error: %s", e)
|
||||
return False
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# Suite execution (D3 / FR-2 / NFR-3 / AC-8 / AC-9)
|
||||
# ---------------------------------------------------------------------------
|
||||
def build_staging_command() -> list[str]:
|
||||
"""Build the canonical staging-suite argv (same command the LLM-deployer ran).
|
||||
|
||||
``docker exec <STAGING_SERVICE> python3 <repos_dir>/<self-repo>/scripts/staging_check.py
|
||||
--base-url http://localhost:<staging_port> --mode stub``. Host-specifics come from
|
||||
config (ORCH-101, no host hardcodes). Self-hosting safety (BR-7 / AC-8 / TC-12):
|
||||
NO restart of 8500, NO ``docker compose up orchestrator`` / ``--build``, NO
|
||||
force-push, NO ``.env`` edit — the runner only reads/executes the staging suite
|
||||
(8501) and writes a log.
|
||||
"""
|
||||
from .qg.checks import SELF_HOSTING_REPO
|
||||
repos_dir = (settings.repos_dir or "/repos").rstrip("/")
|
||||
script = f"{repos_dir}/{SELF_HOSTING_REPO}/scripts/staging_check.py"
|
||||
base_url = f"http://localhost:{int(settings.staging_port)}"
|
||||
return [
|
||||
"docker", "exec", STAGING_SERVICE,
|
||||
"python3", script,
|
||||
"--base-url", base_url,
|
||||
"--mode", "stub",
|
||||
]
|
||||
|
||||
|
||||
def _resolve_timeout() -> int:
|
||||
"""Resolve ``staging_runner_timeout_s`` (malformed/non-positive -> default +
|
||||
WARNING, never-break — mirror of ``merge_gate._resolve_retest_timeout``)."""
|
||||
raw = getattr(settings, "staging_runner_timeout_s", _DEFAULT_TIMEOUT_S)
|
||||
try:
|
||||
t = int(raw)
|
||||
if t > 0:
|
||||
return t
|
||||
logger.warning(
|
||||
"staging_runner_timeout_s non-positive (%r) -> default %ds",
|
||||
raw, _DEFAULT_TIMEOUT_S,
|
||||
)
|
||||
except (TypeError, ValueError):
|
||||
logger.warning(
|
||||
"staging_runner_timeout_s malformed (%r) -> default %ds",
|
||||
raw, _DEFAULT_TIMEOUT_S,
|
||||
)
|
||||
return _DEFAULT_TIMEOUT_S
|
||||
|
||||
|
||||
def run_staging_suite() -> proc_group.ProcResult:
|
||||
"""Execute the staging suite in its own process group, tree-killed on timeout.
|
||||
|
||||
Reuses ``proc_group.run_in_process_group`` (ORCH-110) so a hung docker-exec /
|
||||
pytest subtree is killed whole (no orphans, AC-9). Never raises (proc_group
|
||||
degrades any OS error to a safe ``ProcResult``).
|
||||
"""
|
||||
cmd = build_staging_command()
|
||||
timeout = _resolve_timeout()
|
||||
try:
|
||||
grace = float(getattr(settings, "agent_kill_grace_seconds", 5) or 5)
|
||||
except (TypeError, ValueError):
|
||||
grace = 5.0
|
||||
return proc_group.run_in_process_group(
|
||||
cmd,
|
||||
cwd=None,
|
||||
timeout=timeout,
|
||||
grace_s=grace,
|
||||
tree_kill=bool(getattr(settings, "subprocess_tree_kill_enabled", True)),
|
||||
)
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# exit-code -> verdict (D4 / FR-3 / AC-3) — reuse the single contract, no 2nd mapping
|
||||
# ---------------------------------------------------------------------------
|
||||
def map_exit_code_to_status(exit_code) -> str:
|
||||
"""``0 -> SUCCESS``; non-zero / None / non-int -> ``FAILED`` (fail-closed).
|
||||
|
||||
Delegates to ``self_deploy.map_exit_code_to_status`` — the SAME pure, unit-tested
|
||||
contract the deploy-finalizer uses (BR-4: no second, drifting mapping).
|
||||
"""
|
||||
from .self_deploy import map_exit_code_to_status as _map
|
||||
return _map(exit_code)
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# Artifact 15-staging-log.md (D6 / FR-4 / AC-2 / AC-8) — mirror write_deploy_log
|
||||
# ---------------------------------------------------------------------------
|
||||
def _extract_infra_waived(stdout: str) -> list[str]:
|
||||
"""Lines from the suite stdout carrying the ORCH-061 ``INFRA-WAIVED:`` marker
|
||||
(copied into the log body for observability, as the prompt required)."""
|
||||
if not stdout:
|
||||
return []
|
||||
return [ln.strip() for ln in stdout.splitlines() if "INFRA-WAIVED" in ln]
|
||||
|
||||
|
||||
def build_staging_log(
|
||||
work_item_id: str, exit_code, status: str, stdout: str = "", *, tool_error: bool = False
|
||||
) -> str:
|
||||
"""Render a ``15-staging-log.md`` body whose ``staging_status:`` frontmatter is the
|
||||
verdict ``check_staging_status`` / ``_parse_staging_status`` reads (contract
|
||||
UNCHANGED, AC-2). Carries the mandatory 52c schema (``work_item`` / ``stage`` /
|
||||
``author_agent`` / ``status`` / ``created_at`` / ``model_used``); ``author_agent:
|
||||
staging-runner`` / ``model_used: n/a`` honestly reflect the DETERMINISTIC producer.
|
||||
The machine key ``staging_status:`` and its UPPERCASE value are NOT changed.
|
||||
|
||||
Written as a literal block (mirror of ``self_deploy.build_deploy_log``) so the
|
||||
machine-read frontmatter is byte-exact; only the frontmatter is machine-read, the
|
||||
body is informational.
|
||||
"""
|
||||
import datetime
|
||||
created = datetime.date.today().isoformat()
|
||||
sub_status = "success" if status == "SUCCESS" else "failed"
|
||||
base_url = f"http://localhost:{int(settings.staging_port)}"
|
||||
|
||||
waived = _extract_infra_waived(stdout)
|
||||
waived_body = ""
|
||||
if waived:
|
||||
waived_body = "\nINFRA-WAIVED lines (ORCH-061, copied for observability):\n" + "\n".join(
|
||||
f"- {ln}" for ln in waived
|
||||
) + "\n"
|
||||
|
||||
tail = ""
|
||||
if stdout:
|
||||
tail_text = stdout.strip()[-1500:]
|
||||
if tail_text:
|
||||
tail = f"\nStaging suite stdout (tail):\n```\n{tail_text}\n```\n"
|
||||
|
||||
note = (
|
||||
"Staging suite did NOT execute (tool-error) and the infra-retry budget was "
|
||||
"exhausted -> fail-closed FAILED."
|
||||
if tool_error
|
||||
else f"Staging suite exit-code `{exit_code}` -> `staging_status: {status}`."
|
||||
)
|
||||
|
||||
return (
|
||||
"---\n"
|
||||
f"staging_status: {status}\n"
|
||||
f"work_item: {work_item_id}\n"
|
||||
"stage: deploy-staging\n"
|
||||
"author_agent: staging-runner\n"
|
||||
f"status: {sub_status}\n"
|
||||
f"created_at: {created}\n"
|
||||
"model_used: n/a\n"
|
||||
f"exit_code: {exit_code}\n"
|
||||
f"base_url: {base_url}\n"
|
||||
"---\n\n"
|
||||
"# Staging Gate Log (deterministic runner, ORCH-115)\n\n"
|
||||
f"{note}\n\n"
|
||||
"Вердикт зафиксирован детерминированным staging-раннером (ORCH-115), не LLM. "
|
||||
"infra-tolerance (ORCH-061) уже учтена внутри `staging_check.py` — раннер её не "
|
||||
"пересуживает.\n"
|
||||
f"{waived_body}"
|
||||
f"{tail}"
|
||||
)
|
||||
|
||||
|
||||
def write_staging_log(
|
||||
repo: str, work_item_id: str, branch: str, exit_code, status: str,
|
||||
stdout: str = "", *, tool_error: bool = False,
|
||||
) -> bool:
|
||||
"""Write ``15-staging-log.md`` into the task worktree (so ``check_staging_status``
|
||||
reads it) and best-effort commit+push it to the FEATURE BRANCH. Returns True iff
|
||||
the file was written. Never raises.
|
||||
|
||||
Mirror of ``self_deploy.write_deploy_log`` EXCEPT: the actor name is
|
||||
``staging-runner`` and the log is pushed only to the feature branch — there is NO
|
||||
separate PR-merge of the log into ``main`` (the gate reads the worktree first;
|
||||
excluding any direct work on ``main`` strengthens AC-8 / BR-7). The feature branch
|
||||
is merged into ``main`` later by the normal merge-gate path.
|
||||
"""
|
||||
import os
|
||||
import subprocess
|
||||
from .git_worktree import get_worktree_path
|
||||
|
||||
rel = f"docs/work-items/{work_item_id}/15-staging-log.md"
|
||||
try:
|
||||
wt = get_worktree_path(repo, branch)
|
||||
except Exception as e: # noqa: BLE001 - never-raise
|
||||
logger.error("write_staging_log: worktree error for %s/%s: %s", repo, branch, e)
|
||||
return False
|
||||
|
||||
path = os.path.join(wt, rel)
|
||||
content = build_staging_log(work_item_id, exit_code, status, stdout, tool_error=tool_error)
|
||||
try:
|
||||
os.makedirs(os.path.dirname(path), exist_ok=True)
|
||||
with open(path, "w", encoding="utf-8") as f:
|
||||
f.write(content)
|
||||
except OSError as e:
|
||||
logger.error("write_staging_log: write error at %s: %s", path, e)
|
||||
return False
|
||||
|
||||
# Best-effort commit + push to the feature branch (the gate also falls back to
|
||||
# origin/main). ORCH-101: HOME + email domain from Settings; the actor NAME stays
|
||||
# the platform literal `staging-runner` (deterministic system-actor commits).
|
||||
_email = f"staging-runner@{settings.git_email_domain}"
|
||||
git_env = {
|
||||
**os.environ,
|
||||
"HOME": settings.agent_home_dir,
|
||||
"GIT_AUTHOR_NAME": "staging-runner",
|
||||
"GIT_AUTHOR_EMAIL": _email,
|
||||
"GIT_COMMITTER_NAME": "staging-runner",
|
||||
"GIT_COMMITTER_EMAIL": _email,
|
||||
}
|
||||
try:
|
||||
subprocess.run(["git", "-C", wt, "add", rel],
|
||||
capture_output=True, timeout=_GIT_TIMEOUT, env=git_env)
|
||||
commit = subprocess.run(
|
||||
["git", "-C", wt, "commit", "-m",
|
||||
f"staging(ORCH-115): staging gate {status} for {work_item_id}"],
|
||||
capture_output=True, text=True, timeout=_GIT_TIMEOUT, env=git_env,
|
||||
)
|
||||
if commit.returncode == 0:
|
||||
subprocess.run(["git", "-C", wt, "push", "origin", branch],
|
||||
capture_output=True, timeout=_GIT_TIMEOUT, env=git_env)
|
||||
except (subprocess.SubprocessError, OSError) as e:
|
||||
logger.warning("write_staging_log: git commit/push best-effort failed: %s", e)
|
||||
return True
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# Existing-gate initiation (D7 / FR-5 / AC-4) — no new routing branch
|
||||
# ---------------------------------------------------------------------------
|
||||
def _advance(task_id, repo: str, work_item_id: str, branch: str) -> None:
|
||||
"""Initiate the SAME ``advance_stage`` evaluation a finished LLM-deployer would
|
||||
(``finished_agent="deployer"`` on ``deploy-staging``): SUCCESS -> sub-gates
|
||||
security->merge->coverage->image-freshness (ORCH-022/043/027/058) + Phase A
|
||||
(ORCH-036); FAILED -> the existing rollback deploy-staging -> development
|
||||
(``stage_engine.py:932``). No new routing branch. The transition-lease (ORCH-114)
|
||||
is taken INSIDE advance_stage on the side-effectful edge — the runner never
|
||||
touches it (task boundary O1). never-raise."""
|
||||
try:
|
||||
from . import stage_engine
|
||||
stage_engine.advance_stage(
|
||||
task_id=task_id,
|
||||
current_stage="deploy-staging",
|
||||
repo=repo,
|
||||
work_item_id=work_item_id,
|
||||
branch=branch,
|
||||
finished_agent="deployer",
|
||||
)
|
||||
except Exception as e: # noqa: BLE001 - never-raise into the worker
|
||||
logger.error(
|
||||
"staging_runner._advance: advance_stage failed for task %s (%s): %s",
|
||||
task_id, work_item_id, e,
|
||||
)
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# Two-level outcome (D5) — tool-error DEFER bookkeeping
|
||||
# ---------------------------------------------------------------------------
|
||||
def _infra_retry_count(task_id) -> int:
|
||||
"""How many times this task was re-queued by the tool-error DEFER path
|
||||
(restart-safe; counted from the persisted jobs queue by the marker — mirror of
|
||||
``stage_engine._merge_infra_retry_count``). Never raises -> 0 on error."""
|
||||
try:
|
||||
from .db import get_db
|
||||
conn = get_db()
|
||||
n = conn.execute(
|
||||
"SELECT COUNT(*) FROM jobs WHERE task_id=? AND task_content LIKE ?",
|
||||
(task_id, f"%{_INFRA_RETRY_MARKER}%"),
|
||||
).fetchone()[0]
|
||||
conn.close()
|
||||
return int(n)
|
||||
except Exception as e: # noqa: BLE001 - never-raise
|
||||
logger.warning("staging_runner._infra_retry_count error for %s: %s", task_id, e)
|
||||
return 0
|
||||
|
||||
|
||||
def _handle_tool_error(
|
||||
task_id, repo: str, work_item_id: str, branch: str, result: proc_group.ProcResult
|
||||
) -> None:
|
||||
"""Suite did NOT execute (tool-error) -> bounded DEFER, then fail-closed (D5).
|
||||
|
||||
Anti ORCH-110: an infra fault is NOT a code fault, so we re-queue a fresh
|
||||
``deployer`` job (which re-enters this runner) with a delay instead of an
|
||||
immediate FAILED-rollback that would burn a developer-retry. On budget exhaustion
|
||||
-> write ``staging_status: FAILED`` + advance (the existing rollback) + an
|
||||
INFRA-specific alert (explicitly "not a code defect"). Never a silent advance /
|
||||
false green; never wedges the queue. never-raise."""
|
||||
retries = _infra_retry_count(task_id)
|
||||
try:
|
||||
max_retries = int(settings.staging_runner_infra_max_retries)
|
||||
except (TypeError, ValueError):
|
||||
max_retries = 2
|
||||
try:
|
||||
delay = int(settings.staging_runner_infra_retry_delay_s)
|
||||
except (TypeError, ValueError):
|
||||
delay = 30
|
||||
|
||||
if retries < max_retries:
|
||||
_bump("deferred")
|
||||
reason = "timeout" if result.timed_out else "suite did not execute (tool-error)"
|
||||
task_desc = (
|
||||
f"Work item: {work_item_id}\nRepo: {repo}\nBranch: {branch}\n"
|
||||
f"Stage: deploy-staging\nNote: {_INFRA_RETRY_MARKER} "
|
||||
f"(attempt {retries + 1}/{max_retries}) — {reason}, retrying after {delay}s."
|
||||
)
|
||||
try:
|
||||
from .db import enqueue_job
|
||||
new_job = enqueue_job(
|
||||
"deployer", repo, task_desc, task_id=task_id, available_at_delay_s=delay,
|
||||
)
|
||||
logger.warning(
|
||||
"Task %s (%s): staging suite did not execute (%s) -> infra-DEFER "
|
||||
"(job_id=%s, attempt %d/%d)",
|
||||
task_id, work_item_id, reason, new_job, retries + 1, max_retries,
|
||||
)
|
||||
except Exception as e: # noqa: BLE001 - never-raise
|
||||
logger.error("staging_runner: infra-DEFER enqueue failed for %s: %s", task_id, e)
|
||||
return
|
||||
|
||||
# Budget exhausted -> fail-closed FAILED (terminal, never a false green).
|
||||
_bump("failed")
|
||||
logger.error(
|
||||
"Task %s (%s): staging tool-error DEFER budget exhausted (%d) -> fail-closed FAILED",
|
||||
task_id, work_item_id, max_retries,
|
||||
)
|
||||
write_staging_log(repo, work_item_id, branch, result.returncode, "FAILED",
|
||||
result.stdout, tool_error=True)
|
||||
_alert_infra_exhausted(work_item_id, max_retries)
|
||||
_advance(task_id, repo, work_item_id, branch)
|
||||
|
||||
|
||||
def _alert_infra_exhausted(work_item_id: str, max_retries: int) -> None:
|
||||
"""Best-effort Telegram alert that the staging suite never executed (infra, NOT a
|
||||
code defect) after the retry budget. never-raise."""
|
||||
try:
|
||||
from .notifications import send_telegram, link_for
|
||||
send_telegram(
|
||||
f"\U0001f6a8 {link_for(work_item_id)}: staging suite не запустилась "
|
||||
f"(инфра, НЕ дефект кода) после {max_retries} попыток — fail-closed FAILED, "
|
||||
f"откат на development. Нужно проверить staging-стенд."
|
||||
)
|
||||
except Exception as e: # noqa: BLE001 - never-raise
|
||||
logger.warning("staging_runner: infra-exhausted alert failed for %s: %s", work_item_id, e)
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# Entry point (D2) — owns the full deterministic flow, mirror run_deploy_finalizer
|
||||
# ---------------------------------------------------------------------------
|
||||
def run_staging_gate(job: dict) -> None:
|
||||
"""Deterministic staging gate for a ``deployer`` job on ``deploy-staging``.
|
||||
|
||||
Flow (mirror of ``stage_engine.run_deploy_finalizer``):
|
||||
1. resolve ``work_item_id`` / ``branch`` by ``task_id``;
|
||||
2. execute the staging suite (D3) -> ProcResult;
|
||||
3. suite EXECUTED -> map exit-code -> ``staging_status:``, write
|
||||
``15-staging-log.md``, initiate the existing gate via ``advance_stage`` (D7);
|
||||
4. suite did NOT execute (tool-error) -> bounded DEFER / fail-closed (D5);
|
||||
5. observability counters + one structured verdict log (D10).
|
||||
Never raises into the caller (the launcher marks the job done/failed)."""
|
||||
started = time.time()
|
||||
_bump("runs")
|
||||
task_id = job.get("task_id")
|
||||
repo = job.get("repo")
|
||||
|
||||
# 1. resolve task fields.
|
||||
work_item_id, branch = None, None
|
||||
try:
|
||||
from .db import get_db
|
||||
conn = get_db()
|
||||
row = conn.execute(
|
||||
"SELECT work_item_id, branch FROM tasks WHERE id=?", (task_id,)
|
||||
).fetchone()
|
||||
conn.close()
|
||||
if row:
|
||||
work_item_id, branch = row[0], row[1]
|
||||
except Exception as e: # noqa: BLE001 - never-raise
|
||||
logger.error("staging_runner: task lookup failed for task_id=%s: %s", task_id, e)
|
||||
if not work_item_id or not branch:
|
||||
logger.error(
|
||||
"staging_runner: missing work_item_id/branch for task_id=%s — aborting", task_id
|
||||
)
|
||||
return
|
||||
|
||||
# 2-4. execute + classify + route — guarded so AC-7 (never-raise) holds even if
|
||||
# an unexpected error escapes a sub-step (the worker must never crash on staging
|
||||
# infra; the task is left on deploy-staging for the reconciler/reaper to re-drive).
|
||||
try:
|
||||
result = run_staging_suite()
|
||||
duration_s = round(time.time() - started, 1)
|
||||
suite_ran = (result.returncode is not None) and (not result.timed_out)
|
||||
|
||||
if suite_ran:
|
||||
# 3. trust the exit-code (ORCH-061 already inside staging_check.py).
|
||||
status = map_exit_code_to_status(result.returncode)
|
||||
_bump("success" if status == "SUCCESS" else "failed")
|
||||
logger.info(
|
||||
"staging_runner verdict: work_item=%s repo=%s exit_code=%s status=%s "
|
||||
"duration_s=%s outcome=%s",
|
||||
work_item_id, repo, result.returncode, status, duration_s,
|
||||
"code-pass" if status == "SUCCESS" else "code-fail",
|
||||
)
|
||||
write_staging_log(repo, work_item_id, branch, result.returncode, status, result.stdout)
|
||||
_advance(task_id, repo, work_item_id, branch)
|
||||
return
|
||||
|
||||
# 4. tool-error (suite did not execute) -> DEFER / fail-closed (D5).
|
||||
_bump("tool_error")
|
||||
logger.warning(
|
||||
"staging_runner verdict: work_item=%s repo=%s exit_code=%s status=%s "
|
||||
"duration_s=%s outcome=tool-error (timed_out=%s)",
|
||||
work_item_id, repo, result.returncode, "TOOL-ERROR", duration_s, result.timed_out,
|
||||
)
|
||||
_handle_tool_error(task_id, repo, work_item_id, branch, result)
|
||||
except Exception as e: # noqa: BLE001 - never-raise into the worker (AC-7)
|
||||
logger.error(
|
||||
"staging_runner.run_staging_gate: unexpected error for task %s (%s): %s",
|
||||
task_id, work_item_id, e,
|
||||
)
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# Observability (D10 / FR-7 / AC-10)
|
||||
# ---------------------------------------------------------------------------
|
||||
def snapshot() -> dict:
|
||||
"""Read-only staging-runner summary for ``GET /queue`` (FR-7 / AC-10).
|
||||
|
||||
Additive block; existing ``/queue`` keys are untouched. never-raise: any error ->
|
||||
a minimal dict with the kill-switch state."""
|
||||
try:
|
||||
return {
|
||||
"enabled": bool(settings.staging_runner_enabled),
|
||||
"repos": getattr(settings, "staging_runner_repos", "") or "",
|
||||
"timeout_s": getattr(settings, "staging_runner_timeout_s", _DEFAULT_TIMEOUT_S),
|
||||
"infra_max_retries": getattr(settings, "staging_runner_infra_max_retries", 2),
|
||||
"runs": _STAGING_RUNNER_COUNTERS["runs"],
|
||||
"success": _STAGING_RUNNER_COUNTERS["success"],
|
||||
"failed": _STAGING_RUNNER_COUNTERS["failed"],
|
||||
"tool_error": _STAGING_RUNNER_COUNTERS["tool_error"],
|
||||
"deferred": _STAGING_RUNNER_COUNTERS["deferred"],
|
||||
}
|
||||
except Exception as e: # noqa: BLE001 - never-raise -> minimal dict
|
||||
logger.warning("staging_runner.snapshot error: %s", e)
|
||||
return {"enabled": False}
|
||||
438
tests/test_orch115_staging_runner.py
Normal file
438
tests/test_orch115_staging_runner.py
Normal file
@@ -0,0 +1,438 @@
|
||||
"""ORCH-115 — deterministic staging-runner replacing the LLM deployer on
|
||||
`deploy-staging` (self-hosting orchestrator).
|
||||
|
||||
Covers Phase 1 (04-test-plan.yaml TC-01…TC-13): the launch_job intercept BEFORE
|
||||
_spawn, the exit-code -> staging_status: mapping, 15-staging-log.md render + the
|
||||
UNCHANGED gate contract, advance_stage initiation, kill-switch/scope, never-raise /
|
||||
fail-safe, the bounded tool-error DEFER, process timeout, self-hosting safety, the
|
||||
anti-drift invariant (STAGE_TRANSITIONS / QG_CHECKS / DB schema untouched), and the
|
||||
/queue observability block.
|
||||
|
||||
No live Claude CLI, docker or network: the staging subprocess and advance_stage are
|
||||
mocked; the pure mapping/render is tested directly. (TC-14 — the LLM call-site map
|
||||
anti-drift — lives in tests/test_llm_call_site_inventory.py / test_llm_determinization_docs.py.)
|
||||
"""
|
||||
import os
|
||||
import tempfile
|
||||
|
||||
import pytest
|
||||
|
||||
_test_db = os.path.join(tempfile.gettempdir(), "test_orch115_staging_runner.db")
|
||||
os.environ["ORCH_DB_PATH"] = _test_db
|
||||
os.environ["ORCH_REPOS_DIR"] = tempfile.gettempdir()
|
||||
os.environ.setdefault("ORCH_GITEA_TOKEN", "test-token")
|
||||
os.environ.setdefault("ORCH_PLANE_API_TOKEN", "test-token")
|
||||
|
||||
from unittest.mock import MagicMock # noqa: E402
|
||||
|
||||
import src.db as _db # noqa: E402
|
||||
from src.db import init_db, get_db, enqueue_job # noqa: E402
|
||||
from src import staging_runner # noqa: E402
|
||||
from src import stage_engine # noqa: E402
|
||||
from src import config as cfg # noqa: E402
|
||||
from src.proc_group import ProcResult # noqa: E402
|
||||
from src.agents.launcher import AgentLauncher # noqa: E402
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# Fixtures
|
||||
# ---------------------------------------------------------------------------
|
||||
@pytest.fixture(autouse=True)
|
||||
def fresh_db(monkeypatch, tmp_path):
|
||||
monkeypatch.setattr(_db.settings, "db_path", _test_db)
|
||||
if os.path.exists(_test_db):
|
||||
os.unlink(_test_db)
|
||||
init_db()
|
||||
# Worktree artefacts land in tmp; git commit/push degrade gracefully (no repo).
|
||||
monkeypatch.setattr("src.git_worktree.settings.worktrees_dir", str(tmp_path), raising=False)
|
||||
# Runner ON, self-hosting scope (default).
|
||||
monkeypatch.setattr(cfg.settings, "staging_runner_enabled", True, raising=False)
|
||||
monkeypatch.setattr(cfg.settings, "staging_runner_repos", "", raising=False)
|
||||
monkeypatch.setattr(cfg.settings, "staging_runner_infra_max_retries", 2, raising=False)
|
||||
# Reset in-process counters between tests.
|
||||
for k in staging_runner._STAGING_RUNNER_COUNTERS:
|
||||
staging_runner._STAGING_RUNNER_COUNTERS[k] = 0
|
||||
yield
|
||||
|
||||
|
||||
def _make_task(stage, repo="orchestrator", wi="ORCH-115", branch="feature/ORCH-115-x"):
|
||||
conn = get_db()
|
||||
cur = conn.execute(
|
||||
"INSERT INTO tasks (plane_id, work_item_id, repo, branch, stage) VALUES (?, ?, ?, ?, ?)",
|
||||
(f"plane-{wi}", wi, repo, branch, stage),
|
||||
)
|
||||
tid = cur.lastrowid
|
||||
conn.commit()
|
||||
conn.close()
|
||||
return tid
|
||||
|
||||
|
||||
def _make_job(agent, repo, task_id, content="x"):
|
||||
return enqueue_job(agent, repo, content, task_id=task_id)
|
||||
|
||||
|
||||
def _job_dict(job_id, agent, repo, task_id):
|
||||
return {"id": job_id, "agent": agent, "repo": repo, "task_id": task_id, "task_content": "x"}
|
||||
|
||||
|
||||
def _read_log(tmp_path, repo, branch, wi):
|
||||
from src.git_worktree import get_worktree_path
|
||||
p = os.path.join(get_worktree_path(repo, branch), f"docs/work-items/{wi}/15-staging-log.md")
|
||||
with open(p, "r", encoding="utf-8") as f:
|
||||
return f.read()
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# TC-01 — applies(): kill-switch / scope / fail-safe (FR-6 / AC-6)
|
||||
# ---------------------------------------------------------------------------
|
||||
def test_tc01_applies_killswitch_and_scope(monkeypatch):
|
||||
# enabled=False -> False (fall back to the LLM path) regardless of repo.
|
||||
monkeypatch.setattr(cfg.settings, "staging_runner_enabled", False)
|
||||
assert staging_runner.applies("orchestrator") is False
|
||||
|
||||
# enabled, empty CSV -> self-hosting only.
|
||||
monkeypatch.setattr(cfg.settings, "staging_runner_enabled", True)
|
||||
monkeypatch.setattr(cfg.settings, "staging_runner_repos", "")
|
||||
assert staging_runner.applies("orchestrator") is True
|
||||
assert staging_runner.applies("enduro-trails") is False
|
||||
assert staging_runner.applies("") is False
|
||||
|
||||
# non-empty CSV -> membership (case-insensitive).
|
||||
monkeypatch.setattr(cfg.settings, "staging_runner_repos", "enduro-trails, orchestrator")
|
||||
assert staging_runner.applies("ENDURO-TRAILS") is True
|
||||
assert staging_runner.applies("other-repo") is False
|
||||
|
||||
|
||||
def test_tc01_applies_never_raises(monkeypatch):
|
||||
# A settings attribute that explodes on read -> applies() degrades to False.
|
||||
class Boom:
|
||||
@property
|
||||
def staging_runner_enabled(self):
|
||||
raise RuntimeError("boom")
|
||||
monkeypatch.setattr(staging_runner, "settings", Boom())
|
||||
assert staging_runner.applies("orchestrator") is False
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# TC-02 — exit-code -> verdict, single shared contract (FR-3 / AC-3)
|
||||
# ---------------------------------------------------------------------------
|
||||
def test_tc02_map_exit_code():
|
||||
from src import self_deploy
|
||||
assert staging_runner.map_exit_code_to_status(0) == "SUCCESS"
|
||||
for bad in (1, 2, 137, -9):
|
||||
assert staging_runner.map_exit_code_to_status(bad) == "FAILED"
|
||||
for noncode in (None, "x", object()):
|
||||
assert staging_runner.map_exit_code_to_status(noncode) == "FAILED"
|
||||
# Same contract as the deploy-finalizer (no second, drifting mapping).
|
||||
for v in (0, 1, None, "garbage"):
|
||||
assert staging_runner.map_exit_code_to_status(v) == self_deploy.map_exit_code_to_status(v)
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# TC-03 — 15-staging-log.md render: machine key + 52c schema + INFRA-WAIVED (FR-4 / AC-2)
|
||||
# ---------------------------------------------------------------------------
|
||||
def test_tc03_log_render_schema_and_infra_waived():
|
||||
stdout = "B6 OK\nINFRA-WAIVED: B9 image-build skipped (sandbox)\nDONE"
|
||||
body = staging_runner.build_staging_log("ORCH-115", 0, "SUCCESS", stdout)
|
||||
assert "staging_status: SUCCESS" in body # UPPERCASE machine key
|
||||
for field in ("work_item: ORCH-115", "stage: deploy-staging",
|
||||
"author_agent: staging-runner", "status: success",
|
||||
"created_at:", "model_used: n/a"):
|
||||
assert field in body, f"missing 52c field: {field}"
|
||||
# INFRA-WAIVED line copied into the body for observability.
|
||||
assert "INFRA-WAIVED: B9 image-build skipped (sandbox)" in body
|
||||
|
||||
failed = staging_runner.build_staging_log("ORCH-115", 1, "FAILED", "boom")
|
||||
assert "staging_status: FAILED" in failed
|
||||
assert "status: failed" in failed
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# TC-04 — generated log read by the UNCHANGED _parse_staging_status (AC-2)
|
||||
# ---------------------------------------------------------------------------
|
||||
def test_tc04_gate_parser_unchanged():
|
||||
from src.qg.checks import _parse_staging_status
|
||||
ok, reason = _parse_staging_status(staging_runner.build_staging_log("ORCH-115", 0, "SUCCESS"))
|
||||
assert ok is True and "SUCCESS" in reason
|
||||
bad, reason2 = _parse_staging_status(staging_runner.build_staging_log("ORCH-115", 2, "FAILED"))
|
||||
assert bad is False and "FAILED" in reason2
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# TC-05 — launch_job intercepts deployer on deploy-staging BEFORE _spawn (AC-1)
|
||||
# ---------------------------------------------------------------------------
|
||||
def test_tc05_launch_job_intercepts_before_spawn(monkeypatch):
|
||||
tid = _make_task("deploy-staging")
|
||||
jid = _make_job("deployer", "orchestrator", tid)
|
||||
lr = AgentLauncher()
|
||||
spawn = MagicMock(return_value=999)
|
||||
monkeypatch.setattr(lr, "_spawn", spawn)
|
||||
run_gate = MagicMock()
|
||||
monkeypatch.setattr(staging_runner, "run_staging_gate", run_gate)
|
||||
|
||||
ret = lr.launch_job(_job_dict(jid, "deployer", "orchestrator", tid))
|
||||
|
||||
assert ret is None # no agent_runs row
|
||||
spawn.assert_not_called() # LLM path NOT taken
|
||||
run_gate.assert_called_once() # deterministic runner ran
|
||||
# jobs row driven to done by the launcher (no monitor/agent).
|
||||
conn = get_db()
|
||||
status = conn.execute("SELECT status FROM jobs WHERE id=?", (jid,)).fetchone()[0]
|
||||
conn.close()
|
||||
assert status == "done"
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# TC-06 — stage discriminator: deployer on `deploy` is NOT intercepted (AC-1 / R-1)
|
||||
# ---------------------------------------------------------------------------
|
||||
def test_tc06_stage_discriminator_prod_not_intercepted(monkeypatch):
|
||||
tid = _make_task("deploy") # prod edge, not deploy-staging
|
||||
jid = _make_job("deployer", "orchestrator", tid)
|
||||
lr = AgentLauncher()
|
||||
spawn = MagicMock(return_value=42)
|
||||
monkeypatch.setattr(lr, "_spawn", spawn)
|
||||
run_gate = MagicMock()
|
||||
monkeypatch.setattr(staging_runner, "run_staging_gate", run_gate)
|
||||
|
||||
ret = lr.launch_job(_job_dict(jid, "deployer", "orchestrator", tid))
|
||||
|
||||
assert ret == 42 # _spawn path taken
|
||||
spawn.assert_called_once()
|
||||
run_gate.assert_not_called()
|
||||
assert staging_runner.should_intercept(_job_dict(jid, "deployer", "orchestrator", tid)) is False
|
||||
|
||||
|
||||
def test_tc06_non_self_repo_not_intercepted(monkeypatch):
|
||||
tid = _make_task("deploy-staging", repo="enduro-trails", wi="ET-9", branch="feature/ET-9-x")
|
||||
jid = _make_job("deployer", "enduro-trails", tid)
|
||||
assert staging_runner.should_intercept(_job_dict(jid, "deployer", "enduro-trails", tid)) is False
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# TC-07 — routing equivalence: SUCCESS -> advance; FAILED -> same path (AC-4)
|
||||
# ---------------------------------------------------------------------------
|
||||
@pytest.mark.parametrize("rc,expected", [(0, "SUCCESS"), (1, "FAILED")])
|
||||
def test_tc07_advance_initiated_like_llm(monkeypatch, tmp_path, rc, expected):
|
||||
tid = _make_task("deploy-staging")
|
||||
monkeypatch.setattr(staging_runner, "run_staging_suite",
|
||||
lambda: ProcResult(returncode=rc, stdout="out", stderr="", timed_out=False))
|
||||
advance = MagicMock()
|
||||
monkeypatch.setattr(stage_engine, "advance_stage", advance)
|
||||
|
||||
staging_runner.run_staging_gate(_job_dict(1, "deployer", "orchestrator", tid))
|
||||
|
||||
advance.assert_called_once()
|
||||
kwargs = advance.call_args.kwargs
|
||||
assert kwargs["current_stage"] == "deploy-staging"
|
||||
assert kwargs["finished_agent"] == "deployer"
|
||||
assert kwargs["work_item_id"] == "ORCH-115"
|
||||
# The log written for the gate carries the matching verdict.
|
||||
assert f"staging_status: {expected}" in _read_log(tmp_path, "orchestrator", "feature/ORCH-115-x", "ORCH-115")
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# TC-08 — kill-switch: enabled=False -> LLM path via _spawn (AC-6)
|
||||
# ---------------------------------------------------------------------------
|
||||
def test_tc08_killswitch_falls_back_to_spawn(monkeypatch):
|
||||
monkeypatch.setattr(cfg.settings, "staging_runner_enabled", False)
|
||||
tid = _make_task("deploy-staging")
|
||||
jid = _make_job("deployer", "orchestrator", tid)
|
||||
lr = AgentLauncher()
|
||||
spawn = MagicMock(return_value=7)
|
||||
monkeypatch.setattr(lr, "_spawn", spawn)
|
||||
run_gate = MagicMock()
|
||||
monkeypatch.setattr(staging_runner, "run_staging_gate", run_gate)
|
||||
|
||||
ret = lr.launch_job(_job_dict(jid, "deployer", "orchestrator", tid))
|
||||
|
||||
assert ret == 7
|
||||
spawn.assert_called_once() # byte-for-byte the prior LLM-deployer path
|
||||
run_gate.assert_not_called()
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# TC-09 — anti-drift NFR-1: STAGE_TRANSITIONS / QG_CHECKS / schema untouched (AC-5)
|
||||
# ---------------------------------------------------------------------------
|
||||
def test_tc09_pipeline_contract_unchanged():
|
||||
from src.stages import STAGE_TRANSITIONS
|
||||
from src.qg.checks import QG_CHECKS
|
||||
# The deploy-staging edge + its gate are byte-for-byte the prior contract.
|
||||
assert STAGE_TRANSITIONS["deploy-staging"] == {
|
||||
"next": "deploy", "agent": "deployer", "qg": "check_staging_status"
|
||||
}
|
||||
assert "check_staging_status" in QG_CHECKS
|
||||
# No new ORCH-115 table/column: only the existing tables exist.
|
||||
conn = get_db()
|
||||
tables = {r[0] for r in conn.execute(
|
||||
"SELECT name FROM sqlite_master WHERE type='table'").fetchall()}
|
||||
conn.close()
|
||||
assert not any("staging_runner" in t for t in tables)
|
||||
# The machine key is not renamed: the runner emits `staging_status:`.
|
||||
assert "staging_status:" in staging_runner.build_staging_log("ORCH-115", 0, "SUCCESS")
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# TC-10 — never-raise / fail-safe: tool-error never a silent advance/false green (AC-7)
|
||||
# ---------------------------------------------------------------------------
|
||||
def test_tc10_nonzero_exit_is_failed_and_advances(monkeypatch, tmp_path):
|
||||
tid = _make_task("deploy-staging")
|
||||
monkeypatch.setattr(staging_runner, "run_staging_suite",
|
||||
lambda: ProcResult(returncode=3, stdout="fail", stderr="", timed_out=False))
|
||||
advance = MagicMock()
|
||||
monkeypatch.setattr(stage_engine, "advance_stage", advance)
|
||||
staging_runner.run_staging_gate(_job_dict(1, "deployer", "orchestrator", tid))
|
||||
advance.assert_called_once()
|
||||
assert "staging_status: FAILED" in _read_log(tmp_path, "orchestrator", "feature/ORCH-115-x", "ORCH-115")
|
||||
|
||||
|
||||
def test_tc10_timeout_defers_without_advance(monkeypatch):
|
||||
tid = _make_task("deploy-staging")
|
||||
monkeypatch.setattr(cfg.settings, "staging_runner_infra_max_retries", 2)
|
||||
monkeypatch.setattr(staging_runner, "run_staging_suite",
|
||||
lambda: ProcResult(returncode=None, stdout="", stderr="", timed_out=True))
|
||||
advance = MagicMock()
|
||||
monkeypatch.setattr(stage_engine, "advance_stage", advance)
|
||||
|
||||
staging_runner.run_staging_gate(_job_dict(1, "deployer", "orchestrator", tid))
|
||||
|
||||
advance.assert_not_called() # NO silent advance / false green on infra hiccup
|
||||
# A fresh deployer job was re-queued with the restart-safe marker (bounded DEFER).
|
||||
conn = get_db()
|
||||
n = conn.execute(
|
||||
"SELECT COUNT(*) FROM jobs WHERE task_id=? AND task_content LIKE ?",
|
||||
(tid, f"%{staging_runner._INFRA_RETRY_MARKER}%"),
|
||||
).fetchone()[0]
|
||||
conn.close()
|
||||
assert n == 1
|
||||
assert staging_runner._STAGING_RUNNER_COUNTERS["deferred"] == 1
|
||||
assert staging_runner._STAGING_RUNNER_COUNTERS["tool_error"] == 1
|
||||
|
||||
|
||||
def test_tc10_tool_error_budget_exhausted_fails_closed(monkeypatch, tmp_path):
|
||||
tid = _make_task("deploy-staging")
|
||||
monkeypatch.setattr(cfg.settings, "staging_runner_infra_max_retries", 0) # exhausted immediately
|
||||
monkeypatch.setattr(staging_runner, "run_staging_suite",
|
||||
lambda: ProcResult(returncode=None, stdout="", stderr="", timed_out=True))
|
||||
advance = MagicMock()
|
||||
monkeypatch.setattr(stage_engine, "advance_stage", advance)
|
||||
|
||||
staging_runner.run_staging_gate(_job_dict(1, "deployer", "orchestrator", tid))
|
||||
|
||||
advance.assert_called_once() # fail-closed: write FAILED + advance (existing rollback)
|
||||
assert "staging_status: FAILED" in _read_log(tmp_path, "orchestrator", "feature/ORCH-115-x", "ORCH-115")
|
||||
|
||||
|
||||
def test_tc10_run_gate_never_raises(monkeypatch):
|
||||
tid = _make_task("deploy-staging")
|
||||
|
||||
def boom():
|
||||
raise RuntimeError("docker exec exploded")
|
||||
monkeypatch.setattr(staging_runner, "run_staging_suite", boom)
|
||||
# Must NOT raise (AC-7): the worker is protected even on an unexpected error.
|
||||
staging_runner.run_staging_gate(_job_dict(1, "deployer", "orchestrator", tid))
|
||||
|
||||
|
||||
def test_tc10_launcher_contains_runner_fault(monkeypatch):
|
||||
tid = _make_task("deploy-staging")
|
||||
jid = _make_job("deployer", "orchestrator", tid)
|
||||
lr = AgentLauncher()
|
||||
monkeypatch.setattr(lr, "_spawn", MagicMock())
|
||||
monkeypatch.setattr(staging_runner, "run_staging_gate",
|
||||
MagicMock(side_effect=RuntimeError("kaboom")))
|
||||
# The launcher wrapper contains the fault -> job marked failed, never raises.
|
||||
ret = lr.launch_job(_job_dict(jid, "deployer", "orchestrator", tid))
|
||||
assert ret is None
|
||||
conn = get_db()
|
||||
status = conn.execute("SELECT status FROM jobs WHERE id=?", (jid,)).fetchone()[0]
|
||||
conn.close()
|
||||
assert status == "failed"
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# TC-11 — timeout resolution + propagation (NFR-4 / AC-9)
|
||||
# ---------------------------------------------------------------------------
|
||||
def test_tc11_resolve_timeout_default_on_bad_value(monkeypatch):
|
||||
monkeypatch.setattr(cfg.settings, "staging_runner_timeout_s", 1234)
|
||||
assert staging_runner._resolve_timeout() == 1234
|
||||
for bad in (0, -5, "abc", None):
|
||||
monkeypatch.setattr(cfg.settings, "staging_runner_timeout_s", bad)
|
||||
assert staging_runner._resolve_timeout() == staging_runner._DEFAULT_TIMEOUT_S
|
||||
|
||||
|
||||
def test_tc11_timeout_passed_to_proc_group(monkeypatch):
|
||||
monkeypatch.setattr(cfg.settings, "staging_runner_timeout_s", 321)
|
||||
monkeypatch.setattr(cfg.settings, "subprocess_tree_kill_enabled", True)
|
||||
captured = {}
|
||||
|
||||
def fake_run(cmd, *, cwd, timeout, grace_s, tree_kill):
|
||||
captured.update(cmd=cmd, timeout=timeout, tree_kill=tree_kill)
|
||||
return ProcResult(returncode=0, stdout="", stderr="", timed_out=False)
|
||||
monkeypatch.setattr(staging_runner.proc_group, "run_in_process_group", fake_run)
|
||||
|
||||
staging_runner.run_staging_suite()
|
||||
assert captured["timeout"] == 321
|
||||
assert captured["tree_kill"] is True
|
||||
assert captured["cmd"][:2] == ["docker", "exec"]
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# TC-12 — self-hosting safety: no forbidden literals in the runner command (AC-8)
|
||||
# ---------------------------------------------------------------------------
|
||||
def test_tc12_command_has_no_dangerous_literals():
|
||||
cmd = " ".join(staging_runner.build_staging_command())
|
||||
forbidden = ("compose", "up -d", "--build", "8500", "force", "push", ".env",
|
||||
"rm ", "restart")
|
||||
for token in forbidden:
|
||||
assert token not in cmd, f"forbidden literal {token!r} in runner command: {cmd}"
|
||||
# It IS the staging suite against 8501 via docker exec.
|
||||
assert "docker exec" in cmd
|
||||
assert "staging_check.py" in cmd
|
||||
assert "8501" in cmd
|
||||
assert "--mode stub" in cmd
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# TC-13 — observability: /queue block + structured verdict log (AC-10)
|
||||
# ---------------------------------------------------------------------------
|
||||
def test_tc13_snapshot_shape():
|
||||
snap = staging_runner.snapshot()
|
||||
for k in ("enabled", "repos", "timeout_s", "infra_max_retries",
|
||||
"runs", "success", "failed", "tool_error", "deferred"):
|
||||
assert k in snap, f"snapshot missing key {k}"
|
||||
|
||||
|
||||
def test_tc13_queue_endpoint_includes_block(monkeypatch):
|
||||
import asyncio
|
||||
from src import main
|
||||
payload = asyncio.run(main.queue())
|
||||
assert "staging_runner" in payload
|
||||
assert "enabled" in payload["staging_runner"]
|
||||
|
||||
|
||||
def test_tc13_structured_verdict_log_distinguishes_outcomes(monkeypatch, caplog, tmp_path):
|
||||
tid = _make_task("deploy-staging")
|
||||
monkeypatch.setattr(stage_engine, "advance_stage", MagicMock())
|
||||
# code-pass
|
||||
monkeypatch.setattr(staging_runner, "run_staging_suite",
|
||||
lambda: ProcResult(returncode=0, stdout="", stderr="", timed_out=False))
|
||||
with caplog.at_level("INFO", logger="orchestrator.staging_runner"):
|
||||
staging_runner.run_staging_gate(_job_dict(1, "deployer", "orchestrator", tid))
|
||||
assert any("outcome=code-pass" in r.message for r in caplog.records)
|
||||
|
||||
caplog.clear()
|
||||
# tool-error
|
||||
monkeypatch.setattr(cfg.settings, "staging_runner_infra_max_retries", 2)
|
||||
monkeypatch.setattr(staging_runner, "run_staging_suite",
|
||||
lambda: ProcResult(returncode=None, stdout="", stderr="", timed_out=True))
|
||||
with caplog.at_level("WARNING", logger="orchestrator.staging_runner"):
|
||||
staging_runner.run_staging_gate(_job_dict(1, "deployer", "orchestrator", tid))
|
||||
assert any("outcome=tool-error" in r.message for r in caplog.records)
|
||||
|
||||
|
||||
def test_tc13_snapshot_never_raises(monkeypatch):
|
||||
class Boom:
|
||||
def __getattr__(self, name):
|
||||
raise RuntimeError("boom")
|
||||
monkeypatch.setattr(staging_runner, "settings", Boom())
|
||||
snap = staging_runner.snapshot()
|
||||
assert snap["enabled"] is False
|
||||
Reference in New Issue
Block a user