Compare commits
49 Commits
da709895f9
...
feature/OR
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
1618e71aef | ||
|
|
08e6bfc3d5 | ||
| 5ca9b8fd62 | |||
| 07190f69f5 | |||
| aae65969d5 | |||
| 46c59bad99 | |||
| ebbf2e7a2d | |||
| ab083ba826 | |||
| 96a99a09b7 | |||
| 105d6e9cba | |||
| 7b760e54da | |||
| 6ae611a376 | |||
|
|
c816b33c19 | ||
| 5ead4543ee | |||
| 247915e3d1 | |||
| 664c2e945a | |||
| d2604e42cd | |||
| 621c1352e1 | |||
| e86ea82501 | |||
| 1b03f6b3a7 | |||
| 4d74d981da | |||
|
|
2bd3bb75d4 | ||
| efd744f766 | |||
| fb4203b8f9 | |||
| 8759cb7df8 | |||
| 4d9251c698 | |||
| 8ace9f880d | |||
| 8c97a6ab1c | |||
| a499ee8e42 | |||
| fb96556a79 | |||
|
|
2265cb4a93 | ||
| caea18577a | |||
| ef43e4a48c | |||
| 6cae171745 | |||
| f61d963f9b | |||
| 484069851e | |||
| 334b8dd8fd | |||
| d0b2208087 | |||
| 61d5d8ffc5 | |||
|
|
99db59a277 | ||
| 991443b215 | |||
| 499a040ee6 | |||
| d97b26a59f | |||
| 07a2d6ad1e | |||
| 7d1346d90f | |||
| 4a2a50c12b | |||
| 0d4f579c3f | |||
| 55ead46f13 | |||
|
|
8e2179a890 |
57
.env.example
57
.env.example
@@ -121,6 +121,24 @@ ORCH_TASK_DEPS_SOURCE=db
|
||||
ORCH_SERIAL_GATE_ENABLED=true
|
||||
ORCH_SERIAL_GATE_REPOS=
|
||||
ORCH_SERIAL_GATE_FREEZE_ENABLED=true
|
||||
# ORCH-090: STOP-status task cancellation (stop active agent + full progress reset)
|
||||
# and the relaunch-hole close. A dedicated Plane "STOP" status (logical key `stop`,
|
||||
# fail-closed: absent from _DEFAULT_STATES, so a board without the status -> no-op)
|
||||
# routes to a cancel handler that drives the task to the system-terminal state
|
||||
# `cancelled` (stop agent via the graceful SIGTERM cascade, cancel all jobs, remove
|
||||
# worktree + delete the remote feature branch [never main / never force-push],
|
||||
# tombstone the natural keys for a clean re-create via "To Analyse"; docs preserved).
|
||||
# STOP during a critical merge/deploy window is DEFERRED until the irreversible step
|
||||
# finishes honestly. The relaunch-hole gate restricts the "To Analyse" agent relaunch
|
||||
# to the `analysis` stage (the sole Needs-Input owner). Additive, never-raise.
|
||||
# Infra precondition: create a "STOP" status with the `cancelled` group on the ORCH
|
||||
# board (07-infra-requirements.md). Leaf src/cancel.py.
|
||||
# STOP_STATUS_ENABLED=false -> STOP handling AND the relaunch-hole gate are inert
|
||||
# (behaviour strictly as before ORCH-090).
|
||||
# STOP_STATUS_REPOS (CSV) -> scope; EMPTY = ALL repos (cancellation is meaningful
|
||||
# for enduro too).
|
||||
ORCH_STOP_STATUS_ENABLED=true
|
||||
ORCH_STOP_STATUS_REPOS=
|
||||
# ORCH-071/073: merge-verify under-gate on the `deploy -> done` edge (врезка in
|
||||
# advance_stage, NOT a new STAGE_TRANSITIONS edge / registered QG). A deterministic
|
||||
# merge-actor merges the feature code-PR via the Gitea PR-merge API (never push/
|
||||
@@ -267,6 +285,45 @@ ORCH_REAPER_MAX_RUNNING_S=3600
|
||||
ORCH_REAPER_FINALIZE_GRACE_S=300
|
||||
ORCH_LEASE_RECLAIM_ENABLED=true
|
||||
|
||||
# ORCH-063: disk-watchdog — background heartbeat that measures HOST-FS fill via the
|
||||
# mounted bind-paths (/repos, /app/data) with shutil.disk_usage (NOT the container
|
||||
# overlay /) and Telegram-alerts the operator at >= threshold. On 07.06.2026 the
|
||||
# mva154 host disk silently hit 100% and stalled the WHOLE self-hosting pipeline;
|
||||
# this is the missing proactive signal. Daemon thread modelled on reconciler/reaper
|
||||
# (start/stop in main.lifespan, /queue snapshot, never-raise). Anti-spam state is
|
||||
# in-memory (no DB migration); the watchdog only READS fill and SENDS Telegram — it
|
||||
# never touches the disk/container or restarts prod (self-hosting safety).
|
||||
# DISK_MONITOR_ENABLED -> kill-switch; false -> the daemon does not start (1:1 as before).
|
||||
# DISK_MONITOR_INTERVAL_S -> heartbeat measurement period, seconds (order of minutes).
|
||||
# DISK_MONITOR_THRESHOLD_PCT -> fill % that triggers the alert (Owner-fixed 85; valid 1..100).
|
||||
# DISK_MONITOR_REALERT_S -> cooldown between repeat alerts while above threshold (~6h).
|
||||
# DISK_MONITOR_PATHS -> CSV of monitored HOST bind-paths; empty -> /repos,/app/data.
|
||||
ORCH_DISK_MONITOR_ENABLED=true
|
||||
ORCH_DISK_MONITOR_INTERVAL_S=300
|
||||
ORCH_DISK_MONITOR_THRESHOLD_PCT=85
|
||||
ORCH_DISK_MONITOR_REALERT_S=21600
|
||||
ORCH_DISK_MONITOR_PATHS=/repos,/app/data
|
||||
|
||||
# ORCH-062: build-cache-pruner — the "second half" of the disk-watchdog
|
||||
# (watchdog SIGNALS, pruner CLEANS). A daemon thread modelled on disk_watchdog
|
||||
# that periodically runs STRICTLY `docker builder prune -f --filter until=<until>`
|
||||
# on the HOST over ssh (BuildKit GC). Touches ONLY the build cache: never
|
||||
# images/containers of running services, never restarts the docker daemon or the
|
||||
# prod container (self-hosting safety). State is in-memory (no DB migration). No
|
||||
# ssh host configured -> the tick is a no-op. See docs/operations/INFRA.md.
|
||||
# BUILD_CACHE_PRUNE_ENABLED -> kill-switch; false -> the daemon does not start (1:1 as before).
|
||||
# BUILD_CACHE_PRUNE_INTERVAL_S -> tick period, seconds (order of hours; default ~6h). >0, else default.
|
||||
# BUILD_CACHE_PRUNE_UNTIL -> retention age for the warm cache (`--filter until=`); ^\d+[smhdw]?$, else 24h.
|
||||
# BUILD_CACHE_PRUNE_ALL -> add `-a` (ALWAYS paired with until); default false.
|
||||
# BUILD_CACHE_PRUNE_TIMEOUT_S -> bound on the ssh command, seconds. >0, else default.
|
||||
# BUILD_CACHE_PRUNE_NOTIFY_MIN_GB -> Telegram when reclaimed >= N GB; 0 -> silent.
|
||||
ORCH_BUILD_CACHE_PRUNE_ENABLED=true
|
||||
ORCH_BUILD_CACHE_PRUNE_INTERVAL_S=21600
|
||||
ORCH_BUILD_CACHE_PRUNE_UNTIL=24h
|
||||
ORCH_BUILD_CACHE_PRUNE_ALL=false
|
||||
ORCH_BUILD_CACHE_PRUNE_TIMEOUT_S=120
|
||||
ORCH_BUILD_CACHE_PRUNE_NOTIFY_MIN_GB=0
|
||||
|
||||
# ORCH-022: security-gate (secret-scanning + dependency audit) on the
|
||||
# deploy-staging -> deploy edge, run FIRST among the edge sub-gates. Deterministic
|
||||
# (no LLM): gitleaks (offline secret-scan, pinned Go binary in the image) + pip-audit
|
||||
|
||||
@@ -82,6 +82,10 @@ YAML-frontmatter-блок; для `04-test-plan.yaml` — как top-level YAML-
|
||||
| `created_at` | текущая дата `YYYY-MM-DD` |
|
||||
| `model_used` | резолв ORCH-41 — сейчас `claude-opus-4-8` |
|
||||
|
||||
> ⚠️ **Не копируй `created_at`/`model_used` из примера буквально:** подставь фактическую текущую
|
||||
> дату (`date +%F`) и фактическую модель из конфига (резолв ORCH-41). Имена полей `created_at`/
|
||||
> `model_used` сохраняются; меняются только значения-плейсхолдеры `<YYYY-MM-DD>`/`<resolve ORCH-41>`.
|
||||
|
||||
Пример frontmatter для `02-trz.md`:
|
||||
```markdown
|
||||
---
|
||||
@@ -89,8 +93,8 @@ work_item: ORCH-NNN
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
created_at: <YYYY-MM-DD>
|
||||
model_used: <resolve ORCH-41>
|
||||
---
|
||||
```
|
||||
|
||||
@@ -100,8 +104,8 @@ work_item: ORCH-NNN
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
created_at: <YYYY-MM-DD>
|
||||
model_used: <resolve ORCH-41>
|
||||
title: "<краткое название>"
|
||||
tests:
|
||||
- id: TC-01
|
||||
|
||||
@@ -116,6 +116,10 @@ YAML-frontmatter-блок, НЕ меняя прочих ключей:
|
||||
| `created_at` | текущая дата `YYYY-MM-DD` |
|
||||
| `model_used` | резолв ORCH-41 — сейчас `claude-opus-4-8` |
|
||||
|
||||
> ⚠️ **Не копируй `created_at`/`model_used` из примера буквально:** подставь фактическую текущую
|
||||
> дату (`date +%F`) и фактическую модель из конфига (резолв ORCH-41). Имена полей `created_at`/
|
||||
> `model_used` сохраняются; меняются только значения-плейсхолдеры `<YYYY-MM-DD>`/`<resolve ORCH-41>`.
|
||||
|
||||
Пример frontmatter для `06-adr/ADR-NNN-*.md`:
|
||||
```markdown
|
||||
---
|
||||
@@ -123,8 +127,8 @@ work_item: ORCH-NNN
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
created_at: <YYYY-MM-DD>
|
||||
model_used: <resolve ORCH-41>
|
||||
---
|
||||
```
|
||||
</output_format>
|
||||
|
||||
@@ -9,14 +9,25 @@ tools:
|
||||
# System prompt: Deployer
|
||||
|
||||
<context>
|
||||
> ╔═══════════════════════════════════════════════════════════════════════════════╗
|
||||
> ║ ⛔ CRITICAL SELF-HOSTING GUARDRAILS — read FIRST, never violate: ║
|
||||
> ║ • **NEVER restart the prod `orchestrator` (8500) container** as part of a task ║
|
||||
> ║ — it serves ALL projects; a restart freezes every project's pipeline. ║
|
||||
> ║ • NEVER run `docker compose up -d orchestrator` / `--build` / any 8500 restart ║
|
||||
> ║ from inside the agent — the host hook owns the prod restart. ║
|
||||
> ║ • NEVER modify `.env` / `.env.staging` / `docker-compose.yml` / prod infra. ║
|
||||
> ╚═══════════════════════════════════════════════════════════════════════════════╝
|
||||
>
|
||||
> **Language note (ORCH-092 ADR-001 D2):** this prompt is intentionally kept in **English** as a
|
||||
> documented exception to the ru-canon of the other 5 prompts — it is the most safety-critical
|
||||
> prompt and minimising churn protects the byte-exact machine-verdict keys and shell commands.
|
||||
> Do NOT translate it.
|
||||
|
||||
You are the **Deployer** agent in the orchestrator pipeline. You handle two pipeline stages:
|
||||
`deploy-staging` (Staging Gate, ORCH-35) and `deploy` (Production Deploy, ORCH-36).
|
||||
|
||||
**Before any action, read** `CLAUDE.md` and `docs/architecture/README.md`. Self-hosting risks and
|
||||
topology — `docs/operations/INFRA.md`; staging-check details — `docs/operations/STAGING_CHECK.md`.
|
||||
|
||||
> ⚠️ **Self-hosting:** the prod container `orchestrator` (8500) serves ALL projects.
|
||||
> **NEVER restart the prod `orchestrator` (8500) container as part of a task.**
|
||||
</context>
|
||||
|
||||
<task>
|
||||
@@ -151,6 +162,10 @@ On top of the verdict key, emit the mandatory 52c frontmatter schema (6 fields,
|
||||
| `created_at` | current date `YYYY-MM-DD` |
|
||||
| `model_used` | ORCH-41 resolve — currently `claude-opus-4-8` |
|
||||
|
||||
> ⚠️ **Do NOT copy `created_at`/`model_used` from the example literally:** substitute the actual
|
||||
> current date (`date +%F`) and the actual model from config (ORCH-41 resolve). The field names
|
||||
> `created_at`/`model_used` stay; only the placeholder values `<YYYY-MM-DD>`/`<resolve ORCH-41>` change.
|
||||
|
||||
Example `15-staging-log.md` (SUCCESS):
|
||||
```markdown
|
||||
---
|
||||
@@ -159,8 +174,8 @@ work_item: ORCH-NNN
|
||||
stage: deploy-staging
|
||||
author_agent: deployer
|
||||
status: success
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
created_at: <YYYY-MM-DD>
|
||||
model_used: <resolve ORCH-41>
|
||||
timestamp: <ISO timestamp>
|
||||
base_url: http://localhost:8501
|
||||
---
|
||||
@@ -182,8 +197,8 @@ work_item: ORCH-NNN
|
||||
stage: deploy
|
||||
author_agent: deployer
|
||||
status: success
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
created_at: <YYYY-MM-DD>
|
||||
model_used: <resolve ORCH-41>
|
||||
timestamp: <ISO timestamp>
|
||||
---
|
||||
|
||||
|
||||
@@ -37,12 +37,20 @@ tools:
|
||||
|
||||
**Алгоритм:**
|
||||
1. Прочти всё перечисленное в `<context>`.
|
||||
2. `git fetch origin && git rebase origin/main`.
|
||||
3. TDD: сначала тест, потом код; гоняй `pytest tests/ -q`.
|
||||
4. Обнови миграции, если меняется схема (`src/db.py`).
|
||||
5. `ruff check src/ tests/ && pytest tests/ -q`.
|
||||
6. Commit (Conventional Commits, `Refs: <plane-id>`).
|
||||
7. Push, открой PR в Gitea.
|
||||
2. TDD: сначала тест, потом код; гоняй `pytest tests/ -q`.
|
||||
3. Обнови миграции, если меняется схема (`src/db.py`).
|
||||
4. `ruff check src/ tests/ && pytest tests/ -q`.
|
||||
5. Commit (Conventional Commits, `Refs: <plane-id>`).
|
||||
6. Push, открой PR в Gitea.
|
||||
|
||||
> **Свежесть базы — инвариант движка, не твоя ручная операция (ORCH-092 ADR-001 D1).** Ветка задачи
|
||||
> уже срезана движком от свежего `origin/main` (serial-gate ORCH-088 откладывает срез на момент
|
||||
> claim, когда `main` содержит код предшественника), поэтому ручная синхра на входе не нужна.
|
||||
> Авторитетный догон `main` перед слиянием делает движок (`auto_rebase_onto_main` под merge-lease,
|
||||
> ORCH-026/043) на ребре `deploy-staging → deploy`. Поэтому ты **НЕ делаешь** `git rebase origin/main`
|
||||
> и `git push --force*` сам — это пересекается с запретом `<constraints>` (force-push) и дублирует
|
||||
> авторитетную операцию движка. Допустим **read-only** `git fetch origin` для сверки с актуальным
|
||||
> `main` — но это не обязательный шаг.
|
||||
</task>
|
||||
|
||||
<deliverables>
|
||||
@@ -74,7 +82,10 @@ work item **ORCH-073** и **ORCH-088**.
|
||||
маркеры в правимом коде — в дополнение к «реализуй по `06-adr/`» *своей* задачи.
|
||||
- ❌ Не коммить секреты (`.env`, токены) → ✅ секреты только в `.env`/`.env.staging` на хосте; канон —
|
||||
`.env.example`.
|
||||
- ❌ Не делай PR > 1500 строк без декомпозиции → ✅ разбивай на меньшие PR.
|
||||
- ❌ Не пытайся уместить слишком большую задачу в один распухший PR → ✅ если PR оказался слишком
|
||||
большим (≈>1500 строк), **флагируй/эскалируй**: это сигнал, что задача слишком крупная и нужна
|
||||
декомпозиция **на уровне задач** (1 задача = 1 ветка = 1 PR), а не дробление внутри стадии
|
||||
development. Маршрут — `<escalation>`.
|
||||
- ❌ Не мержи свой PR → ✅ merge делает CI / финальная стадия.
|
||||
- ❌ Не используй `--no-verify` / `--force-push` → ✅ проходи хуки и обычный push.
|
||||
- ❌ Не перезапускай прод-контейнер орка → ✅ проверяй изменения через `pytest tests/` локально, не
|
||||
@@ -102,14 +113,18 @@ work item **ORCH-073** и **ORCH-088**.
|
||||
| `created_at` | текущая дата `YYYY-MM-DD` |
|
||||
| `model_used` | резолв ORCH-41 — сейчас `claude-opus-4-8` |
|
||||
|
||||
> ⚠️ **Не копируй `created_at`/`model_used` из примера буквально:** подставь фактическую текущую
|
||||
> дату (`date +%F`) и фактическую модель из конфига (резолв ORCH-41). Имена полей `created_at`/
|
||||
> `model_used` сохраняются; меняются только значения-плейсхолдеры `<YYYY-MM-DD>`/`<resolve ORCH-41>`.
|
||||
|
||||
```markdown
|
||||
---
|
||||
work_item: ORCH-NNN
|
||||
stage: development
|
||||
author_agent: developer
|
||||
status: done
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
created_at: <YYYY-MM-DD>
|
||||
model_used: <resolve ORCH-41>
|
||||
---
|
||||
```
|
||||
Код/PR номерного вердикт-дока не несёт.
|
||||
@@ -121,3 +136,12 @@ model_used: claude-opus-4-8
|
||||
- Документация (README/internals/CHANGELOG/when-applicable доки) обновлена в том же PR.
|
||||
- Conventional-commit с `Refs: <plane-id>` запушен, PR в Gitea открыт.
|
||||
</success_criteria>
|
||||
|
||||
<escalation>
|
||||
- **ТЗ негодное/нереализуемое или противоречивое** → НЕ правь ТЗ/ADR задним числом; верни задачу
|
||||
в Анализ (`back-to:analysis`) с конкретным описанием, что именно не сходится.
|
||||
- **Нужна новая архитектурная развилка** (решения нет в `06-adr/`) → эскалируй к архитектору, не
|
||||
принимай архитектурное решение сам.
|
||||
- **PR оказался слишком большим** (≈>1500 строк) → флагируй/эскалируй: задача слишком крупная,
|
||||
нужна декомпозиция на уровне задач (1 задача = 1 ветка = 1 PR), не дробление внутри стадии.
|
||||
</escalation>
|
||||
|
||||
@@ -48,6 +48,11 @@ tools:
|
||||
`docs/architecture/README.md` и/или `docs/architecture/internals.md`? конфигурация → `README.md`
|
||||
(таблица env)? новый компонент → `docs/architecture/README.md`? обновлён `CHANGELOG.md`?
|
||||
архитектурное решение → есть ADR?
|
||||
- **Обзорные доки (ORCH-079):** если PR закрывает/меняет пункт из `README.md` «Известные
|
||||
ограничения» (обзорная витрина проекта), README ДОЛЖЕН быть обновлён в том же PR — пункт снят
|
||||
или помечен закрытым с ORCH-ссылкой. Необновление обзорных доков → **finding ≥ P1**; если
|
||||
ограничение закрыто правкой `src/` без обновления README — это совпадает с P0 «`src/` изменён,
|
||||
документация не обновлена». Это усиление трактовки оси, а не отдельная ось.
|
||||
</task>
|
||||
|
||||
<deliverables>
|
||||
@@ -60,11 +65,13 @@ frontmatter-вердиктом, см. `<output_format>`).
|
||||
|
||||
<constraints>
|
||||
- ❌ Не правь код сам → ✅ фиксируй findings в `12-review.md`, исправляет developer.
|
||||
- ❌ Не апрувь PR от того же экземпляра Developer → ✅ выноси независимый вердикт.
|
||||
- ❌ Не давай subjective findings без ссылки на правило → ✅ каждый finding привязан к ТЗ/ADR/правилу.
|
||||
- ❌ Не пропускай проверку документации → ✅ **если `src/` изменён, а документация (`docs/`,
|
||||
`CHANGELOG.md`, ADR) НЕ обновлена → вердикт ОБЯЗАТЕЛЬНО `REQUEST_CHANGES`** с указанием, какую
|
||||
именно документацию нужно обновить. Документация = golden source наравне с кодом.
|
||||
- ❌ PR закрыл пункт из `README.md` «Известные ограничения», но README не обновлён (пункт остался
|
||||
открытым) → ✅ требуй обновления обзорных доков — пункт снят либо помечен закрытым с ORCH-ссылкой;
|
||||
необновление обзорной витрины → **finding ≥ P1** (ORCH-079).
|
||||
|
||||
**Severity:**
|
||||
- **P0 (blocker):** не реализовано требование ТЗ; нарушен ADR; критическая уязвимость;
|
||||
@@ -93,6 +100,10 @@ frontmatter-вердиктом, см. `<output_format>`).
|
||||
| `created_at` | текущая дата `YYYY-MM-DD` |
|
||||
| `model_used` | резолв ORCH-41 — сейчас `claude-opus-4-8` |
|
||||
|
||||
> ⚠️ **Не копируй `created_at`/`model_used` из примера буквально:** подставь фактическую текущую
|
||||
> дату (`date +%F`) и фактическую модель из конфига (резолв ORCH-41). Имена полей `created_at`/
|
||||
> `model_used` сохраняются; меняются только значения-плейсхолдеры `<YYYY-MM-DD>`/`<resolve ORCH-41>`.
|
||||
|
||||
```markdown
|
||||
---
|
||||
verdict: APPROVED # APPROVED | REQUEST_CHANGES — строго одно из двух, UPPERCASE
|
||||
@@ -100,8 +111,8 @@ work_item: ORCH-NNN
|
||||
stage: review
|
||||
author_agent: reviewer
|
||||
status: approved
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
created_at: <YYYY-MM-DD>
|
||||
model_used: <resolve ORCH-41>
|
||||
type: review
|
||||
work_item_id: ORCH-NNN
|
||||
version: 1
|
||||
@@ -138,3 +149,11 @@ version: 1
|
||||
(`APPROVED`|`REQUEST_CHANGES`, UPPERCASE) + frontmatter-схему 52c, а проверка документации выполнена
|
||||
явно.
|
||||
</success_criteria>
|
||||
|
||||
<escalation>
|
||||
- **Любой finding P0/P1** (не реализовано требование ТЗ, нарушен ADR, критическая уязвимость,
|
||||
необновлённая документация при изменении `src/`, слом маркированного инварианта) → единая точка:
|
||||
вердикт `REQUEST_CHANGES` с перечнем findings и ссылками на ТЗ/ADR/правило.
|
||||
- **Неоднозначность/противоречивость требований** (не ясно, что считать корректным) → finding со
|
||||
ссылкой на конкретное место `02-trz.md`/`03-acceptance-criteria.md`/`06-adr/`, а не subjective-оценка.
|
||||
</escalation>
|
||||
|
||||
@@ -31,10 +31,16 @@ tools:
|
||||
|
||||
**Алгоритм:**
|
||||
1. **Окружение:** `curl -s http://localhost:8500/health`.
|
||||
2. **Тесты:** `cd /repos/orchestrator` (или worktree ветки) → `pytest tests/ -v --tb=short`.
|
||||
3. **Smoke API:** `curl -s http://localhost:8500/health`, `…/status`, `…/queue`.
|
||||
4. **Покрытие ТЗ:** для каждого TC из `04-test-plan.yaml` — выполнен? PASS/FAIL? Сопоставь с
|
||||
критериями `03-acceptance-criteria.md`.
|
||||
2. **Тесты — в worktree ветки задачи, НЕ в общем `/repos/orchestrator`.** Прогоняй `pytest` из
|
||||
рабочего дерева именно этой задачи (`/repos/_wt/orchestrator/<branch-slug>/`, например
|
||||
`feature_ORCH-NNN-slug`), где лежит код ветки. Общий чекаут `/repos/orchestrator` могут
|
||||
параллельно переключать другие задачи (гонка checkout) → можно прогнать чужой код. Команда:
|
||||
`cd <worktree-ветки> && pytest tests/ -v --tb=short`.
|
||||
3. **Smoke API (read-only):** `curl -s http://localhost:8500/health`, `…/status`, `…/queue`.
|
||||
В ответе `/queue` проверь наличие блока `serial_gate` (ORCH-088) — он должен присутствовать в
|
||||
полезной нагрузке (наряду с `auto_labels`); его отсутствие = регресс смока.
|
||||
4. **Покрытие ТЗ:** для **каждого** TC из `04-test-plan.yaml` — выполнен? PASS/FAIL? Сопоставь с
|
||||
критериями `03-acceptance-criteria.md`. Готовность = каждый TC сопоставлен, а не «файл записан».
|
||||
</task>
|
||||
|
||||
<deliverables>
|
||||
@@ -68,6 +74,10 @@ frontmatter-вердиктом, см. `<output_format>`).
|
||||
| `created_at` | текущая дата `YYYY-MM-DD` |
|
||||
| `model_used` | резолв ORCH-41 — сейчас `claude-opus-4-8` |
|
||||
|
||||
> ⚠️ **Не копируй `created_at`/`model_used` из примера буквально:** подставь фактическую текущую
|
||||
> дату (`date +%F`) и фактическую модель из конфига (резолв ORCH-41). Имена полей `created_at`/
|
||||
> `model_used` сохраняются; меняются только значения-плейсхолдеры `<YYYY-MM-DD>`/`<resolve ORCH-41>`.
|
||||
|
||||
```markdown
|
||||
---
|
||||
result: PASS # PASS | FAIL — машинный вердикт, UPPERCASE
|
||||
@@ -75,8 +85,8 @@ work_item: ORCH-NNN
|
||||
stage: testing
|
||||
author_agent: tester
|
||||
status: pass
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
created_at: <YYYY-MM-DD>
|
||||
model_used: <resolve ORCH-41>
|
||||
type: test-report
|
||||
work_item_id: ORCH-NNN
|
||||
---
|
||||
@@ -108,5 +118,14 @@ PASS / FAIL
|
||||
|
||||
<success_criteria>
|
||||
Выход стадии готов, когда `13-test-report.md` записан, несёт корректный машинный `result:`
|
||||
(`PASS`|`FAIL`, UPPERCASE) + frontmatter-схему 52c, таблицу TC и вывод pytest.
|
||||
(`PASS`|`FAIL`, UPPERCASE) + frontmatter-схему 52c, таблицу TC и вывод pytest, И **каждый TC из
|
||||
`04-test-plan.yaml` выполнен и сопоставлен** с `03-acceptance-criteria.md` (а не только «файл
|
||||
записан»).
|
||||
</success_criteria>
|
||||
|
||||
<escalation>
|
||||
- **Обоснованный FAIL** (тест/смок падает по делу) → `result: FAIL` → откат на development
|
||||
(`back-to:dev`); НЕ подгоняй тесты под код.
|
||||
- **Смок-сбой инфраструктуры** (окружение/`/health`/`/queue` недоступны) → зафиксируй как
|
||||
`result: FAIL` с диагностикой (что именно недоступно), а не «зелено по умолчанию».
|
||||
</escalation>
|
||||
|
||||
35
CHANGELOG.md
35
CHANGELOG.md
@@ -3,6 +3,41 @@
|
||||
Формат: [Keep a Changelog](https://keepachangelog.com/). Записи — на смысловой PR/задачу.
|
||||
|
||||
## [Unreleased]
|
||||
- **Отмена задачи: Plane-статус STOP (остановка агента + полный сброс) + закрытие дыры релонча** (ORCH-090, `feat`): выделенный Plane-статус **STOP** — единый декларативный механизм отмены задачи вместо ручной хирургии по БД/процессам. Вводит **новое системное терминальное состояние `cancelled`** (стадия `tasks.stage='cancelled'` + job-исход `jobs.status='cancelled'`), равноправное `done`. **Аддитивно, под kill-switch, never-raise, restart-safe:** `STAGE_TRANSITIONS` (exit-гейты рёбер) / `QG_CHECKS` / `check_*` / семантика существующих статусов — **не тронуты** (`cancelled` — терминальный сток, не новое ребро); enduro не затронут; при `stop_status_enabled=false` — нулевая регрессия.
|
||||
- **Распознавание (fail-closed):** новый логический ключ `stop` в `_PLANE_NAME_TO_KEY` (`"STOP" → "stop"`), **намеренно отсутствует** в `_DEFAULT_STATES` (по образцу `confirm_deploy`/ORCH-059) → доска без статуса STOP резолвит `None` → ветка не активируется (нет `KeyError`, нет слепой отмены). `handle_issue_updated` маршрутизирует `stop` → `handle_stop` → `stage_engine.cancel_task` (проверяется ПЕРВЫМ, до to_analyse/approved/rejected).
|
||||
- **Полный сброс (вне критичного окна, AC-1..AC-4):** graceful SIGTERM активного агента через переиспользуемый каскад `launcher.stop_process` (вынесен из `_watchdog`: SIGTERM → grace → SIGKILL) по `jobs.pid`; `db.cancel_jobs_for_task` (queued/running → терминальный `cancelled`, нигде не реквью'ится — `claim_next_job` берёт только `queued`); `git_worktree.remove_worktree` + новый never-raise `src/gitea.py::delete_remote_branch` (удаляет **только** feature-ветку; `main`/`master` — явный гард-отказ; без force-push); durable `stage='cancelled'` + `cancelled_at`; **тумбстон** натуральных ключей суффиксом `#cancelled-<id>`. Docs-артефакты (`01..17`) сохраняются.
|
||||
- **Уточнение ADR-001 D4 (при реализации):** ADR предлагал сохранить `plane_issue_id` нетронутым, но `get_task_by_plane_id`/`create_task_atomic` матчат по `plane_id OR plane_issue_id` — нетумбстоненный `plane_issue_id` заблокировал бы clean-slate re-create (BR-3/TR-4). Поэтому `plane_issue_id` тоже тумбстонится; исходный UUID (== исходный `plane_id` во всех путях создания) парсится из детерминированного суффикса для аудита. Зафиксировано в коде/`docs/architecture/README.md`/CLAUDE.md.
|
||||
- **Безопасное прерывание merge/deploy (AC-7, NFR-3):** STOP в критическом окне → **отложенная отмена** (`cancel.in_critical_window` fail-CLOSED): durable `tasks.cancel_requested_at`, снимаются только `queued`-job'ы (running-актор деплоя/мержа не трогается), алерт; детерминированный `run_deploy_finalizer` доводит необратимый шаг до честного исхода и применяет отмену (`cancel_task(force=True)`; задача, дошедшая до `done`, — честный no-op, код уже в проде). «Критическое окно» = реально начатый необратимый шаг: self-deploy `INITIATED`-sentinel (ORCH-036; детач-деплой + поздний `merge_pr` в `_handle_merge_verify` идут под тем же маркером) **либо** держание merge-lease (ORCH-043) **И** активно бегущий актор (running-job). STOP **никогда** не трогает `main`/force-push/прод-контейнер/detached-процесс.
|
||||
- **Фикс P1 (ORCH-090 review, attempt 2): deferred-cancel недостижим при STOP в ожидании `Confirm Deploy` → wedge.** Для self-hosting merge-lease держится от merge-gate (ребро `deploy-staging → deploy`) до `deploy → done`, включая всё время, пока задача **припаркована** на `deploy` в ожидании ручного `Confirm Deploy` (Phase A) — но это окно **полностью обратимо** (ничего не смержено/задеплоено; необратимый `merge_pr` идёт позже в `_handle_merge_verify` уже под `INITIATED`). Прежде голое держание lease классифицировалось как «критичное» → STOP уходил в deferred-ветку, отмену применял бы только `run_deploy_finalizer` (после Phase B), которого оператор, нажавший STOP именно чтобы НЕ деплоить, никогда не запустит → отмена **не применялась никогда**, задача застревала нетерминальной с удержанным lease, клиня serial-gate репо (ORCH-088) и мержи. Фикс: merge-lease-ветка `in_critical_window` сужена — критично, лишь когда lease держится **И** есть бегущий актор (`_task_has_running_actor`, running-job); припаркованное окно без актора → НЕ критично → немедленный полный сброс (сам отпускает lease в шаге 3c). Новые тесты `test_d7_lease_held_idle_parking_is_not_critical` / `test_d7_lease_held_with_running_actor_still_critical` / `test_d7_stop_on_deploy_awaiting_confirm_full_resets`.
|
||||
- **Кросс-каттинг (adr-0026):** предикат «задача терминальна» расширен `{done}` → `{done, cancelled}` в `serial_gate.py` (ORCH-088: `repo_has_active_task`, claim-фрагмент, snapshot), `db.claim_next_job`/`get_unfinished_dependencies` (task_deps ORCH-026) и `stages.py`-сток — иначе отменённая задача заклинила бы очередь репо (TR-1); reconciler-терминал-скип уже знал `cancelled` (ORCH-086 D2). `job_reaper`/`queue_worker` ПЕРЕД авто-requeue сверяют терминал задачи → помечают job `cancelled`, не реквью'ят (закрыта гонка SIGTERM/reaper, TR-2).
|
||||
- **Закрытие дыры релонча (AC-5, D6):** `handle_status_start` больше не релончит агента середины пайплайна при ручном переводе в промежуточный статус — relaunch ограничен стадией `analysis` (единственный владелец Needs Input, ORCH-066); единственный вход к запуску пайплайна остаётся «To Analyse» (`start_pipeline`). Под `stop_status_enabled=false` гейт инертен (1:1 как раньше).
|
||||
- **Флаги/наблюдаемость:** `stop_status_enabled` (kill-switch, env `ORCH_STOP_STATUS_ENABLED`) + `stop_status_repos` (CSV, пусто → все репо); leaf `src/cancel.py` (`applies`/`in_critical_window`/`snapshot`, never-raise); read-only блок `stop` в `GET /queue`; лог + Telegram (кликабельный номер) + Plane-коммент + `update_task_tracker`. Аддитивные идемпотентные миграции (`_ensure_column` для `cancelled_at`/`cancel_requested_at`). **Инфра-предусловие:** создать статус **STOP** с группой `cancelled` на доске Plane проекта ORCH (его отсутствие = fail-safe no-op).
|
||||
- Тесты: `tests/test_stop_status.py` (TC-01..TC-14 + D7-кейсы, включая 3 новых P1-кейса для окна «припаркован на `deploy`, ждёт Confirm Deploy»; SIGTERM/git/gitea замоканы — ни один тест не шлёт сигнал/не трогает сеть); обновлены анти-регресс-тесты STAGE_TRANSITIONS 5 прошлых задач (добавлен терминал-сток `cancelled`); полный регресс `tests/` зелёный (1348). Документация: `docs/architecture/README.md` (статус «реализовано» + блок `/queue` + раздел БД), `CLAUDE.md`, `README.md`, `.env.example`. ADR: `docs/work-items/ORCH-090/06-adr/ADR-001-stop-cancel-task.md`, сквозной `docs/architecture/adr/adr-0026-stop-cancel-task.md`. Откат: `ORCH_STOP_STATUS_ENABLED=false` (аддитивные колонки/терминал-набор инертны при отсутствии отменённых задач).
|
||||
- **Build-cache-pruner: авто-prune docker build cache на mva154** (ORCH-062, `feat`): новый фоновый daemon-поток `src/build_cache_pruner.py` (каркас `disk_watchdog`) — «вторая половина» disk-watchdog (ORCH-063): **watchdog сигналит — pruner убирает**. Устраняет корень инцидента 07.06.2026 (docker build cache ≈11 ГБ → диск mva154 100% → падение self-hosting-конвейера всех проектов) **автоматически, без оператора**. **Аддитивно, never-raise:** `STAGE_TRANSITIONS`/`QG_CHECKS`/`check_*`/`_parse_*`/`src/stage_engine.py`/схема БД — **не тронуты**, новой миграции нет (состояние last-run/last-result — in-memory, best-effort).
|
||||
- **Периодическая уборка (FR-1/AC-1):** каждые `build_cache_prune_interval_s` (дефолт **21600с = 6ч**) тик выполняет **строго `docker builder prune -f --filter until=<until>`** (BuildKit GC). Анти-частота — pure-функция `decide_prune(prev_run_ts, now, interval_s)` (юнит-тестируема без потока/таймера, время инъецируется). Дефолт `until=24h` удерживает тёплый недавний кэш (BR-2/AC-2); `-a/--all` (`build_cache_prune_all`, дефолт `False`) — **только в паре** с возрастным фильтром.
|
||||
- **Self-hosting безопасность (FR-3/AC-3):** команда затрагивает **только** build cache — **нет** `docker image prune`/`docker system prune`, удаления образов/контейнеров запущенных сервисов, остановки/рестарта контейнеров; прод-контейнер `orchestrator` **никогда** не рестартится. Уборка исполняется **на хосте через ssh** (`deploy_ssh_user@deploy_ssh_host`, тот же канал, что `image_freshness`/`self_deploy` — в образе нет docker CLI). Нет ssh-таргета → тик no-op (наблюдаемо в `status().last_error`).
|
||||
- **never-raise (FR-6/AC-4):** per-команда (ненулевой rc / `TimeoutExpired` / `OSError`/`FileNotFoundError` / недоступность ssh / parsing-ошибка → лог + проглот, тик жив) и per-tick (внешний `try/except` в `_run`, как `disk_watchdog`). Фоновый цикл и конвейер не падают.
|
||||
- **Конфигурируемость + kill-switch (FR-5/AC-5/AC-6):** флаги `build_cache_prune_enabled`/`_interval_s`/`_until`/`_all`/`_timeout_s`/`_notify_min_gb` (`src/config.py`, env `ORCH_BUILD_CACHE_PRUNE_*`) с defensive-валидацией (интервал/таймаут >0, `until` ~ `^\d+[smhdw]?$`, notify_min_gb ≥0 → невалидное к безопасному дефолту + warning, старт не падает). `build_cache_prune_enabled=false` → демон не стартует (старт/стоп в `main.lifespan` рядом с `disk_watchdog`, гард), `GET /queue` → `{"enabled": false}` — поведение 1:1 как до задачи.
|
||||
- **Наблюдаемость (FR-4/AC-7):** аддитивный read-only блок `build_cache_prune` в `GET /queue` (`enabled`/`interval_s`/`until`/`all`/`last_run_ts`/`last_reclaimed`[+`_bytes`]/`last_error`); `status()` never-raise. Опц. Telegram при освобождении ≥ `notify_min_gb` ГБ (дефолт `0` = тихо). Тесты: `tests/test_build_cache_pruner.py` (TC-01..TC-12, 23 кейса, docker замокан — ни один тест не трогает реальный docker); полный регресс `tests/` зелёный (1319). Документация: `docs/operations/INFRA.md` (секция авто-prune + env-карта; снята формулировка ORCH-063 «освобождение build cache — ручная операция»), `docs/architecture/README.md`, `.env.example`. ADR: `docs/work-items/ORCH-062/06-adr/ADR-001-build-cache-pruner.md`, сквозной `docs/architecture/adr/adr-0025-build-cache-pruner.md`. Откат: `ORCH_BUILD_CACHE_PRUNE_ENABLED=false` (миграций нет).
|
||||
- **Disk-watchdog: мониторинг заполнения диска mva154 + Telegram-алерт при ≥85%** (ORCH-063, `feat`): новый фоновый daemon-поток `src/disk_watchdog.py` (каркас `reconciler`/`job_reaper`) — недостающий **проактивный** сигнал о заполнении хост-диска (07.06.2026 диск mva154 тихо дорос до 100% и положил весь self-hosting-конвейер всех проектов). **Аддитивно, never-raise:** `STAGE_TRANSITIONS`/`QG_CHECKS`/`check_*`/схема БД — **не тронуты**, новой миграции нет (состояние анти-спама — in-memory).
|
||||
- **Замер хост-ФС (FR-2/AC-8):** каждые `disk_monitor_interval_s` (дефолт 300с) меряет заполнение **смонтированных хост-bind-путей** (`/repos`, `/app/data`) через stdlib `shutil.disk_usage` — НЕ overlay `/` контейнера, НЕ субпроцесс `df`; дедуп путей по физическому устройству (`st_dev`) → один алерт на раздел. Недоступный путь → пропуск с warning, остальные пути меряются (per-path never-raise).
|
||||
- **Решение об алерте (FR-3/FR-4/AC-2..AC-4):** pure-функция `decide_action(used_pct, threshold, prev_state, now, realert_s)` (юнит-тестируема без потока/таймера, время инъецируется): алерт на пересечении порога (дефолт **85%**, граница `>=` включительно), cooldown-повтор `disk_monitor_realert_s` (~6ч, анти-спам — не на каждом тике), однократный recovery при возврате ниже порога. Алерт — `send_telegram` (notifying, не silent), best-effort.
|
||||
- **Конфигурируемость + kill-switch (FR-5/AC-5):** флаги `disk_monitor_enabled`/`_interval_s`/`_threshold_pct`/`_realert_s`/`_paths` (`src/config.py`, env `ORCH_DISK_MONITOR_*`) с defensive-валидацией (порог 1..100, интервалы > 0 → невалидное к дефолту + warning). `disk_monitor_enabled=false` → демон не стартует (старт/стоп в `main.lifespan`, гард), `GET /queue` → `{"enabled": false}` — поведение 1:1 как сейчас.
|
||||
- **Наблюдаемость (FR-6/AC-7):** аддитивный read-only блок `disk_monitor` в `GET /queue` (`enabled`/`threshold_pct`/`interval_s`/`realert_s`/`last_run_ts`/`paths`[`used_pct`/`free_gb`/`free_pct`/`alerting`/`last_alert_at`]); существующие ключи `/queue` не изменены; `status()` never-raise.
|
||||
- **Self-hosting безопасность (NFR-6):** watchdog только читает заполнение и шлёт уведомление — не трогает диск/контейнер, не рестартит прод; безопасен для enduro-trails в общем инстансе. Откат тривиален (`ORCH_DISK_MONITOR_ENABLED=false`, миграций нет). Тесты: `tests/test_disk_watchdog.py` (TC-01..TC-12, 18 кейсов); полный регресс `tests/` зелёный (1296). Документация: `docs/architecture/README.md` (компонент + блок `/queue`), `docs/operations/INFRA.md` (что мониторится/порог/как отключить/реакция на алерт), `.env.example`. ADR: `docs/work-items/ORCH-063/06-adr/ADR-001-disk-watchdog.md`, сквозной `docs/architecture/adr/adr-0024-disk-watchdog.md`.
|
||||
- **Промпт-аудит 6 агентов: расхардкод даты/модели, сверка гейтов, escalation, чистка** (ORCH-092 / эпилог эпика ORCH-52, `docs`): точечная правка 6 системных промптов `.openclaw/agents/*.md` + анти-регресс-тестов, устраняющая класс дефектов промптов (хардкод даты/модели в примерах, размазанная эскалация, нереализуемая/конфликтующая инструкция rebase, мёртвая инструкция reviewer, недообогащённый tester). **Docs/prompts-only:** `src/**`, `STAGE_TRANSITIONS`, `QG_CHECKS`, состав machine-verdict ключей и схема БД — **не тронуты**; `frontmatter_validation_strict` остаётся `False`. Машинные verdict-ключи (`verdict:`/`result:`/`staging_status:`/`deploy_status:`/`security_status:` + значения APPROVED/REQUEST_CHANGES/PASS/FAIL/SUCCESS/FAILED) и канон 52d/52c/52e (5 секций, 6 полей) — байт-в-байт.
|
||||
- **Расхардкод даты/модели (FR-1/FR-2, AC-1/AC-2):** во всех 6 промптах копируемые примеры frontmatter несут плейсхолдеры `created_at: <YYYY-MM-DD>` / `model_used: <resolve ORCH-41>` + явную врезку «не копируй буквально: подставь `date +%F` и фактическую модель из конфига». Литерал `claude-opus-4-8` остаётся лишь как справка в таблице полей (вне копируемого блока).
|
||||
- **Сверка имён гейтов (FR-3, AC-3):** все `check_*` в 6 промптах сверены с реестром `QG_CHECKS` — несовпадений нет (`check_tests_passed` подтверждён валидным, не «исправлен вслепую»); закреплено интеграционным тестом.
|
||||
- **developer (FR-4/FR-5/FR-9):** «❌ PR>1500 → разбивай на меньшие PR» переформулирован в эскалацию (слишком большой PR = декомпозиция **на уровне задач**, 1 задача = 1 ветка = 1 PR); добавлена секция `<escalation>` (негодное ТЗ → `back-to:analysis`; новая развилка → к архитектору); **убран ручной `git rebase origin/main`** из алгоритма (ADR-001 D1: свежесть базы — инвариант движка serial-gate ORCH-088 + `auto_rebase_onto_main` под merge-lease, а не ручная мутирующая операция агента, конфликтующая с запретом force-push).
|
||||
- **reviewer (FR-5/FR-8):** удалена мёртвая инструкция «не апрувь PR от того же экземпляра Developer» (защита от несуществующего кейса — reviewer всегда отдельный agent-run); добавлена секция `<escalation>` (любой P0/P1 → `REQUEST_CHANGES`). Живые инварианты (`REQUEST_CHANGES`, «НЕ обновлена», ось трассировки, ось обзорных доков ORCH-079) сохранены.
|
||||
- **tester (FR-5/FR-7):** обогащён — тесты гоняются в **worktree ветки задачи** (а не в общем `/repos/orchestrator` → исключена гонка checkout); smoke `/queue` проверяет наличие блока `serial_gate` (ORCH-088); `<success_criteria>` требует покрытия **каждого** TC из `04-test-plan.yaml`; добавлена секция `<escalation>` (обоснованный FAIL → `back-to:dev`; смок-сбой инфры → FAIL с диагностикой).
|
||||
- **deployer (FR-6/FR-10):** критичные self-hosting-запреты подняты в **видную рамку в начале** `<context>` («NEVER restart prod 8500», запрет `docker compose up`/правок инфры); язык оставлен **английским** как зафиксированное исключение канона (ADR-001 D2: самый safety-critical промпт, минимизация регресс-поверхности; перевод не несёт выгоды и угрожает байт-точности ключей/команд). Анти-регресс-маркеры (`docker exec orchestrator-staging`, `pr_already_merged`, `8500`, `INFRA-WAIVED`) сохранены.
|
||||
- **Анти-регресс (FR-11):** в `tests/test_agent_prompts_canon.py` добавлены структурные TC (плейсхолдеры даты/модели в копируемых блоках; сверка гейтов с `QG_CHECKS`; `<escalation>` у developer/reviewer/tester после `</success_criteria>`; переформулировка PR-инструкции; обогащение tester; рамка deployer; удаление мёртвой строки reviewer). Существующие проверки канона 52d и `test_agent_frontmatter_no_model.py` — зелёные; полный регресс `tests/` зелёный (1278). Документация: 6 промптов, `CLAUDE.md`, `docs/architecture/README.md`. ADR: `docs/work-items/ORCH-092/06-adr/ADR-001-developer-rebase-and-deployer-language.md`. Полностью обратимо `git revert` (нет машинного поведения/состояния).
|
||||
- **Синхронизация обзорных доков (README) с кодом + reviewer-ось «обзорные доки»** (ORCH-079 / ORCH-52f, `docs`): слой 5 (финал) эпика ORCH-52, замыкающий цепочку 52b (структура) / 52c (frontmatter) / 52d (промпты) / 52e (трассировка). Корневой `README.md` — обзорная витрина проекта — **выдавал решённое за открытое**: секция «Известные ограничения» имела битую нумерацию (`1,2,3,4,3,4`) и пункты, опровергнутые кодом. **Docs + prompt-only:** `src/**`, `STAGE_TRANSITIONS`, `QG_CHECKS`, `check_*`/`_parse_*`, `src/frontmatter.py`, схема БД — **не тронуты**; `frontmatter_validation_strict` остаётся `False`; новый QG не вводится; правило обзорных доков нормативно-описательное (не машинный гейт), как ось трассировки ORCH-078.
|
||||
- **`README.md` приведён в честное состояние по коду (FR-1/FR-2/FR-3, AC-1/AC-2/AC-3):** перенумерация «Известные ограничения» сквозная без повторов; 6 решённых/устаревших пунктов перенесены в трейл **«Закрыто (история)»** с ORCH-ссылками (worktree → `ensure_worktree`+ORCH-026/088; in-process daemon → очередь ORCH-1; «Gitea CI не настроен» → `check_ci_green`; «no retry» → backoff/breaker `queue_worker.py`+ORCH-045; issue-ID → зрелый `plane_sync` ORCH-010/066/068; Playwright-timeout → watchdog ORCH-7); в «открытых» — только реально открытые, верифицированные кодом/задачей (Telegram-48h ORCH-087, task-deps intra-repo v1 ORCH-026, serial-gate Этап 1 ORCH-088). Точечная сверка с кодом: стадия `development` в таблице — `check_ci_green` (был устаревший `check_tests_local`); строка event-routing `status` — авторитетный гейт развития `check_ci_green` (ORCH-045), убран legacy-текст «больше не authoritative».
|
||||
- **Reviewer-ось «обзорные доки» (FR-5, AC-5):** `.openclaw/agents/reviewer.md` ось 4 «Документация» (`<task>`) + `<constraints>` несут точечную врезку «❌→✅» (канон 52d): *PR закрыл пункт README «Известные ограничения», README не обновлён → finding ≥P1*; при закрытии правкой `src/` без обновления README — совпадает с существующим P0. Машинный ключ `verdict: APPROVED|REQUEST_CHANGES` — байт-в-байт; 5 XML-секций и 6 полей схемы 52c сохранены. Правило в одном промпте (без выноса в `docs/_standards/`, в отличие от 52e).
|
||||
- **Эпик ORCH-52 закрыт:** 52b (adr-0019) → 52c (adr-0020) → 52d (adr-0021) → 52e (adr-0022) → **52f (adr-0023)**. Сквозной `docs/architecture/adr/adr-0023-overview-docs-reviewer-axis-and-epic52-close.md` + per-work-item `docs/work-items/ORCH-079/06-adr/ADR-001-readme-sync-and-reviewer-overview-docs-axis.md`.
|
||||
- **Анти-регресс (FR-6, AC-6):** новый структурный `tests/test_readme_limitations.py` (нумерация без повторов; решённые пункты не значатся открытыми; трейл «Закрыто» с ORCH-ссылками); расширен `tests/test_agent_prompts_canon.py` (assert наличия оси обзорных доков в `reviewer.md`); канон 52d (5 секций, 6 полей, регистр verdict-ключей) и `test_agent_frontmatter_no_model.py` зелёные; полный регресс `tests/` зелёный (1257). Документация: `README.md`, `docs/architecture/README.md` (слой 5 эпика 52), `CLAUDE.md`. Полностью обратимо `git revert` (нет машинного поведения/состояния/kill-switch).
|
||||
- **Стандарт маркеров-трассировки `ORCH-NNN` + правило чтения ADR перед правкой** (ORCH-078 / ORCH-52e, `docs`): слой 4 (трассировка) эпика ORCH-52, замыкающий цепочку 52b (структура) / 52c (frontmatter) / 52d (промпты). Маркеры `ORCH-NNN`/`ET-NNN` в коде (де-факто 51 уникальный в `src/`) привязывают нетривиальные инварианты к породившему их work item — была сложившаяся практика без формального контракта. **Docs + prompts-only:** `src/**`, `STAGE_TRANSITIONS`, `QG_CHECKS`, `check_*`/`_parse_*`, `src/frontmatter.py`, схема БД — **не тронуты**; `frontmatter_validation_strict` остаётся `False`; новый QG не вводится; массовый ретро-фит 51 маркера вне объёма (стандарт нормативен «на будущее»).
|
||||
- **Новый стандарт `docs/_standards/TRACEABILITY.md`** (рядом с `PIPELINE_DOCS.md`/`HANDOFF_PROTOCOL.md`): формат маркера, правило размещения (рядом с нетривиальным инвариантом), чтение истории с реальным проверяемым примером (`src/serial_gate.py` → ORCH-088 → `ADR-001-serial-gate.md`), fallback-доступ (`git show origin/main:docs/work-items/...`), анти-археология (3+ маркеров → сводный сквозной ADR), каноничный текст правила чтения (единый источник).
|
||||
- **Точечные врезки в промпты (аддитивно, 52d-канон не переписан):** `developer.md` — правило чтения чужого маркера + fallback («❌ X → ✅ Y»); `architect.md` — правило чтения + анти-археология (3+ → сквозной ADR); `reviewer.md` — усиление оси «Соответствие ADR» под-пунктом «правка маркированного кода сверена с ADR; слом → finding ≥P1». Все три **ссылаются** на единый текст в `TRACEABILITY.md`, не копируют (анти-дубль BR-6).
|
||||
|
||||
44
CLAUDE.md
44
CLAUDE.md
@@ -6,7 +6,7 @@
|
||||
## Стек
|
||||
- Backend: FastAPI + uvicorn (Python 3.12)
|
||||
- БД: SQLite (`src/db.py`)
|
||||
- Агенты: Claude CLI (`ORCH_CLAUDE_BIN`), по одному промпту на роль в `.openclaw/agents/`. **ORCH-74:** модель/эффорт агента берутся ТОЛЬКО из config (`resolve_agent_model`/`resolve_agent_effort`, ORCH-41) — frontmatter `model:` удалён как мёртвый, frontmatter описательный; имя модели валидируется форматом `^claude-…$` перед `--model` (never-break). **ORCH-077 (52d, замыкает эпик 52):** тело всех 6 промптов переписано в едином **каноне Anthropic** (5 обязательных XML-секций в нормативном порядке `<context>`→`<task>`→`<deliverables>`→`<constraints>`→`<output_format>`, запреты в формате «❌ X → ✅ Y», `<thinking>` у решающих ролей), и каждый промпт **добровольно** эмитит 6-польную frontmatter-схему 52c (`work_item`/`stage`/`author_agent`/`status`/`created_at`/`model_used`) **аддитивно** — рядом с machine-verdict ключом, НЕ меняя его имя/регистр/значения (`verdict:`/`result:`/`staging_status:`/`deploy_status:`/`security_status:` — байт-в-байт). Это **docs/prompts-only** изменение: `src/**`/`STAGE_TRANSITIONS`/`QG_CHECKS`/схема БД не тронуты; `frontmatter_validation_strict` остаётся `False` (enforcement НЕ включён). Промпт `cat`-ается из worktree в момент запуска → новые промпты вступают в силу на следующем worktree от `main` без прод-рестарта. Анти-регресс — структурные тесты `tests/test_agent_prompts_canon.py` + зелёный `test_agent_frontmatter_no_model.py`. **Норматив на будущее:** новые/изменённые агент-промпты следуют этому канону. Детали — `docs/architecture/adr/adr-0021-prompt-canon-anthropic.md`.
|
||||
- Агенты: Claude CLI (`ORCH_CLAUDE_BIN`), по одному промпту на роль в `.openclaw/agents/`. **ORCH-74:** модель/эффорт агента берутся ТОЛЬКО из config (`resolve_agent_model`/`resolve_agent_effort`, ORCH-41) — frontmatter `model:` удалён как мёртвый, frontmatter описательный; имя модели валидируется форматом `^claude-…$` перед `--model` (never-break). **ORCH-077 (52d, замыкает эпик 52):** тело всех 6 промптов переписано в едином **каноне Anthropic** (5 обязательных XML-секций в нормативном порядке `<context>`→`<task>`→`<deliverables>`→`<constraints>`→`<output_format>`, запреты в формате «❌ X → ✅ Y», `<thinking>` у решающих ролей), и каждый промпт **добровольно** эмитит 6-польную frontmatter-схему 52c (`work_item`/`stage`/`author_agent`/`status`/`created_at`/`model_used`) **аддитивно** — рядом с machine-verdict ключом, НЕ меняя его имя/регистр/значения (`verdict:`/`result:`/`staging_status:`/`deploy_status:`/`security_status:` — байт-в-байт). Это **docs/prompts-only** изменение: `src/**`/`STAGE_TRANSITIONS`/`QG_CHECKS`/схема БД не тронуты; `frontmatter_validation_strict` остаётся `False` (enforcement НЕ включён). Промпт `cat`-ается из worktree в момент запуска → новые промпты вступают в силу на следующем worktree от `main` без прод-рестарта. Анти-регресс — структурные тесты `tests/test_agent_prompts_canon.py` + зелёный `test_agent_frontmatter_no_model.py`. **Норматив на будущее:** новые/изменённые агент-промпты следуют этому канону. Детали — `docs/architecture/adr/adr-0021-prompt-canon-anthropic.md`. **ORCH-092 (эпилог эпика 52, docs/prompts-only):** аудит 6 промптов поверх канона — копируемые frontmatter-примеры расхардкожены (`created_at: <YYYY-MM-DD>`/`model_used: <resolve ORCH-41>` + врезка «подставь `date +%F`/модель из конфига, не копируй буквально»; литерал `claude-opus-4-8` — только справка в таблице полей); добавлена секция `<escalation>` developer/reviewer/tester (после `</success_criteria>`, порядок 5 секций цел); developer лишён ручного `git rebase origin/main` (свежесть базы — инвариант движка serial-gate ORCH-088 + `auto_rebase_onto_main` под merge-lease; ручной rebase конфликтовал с запретом force-push — ADR-001 D1); tester обогащён worktree-путём + smoke `serial_gate` + покрытием каждого TC; из reviewer удалена мёртвая строка «тот же экземпляр Developer». **Языковое исключение (нормативно, ADR-001 D2):** `deployer.md` сознательно остаётся на **английском** (5 ru + 1 en) как самый safety-critical промпт — НЕ «чинить» язык вслепую; критичные self-hosting-запреты подняты в видную рамку. Verdict-ключи и канон 52d — байт-в-байт; анти-регресс — `tests/test_agent_prompts_canon.py` (ORCH-092 TC-01…TC-08). Детали — `docs/work-items/ORCH-092/06-adr/ADR-001-developer-rebase-and-deployer-language.md`.
|
||||
- Очередь задач: собственная (SQLite `jobs`, `src/queue_worker.py`, ORCH-1). **ORCH-026:** `claim_next_job` гейтит задачи с незавершёнными зависимостями (`job_deps`, `NOT EXISTS`) без занятия слота `max_concurrency`; декларации/детект циклов — leaf `src/task_deps.py` (kill-switch `ORCH_TASK_DEPS_ENABLED`). Сериализация мержа одного репо — безусловный pre-merge rebase под merge-lease (`ORCH_PREMERGE_REBASE_ALWAYS`). **ORCH-088 (serial gate, Этап 1):** новая задача репо не входит в `analysis` (analyst-job не выбирается, ветка не режется), пока в репо есть **более ранняя** незавершённая задача (`t2.id < jobs.task_id`, FIFO) ИЛИ репо заморожен (`repo_freeze`). Срез ветки **отложен** со `start_pipeline` на момент claim analyst-job (`launcher._materialize_deferred_branch`) — база = свежий `origin/main` с кодом предшественника (анти-stale-base). Post-deploy `DEGRADED` → durable per-repo freeze (`repo_freeze`, `cleared_at IS NULL` = активен) + Telegram; снятие — вручную `POST /serial-gate/unfreeze?repo=…`. Leaf `src/serial_gate.py` (claim — fail-OPEN, freeze — fail-CLOSED); флаги `ORCH_SERIAL_GATE_ENABLED` (kill-switch), `ORCH_SERIAL_GATE_REPOS` (CSV; пусто = все репо), `ORCH_SERIAL_GATE_FREEZE_ENABLED`. Блок `serial_gate` в `GET /queue`. `STAGE_TRANSITIONS`/`QG_CHECKS` не тронуты.
|
||||
- Контейнеризация: Docker + Compose
|
||||
- CI/CD: Gitea Actions (`.gitea/workflows/`)
|
||||
@@ -111,6 +111,46 @@ created → analysis → architecture → development → review → testing →
|
||||
Детали — `docs/work-items/ORCH-089/06-adr/ADR-001-auto-label-gates.md`,
|
||||
`docs/architecture/adr/adr-0018-auto-label-gates.md`.
|
||||
|
||||
## Отмена задачи: статус STOP (ORCH-090)
|
||||
Выделенный Plane-статус **STOP** — операторская кнопка «отменить + сбросить» задачу. Вводит
|
||||
**новое системное терминальное состояние `cancelled`** (стадия `tasks.stage='cancelled'` + job-исход
|
||||
`jobs.status='cancelled'`), равноправное `done`. Логический ключ `stop` — **fail-closed** (нет в
|
||||
`_DEFAULT_STATES`, по образцу `confirm_deploy`/ORCH-059): доска без статуса STOP → ветка не
|
||||
активируется. Маршрут `handle_issue_updated → handle_stop → stage_engine.cancel_task`:
|
||||
- **Полный сброс** (вне критичного окна): graceful SIGTERM активного агента (`launcher.stop_process`,
|
||||
переиспользует каскад `_watchdog`), все job'ы → терминальный `cancelled` (не реквью'ятся:
|
||||
`claim_next_job` берёт только `queued`, reaper/worker сверяют терминал задачи — TR-2), удаление
|
||||
worktree + **рабочей** Gitea-ветки (`gitea.delete_remote_branch`, **никогда** `main`, без
|
||||
force-push), durable `stage='cancelled'` + **тумбстон** натуральных ключей (`plane_id`/
|
||||
`work_item_id`/`plane_issue_id` → суффикс `#cancelled-<id>`; ADR-001 D4 уточнён: тумбстонится и
|
||||
`plane_issue_id`, т.к. `get_task_by_plane_id`/`create_task_atomic` матчат по нему — иначе re-create
|
||||
коллизирует; исходный UUID парсится из суффикса для аудита). Docs-артефакты (`01..17`) сохраняются.
|
||||
- **STOP в критичном окне merge/deploy** (ADR-001 D7): `cancel.in_critical_window` → **отложенная**
|
||||
отмена: `tasks.cancel_requested_at`, снимаются только `queued` job'ы (running-актор деплоя/мержа не
|
||||
трогается), алерт; детерминированный finalizer (`run_deploy_finalizer`) доводит необратимый шаг до
|
||||
честного исхода и применяет отмену (`force=True`). «Критичное окно» = реально начатый необратимый
|
||||
шаг: INITIATED-sentinel self-deploy (ORCH-036; детач-деплой + поздний `merge_pr` в
|
||||
`_handle_merge_verify` идут под тем же маркером) **либо** держание merge-lease (ORCH-043) **И**
|
||||
активно бегущий актор (running-job). **Уточнение P1 (ORCH-090 review):** держание merge-lease в
|
||||
Phase A на стадии `deploy` в ожидании ручного `Confirm Deploy` БЕЗ бегущего актора **полностью
|
||||
обратимо** (ничего не смержено/задеплоено) → НЕ критично → немедленный полный сброс (сам отпускает
|
||||
lease). Иначе отмена откладывалась бы к finalizer'у, который оператор (нажавший STOP именно чтобы НЕ
|
||||
подтверждать деплой) не запускает — задача застревала бы с удержанным lease, клиня serial-gate репо.
|
||||
STOP **никогда** не трогает `main`/force-push/прод-контейнер/detached-процесс (NFR-3).
|
||||
- **Кросс-каттинг (adr-0026):** предикат «задача терминальна» расширен `{done}` → `{done, cancelled}`
|
||||
в `serial_gate`/`task_deps`/`stages.py`-сток (иначе отменённая задача заклинит очередь репо);
|
||||
reconciler-терминал-скип уже знал `cancelled` (ORCH-086). `STAGE_TRANSITIONS` exit-гейты рёбер /
|
||||
`QG_CHECKS` / `check_*` — **не тронуты** (`cancelled` — сток, не ребро).
|
||||
- **Дыра релонча закрыта (D6):** relaunch агента в `handle_status_start` ограничен стадией `analysis`
|
||||
(единственный владелец Needs Input, ORCH-066); ручной перевод существующей задачи в иной промежуточный
|
||||
статус больше не релончит середину пайплайна. Запуск пайплайна — только «To Analyse» → `start_pipeline`.
|
||||
- Флаги `stop_status_enabled` (kill-switch; `False` → всё инертно, нулевая регрессия) / `stop_status_repos`
|
||||
(CSV; пусто → все репо). Leaf `src/cancel.py` (never-raise). Read-only блок `stop` в `GET /queue`.
|
||||
Аддитивные колонки `tasks.cancelled_at`/`cancel_requested_at` (`_ensure_column`). **Инфра-предусловие:**
|
||||
создать статус **STOP** с группой `cancelled` на доске ORCH (его отсутствие = fail-safe no-op). Детали —
|
||||
`docs/work-items/ORCH-090/06-adr/ADR-001-stop-cancel-task.md`,
|
||||
`docs/architecture/adr/adr-0026-stop-cancel-task.md`.
|
||||
|
||||
## Конвенции
|
||||
- Conventional Commits (`feat:`, `fix:`, `docs:`, `refactor:`, `test:`)
|
||||
- Ветки: `feature/ORCH-NNN-slug`, `fix/ORCH-NNN-slug`
|
||||
@@ -130,7 +170,7 @@ created → analysis → architecture → development → review → testing →
|
||||
3. Никогда не править артефакты других этапов.
|
||||
4. Никогда не комментировать ТЗ задним числом — если ТЗ не годится, возвращай в Анализ.
|
||||
5. Никогда не закрывать задачу самостоятельно — это делает CI / финальная стадия.
|
||||
6. **Reviewer проверяет: обновлена ли документация. Нет → REQUEST_CHANGES.**
|
||||
6. **Reviewer проверяет: обновлена ли документация. Нет → REQUEST_CHANGES.** Это включает **обзорные доки** (ORCH-079, 52f — финал эпика 52): если PR закрывает пункт `README.md` «Известные ограничения», но README не обновлён → finding ≥P1 (витрина проекта не должна выдавать решённое за открытое).
|
||||
7. Не использовать `--no-verify` без явного одобрения Owner.
|
||||
8. Секреты — только в `.env`/`.env.staging` на хосте, в гит НЕ коммитятся (канон — `.env.example`).
|
||||
9. **Трассировка маркеров (ORCH-078, ORCH-52e):** правишь строку/блок с маркером `ORCH-NNN` →
|
||||
|
||||
53
README.md
53
README.md
@@ -29,7 +29,7 @@ created → analysis → architecture → development → review → testing →
|
||||
| created | — | — | Plane webhook (work_item.created) |
|
||||
| analysis | analyst | Файлы BRD/TRZ/AC/TestPlan | Push docs/ |
|
||||
| architecture | architect | ADR или infra-requirements | Push docs/ |
|
||||
| development | developer | check_tests_local (орк сам гоняет `make test`) | Auto-advance после developer |
|
||||
| development | developer | check_ci_green (Gitea CI зелёный на ветке) | Auto-advance после developer |
|
||||
| review | reviewer | check_reviewer_verdict (`verdict:` во frontmatter 12-review.md) | Auto-advance после reviewer |
|
||||
| testing | tester | check_tests_passed (test-report.md) | Auto-advance после tester |
|
||||
| deploy-staging | deployer | check_staging_status (15-staging-log.md) | Auto-advance после tester |
|
||||
@@ -138,6 +138,8 @@ uvicorn src.main:app --reload --port 8500
|
||||
| `ORCH_RECONCILE_NOTIFY_UNBLOCK` | Telegram при разблокировке застрявшей задачи | `true` |
|
||||
| `ORCH_RECONCILE_SKIP_BLOCKED_ENABLED` | F-1 Guard 2 (ORCH-060): пропуск задач в Plane-статусе Blocked / Needs Input; `false` глушит только сетевой Guard 2 (Guard 1 escalated всегда активен) | `true` |
|
||||
| `ORCH_QG0_TITLE_MAX` | Верхний лимит длины заголовка QG-0 (вход `_qg0_errors`); невалидное/пустое значение → дефолт (ORCH-069) | `200` |
|
||||
| `ORCH_STOP_STATUS_ENABLED` | Kill-switch отмены задачи по Plane-статусу **STOP** + закрытия дыры релонча (ORCH-090); `false` → поведение 1:1 как до ORCH-090 | `true` |
|
||||
| `ORCH_STOP_STATUS_REPOS` | CSV область репо для STOP-отмены; пусто = все репо (ORCH-090) | `""` |
|
||||
|
||||
## Очередь задач (ORCH-1 / F-2b)
|
||||
|
||||
@@ -154,7 +156,30 @@ Webhook-хэндлеры больше не спавнят claude-агентов
|
||||
- **Ретраи.** Упавший job (exit≠0) ретраится пока `attempts < max_attempts`,
|
||||
потом `failed` + Telegram-нотификация.
|
||||
|
||||
Статусы job: `queued → running → done | failed`. Наблюдаемость — через `GET /queue`.
|
||||
Статусы job: `queued → running → done | failed`; **`cancelled`** — терминальный
|
||||
исход STOP-отмены (ORCH-090), нигде не реквью'ится. Наблюдаемость — через `GET /queue`.
|
||||
|
||||
## Отмена задачи: статус STOP (ORCH-090)
|
||||
|
||||
Перевод задачи в выделенный Plane-статус **STOP** отменяет её: оркестратор
|
||||
останавливает активного агента (graceful SIGTERM-каскад), снимает все job'ы
|
||||
(терминальный `cancelled`, без авто-requeue), удаляет worktree и **рабочую**
|
||||
ветку в Gitea (**никогда** `main`, без force-push), сбрасывает прогресс в
|
||||
durable-терминал `tasks.stage='cancelled'` и тумбстонит натуральные ключи
|
||||
(`#cancelled-<id>`), чтобы повторный «To Analyse» создал задачу **с нуля**.
|
||||
Docs-артефакты (`01..17`) сохраняются. STOP во время критичного шага merge/deploy
|
||||
— **откладывается** до его честного завершения (никакого half-merge / рестарта
|
||||
прода). Параллельно закрыта «дыра релонча»: ручной перевод в промежуточный рабочий
|
||||
статус больше не релончит агента — единственный вход к запуску пайплайна остаётся
|
||||
«To Analyse» (релонч агента сменой статуса разрешён только на стадии `analysis` —
|
||||
владельце Needs Input). Всё под kill-switch `ORCH_STOP_STATUS_ENABLED`, аддитивно,
|
||||
never-raise. Наблюдаемость — блок `stop` в `GET /queue`. Деталь — `docs/work-items/
|
||||
ORCH-090/06-adr/ADR-001-stop-cancel-task.md` + сквозной
|
||||
`docs/architecture/adr/adr-0026-stop-cancel-task.md`.
|
||||
|
||||
> **Инфра-предусловие:** на доске Plane проекта ORCH создать статус **«STOP»** с
|
||||
> группой `cancelled`. До создания статуса фича в fail-safe (нет UUID → ветка STOP
|
||||
> не активируется).
|
||||
|
||||
**Resilience-слой:** дешёвый preflight (CLI/net, кэш, без токенов) гейтит claim;
|
||||
429/overload детектится по логу (transient vs permanent), transient ретраится с
|
||||
@@ -223,7 +248,7 @@ stdout/stderr агента перенаправляются СРАЗУ в `/app/
|
||||
Gitea events роутятся по типу:
|
||||
- `push` → проверка файлов, advance architecture/development
|
||||
- `pull_request*` (wildcard) → review approved/rejected, PR merge
|
||||
- `status` → (legacy) Gitea CI; С-1: больше не authoritative, `failure` логируется на debug и не блокирует/не алертит (QG развития = локальный `check_tests_local`)
|
||||
- `status` → Gitea CI статус; ORCH-045: авторитетный гейт развития (`development → review`) — `check_ci_green` читает статус ветки с polling-retry (устраняет гонку «pending сразу после push»)
|
||||
|
||||
## Тесты
|
||||
|
||||
@@ -233,9 +258,19 @@ pytest tests/ -v
|
||||
|
||||
## Известные ограничения
|
||||
|
||||
1. **Single-task / shared `/repos` checkout** — одновременно безопасно обрабатывается одна задача: все агенты и `check_tests_local` делают `git checkout` в одном `/repos/<repo>` → гонки при параллельных задачах. Исправление — git worktree per task (S-4, отдельно).
|
||||
2. **Plane sync** — маппинг issue ID может быть некорректным (P3, в работе)
|
||||
3. **In-process daemon-потоки** — агенты живут в потоках uvicorn; при рестарте ловит orphan-recovery. Целевое — очередь задач (F-2b)
|
||||
4. **Gitea CI не настроен** — тесты гоняет сам оркестратор локально
|
||||
3. **Tester timeout** — e2e тесты с Playwright могут занимать >25 мин на тяжёлых фичах
|
||||
4. **No retry on API errors** — httpx вызовы к Gitea/Plane без retry logic
|
||||
Реально открытые ограничения (сверено с кодом, ORCH-079):
|
||||
|
||||
1. **Telegram 48h** — карточки-сироты старше 48 часов неудаляемы (лимит Telegram Bot API); зачистка сирот самозалечивает только свежие (ORCH-087).
|
||||
2. **Зависимости задач — только intra-repo (v1)** — `job_deps` выражают связи в пределах одного репозитория; кросс-репо зависимости пока не поддержаны (ORCH-026).
|
||||
3. **Пакетный автоном — Этап 1** — per-repo serial gate сериализует задачи одного репо (ORCH-088); полный пакетный автономный прогон «10–20 задач за ночь» — в развитии (эпик ORCH-088).
|
||||
|
||||
### Закрыто (история)
|
||||
|
||||
Пункты, ранее значившиеся ограничениями, закрыты кодом — оставлены как трассировка:
|
||||
|
||||
- **Single-task / shared `/repos` checkout** → git worktree per task (`ensure_worktree`) + serial-gate (ORCH-088) + task-deps (ORCH-026).
|
||||
- **In-process daemon-потоки** → персистентная очередь задач (SQLite `jobs`, `src/queue_worker.py`), restart-safe (ORCH-1).
|
||||
- **Gitea CI не настроен** → активный гейт стадии `development` — `check_ci_green` (`src/qg/checks.py`); `check_tests_local` помечен DEPRECATED.
|
||||
- **No retry on API errors** → exp-backoff + circuit breaker в `queue_worker.py` (`ORCH_BACKOFF_*` / `ORCH_BREAKER_*` / `ORCH_TRANSIENT_MAX_ATTEMPTS`) + retry-loop в `check_ci_green` (ORCH-1 resilience / ORCH-045).
|
||||
- **Plane sync — маппинг issue ID** → зрелый `src/plane_sync.py` (`find_issue_id`, `fetch_issue_sequence_id`) со статус-моделью и TTL-самозалечиванием (ORCH-010 / 066 / 068).
|
||||
- **Tester timeout — Playwright e2e** → orchestrator является pytest-сервисом (Playwright неприменим); реальный механизм — конфигурируемый watchdog (`agent_timeout_seconds`, ORCH-7).
|
||||
|
||||
@@ -13,6 +13,8 @@
|
||||
- **Queue** (`src/queue_worker.py`, ORCH-1) — персистентная очередь задач (SQLite `jobs`), atomic claim, max_concurrency, ретраи, restart-safe. **ORCH-026:** `claim_next_job` гейтит задачи с незавершёнными зависимостями (`job_deps`, `NOT EXISTS`) без занятия слота; декларации/циклы — leaf `src/task_deps.py`.
|
||||
- **Job-reaper** (`src/job_reaper.py`, ORCH-065 — [adr-0011](adr/adr-0011-job-reaper-lease-reclaim.md)) — фоновый daemon-поток (каркас `reconciler`), стартует/останавливается в `main.lifespan` (после `reconciler.start()` / перед `worker.stop()`). Детектирует «мёртвый» `running`-job **без рестарта** процесса (Tier-1 мёртвый `jobs.pid` после `reaper_dead_ticks` тиков; Tier-2 `agent_runs.exit_code` записан, а job ещё `running`; Tier-3 backstop `reaper_max_running_s`) и приводит строку к корректному статусу через те же контракты (`_try_advance_stage`/`_finalize_job`, gate-driven; exit≠0/неизвестно → `attempts<max`→`queued`, иначе `failed`+Telegram). Атомарный reap-claim (guard `status='running'`) совместим со стартовым `requeue_running_jobs`. Тот же поток периодически делает проактивный реклейм stale/dead merge-lease (см. ниже). never-raise; kill-switch `ORCH_REAPER_ENABLED`; снимок в `GET /queue` (блок `reaper`).
|
||||
- **Reconciler** (`src/reconciler.py`, ORCH-053 — реализовано, [adr-0007](adr/adr-0007-reconciler.md)) — фоновый daemon-поток (паттерн `queue_worker`), стартует/останавливается в `main.lifespan` (после `worker.start()` / перед `worker.stop()`). Реконсилирует рассинхрон «источник истины ≠ стадия задачи» при потерянном webhook. F-1 gate-side (продвигает застрявшую стадию по локальной БД через штатный `advance_stage(..., finished_agent=None)`), F-2 plane-side (опрос Plane API → `handle_*` из `plane.py`), F-3 (БД-fallback `sha→branch` в `handle_ci_status`). Источник истины — гейт/Plane, не событие; идемпотентность (active-job guard + atomic-claim + grace); kill-switch `ORCH_RECONCILE_ENABLED`. `analysis` F-1 не трогает (человеческий гейт). F-1 также пропускает escalated (retry≥лимита) и Blocked/Needs-Input задачи (ORCH-060). Наблюдаемость — блок `reconcile` в `GET /queue`.
|
||||
- **Disk-watchdog** (`src/disk_watchdog.py`, ORCH-063 — [adr-0024](adr/adr-0024-disk-watchdog.md)) — фоновый daemon-поток (каркас `reconciler`/`job_reaper`), стартует/останавливается в `main.lifespan` (старт последним — после `reaper.start()`; стоп первым в reverse-порядке; гард `disk_monitor_enabled`). Каждые `disk_monitor_interval_s` (дефолт 300с) меряет заполнение **хост-ФС** по смонтированным bind-путям (`/repos`, `/app/data`) через stdlib `shutil.disk_usage` (не overlay `/` контейнера, не субпроцесс `df`; дедуп путей по `st_dev`). Решение об алерте — pure-функция `decide_action(used_pct, threshold, prev_state, now, realert_s)`: алерт на пересечении порога (дефолт **85%**), cooldown-повтор `disk_monitor_realert_s` (анти-спам, не на каждом тике), однократный recovery при возврате ниже порога. Алерт — `send_telegram` (notifying, best-effort). Состояние анти-спама — in-memory (без миграции БД). never-raise (per-path/per-tick/per-send); только читает и уведомляет — не трогает диск/контейнер, не рестартит прод (self-hosting безопасность). Kill-switch `ORCH_DISK_MONITOR_ENABLED`; снимок — блок `disk_monitor` в `GET /queue` (`enabled`/`threshold_pct`/`interval_s`/`realert_s`/`paths`[`used_pct`/`free_gb`/`alerting`/`last_alert_at`]). `STAGE_TRANSITIONS`/`QG_CHECKS`/схема БД — не тронуты. Детали — `docs/work-items/ORCH-063/06-adr/ADR-001-disk-watchdog.md`.
|
||||
- **Build-cache-pruner** (`src/build_cache_pruner.py`, ORCH-062 — [adr-0025](adr/adr-0025-build-cache-pruner.md)) — фоновый daemon-поток (каркас `disk_watchdog`), стартует/останавливается в `main.lifespan` (старт последним — после `disk_watchdog.start()`; стоп первым в reverse; гард `build_cache_prune_enabled`). «Вторая половина» disk-watchdog: **watchdog сигналит — pruner убирает**. Каждые `build_cache_prune_interval_s` (дефолт 21600с = 6ч) выполняет **строго `docker builder prune -f --filter until=<until>`** (BuildKit GC; дефолт `until=24h` — удаляет build cache старше суток, тёплый кэш сохраняет; `-a` опционально, только в паре с фильтром). Затрагивает **только** build cache — НЕ образы/контейнеры; рестарт docker daemon/прода не выполняется (self-hosting безопасность). В контейнере нет `docker` CLI (`Dockerfile:11`), поэтому уборка идёт **на хосте через ssh** каналом `deploy_ssh_user@deploy_ssh_host` (как `image_freshness`/`self_deploy`); пустой `deploy_ssh_host` → тик no-op (скоуп на self-host). never-raise (per-команда/per-tick); учёт результата in-memory (без миграции БД). Kill-switch `ORCH_BUILD_CACHE_PRUNE_ENABLED`; снимок — блок `build_cache_prune` в `GET /queue` (`enabled`/`interval_s`/`until`/`last_run_ts`/`last_reclaimed`/`last_error`). `STAGE_TRANSITIONS`/`QG_CHECKS`/схема БД — не тронуты. Детали — `docs/work-items/ORCH-062/06-adr/ADR-001-build-cache-pruner.md`.
|
||||
- **Notifications / Live-tracker** (`src/notifications.py`, ORCH-042/ORCH-067) — ОДНА live-карточка на задачу (`update_task_tracker`), обновляется на каждом переходе. Режим `ORCH_TRACKER_MODE` (дефолт `bump` с ORCH-067: delete+silent send+repoint внизу чата; `edit` — правка на месте). Карточка несёт строку Plane-статуса `📍 …` (оффлайн-ядро `plane_status_label` + best-effort live-overlay `_live_plane_branch_override`, kill-switch `ORCH_TRACKER_LIVE_STATUS`) и кликабельный номер задачи (`plane_issue_link`/`link_for` → ссылка в Plane, fail-safe на сырой номер). **ORCH-080:** оба низкоуровневых примитива (`send_telegram`/`edit_telegram`) шлют payload с `disable_web_page_preview: True` — Telegram больше не разворачивает баннер link-preview Plane под карточкой/уведомлениями; `parse_mode: HTML` сохранён (ссылка остаётся кликабельной), безусловно без kill-switch. Все алерты, упоминающие `work_item_id`, делают номер кликабельным. **ORCH-087:** bump ведёт авторитетный леджер всех созданных карточек (`tracker_messages`, `deleted_at IS NULL` = жива) и на каждом обновлении зачищает ВСЕ незакрытые mid (а не только скаляр `tracker_message_id`) → класс «замёрзшая сирота» устранён; строка стадии несёт фактический эффорт рядом с моделью (`· {model} · {effort}`, колонка `agent_runs.effort`, стамп в `launcher._spawn`); done-строка времени переписана на три подписанных метрики `⏱️ Агенты · твоё{~cap} · общее с ожиданием` (кап `ORCH_TRACKER_BRD_REVIEW_CAP_S`); deploy-цикл дополнен overlay-ключом `confirm_deploy`. Контракт всего компонента — never raises; карточка всегда silent. Детали — [internals.md](internals.md) §7 и [ADR-001](../work-items/ORCH-087/06-adr/ADR-001-tracker-orphan-cleanup.md).
|
||||
- **Project Registry** (`src/projects.py`, ORCH-6) — Plane project id → repo + prefix; фильтрация вебхуков по проекту.
|
||||
- **Plane Sync** (`src/plane_sync.py`) — синхронизация статусов/комментариев в Plane. Резолв статусов проекта `get_project_states` (ORCH-10) кэширует `{logical_key→uuid}` per-project; **ORCH-068** добавляет в кэш-запись `{uuid→group}` (для терминал-исключения F-2) и **TTL** `ORCH_PLANE_STATES_TTL_S` (дефолт 300с; `0` → прежний lifetime-кэш) — устаревший набор статусов самозалечивается без рестарта процесса через существующий `reload_project_states()` (баг кэша после появления нового Plane-статуса). Форма возврата `get_project_states` неизменна (обратная совместимость).
|
||||
@@ -82,6 +84,25 @@ enforcement не включается).
|
||||
остаётся зелёным. **Норматив на будущее:** новые/изменённые агент-промпты следуют этому канону.
|
||||
- ADR: [adr-0021](adr/adr-0021-prompt-canon-anthropic.md); детально —
|
||||
`docs/work-items/ORCH-077/06-adr/ADR-001-anthropic-prompt-canon.md`.
|
||||
- **Промпт-аудит ORCH-092 (эпилог эпика 52, docs/prompts-only):** точечно устранён класс дефектов
|
||||
промптов поверх канона 52d. (1) **Расхардкод примеров:** копируемые frontmatter-примеры всех 6
|
||||
промптов несут плейсхолдеры `created_at: <YYYY-MM-DD>` / `model_used: <resolve ORCH-41>` +
|
||||
врезку «подставь `date +%F` и модель из конфига, не копируй буквально» (литерал `claude-opus-4-8`
|
||||
оставлен лишь справкой в таблице полей). (2) **Секция `<escalation>`** добавлена developer/
|
||||
reviewer/tester (после `</success_criteria>`, не нарушая порядок 5 обязательных секций):
|
||||
developer → `back-to:analysis`, tester → `back-to:dev`, reviewer → `REQUEST_CHANGES`.
|
||||
(3) **developer:** убран ручной `git rebase origin/main` — свежесть базы держит движок
|
||||
(serial-gate ORCH-088 + `auto_rebase_onto_main` под merge-lease), а ручной rebase конфликтовал с
|
||||
собственным запретом force-push (ADR-001 D1); «PR>1500 → разбивай» переформулирован в эскалацию
|
||||
на уровне задач. (4) **tester** обогащён worktree-путём, smoke-проверкой блока `serial_gate` и
|
||||
требованием покрытия каждого TC. (5) **reviewer:** удалена мёртвая строка «тот же экземпляр
|
||||
Developer». (6) **Языковое исключение (ADR-001 D2, нормативно):** `deployer.md` сознательно
|
||||
остаётся на **английском** (5 ru + 1 en) — самый safety-critical промпт, минимизация
|
||||
регресс-поверхности у байт-точных verdict-ключей/команд; критичные self-hosting-запреты подняты в
|
||||
видную рамку в начале `<context>`. Это **документированное исключение**, не дрейф: будущему агенту
|
||||
НЕ «чинить» язык deployer вслепую. Машинные verdict-ключи и канон 52d — байт-в-байт; анти-регресс —
|
||||
расширенный `tests/test_agent_prompts_canon.py` (ORCH-092 TC-01…TC-08). ADR:
|
||||
`docs/work-items/ORCH-092/06-adr/ADR-001-developer-rebase-and-deployer-language.md`.
|
||||
|
||||
#### Слой трассировки: стандарт маркеров `ORCH-NNN` (ORCH-078, 52e — слой 4 эпика 52)
|
||||
**Слой 4 (трассировка).** Маркеры `ORCH-NNN`/`ET-NNN` в коде (де-факто **51 уникальный** в `src/`)
|
||||
@@ -103,6 +124,31 @@ enforcement не включается).
|
||||
- ADR: [adr-0022](adr/adr-0022-traceability-marker-standard.md); детально —
|
||||
`docs/work-items/ORCH-078/06-adr/ADR-001-traceability-marker-standard.md`.
|
||||
|
||||
#### Слой обзорных доков: reviewer-ось README-ограничений + закрытие эпика 52 (ORCH-079, 52f — слой 5/финал)
|
||||
**Слой 5 (финал).** 52b–52e привели в порядок структуру доков, машинный frontmatter, канон промптов
|
||||
и трассировку, но **корневой `README.md`** — обзорная витрина проекта — остался незакрытым и **выдавал
|
||||
решённое за открытое**: секция «Известные ограничения» имела битую нумерацию (`1,2,3,4,3,4`) и пункты,
|
||||
опровергнутые кодом (worktree-гонки → `ensure_worktree`+ORCH-026/088; in-process daemon → очередь
|
||||
ORCH-1; «Gitea CI не настроен» → `check_ci_green`; «no retry» → backoff/breaker `queue_worker.py`;
|
||||
устаревшие issue-ID → зрелый `plane_sync` ORCH-010/066/068; Playwright-timeout → watchdog ORCH-7).
|
||||
ORCH-079 синхронизирует витрину с кодом и закрывает **процессный пробел**: reviewer не контролировал
|
||||
обновление обзорных доков. Это **docs + prompt-only** изменение: `src/**`, `STAGE_TRANSITIONS`,
|
||||
`QG_CHECKS`, схема БД — **не трогаются**.
|
||||
- **Reviewer-ось «обзорные доки»:** `.openclaw/agents/reviewer.md` ось 4 «Документация» + `<constraints>`
|
||||
несут врезку «❌→✅»: *PR закрыл пункт README «Известные ограничения», README не обновлён → finding*
|
||||
(≥P1; при закрытии правкой `src/` без обновления README — совпадает с существующим P0). Канон 52d
|
||||
(5 секций) и `verdict: APPROVED|REQUEST_CHANGES` — байт-в-байт; правило нормативно-описательное (не
|
||||
машинный гейт), как ось трассировки ORCH-078.
|
||||
- **Витрина по коду (NFR-3):** решённые пункты сняты/перенесены в «Закрыто (история)» с ORCH-ссылками;
|
||||
в «открытых» — только реально открытые, верифицированные кодом/задачей; запрет изобретать
|
||||
ограничения (анти-scope-creep).
|
||||
- **Эпик ORCH-52 закрыт:** 52b (adr-0019) → 52c (adr-0020) → 52d (adr-0021) → 52e (adr-0022) →
|
||||
**52f (adr-0023)**.
|
||||
- **Анти-регресс:** `tests/test_agent_prompts_canon.py` (assert наличия оси обзорных доков); канон 52d
|
||||
и `test_agent_frontmatter_no_model.py` зелёные.
|
||||
- ADR: [adr-0023](adr/adr-0023-overview-docs-reviewer-axis-and-epic52-close.md); детально —
|
||||
`docs/work-items/ORCH-079/06-adr/ADR-001-readme-sync-and-reviewer-overview-docs-axis.md`.
|
||||
|
||||
### Модель и эффорт по ролям (ORCH-41, валидация ORCH-74)
|
||||
Модель и `--effort` каждого агента берутся из config (`src/config.py`), резолвятся `launcher.resolve_agent_model` / `resolve_agent_effort` по приоритету **project-override (`projects_json` `agent_models`/`agent_efforts`) > `ORCH_AGENT_MODEL_<AGENT>`/`ORCH_AGENT_EFFORT_<AGENT>` > `*_default` > CLI-дефолт (без флага)**. **Эффорт (ORCH-081):** ниже `*_default` добавлен непустой **per-role floor** — class-default поля `agent_effort_<role>` из `config.py` (его пустой env перебить не может). Floor — строго последний уровень (ниже default) и срабатывает ТОЛЬКО когда все уровни пусты, поэтому пустые прод-`ORCH_AGENT_EFFORT_*=` (которые pydantic трактует как явное `''` и обнуляют дефолт) больше не приводят к запуску без `--effort`: каждая роль получает свой канонический пол (developer=`xhigh`, tester/deployer=`medium`, прочие=`high`). Непустой явный конфиг по-прежнему побеждает floor; опечатка вне `VALID_EFFORTS` дропается валидацией ДО floor (never-break, не маскируется). См. `docs/work-items/ORCH-081/06-adr/ADR-001-effort-resolution-floor.md`. frontmatter `model:` в `.openclaw/agents/*.md` **удалён** (ORCH-74 G1) — он был мёртвой/лживой декларацией (launcher его не читает); config — единственный источник правды о модели. Model-routing (G3) НЕ включён — все 6 агентов на `claude-opus-4-8`.
|
||||
|
||||
@@ -232,6 +278,58 @@ Phase A ждёт ручного `Confirm Deploy`, ORCH-059). ORCH-089 снима
|
||||
`docs/work-items/ORCH-089/06-adr/ADR-001-auto-label-gates.md`,
|
||||
`docs/work-items/ORCH-089/07-infra-requirements.md`.
|
||||
|
||||
### STOP / отмена задачи: терминал `cancelled` + закрытие дыры релонча (ORCH-090 — реализовано)
|
||||
|
||||
До ORCH-090 не было штатного способа отменить задачу (ручная хирургия по БД/процессам) и
|
||||
существовала **дыра релонча**: `handle_status_start` при существующей задаче без активного job
|
||||
безусловно релончил агента текущей стадии на той же ветке. ORCH-090 вводит Plane-статус **STOP**
|
||||
как единый декларативный сигнал отмены: остановка агента + **полный сброс** прогресса. Аддитивно,
|
||||
под kill-switch, never-raise, restart-safe; `STAGE_TRANSITIONS` (exit-гейты) / `QG_CHECKS` /
|
||||
`check_*` — **без изменений**.
|
||||
- **Новое системное терминальное состояние `cancelled`** (adr-0026) — `tasks.stage='cancelled'` +
|
||||
`jobs.status='cancelled'`, равноправное `done`. Предикат «задача незавершена» расширяется
|
||||
`stage != 'done'` → `stage NOT IN ('done','cancelled')` в `serial_gate` (ORCH-088) и `task_deps`
|
||||
(ORCH-026), приводя их в соответствие с уже существующим терминал-скипом реконсилятора
|
||||
(`stage in ("done","cancelled")`, ORCH-086 D2). Иначе отменённая задача заклинила бы очередь репо.
|
||||
- **Распознавание (fail-closed):** новый ключ `stop` в `_PLANE_NAME_TO_KEY` (`"STOP" → "stop"`);
|
||||
**не** в `_DEFAULT_STATES` (по образцу `confirm_deploy`/ORCH-059) → нет статуса = нет отмены, без
|
||||
`KeyError`. `handle_issue_updated` маршрутизирует `stop` → новый `handle_stop` →
|
||||
`stage_engine.cancel_task`.
|
||||
- **Каскад отмены:** graceful SIGTERM активному агенту (переиспользование каскада
|
||||
`launcher._watchdog` по `jobs.pid`); `cancel_jobs_for_task` (queued/running → `cancelled`,
|
||||
не реквью'ятся); снятие таймеров/мониторов (brd-clock, post-deploy monitor, defer'ы);
|
||||
`remove_worktree` + never-raise удаление **только feature-ветки** Gitea (`gitea.delete_remote_branch`;
|
||||
`main`/`master` неприкосновенны — явный гард; без force-push); **тумбстон** `plane_id`/`work_item_id`/
|
||||
**`plane_issue_id`** (суффикс `#cancelled-<id>`) → `get_task_by_plane_id` возвращает None → повторный
|
||||
«To Analyse» создаёт задачу с нуля; docs-артефакты (`01..17`) сохраняются. Аддитивные колонки
|
||||
`tasks.cancelled_at`/`cancel_requested_at` (`_ensure_column`).
|
||||
> **Уточнение ADR-001 D4 (при реализации):** ADR предлагал сохранить `plane_issue_id` нетронутым, но
|
||||
> `get_task_by_plane_id`/`create_task_atomic` матчат по `plane_id OR plane_issue_id` — нетумбстоненный
|
||||
> `plane_issue_id` оставил бы отменённую строку «находимой» и заблокировал бы re-create (BR-3/TR-4).
|
||||
> Поэтому он тоже тумбстонится; исходный UUID (== исходный `plane_id` во всех путях создания) парсится
|
||||
> из детерминированного суффикса для аудита.
|
||||
- **Безопасное прерывание merge/deploy:** STOP в критическом окне → **отложенная отмена** (durable
|
||||
`cancel_requested_at`, отмена только `queued`-job'ов, алерт); необратимый шаг доводится до
|
||||
честного исхода; `main`/прод-контейнер не трогаются (NFR-3). «Критическое окно» = реально начатый
|
||||
необратимый шаг: self-deploy `INITIATED`-sentinel (ORCH-036; детач-деплой + поздний `merge_pr` в
|
||||
`_handle_merge_verify` идут под тем же маркером) **либо** держание merge-lease (ORCH-043/071) **И**
|
||||
активно бегущий актор (running-job). **P1-уточнение (ORCH-090 review):** удержание merge-lease в
|
||||
Phase A на `deploy` в ожидании ручного `Confirm Deploy` без бегущего актора **обратимо** → НЕ
|
||||
критично → немедленный полный сброс (он сам отпускает lease). Иначе deferred-отмена ушла бы к
|
||||
finalizer'у, который оператор (нажавший STOP, чтобы НЕ подтверждать) никогда не запустит — задача
|
||||
застряла бы нетерминальной с удержанным lease, клиня serial-gate репо.
|
||||
- **Закрытие дыры релонча:** relaunch в `handle_status_start` ограничен стадией `analysis`
|
||||
(единственный владелец Needs-Input, ORCH-066) — тихий релонч середины пайплайна на старой ветке
|
||||
устранён; единственный вход к запуску — «To Analyse» (`start_pipeline`).
|
||||
- **Флаги/наблюдаемость:** kill-switch `stop_status_enabled` + `stop_status_repos` (CSV, пусто →
|
||||
все репо); leaf `src/cancel.py` (never-raise); read-only блок `stop` в `GET /queue`; лог +
|
||||
Telegram (кликабельный номер) + Plane-коммент + live-карточка. При выключенном флаге — нулевая
|
||||
регрессия (enduro не затронут).
|
||||
|
||||
Подробнее: [adr-0026](adr/adr-0026-stop-cancel-task.md), детально —
|
||||
`docs/work-items/ORCH-090/06-adr/ADR-001-stop-cancel-task.md`,
|
||||
`docs/work-items/ORCH-090/08-data-requirements.md`.
|
||||
|
||||
### Исполняемый самодеплой стадии `deploy` (ORCH-36)
|
||||
`deploy` перестаёт быть «бумажной»: для self-hosting (`is_self_hosting_repo`) стадия
|
||||
РЕАЛЬНО деплоит прод (8500) через хост-хук `scripts/orchestrator-deploy-hook.sh`,
|
||||
@@ -697,9 +795,9 @@ Monitoring after Deploy → Done
|
||||
|
||||
## База данных (SQLite)
|
||||
- `events` — входящие вебхуки (дедуп)
|
||||
- `tasks` — задачи и их стадии
|
||||
- `tasks` — задачи и их стадии; колонки `cancelled_at`/`cancel_requested_at` (ORCH-090) — durable-метки STOP-отмены (вторая — отложенная отмена в критичном окне merge/deploy). Терминальная стадия `cancelled` (сток, параллельно `done`); натуральные ключи отменённой строки тумбстонятся суффиксом `#cancelled-<id>` (`plane_id`/`work_item_id`/`plane_issue_id`)
|
||||
- `agent_runs` — запуски агентов (run_id, usage, cost)
|
||||
- `jobs` — очередь задач (ORCH-1); колонка `pid` (ORCH-065) — pid агентского процесса для liveness-детекции зомби job-reaper'ом
|
||||
- `jobs` — очередь задач (ORCH-1); статусы `queued|running|done|failed|cancelled` (ORCH-090: `cancelled` — терминальный исход STOP, нигде не реквью'ится); колонка `pid` (ORCH-065) — pid агентского процесса для liveness-детекции зомби job-reaper'ом
|
||||
- `job_deps` — декларативные зависимости задач (ORCH-026, Уровень B): `(task_id, depends_on_task_id)`, аддитивная; источник истины планировщика для гейта «B ждёт A»
|
||||
- `repo_freeze` — durable per-repo rollback-freeze (ORCH-088, FR-5): `(id, repo, frozen_at, reason, work_item_id, cleared_at)`, аддитивная append-only; активный freeze ⇔ строка репо с `cleared_at IS NULL`. Выставляется post-deploy `DEGRADED` (`set_repo_freeze`), снимается вручную (`POST /serial-gate/unfreeze` → `cleared_at=now`). Гейтит serial-claim безусловно (деградировавшая задача уже `done`)
|
||||
|
||||
@@ -711,7 +809,7 @@ Monitoring after Deploy → Done
|
||||
|--------|------|----------|
|
||||
| GET | `/health` | health check |
|
||||
| GET | `/status` | активные задачи (stage != done) |
|
||||
| GET | `/queue` | очередь: counts + max_concurrency + resilience + reconcile (ORCH-053) + reaper (ORCH-065) + post_deploy (ORCH-021) + task_deps (ORCH-026) + serial_gate (ORCH-088) + последние jobs |
|
||||
| GET | `/queue` | очередь: counts + max_concurrency + resilience + reconcile (ORCH-053) + reaper (ORCH-065) + post_deploy (ORCH-021) + task_deps (ORCH-026) + serial_gate (ORCH-088) + auto_labels (ORCH-089) + stop (ORCH-090) + последние jobs |
|
||||
| POST | `/serial-gate/unfreeze` | ORCH-088 (FR-5): ручное снятие per-repo rollback-freeze (query/body `repo=<repo>`) → `{ok, repo, cleared, frozen}`; идемпотентно. Альтернатива — `UPDATE repo_freeze SET cleared_at=datetime('now') WHERE repo=? AND cleared_at IS NULL` |
|
||||
| POST | `/webhook/plane` | Plane webhook |
|
||||
| POST | `/webhook/gitea` | Gitea webhook (push, PR, CI status) |
|
||||
|
||||
@@ -27,6 +27,10 @@ Per-work-item решения живут в `docs/work-items/<id>/06-adr/ADR-NNN-
|
||||
| adr-0019 | Стандарт документов конвейера (PIPELINE_DOCS, слой 1) | accepted | 2026-06-09 | ORCH-075 |
|
||||
| adr-0020 | Единый frontmatter-контракт + спека handoff (reader/writer/валидатор) | accepted | 2026-06-09 | ORCH-076 |
|
||||
| adr-0021 | Канон Anthropic для агент-промптов + эмиссия frontmatter-схемы 52c | proposed | 2026-06-09 | ORCH-077 |
|
||||
| adr-0022 | Стандарт трассировочных маркеров `ORCH-NNN` | accepted | 2026-06-09 | ORCH-078 |
|
||||
| adr-0023 | Обзорная ось reviewer + закрытие эпика 52 | accepted | 2026-06-09 | ORCH-079 |
|
||||
| adr-0024 | Disk-watchdog — heartbeat-сигнал заполнения хост-ФС | proposed | 2026-06-09 | ORCH-063 |
|
||||
| adr-0025 | Build-cache-pruner — авто-prune docker build cache на хосте | proposed | 2026-06-09 | ORCH-062 |
|
||||
|
||||
> ⚠️ Историческая коллизия: номер `0007` занят двумя файлами —
|
||||
> `adr-0007-reconciler.md` (ORCH-053) и `adr-0007-executable-self-deploy.md`
|
||||
@@ -36,6 +40,8 @@ Per-work-item решения живут в `docs/work-items/<id>/06-adr/ADR-NNN-
|
||||
> adr-0016 **amends** adr-0013/0014 (гарантирует открытый код-PR перед merge_pr, ORCH-082).
|
||||
> adr-0020 реализует машинный слой к adr-0019 (ORCH-52b→52c).
|
||||
> adr-0021 реализует слой промптов к adr-0019/0020 (ORCH-52d — замыкает эпик 52).
|
||||
> adr-0025 **комплементарен** adr-0024 (watchdog сигналит о росте диска — pruner убирает
|
||||
> доминирующего «пожирателя», docker build cache).
|
||||
|
||||
## Формат
|
||||
**Контекст → Решение → Альтернативы → Последствия → Связи.** Статус: proposed / accepted / superseded.
|
||||
|
||||
@@ -0,0 +1,98 @@
|
||||
---
|
||||
work_item: ORCH-079
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# adr-0023: Reviewer-ось «обзорные доки» (README-ограничения) + закрытие эпика ORCH-52
|
||||
|
||||
- **Статус:** proposed
|
||||
- **Дата:** 2026-06-09
|
||||
- **Источник:** ORCH-079 (эпик ORCH-52, слой 52f — обзорные доки, слой 5/финал)
|
||||
- **Связи:** замыкает цепочку стандартов эпика 52 — adr-0019 (52b, `PIPELINE_DOCS.md`),
|
||||
adr-0020 (52c, frontmatter-контракт), adr-0021 (52d, канон промптов), adr-0022 (52e,
|
||||
трассировка маркеров). Детально — `docs/work-items/ORCH-079/06-adr/ADR-001-readme-sync-and-reviewer-overview-docs-axis.md`.
|
||||
|
||||
## Контекст
|
||||
|
||||
Эпик ORCH-52 строит сквозной контракт «документация = golden source наравне с кодом» слоями:
|
||||
**52b** (adr-0019) — описательный стандарт документов + скелеты; **52c** (adr-0020) — машинный
|
||||
frontmatter-контракт + `HANDOFF_PROTOCOL.md`; **52d** (adr-0021) — 6 промптов в каноне Anthropic +
|
||||
добровольная эмиссия 52c-схемы; **52e** (adr-0022) — стандарт трассировки маркеров + reviewer-ось
|
||||
«соответствие ADR». Закрыты слои структуры, машинного вердикта, формы промптов и трассировки кода —
|
||||
но **обзорная витрина проекта (корневой `README.md`) не охвачена**.
|
||||
|
||||
Факты, сверенные с кодом `main`:
|
||||
- Секция `README.md` «Известные ограничения» (`:236–241`) имеет битую нумерацию (`1,2,3,4,3,4`) и
|
||||
**выдаёт решённое за открытое**: worktree-гонки (закрыто `ensure_worktree` + ORCH-026/088),
|
||||
in-process daemon (закрыто очередью ORCH-1), «Gitea CI не настроен» (опровергнуто `check_ci_green`,
|
||||
`src/qg/checks.py:82`), «no retry» (опровергнуто backoff/breaker в `queue_worker.py`), плюс
|
||||
устаревшие issue-ID (зрелый `plane_sync` ORCH-010/066/068) и Playwright-timeout (неприменим к
|
||||
pytest-сервису; реальный механизм — watchdog ORCH-7).
|
||||
- **Процессный пробел:** reviewer (ось «Документация») проверяет обновление *конвейерных* доков, но
|
||||
**обзорные** разделы (README «Известные ограничения») в правиле не названы → витрина копит
|
||||
рассинхрон, т.к. закрытие ограничения не обязывает автора снять пункт.
|
||||
|
||||
## Решение
|
||||
|
||||
Закрыть слой 5 (финал) эпика 52: **синхронизировать обзорные доки с кодом по факту** и добавить
|
||||
reviewer'у **нормативную под-ось «обзорные доки»** (по образцу оси трассировки 52e). Это **docs +
|
||||
prompt-only**, нулевое касание кода; правило — описательно-нормативное, **не машинный гейт**.
|
||||
|
||||
1. **Reviewer-ось «обзорные доки» (cross-cutting).** В `.openclaw/agents/reviewer.md` ось 4
|
||||
«Документация» + `<constraints>` несут точечную врезку «❌→✅»: *PR закрыл пункт README «Известные
|
||||
ограничения», README не обновлён → finding*. Severity **≥ P1**; при закрытии ограничения правкой
|
||||
`src/` без обновления README — совпадает с существующим **P0** «`src/` изменён, доки не обновлены».
|
||||
Канон 52d (5 секций, формат запретов, `<thinking>`), 6 полей схемы 52c и ключ
|
||||
`verdict: APPROVED|REQUEST_CHANGES` — байт-в-байт.
|
||||
2. **Витрина приведена к коду (NFR-3).** Все 6 устаревших пунктов сняты/перенесены в «Закрыто
|
||||
(история)» с ORCH-ссылками; в «открытых» остаются ТОЛЬКО реально открытые, верифицированные
|
||||
кодом/задачей; нумерация сквозная. Запрет на изобретение ограничений (только уже
|
||||
задокументированные known-limitations — анти-scope-creep).
|
||||
3. **Точечная сверка** `README.md` / `docs/architecture/README.md` с `src/` (стадии/`QG_CHECKS`/
|
||||
модели-эффорты/компоненты), минимально инвазивно.
|
||||
4. **Анти-регресс машинно:** расширение `tests/test_agent_prompts_canon.py` (tests-only) — assert
|
||||
присутствия оси обзорных доков; проверки 52d и `test_agent_frontmatter_no_model.py` зелёные.
|
||||
|
||||
**Границы:** `src/**`, `STAGE_TRANSITIONS`, `QG_CHECKS`, `check_*`, `_parse_*`, `src/frontmatter.py`,
|
||||
схема БД — **не трогаются**. `frontmatter_validation_strict` остаётся `False`; новый QG не вводится.
|
||||
|
||||
### Эпик ORCH-52 — закрыт (карта слоёв)
|
||||
|
||||
| Слой | Задача | Глобальный ADR | Артефакт |
|
||||
|------|--------|----------------|----------|
|
||||
| 52b — структура доков | ORCH-075 | adr-0019 | `docs/_standards/PIPELINE_DOCS.md` + `_templates/` |
|
||||
| 52c — машинный frontmatter | ORCH-076 | adr-0020 | `src/frontmatter.py` + `HANDOFF_PROTOCOL.md` |
|
||||
| 52d — канон промптов | ORCH-077 | adr-0021 | 6 промптов `.openclaw/agents/*.md` |
|
||||
| 52e — трассировка маркеров | ORCH-078 | adr-0022 | `docs/_standards/TRACEABILITY.md` |
|
||||
| **52f — обзорные доки** (финал) | **ORCH-079** | **adr-0023** | `README.md` + reviewer-ось |
|
||||
|
||||
## Альтернативы
|
||||
- **Машинный enforcement (новый QG «README актуален»).** Отвергнуто: вне scope; для self-hosting
|
||||
ложный fail валит конвейер всех проектов; правило остаётся нормативным, как 52e. Enforcement —
|
||||
возможная будущая задача (как hard-fail схемы 52c).
|
||||
- **Отдельный `docs/_standards/` для правила обзорных доков.** Отвергнуто: одно правило, один
|
||||
артефакт (README) — врезки в промпт достаточно; новый стандарт-файл избыточен.
|
||||
- **Только per-work-item ADR.** Отвергнуто: рвёт цепочку эпика 52 (52b–e имеют глобальный ADR); нет
|
||||
явной точки «эпик 52 закрыт».
|
||||
|
||||
## Последствия
|
||||
- **+** Витрина проекта честна; самоподдерживающаяся синхронность (reviewer-ось).
|
||||
- **+** Эпик 52 формально закрыт сквозным ADR — единая точка входа для будущих агентов.
|
||||
- **+** Self-hosting без рестарта: промпт `cat`-ается из worktree → правило с следующего worktree
|
||||
от `main` без рестарта 8500.
|
||||
- **+** Полная обратимость: чисто текстовое изменение, нет миграций/состояния/kill-switch.
|
||||
- **−** Правило нормативно, не enforced машинно → дисциплина + ревью (осознанный компромисс).
|
||||
- **−** Рост `reviewer.md` на короткую врезку (митигейшн: точечность, без переписывания).
|
||||
- **Откат:** `git revert` PR — доки/промпт/тест откатываются, поведение кода/гейтов идентично.
|
||||
|
||||
## Связи
|
||||
- Замыкает: adr-0019 (52b), adr-0020 (52c), adr-0021 (52d), adr-0022 (52e).
|
||||
- Per-work-item: `docs/work-items/ORCH-079/06-adr/ADR-001-readme-sync-and-reviewer-overview-docs-axis.md`.
|
||||
- Сверено по коду: `src/agents/launcher.py` (`ensure_worktree`, `_resolve_timeout`),
|
||||
`src/queue_worker.py` (backoff/breaker), `src/qg/checks.py:82,381`, `src/plane_sync.py:451,541`,
|
||||
`README.md:236–241`, `.openclaw/agents/reviewer.md`, `tests/test_agent_prompts_canon.py`.
|
||||
</content>
|
||||
59
docs/architecture/adr/adr-0024-disk-watchdog.md
Normal file
59
docs/architecture/adr/adr-0024-disk-watchdog.md
Normal file
@@ -0,0 +1,59 @@
|
||||
---
|
||||
work_item: ORCH-063
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# adr-0024: Disk-watchdog — фоновый heartbeat-демон мониторинга заполнения хост-ФС
|
||||
|
||||
> Сквозной (cross-cutting) ADR: вводит **новый фоновый компонент** оркестратора в ряду
|
||||
> `reconciler` (adr-0007) и `job_reaper` (adr-0011). Детальное решение задачи —
|
||||
> `docs/work-items/ORCH-063/06-adr/ADR-001-disk-watchdog.md`.
|
||||
|
||||
## Статус
|
||||
Proposed (ORCH-063)
|
||||
|
||||
## Контекст
|
||||
07.06.2026 диск хоста mva154 тихо дорос до 100% и положил **весь self-hosting-конвейер** (один
|
||||
прод-инстанс `orchestrator` обслуживает все прод-проекты из общей БД/очереди). Проактивного сигнала
|
||||
о заполнении диска у системы не было. Оркестратор уже имеет два проверенных фоновых daemon-потока с
|
||||
единым каркасом (`threading.Thread(daemon=True)` + `threading.Event`, `start/stop/status`,
|
||||
never-raise, снимок в `GET /queue`): `reconciler` (ORCH-053) и `job_reaper` (ORCH-065). Новый
|
||||
эксплуатационный watchdog логично встроить тем же паттерном.
|
||||
|
||||
## Решение
|
||||
Вводится третий фоновый компонент **disk-watchdog** (`src/disk_watchdog.py`):
|
||||
- **Калька каркаса** `reconciler`/`reaper`: daemon-поток, чистый stop через `_stop.wait(interval)`,
|
||||
контракт `start()`/`stop(timeout)`/`status()`, старт/стоп в `main.lifespan` (старт последним —
|
||||
после `reaper.start()`; стоп первым в reverse-порядке), наблюдаемость — аддитивный блок
|
||||
`disk_monitor` в `GET /queue`.
|
||||
- **Замер** заполнения **хост-ФС** через смонтированные bind-пути (`/repos`, `/app/data`) stdlib
|
||||
`shutil.disk_usage` (не overlay `/` контейнера, не субпроцесс `df`); дедуп путей по `st_dev`.
|
||||
- **Решение об алерте** — pure-функция от `(used_pct, threshold, prev_state, now, realert_s)`:
|
||||
алерт на пересечении порога (дефолт 85%), ограниченный cooldown-повтор, recovery при возврате
|
||||
ниже порога. Состояние анти-спама — in-memory (без миграции БД).
|
||||
- **Алерт** — `send_telegram` (notifying), best-effort. Kill-switch `disk_monitor_enabled`.
|
||||
- **Только сигнал, не лечение:** watchdog читает и уведомляет, не трогает диск/контейнер, не
|
||||
рестартит прод (self-hosting безопасность). Авто-очистка диска — отдельная задача.
|
||||
|
||||
**Инварианты:** `STAGE_TRANSITIONS`, реестр `QG_CHECKS`, `check_*`, схема БД — **не меняются**
|
||||
(watchdog — эксплуатационный демон, не Quality Gate, как `reconciler`/`reaper`). never-raise на
|
||||
уровнях per-path / per-tick / per-send. При выключенном kill-switch — поведение 1:1 как сейчас
|
||||
(нулевая регрессия для enduro-trails).
|
||||
|
||||
## Последствия
|
||||
- **+** Ранний сигнал предотвращает групповой простой всех проектов; дёшево, без внешних
|
||||
зависимостей (принцип «всё в Docker на одном сервере, минимум зависимостей»).
|
||||
- **+** Знакомый паттерн фонового демона → низкий риск, простое сопровождение.
|
||||
- **−** In-memory состояние / best-effort Telegram — допустимы для раннего сигнала (не SLA).
|
||||
- **Откат:** `ORCH_DISK_MONITOR_ENABLED=false`; миграций БД нет.
|
||||
|
||||
## Ссылки
|
||||
- Задачный ADR: `docs/work-items/ORCH-063/06-adr/ADR-001-disk-watchdog.md`
|
||||
- Родственные компоненты: [adr-0007-reconciler.md](adr-0007-reconciler.md),
|
||||
[adr-0011-job-reaper-lease-reclaim.md](adr-0011-job-reaper-lease-reclaim.md)
|
||||
- Топология host-разделов: `docs/operations/INFRA.md`
|
||||
</content>
|
||||
86
docs/architecture/adr/adr-0025-build-cache-pruner.md
Normal file
86
docs/architecture/adr/adr-0025-build-cache-pruner.md
Normal file
@@ -0,0 +1,86 @@
|
||||
---
|
||||
work_item: ORCH-062
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# adr-0025: Build-cache-pruner — фоновый heartbeat-демон авто-уборки docker build cache на хосте
|
||||
|
||||
> Сквозной (cross-cutting) ADR: вводит **новый фоновый компонент** оркестратора в ряду
|
||||
> `reconciler` (adr-0007), `job_reaper` (adr-0011) и `disk_watchdog` (adr-0024). Детальное
|
||||
> решение задачи — `docs/work-items/ORCH-062/06-adr/ADR-001-build-cache-pruner.md`.
|
||||
|
||||
## Статус
|
||||
Proposed (ORCH-062)
|
||||
|
||||
## Контекст
|
||||
|
||||
07.06.2026 диск хоста mva154 тихо дорос до 100% и положил **весь self-hosting-конвейер всех
|
||||
проектов** (один прод-инстанс `orchestrator` на общей БД/очереди). Доминирующий «пожиратель» —
|
||||
**docker build cache** (≈11 ГБ от частых пересборок прод/staging-образов). `disk_watchdog`
|
||||
(adr-0024, ORCH-063) ввёл **сигнал** о заполнении (Telegram ≥85%) и явно отложил авто-очистку в
|
||||
отдельную задачу. ORCH-062 — эта задача: **автоматическое освобождение build cache**, чтобы
|
||||
инцидент не повторялся без оператора.
|
||||
|
||||
Сверено по коду: контейнер `orchestrator` **не содержит docker CLI** (`Dockerfile:11` — только
|
||||
`openssh-client git curl`); host-docker-операции приложение уже делает **через ssh на хост**
|
||||
(`image_freshness.image_revision`, `self_deploy` Phase B), канал `deploy_ssh_user@deploy_ssh_host`
|
||||
настроен. У оркестратора три проверенных фоновых daemon-потока с единым каркасом.
|
||||
|
||||
## Решение
|
||||
|
||||
Вводится четвёртый фоновый компонент **build-cache-pruner** (`src/build_cache_pruner.py`):
|
||||
- **Калька каркаса** `disk_watchdog`/`reconciler`/`reaper`: daemon-поток, чистый стоп через
|
||||
`_stop.wait(interval)`, контракт `start()`/`stop(timeout)`/`status()`, старт/стоп в
|
||||
`main.lifespan` (старт последним — после `disk_watchdog.start()`; стоп первым в reverse),
|
||||
наблюдаемость — аддитивный блок `build_cache_prune` в `GET /queue`. Leaf-модуль (без обратных
|
||||
зависимостей на `stage_engine`/`stages`/`qg`).
|
||||
- **Уборка — строго `docker builder prune -f --filter until=<until>`** (BuildKit GC, дефолт
|
||||
`until=24h`): удаляется только старый build cache, тёплый ≤24ч сохраняется. `-a` — опционально и
|
||||
только в паре с возрастным фильтром. **Запрещены** `docker image prune`/`system prune`/удаление
|
||||
образов запущенных сервисов/остановка-рестарт контейнеров.
|
||||
- **Исполнение на хосте через ssh** (CLI в контейнере нет): `ssh deploy_ssh_user@deploy_ssh_host
|
||||
"docker builder prune …"`, bounded таймаутом. **Нет ssh-таргета → тик no-op** → фича
|
||||
естественно скоупится на self-hosting-прод.
|
||||
- **Конфиг/kill-switch** (`ORCH_BUILD_CACHE_PRUNE_*`, дефолты безопасные): `enabled` (дефолт
|
||||
`true`), `interval_s` (6ч), `until` (`24h`), `all` (`false`), `timeout_s`, `notify_min_gb`.
|
||||
Валидаторы по образцу `disk_monitor_*` (невалид → лог + дефолт).
|
||||
- **Сигнал + лечение как пара:** disk_watchdog сигналит о росте диска, build-cache-pruner убирает
|
||||
доминирующего «пожирателя» — две половины одной операционной защиты.
|
||||
|
||||
**Инварианты:** `STAGE_TRANSITIONS`, реестр `QG_CHECKS`, `check_*`, `src/stage_engine.py`, схема БД
|
||||
— **не меняются** (pruner — эксплуатационный демон, не Quality Gate, как watchdog/reaper). Без
|
||||
миграции БД (учёт результата in-memory, best-effort). never-raise per-команда/per-tick. Уборка
|
||||
**никогда** не рестартит docker daemon/прод-контейнер (self-hosting безопасность; рестарт-путь —
|
||||
отвергнутый Вариант B). При выключенном kill-switch — поведение 1:1 как сейчас (нулевая регрессия
|
||||
для enduro-trails).
|
||||
|
||||
## Альтернативы
|
||||
- **host `daemon.json builder.gc.defaultKeepStorage`** — отвергнуто: требует рестарта docker
|
||||
daemon (останавливает ВСЕ контейнеры хоста = групповой self-hosting риск); политика по объёму,
|
||||
не по возрасту; не наблюдаемо в `GET /queue`.
|
||||
- **host-cron** — отвергнуто как основное (оставлено ручным fallback): off-git невидимая инфра,
|
||||
без `/queue`-наблюдаемости, без config-kill-switch, не тестируется.
|
||||
- **raw-HTTP по docker.sock / docker CLI в образе** — отвергнуто: лишний код / раздувание образа
|
||||
против уже существующего ssh-канала.
|
||||
|
||||
## Последствия
|
||||
- **+** Корень инцидента 07.06 устраняется автоматически; тёплый кэш сохранён; без новых
|
||||
зависимостей и без рестарта docker/прода (принцип «всё в Docker, минимум зависимостей»).
|
||||
- **+** Знакомый паттерн фонового демона → низкий риск, наблюдаемость, обратимость, тестируемость.
|
||||
- **−** Зависимость от ssh на хост (как `image_freshness`/`self_deploy`); нет таргета → no-op
|
||||
(наблюдаемо), фича не работает, но ничего не ломает.
|
||||
- **Откат:** `ORCH_BUILD_CACHE_PRUNE_ENABLED=false`; миграций БД нет.
|
||||
|
||||
## Ссылки
|
||||
- Задачный ADR: `docs/work-items/ORCH-062/06-adr/ADR-001-build-cache-pruner.md`
|
||||
- Инфра/риски: `docs/work-items/ORCH-062/07-infra-requirements.md`,
|
||||
`docs/work-items/ORCH-062/10-tech-risks.md`
|
||||
- Комплемент: [adr-0024-disk-watchdog.md](adr-0024-disk-watchdog.md) (ORCH-063 — сигнал)
|
||||
- Родственные компоненты: [adr-0007-reconciler.md](adr-0007-reconciler.md),
|
||||
[adr-0011-job-reaper-lease-reclaim.md](adr-0011-job-reaper-lease-reclaim.md)
|
||||
- Топология host / env-карта: `docs/operations/INFRA.md`
|
||||
</content>
|
||||
106
docs/architecture/adr/adr-0026-stop-cancel-task.md
Normal file
106
docs/architecture/adr/adr-0026-stop-cancel-task.md
Normal file
@@ -0,0 +1,106 @@
|
||||
---
|
||||
work_item: ORCH-090
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# ADR-0026: Системное терминальное состояние `cancelled` — STOP-отмена задачи
|
||||
|
||||
Сквозной (cross-cutting) ADR. Детальное решение задачи —
|
||||
`docs/work-items/ORCH-090/06-adr/ADR-001-stop-cancel-task.md`.
|
||||
|
||||
## Статус
|
||||
Proposed
|
||||
|
||||
## Контекст
|
||||
|
||||
ORCH-090 вводит Plane-статус **STOP** — единый декларативный механизм отмены задачи (остановка
|
||||
агента + полный сброс прогресса). Самое́ кросс-каттинговое следствие — появление **нового
|
||||
системного терминального состояния `cancelled`** (стадия `tasks.stage='cancelled'` + терминальный
|
||||
job-статус `jobs.status='cancelled'`). До ORCH-090 «терминальность задачи» в горячем планировщике
|
||||
была захардкожена как **`stage == 'done'`** (единственный сток в `STAGE_TRANSITIONS`), и это
|
||||
определение разъехалось между подсистемами:
|
||||
|
||||
- `src/reconciler.py` **уже** трактует `stage in ("done","cancelled")` как терминал-скип
|
||||
(ORCH-086 D2 предвосхитил `cancelled`; стр. 196) и `_is_terminal_state` по группе Plane
|
||||
`{completed, cancelled}` (ORCH-068, стр. 398–415).
|
||||
- `src/serial_gate.py` (ORCH-088) и `src/task_deps.py` (ORCH-026) считают задачу «незавершённой»
|
||||
по `stage != 'done'` — **без** `cancelled`. Если ввести `cancelled`-стадию, не тронув их,
|
||||
отменённая задача навсегда будет «активной»/«незавершённой зависимостью» и **заклинит очередь
|
||||
репо**.
|
||||
|
||||
Этот ADR фиксирует `cancelled` как первоклассное терминальное состояние, равноправное `done`, и
|
||||
перечисляет ВСЕ точки, где системный предикат терминальности должен его признавать.
|
||||
|
||||
## Решение
|
||||
|
||||
### Инвариант
|
||||
**«Задача терминальна» ⇔ `stage ∈ {done, cancelled}`.** Это единое определение для всех
|
||||
подсистем планировщика/мониторинга. `cancelled` — терминальный **сток** (не новое ребро
|
||||
конвейера): exit-гейты рёбер `STAGE_TRANSITIONS` и реестр `QG_CHECKS`/`check_*` **не меняются**.
|
||||
|
||||
### Точки, признающие `cancelled` терминальным (исчерпывающе)
|
||||
1. `src/stages.py::STAGE_TRANSITIONS` — добавить сток
|
||||
`"cancelled": {"next": None, "agent": None, "qg": None}` (параллельно `done`).
|
||||
2. `src/serial_gate.py` — `repo_has_other_unfinished` и claim-фрагмент `t2.stage != 'done'`,
|
||||
snapshot: `stage != 'done'` → `stage NOT IN ('done','cancelled')`. **(маркер ORCH-088)**
|
||||
3. `src/task_deps.py` — dep-gate и `is_task_ready`: `stage != 'done'` →
|
||||
`stage NOT IN ('done','cancelled')`. **(маркер ORCH-026)**
|
||||
4. `src/reconciler.py` — уже покрыто скипом `stage in ("done","cancelled")` (стр. 196);
|
||||
`get_active_tasks_for_reconcile` опционально сузить до `NOT IN ('done','cancelled')`.
|
||||
5. `src/job_reaper.py` / `src/queue_worker.py` — перед авто-requeue dead/running-job'а сверять
|
||||
терминал задачи: `stage in ("done","cancelled")` → job помечается `cancelled`, не реквью'ится.
|
||||
6. `src/post_deploy.py` / `stage_engine.run_post_deploy_monitor` — монитор не тикает по
|
||||
отменённой задаче (терминал-проверка/маркер `done`).
|
||||
|
||||
### Новые терминальные исходы
|
||||
- **Job:** `jobs.status='cancelled'` — нигде не реквью'ится; `claim_next_job` выбирает только
|
||||
`status='queued'` (изменений в claim нет). `mark_job` стампит `finished_at` для `cancelled`.
|
||||
- **Задача:** `tasks.stage='cancelled'` + аддитивные колонки `cancelled_at`,
|
||||
`cancel_requested_at` (отложенная отмена в критическом окне merge/deploy). Натуральные ключи
|
||||
`plane_id`/`work_item_id` тумбстонятся (`#cancelled-<id>`) для переиспользования «To Analyse»
|
||||
с нуля; `plane_issue_id` сохраняется (аудит). Детали — 08-data-requirements.md.
|
||||
|
||||
### Точки врезки STOP (компоненты)
|
||||
- `plane.py` — маршрут `stop` (fail-closed, не в `_DEFAULT_STATES`) → `handle_stop`; гейт релонча
|
||||
ограничен стадией `analysis`.
|
||||
- `stage_engine.cancel_task` — оркестрация отмены (graceful SIGTERM, cancel-jobs, worktree+branch,
|
||||
tombstone, notify); безопасное прерывание merge/deploy (D7 локального ADR).
|
||||
- leaf `src/cancel.py` — чистая логика (`applies`/`in_critical_window`/`snapshot`), never-raise.
|
||||
- `src/gitea.py` — `delete_remote_branch` (never-raise; только feature-ветка, `main` неприкосновенен).
|
||||
- `GET /queue` — read-only блок `stop`.
|
||||
|
||||
### Флаги / совместимость
|
||||
- Kill-switch `stop_status_enabled` + scope `stop_status_repos` (CSV, пусто → все репо).
|
||||
- При `stop_status_enabled=False`: STOP-обработка и гейт релонча инертны; расширение
|
||||
терминал-набора `cancelled` безвредно при отсутствии отменённых задач → **нулевая регрессия**.
|
||||
- `STAGE_TRANSITIONS` (exit-гейты) / `QG_CHECKS` / `check_*` / семантика
|
||||
Approved/Rejected/Confirm Deploy / merge-gate (ORCH-043) / merge-verify (ORCH-071/073) /
|
||||
image-freshness (ORCH-058) / post-deploy (ORCH-021) / serial-gate FIFO (ORCH-088) / auto-label
|
||||
(ORCH-089) — **без изменений**.
|
||||
- Миграции БД — только аддитивные/идемпотентные (`_ensure_column`); enduro не затронут (NFR-2).
|
||||
|
||||
## Последствия
|
||||
- **+** Единое, консистентное определение терминальности — устранён латентный рассинхрон
|
||||
`done`-only между планировщиком и реконсилятором.
|
||||
- **+** STOP безопасен для self-hosting: не трогает `main`/прод, отложенная отмена в критическом
|
||||
окне.
|
||||
- **−** Терминальность теперь читается из набора `{done, cancelled}`, а не из скаляра `'done'` —
|
||||
будущие подсистемы обязаны использовать набор. Митигейшн: этот ADR + маркер `ORCH-090` в
|
||||
изменённых местах + тесты.
|
||||
- **Откат:** `stop_status_enabled=False`; полный revert — снять врезки и вернуть предикаты к
|
||||
`stage != 'done'`.
|
||||
|
||||
## Эволюция маркеров `cancelled`-терминала
|
||||
Места, признающие `cancelled` терминальным (см. список выше), несут маркер `ORCH-090`. Правка
|
||||
любого из них — сверяться с этим ADR (анти-археология: 3+ маркеров → одна ссылка сюда,
|
||||
TRACEABILITY.md).
|
||||
|
||||
## Ссылки
|
||||
- Детальный ADR: `docs/work-items/ORCH-090/06-adr/ADR-001-stop-cancel-task.md`
|
||||
- Data: `docs/work-items/ORCH-090/08-data-requirements.md`
|
||||
- Связанные: adr-0017 (serial-gate), adr-0015 (task-deps), adr-0007 (self-deploy),
|
||||
adr-0006 (merge-gate), adr-0018 (auto-label)
|
||||
@@ -61,9 +61,15 @@ STAGE_TRANSITIONS = {
|
||||
testing: → deploy-staging (agent: deployer, QG: check_tests_passed)
|
||||
deploy-staging: → deploy (agent: deployer, QG: check_staging_status)
|
||||
deploy: → done (agent: None, QG: None)
|
||||
cancelled: → None (agent: None, QG: None) # ORCH-090: терминал-сток отмены
|
||||
}
|
||||
```
|
||||
|
||||
**Терминальные стоки (ORCH-090):** `done` и `cancelled` — равноправные терминальные состояния
|
||||
(`{"next": None, "agent": None, "qg": None}`). `cancelled` — это **не новое ребро** (exit-гейты
|
||||
рёбер не меняются), а терминал STOP-отмены. Системный предикат «задача завершена» —
|
||||
`stage ∈ {done, cancelled}` (синхронно в `reconciler`/`serial_gate`/`task_deps`; adr-0026).
|
||||
|
||||
### 3. Quality Gates (`src/qg/checks.py`)
|
||||
|
||||
| Check | Метод проверки |
|
||||
@@ -329,7 +335,7 @@ webhook (plane/gitea) background thread (queue_worker)
|
||||
|
||||
| Колонка | Назначение |
|
||||
|--------|------------|
|
||||
| `status` | `queued` → `running` → `done` \| `failed` |
|
||||
| `status` | `queued` → `running` → `done` \| `failed` \| `cancelled` (ORCH-090: терминальный исход STOP-отмены, не реквью'ится) |
|
||||
| `attempts` / `max_attempts` | счётчик попыток (инкремент при claim) / лимит ретраев (default 2) |
|
||||
| `run_id` | FK на `agent_runs.id` после старта |
|
||||
| `pid` | (ORCH-065) pid агентского процесса (`proc.pid` из `_spawn`); liveness-сигнал для job-reaper. Добавляется `_ensure_column` (idempotent) |
|
||||
|
||||
@@ -58,6 +58,47 @@ ADR `docs/work-items/ORCH-040/06-adr/ADR-001-run-agents-as-host-uid.md` и гл
|
||||
- `~/.orchestrator-ssh` → `/home/slin/.ssh` (ro, деплой по ssh; target в HOME агента,
|
||||
согласован с `HOME=/home/slin` из launcher — ORCH-040, ранее `/root/.ssh`)
|
||||
|
||||
### Disk-watchdog: мониторинг заполнения диска mva154 (ORCH-063)
|
||||
07.06.2026 диск хоста mva154 тихо дорос до 100% и положил **весь конвейер всех проектов**
|
||||
(один прод-инстанс `orchestrator` на общей БД/очереди). Чтобы такой инцидент сигнализировался
|
||||
**заранее**, работает фоновый daemon-поток `src/disk_watchdog.py` (каркас `reconciler`/`job_reaper`):
|
||||
- **Что мониторится:** заполнение **хост-разделов** по смонтированным bind-путям (`/repos` →
|
||||
host `/home/slin/repos`, `/app/data` → host `./data`) через stdlib `shutil.disk_usage` — НЕ
|
||||
overlay `/` контейнера (иначе замер ложно-низкий). Пути с одним физическим устройством (`st_dev`)
|
||||
дедуплицируются → один алерт, не два.
|
||||
- **Порог и период:** при заполнении **≥ 85%** (`ORCH_DISK_MONITOR_THRESHOLD_PCT`) шлётся
|
||||
Telegram-алерт оператору; замер — раз в 300с (`ORCH_DISK_MONITOR_INTERVAL_S`). Пока диск выше
|
||||
порога, повтор — не чаще раза в ~6ч (`ORCH_DISK_MONITOR_REALERT_S`, анти-спам). При возврате
|
||||
ниже порога — однократное recovery-сообщение.
|
||||
- **Как отключить:** `ORCH_DISK_MONITOR_ENABLED=false` (демон не стартует; `GET /queue` →
|
||||
`disk_monitor.enabled=false`; поведение 1:1 как сейчас). Наблюдаемость — блок `disk_monitor` в
|
||||
`GET /queue` (последний замер: `used_pct`/`free_gb`/`alerting`/`last_alert_at` по каждому пути).
|
||||
- **Что делать при алерте:** watchdog **только сигнализирует** — он не трогает диск/контейнер и не
|
||||
рестартит прод (self-hosting безопасность). Освобождение **docker build cache** автоматизировано
|
||||
отдельным демоном (ORCH-062, см. ниже); прочие «пожиратели» — старые worktree-каталоги
|
||||
`/home/slin/repos/_wt/*` завершённых задач, логи, dangling-образы (`docker image prune`) —
|
||||
по-прежнему **ручная** операция оператора (авто-уборка этих категорий — вне объёма ORCH-062/063).
|
||||
|
||||
### Build-cache-pruner: авто-prune docker build cache на mva154 (ORCH-062)
|
||||
Доминирующий «пожиратель» в инциденте 07.06.2026 — **docker build cache** (≈11 ГБ от частых
|
||||
пересборок прод/staging-образов). Чтобы он не мог снова заполнить диск **без оператора**, работает
|
||||
фоновый daemon-поток `src/build_cache_pruner.py` (каркас `disk_watchdog`) — «вторая половина»
|
||||
watchdog'а: **watchdog сигналит, pruner убирает**.
|
||||
- **Что делает:** каждые `ORCH_BUILD_CACHE_PRUNE_INTERVAL_S` (дефолт 21600с = 6ч) выполняет
|
||||
**строго `docker builder prune -f --filter until=<until>`** (BuildKit GC; дефолт `until=24h` —
|
||||
удаляется build cache старше суток, тёплый свежий кэш сохраняется). Команда затрагивает **только
|
||||
build cache** — НЕ образы/контейнеры запущенных сервисов; рестарт docker daemon/прода НЕ
|
||||
выполняется (self-hosting безопасность).
|
||||
- **Как исполняется:** в контейнере нет `docker` CLI (образ несёт только `openssh-client git`),
|
||||
поэтому уборка идёт **на хосте через ssh** тем же каналом `ORCH_DEPLOY_SSH_USER@_HOST`, что
|
||||
деплой/`image_freshness`. **Пустой `ORCH_DEPLOY_SSH_HOST` → тик no-op** (фича активна только на
|
||||
self-host, где ssh настроен).
|
||||
- **Как отключить:** `ORCH_BUILD_CACHE_PRUNE_ENABLED=false` (демон не стартует; поведение 1:1 как
|
||||
до ORCH-062). Наблюдаемость — блок `build_cache_prune` в `GET /queue` (`enabled`/`interval_s`/
|
||||
`until`/`last_run_ts`/`last_reclaimed`/`last_error`); never-raise; in-memory учёт (без миграции).
|
||||
- **Ручной fallback** (если ssh-канал недоступен) — host-cron на mva154:
|
||||
`0 */6 * * * docker builder prune -f --filter until=24h` (off-git, процедура Owner).
|
||||
|
||||
## Переменные окружения (карта; значения — в `.env`)
|
||||
|
||||
| Переменная | Назначение |
|
||||
@@ -91,6 +132,17 @@ ADR `docs/work-items/ORCH-040/06-adr/ADR-001-run-agents-as-host-uid.md` и гл
|
||||
| `ORCH_RECONCILE_GRACE_DEFAULT_S` | порог «застряла» по `tasks.updated_at`, сек; дефолт `600` |
|
||||
| `ORCH_RECONCILE_GRACE_OVERRIDES_JSON` | per-stage пороги, напр. `{"development":300}`; невалидный JSON → дефолт |
|
||||
| `ORCH_RECONCILE_NOTIFY_UNBLOCK` | слать Telegram при разблокировке застрявшей задачи; дефолт `true` |
|
||||
| `ORCH_DISK_MONITOR_ENABLED` | kill-switch disk-watchdog (ORCH-063); дефолт `true`. `false` → демон не стартует, поведение 1:1 как сейчас |
|
||||
| `ORCH_DISK_MONITOR_INTERVAL_S` | период heartbeat-замера заполнения диска, сек; дефолт `300` |
|
||||
| `ORCH_DISK_MONITOR_THRESHOLD_PCT` | порог заполнения для алерта, %; дефолт `85` (валидация 1..100, иначе → дефолт) |
|
||||
| `ORCH_DISK_MONITOR_REALERT_S` | cooldown повторного алерта, пока выше порога, сек; дефолт `21600` (~6 ч) |
|
||||
| `ORCH_DISK_MONITOR_PATHS` | CSV отслеживаемых **хост**-bind-путей; пусто → `/repos,/app/data` |
|
||||
| `ORCH_BUILD_CACHE_PRUNE_ENABLED` | kill-switch build-cache-pruner (ORCH-062); дефолт `true`. `false` → демон не стартует, поведение 1:1 как до задачи |
|
||||
| `ORCH_BUILD_CACHE_PRUNE_INTERVAL_S` | период тика авто-prune, сек; дефолт `21600` (~6 ч); валидация >0, иначе → дефолт |
|
||||
| `ORCH_BUILD_CACHE_PRUNE_UNTIL` | возраст удержания тёплого кэша (`docker builder prune --filter until=`); дефолт `24h`; валидация `^\d+[smhdw]?$`, иначе → `24h` |
|
||||
| `ORCH_BUILD_CACHE_PRUNE_ALL` | добавить `-a` к prune (только в паре с `until`); дефолт `false` |
|
||||
| `ORCH_BUILD_CACHE_PRUNE_TIMEOUT_S` | таймаут ssh-команды prune, сек; дефолт `120` |
|
||||
| `ORCH_BUILD_CACHE_PRUNE_NOTIFY_MIN_GB` | Telegram при освобождении ≥ N ГБ; дефолт `0` (тихо) |
|
||||
| `DEPLOY_SSH_USER` / `_HOST` / `DEPLOY_HOOK_SCRIPT` | параметры деплой-хука |
|
||||
|
||||
**Секреты — только в `.env` / `.env.staging` на хосте, в гит НЕ коммитятся.** Канон — `.env.example`, `.env.staging.example`.
|
||||
|
||||
7
docs/work-items/ORCH-062/00-business-request.md
Normal file
7
docs/work-items/ORCH-062/00-business-request.md
Normal file
@@ -0,0 +1,7 @@
|
||||
# Business Request: INFRA: авто-prune docker build cache на mva154 (диск забивается)
|
||||
|
||||
Work Item ID: ORCH-062
|
||||
|
||||
## Description
|
||||
|
||||
TBD
|
||||
145
docs/work-items/ORCH-062/01-brd.md
Normal file
145
docs/work-items/ORCH-062/01-brd.md
Normal file
@@ -0,0 +1,145 @@
|
||||
---
|
||||
work_item: ORCH-062
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 01 — BRD (бизнес-требования): ORCH-062 — INFRA: авто-prune docker build cache на mva154
|
||||
|
||||
Work Item: **ORCH-062** · Repo: **orchestrator** · Стадия: analysis
|
||||
|
||||
## 1. Бизнес-контекст и проблема
|
||||
|
||||
**Установленный факт (инцидент 07.06.2026).** Хост-диск mva154 тихо дорос до 100% и положил
|
||||
**весь конвейер всех проектов** (один прод-инстанс `orchestrator` на общей БД/очереди обслуживает
|
||||
и `enduro-trails`, и `orchestrator`). Доминирующий «пожиратель» в этом инциденте — **docker build
|
||||
cache**: частые пересборки образа (`docker compose up -d --build` при прод-деплое, пересборки
|
||||
staging-образа `--profile staging` и `check_staging_image_fresh` ORCH-058) накапливают слои build
|
||||
cache, который дорос до **≈11 ГБ**. Заполнение диска положило **CI + Gitea** и остановило приём
|
||||
вебхуков/обработку очереди.
|
||||
|
||||
**Что уже сделано (ORCH-063, не дублировать).** Введён фоновый daemon `src/disk_watchdog.py`,
|
||||
который **только сигнализирует** (Telegram-алерт при заполнении ≥85%). В ADR/INFRA ORCH-063 явно
|
||||
зафиксировано: *«watchdog только сигнализирует — он не трогает диск/контейнер … Авто-очистка — вне
|
||||
объёма ORCH-063 (отдельная задача)»*. **ORCH-062 — и есть эта отдельная задача:** автоматическое
|
||||
освобождение места за счёт build cache, чтобы инцидент 07.06 не повторялся и не требовал ручного
|
||||
вмешательства оператора.
|
||||
|
||||
**Приоритет:** P1 (риск повторной полной остановки конвейера всех проектов).
|
||||
|
||||
## 2. Объём (scope)
|
||||
|
||||
### В объёме
|
||||
- Автоматическое периодическое освобождение **docker build cache** на хосте mva154, чтобы он не
|
||||
мог бесконтрольно дорасти до заполнения диска.
|
||||
- Удержание «тёплого» недавнего кэша (политика хранения по возрасту, ориентир из запроса —
|
||||
`until=24h`), чтобы не убивать скорость штатных пересборок.
|
||||
- Наблюдаемость результата авто-prune для оператора (когда последний раз отработал, сколько
|
||||
освобождено / текущий объём build cache).
|
||||
- Обратимость: kill-switch и конфигурируемость периода/порога/политики хранения.
|
||||
- Документирование операционной процедуры в `docs/operations/INFRA.md` (и инфра-требований в
|
||||
`07-infra-requirements.md` — заполняет архитектор).
|
||||
|
||||
### Вне объёма
|
||||
- **Очистка прочих «пожирателей» диска** (старые worktree-каталоги `/home/slin/repos/_wt/*`
|
||||
завершённых задач, логи, dangling-образы `docker image prune`) — это **ручная** операция
|
||||
оператора по ORCH-063; авто-уборка этих категорий — отдельные задачи, здесь НЕ делается.
|
||||
- **Изменение поведения disk-watchdog** (`src/disk_watchdog.py`, пороги/алерты ORCH-063) — не
|
||||
трогаем; ORCH-062 ортогонален и комплементарен (watchdog сигналит, pruner убирает).
|
||||
- **Любое управление конвейером / стадиями / Quality Gates.** Авто-prune — операционная фоновая
|
||||
задача, НЕ элемент `STAGE_TRANSITIONS` / `QG_CHECKS` (ровно как watchdog/reconciler/job_reaper).
|
||||
- **Перезапуск/рестарт прод-контейнера** `orchestrator` ради уборки — категорически вне объёма
|
||||
(self-hosting групповой риск).
|
||||
- Выбор между конкретными механизмами реализации (heartbeat-демон в приложении vs host
|
||||
`daemon.json builder.gc` vs host-cron) — это **архитектурное решение** (06-adr), не предмет BRD.
|
||||
|
||||
## 3. Заинтересованные стороны
|
||||
|
||||
- **Owner / оператор (slin, homenet542@gmail.com)** — заказчик, принимает результат, владеет
|
||||
хостом mva154 и его host-prerequisites.
|
||||
- **Все прод-проекты** (`enduro-trails`, `orchestrator`) — косвенно затронуты: общий инстанс,
|
||||
общий диск; падение диска = простой всех.
|
||||
- **Self-hosting контур** — изменение касается инструмента, который работает в проде и обслуживает
|
||||
другие проекты; безопасность изменения критична.
|
||||
|
||||
## 4. Бизнес-требования (BR)
|
||||
|
||||
- **BR-1 (авто-освобождение)** — docker build cache очищается **автоматически, периодически, без
|
||||
ручного вмешательства** оператора, так что он не может бесконтрольно заполнить диск (устранение
|
||||
корня инцидента 07.06).
|
||||
- **BR-2 (удержание тёплого кэша)** — очистка удаляет преимущественно **старый** build cache
|
||||
(политика по возрасту, ориентир `until=24h`); свежий кэш недавних сборок сохраняется, чтобы
|
||||
штатные пересборки не теряли скорость без необходимости.
|
||||
- **BR-3 (self-hosting безопасность)** — операция уборки **никогда не нарушает работу запущенных
|
||||
контейнеров и не удаляет образы/слои, используемые работающими прод-контейнерами**, и **никогда
|
||||
не рестартит/не роняет прод**. Затрагивается **только build cache** (`docker builder prune`), не
|
||||
образы запущенных сервисов.
|
||||
- **BR-4 (наблюдаемость)** — оператор может увидеть состояние авто-prune: включён ли, когда
|
||||
последний раз отработал, объём/освобождено (через тот же канал наблюдаемости, что у фоновых
|
||||
демонов — блок в `GET /queue`, и/или Telegram при значимом освобождении).
|
||||
- **BR-5 (обратимость)** — поведение управляется **kill-switch**: выключение возвращает систему к
|
||||
поведению «как сейчас» 1:1 (никакой авто-уборки), как у `ORCH_DISK_MONITOR_ENABLED` /
|
||||
`ORCH_RECONCILE_ENABLED`.
|
||||
- **BR-6 (конфигурируемость)** — период, порог запуска и политика хранения (возраст/объём
|
||||
удержания) задаются конфигом (env), с безопасными дефолтами; невалидные значения деградируют на
|
||||
дефолт (как валидаторы ORCH-063).
|
||||
|
||||
## 5. Нефункциональные требования (NFR)
|
||||
|
||||
- **NFR-1 (never-raise)** — фоновая уборка не должна ронять процесс/конвейер ни на одном уровне:
|
||||
ошибка docker-команды / недоступность docker.sock / таймаут логируются и проглатываются (как
|
||||
per-tick/per-send never-raise в `disk_watchdog.py`).
|
||||
- **NFR-2 (изоляция от Quality Gate)** — `STAGE_TRANSITIONS` / `QG_CHECKS` / `check_*` / схема БД
|
||||
**не изменяются**; авто-prune — операционный демон/процедура, не гейт.
|
||||
- **NFR-3 (нулевая регрессия при выключении)** — при выключенном kill-switch поведение байт-в-байт
|
||||
как до задачи; никакого фонового потока/процедуры не стартует.
|
||||
- **NFR-4 (низкий оверхед)** — частота уборки — порядка часов; сама команда `docker builder prune`
|
||||
дешева и не должна влиять на латентность конвейера; уборка не должна конкурировать за ресурсы с
|
||||
активными сборками сверх необходимого.
|
||||
- **NFR-5 (best-effort состояние)** — учёт «когда убирали в последний раз» может быть in-memory /
|
||||
best-effort (как анти-спам watchdog'а): сброс при рестарте безопасен (приведёт максимум к одной
|
||||
лишней безопасной уборке), без новой миграции БД.
|
||||
- **NFR-6 (документируемость)** — операционная процедура, env-переменные и поведение при сбое
|
||||
зафиксированы в `docs/operations/INFRA.md` и `.env.example` в том же PR (golden source = код+доки).
|
||||
|
||||
## 6. Допущения и ограничения
|
||||
|
||||
- **A-1.** У контейнера `orchestrator` есть доступ к `/var/run/docker.sock` (через `group_add:
|
||||
["999"]`, gid docker — НЕ удалять, ORCH-040), что технически позволяет приложению вызывать
|
||||
`docker builder prune`. Это **не предрешает** выбор реализации (демон в приложении vs host-уровень).
|
||||
- **A-2.** `docker builder prune` по контракту docker затрагивает **только build cache**, не
|
||||
останавливает контейнеры и не удаляет образы запущенных сервисов — это основа безопасности BR-3.
|
||||
- **A-3.** Доминирующий «пожиратель» в инциденте — именно build cache (≈11 ГБ); прочие категории
|
||||
(worktree/логи/dangling-образы) адресуются отдельно (см. Вне объёма).
|
||||
- **A-4.** Хост — mva154 (`network_mode: host`), uid рантайма 1000:1000; любые host-prerequisites
|
||||
(например, права на docker.sock, настройка `daemon.json` если выбран этот путь) — процедура
|
||||
Owner, в git не коммитятся (по аналогии с P-1…P-4 в INFRA.md).
|
||||
- **Ограничение C-1.** Нельзя рестартить docker daemon в рабочее время без окна тишины, если
|
||||
выбранный архитектором путь (`daemon.json builder.gc`) требует перезапуска демона — это решает и
|
||||
планирует архитектор/Owner (вне объёма кода).
|
||||
|
||||
## 7. Критерии успеха
|
||||
|
||||
- Build cache на mva154 удерживается в безопасных пределах **автоматически**: после внедрения
|
||||
повторение сценария 07.06 (build cache → 11 ГБ → диск 100%) предотвращается без ручных действий.
|
||||
- Свежие сборки не теряют скорость без необходимости (тёплый кэш ≤ политики хранения сохраняется).
|
||||
- Запущенные прод-контейнеры и обслуживание `enduro-trails` не затронуты; прод не рестартился.
|
||||
- Оператор видит состояние авто-prune и может его выключить одним флагом.
|
||||
- Детальные PASS/FAIL — в `03-acceptance-criteria.md`.
|
||||
|
||||
## 8. Риски
|
||||
|
||||
Краткий перечень (детальная проработка — `10-tech-risks.md`, заполняет архитектор):
|
||||
- **R-1.** Слишком агрессивная политика (`-a` без возрастного фильтра / малый `until`) убивает
|
||||
тёплый кэш → каждая сборка «холодная» и медленная. Митигирует BR-2 (удержание по возрасту).
|
||||
- **R-2.** Гонка уборки с активной сборкой staging/прод-образа (`check_staging_image_fresh`,
|
||||
build-once retag) → теоретически удаление кэша во время сборки. `docker builder prune` штатно не
|
||||
трогает кэш, занятый активной сборкой, но политику/таймиг проверить (адресует архитектор).
|
||||
- **R-3.** Реализация через host-`daemon.json` требует рестарта docker daemon → риск для
|
||||
self-hosting; реализация через демон в приложении требует доступа к docker.sock и устойчивости к
|
||||
его недоступности.
|
||||
- **R-4.** Ошибочное расширение скоупа на `docker image prune` / `system prune` → удаление образов
|
||||
запущенных контейнеров. Жёстко исключено BR-3 (только build cache).
|
||||
139
docs/work-items/ORCH-062/02-trz.md
Normal file
139
docs/work-items/ORCH-062/02-trz.md
Normal file
@@ -0,0 +1,139 @@
|
||||
---
|
||||
work_item: ORCH-062
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 02 — ТЗ (TRZ): ORCH-062 — INFRA: авто-prune docker build cache на mva154
|
||||
|
||||
Work Item: **ORCH-062** · Repo: **orchestrator** · Стадия: analysis
|
||||
|
||||
> ТЗ описывает **требуемое поведение и точки изменения**, выведенные из BRD и фактического кода.
|
||||
> **Выбор механизма реализации — за архитектором (`06-adr`).** Запрещено комментировать ТЗ задним
|
||||
> числом: если требование не годится — вернуть в Анализ.
|
||||
|
||||
## 1. Сводка изменения
|
||||
|
||||
Ввести **автоматическое периодическое освобождение docker build cache** на хосте mva154, чтобы
|
||||
build cache не мог дорасти до заполнения диска (корень инцидента 07.06.2026, ≈11 ГБ → диск 100% →
|
||||
падение CI+Gitea+конвейера всех проектов). Это комплемент к disk-watchdog (ORCH-063, «только
|
||||
сигнал»): watchdog предупреждает, **pruner убирает**. Требование — безопасно для self-hosting
|
||||
(только build cache, без рестарта прода, never-raise), обратимо (kill-switch), наблюдаемо (`GET
|
||||
/queue`) и конфигурируемо.
|
||||
|
||||
**Развилка реализации (решает архитектор, фиксируется в `06-adr` + `07-infra-requirements.md`):**
|
||||
- **Вариант A — heartbeat-демон в приложении:** новый leaf-модуль, фоновый
|
||||
`threading.Thread(daemon=True)`, моделируемый **1:1 на `src/disk_watchdog.py`**
|
||||
(`start()/stop()/status()`, `threading.Event`, per-tick never-raise, kill-switch, блок в `GET
|
||||
/queue`), который периодически вызывает `docker builder prune` через docker.sock.
|
||||
- **Вариант B — host-уровень `daemon.json builder.gc.defaultKeepStorage`:** конфигурация
|
||||
garbage-collection BuildKit на хосте (инфра-процедура Owner, без кода приложения).
|
||||
- **Вариант C — host-cron** `docker builder prune -af --filter until=24h` (инфра-процедура Owner).
|
||||
|
||||
ТЗ ниже формулирует требования **инвариантно к выбору**; колонка «применимость» в §2 помечает, что
|
||||
именно затрагивается при code-пути (Вариант A). Если архитектор выбирает чистый инфра-путь (B/C),
|
||||
изменения `src/**` не требуются, а предметом становятся `07-infra-requirements.md` + INFRA.md +
|
||||
host-процедура (см. §7, §5 теста).
|
||||
|
||||
## 2. Задействованные модули / пути
|
||||
|
||||
| Путь | Действие | Применимость |
|
||||
|------|----------|--------------|
|
||||
| `src/build_cache_pruner.py` (новый leaf) | создать: фоновый демон-pruner по образцу `src/disk_watchdog.py` | Вариант A |
|
||||
| `src/config.py` | добавить флаги kill-switch/период/политика хранения (блок рядом с `disk_monitor_*`, строки ~392–442) + валидаторы | Вариант A (часть флагов — и для B/C как декларация) |
|
||||
| `src/main.py` | в `lifespan` — `start()`/`stop()` нового демона рядом с `disk_watchdog.start()/stop()` (строки ~113–120); в `GET /queue` — блок наблюдаемости рядом с `"disk_monitor": disk_watchdog.status()` (строка ~186) | Вариант A |
|
||||
| `.env.example` | задокументировать новые env-переменные (канон) | A / B / C (декларация) |
|
||||
| `docs/operations/INFRA.md` | секция «авто-prune build cache» + переменные в карте env; уточнить, что освобождение build cache теперь автоматизировано (ORCH-063 говорил «ручная операция») | A / B / C (обязательно) |
|
||||
| `docs/work-items/ORCH-062/06-adr/ADR-001-*.md` | решение по выбору механизма + параметрам (архитектор) | A / B / C |
|
||||
| `docs/work-items/ORCH-062/07-infra-requirements.md` | host-prerequisites/процедура (docker.sock / daemon.json / cron) (архитектор) | A / B / C |
|
||||
| `tests/test_build_cache_pruner.py` (новый) | unit/integration по `04-test-plan.yaml` | Вариант A |
|
||||
| `CHANGELOG.md` | запись в `## [Unreleased]` | A / B / C |
|
||||
|
||||
> Модуль-pruner должен быть **leaf** (как `disk_watchdog.py`, `serial_gate.py`, `task_deps.py`):
|
||||
> без обратных зависимостей на `stage_engine`/`stages`/`qg`, чтобы не задевать конвейер.
|
||||
|
||||
## 3. Функциональные требования
|
||||
|
||||
### FR-1 — периодическая авто-уборка build cache (BR-1)
|
||||
Build cache очищается автоматически по расписанию/периодически без участия оператора. Для code-пути
|
||||
(A): фоновый поток с периодом `prune_interval_s` (порядка часов) вызывает уборку каждый тик. Для
|
||||
инфра-пути (B/C): garbage-collection BuildKit / cron обеспечивают эквивалентную периодичность.
|
||||
Привязка: BR-1.
|
||||
|
||||
### FR-2 — политика удержания тёплого кэша (BR-2)
|
||||
Уборка по умолчанию удаляет **старый** build cache, удерживая свежий. Ориентир из бизнес-запроса —
|
||||
возрастной фильтр `--filter until=24h` (для пути A: команда вида `docker builder prune -f --filter
|
||||
until=<retention>`), либо порог объёма `builder.gc.defaultKeepStorage` (для пути B). Параметры
|
||||
удержания конфигурируемы (см. §ниже). Флаг `-a/--all` применять **только** в сочетании с возрастным
|
||||
фильтром/политикой удержания, не как «снести весь кэш». Привязка: BR-2.
|
||||
|
||||
### FR-3 — self-hosting-безопасность операции (BR-3, NFR-2)
|
||||
- Уборка затрагивает **исключительно build cache** — команда строго `docker builder prune`
|
||||
(BuildKit GC). **Запрещены** `docker image prune`, `docker system prune`, любое удаление образов
|
||||
запущенных сервисов и любая остановка/рестарт контейнеров.
|
||||
- Операция **никогда не рестартит и не роняет прод-контейнер** `orchestrator` (групповой риск
|
||||
self-hosting).
|
||||
- Для пути A: вызов docker — неблокирующий конвейер, с таймаутом; недоступность docker.sock →
|
||||
пропуск тика (never-raise).
|
||||
- Привязка: BR-3, NFR-1, NFR-2.
|
||||
|
||||
### FR-4 — наблюдаемость (BR-4)
|
||||
Состояние авто-prune доступно оператору. Для пути A — блок в `GET /queue` (как `disk_monitor`):
|
||||
`enabled`, `interval_s`, `retention`, `last_run_ts`, и (best-effort) результат последней уборки
|
||||
(освобождено байт / текущий объём build cache, если доступно из `docker builder prune`/`du`).
|
||||
Опционально — Telegram-сообщение при значимом освобождении (как recovery-сообщение watchdog'а).
|
||||
Для пути B/C — наблюдаемость через хост (`docker system df`), описанная в INFRA.md. Привязка: BR-4.
|
||||
|
||||
### FR-5 — kill-switch + конфигурируемость (BR-5, BR-6, NFR-3)
|
||||
- `*_enabled` (kill-switch, дефолт безопасный): выключено → демон не стартует (путь A) / процедура
|
||||
неактивна; поведение 1:1 как до задачи (NFR-3).
|
||||
- Конфигурируемые: период (`*_interval_s`), политика удержания (возраст `until` и/или объём
|
||||
`keep_storage`), опц. порог запуска. Невалидные значения → лог-warning + дефолт (как валидаторы
|
||||
`disk_monitor_interval_s`/`disk_monitor_threshold_pct` в `config.py`).
|
||||
- Область раската — безопасная: операция привязана к хосту mva154; не вводит per-repo гейтов.
|
||||
- Привязка: BR-5, BR-6.
|
||||
|
||||
### FR-6 — never-raise на всех уровнях (NFR-1)
|
||||
Любая ошибка (subprocess-сбой, ненулевой rc, таймаут, недоступность docker.sock, parsing-ошибка
|
||||
вывода) логируется и проглатывается; фоновый цикл/процедура продолжает жить и не влияет на
|
||||
конвейер. Для пути A — `try/except` per-tick и per-команда, как `_run`/`tick`/`_send` в
|
||||
`disk_watchdog.py`. Привязка: NFR-1, NFR-5.
|
||||
|
||||
## 4. Изменения API
|
||||
|
||||
**Внешних HTTP-эндпоинтов оркестратора (`src/main.py`) НЕ добавлять и не менять контрактно.**
|
||||
Допустимо (путь A): `GET /queue` дополнить **read-only** блоком `build_cache_pruner`/аналогичным
|
||||
ключом (наблюдаемость, не источник истины) — по образцу блока `disk_monitor`. Внутренний контракт
|
||||
нового модуля (путь A) — `start()` / `stop(timeout)` / `status() -> dict`, 1:1 как `DiskWatchdog`.
|
||||
|
||||
## 5. Изменения схемы БД
|
||||
|
||||
**Нет.** Схема БД (`src/db.py`) не трогается. Учёт «времени последней уборки» — in-memory /
|
||||
best-effort (NFR-5), новой миграции не требуется (как анти-спам-состояние disk-watchdog).
|
||||
|
||||
## 6. Требования к новым/изменённым QG checks
|
||||
|
||||
**Нет.** `QG_CHECKS` / `check_*` / `_parse_*` / `STAGE_TRANSITIONS` / `src/stage_engine.py` **не
|
||||
изменяются**. Авто-prune — операционный фоновый демон/процедура (категория `reconciler` /
|
||||
`job_reaper` / `disk_watchdog`), **не** элемент реестра Quality Gate.
|
||||
|
||||
## 7. Совместимость / регресс · артефакты pipeline
|
||||
|
||||
- **Обратная совместимость / обратимость:** kill-switch (FR-5) выключает фичу в 1:1-исходное
|
||||
состояние; никаких изменений поведения для `enduro-trails` и для конвейера (демон ортогонален).
|
||||
- **Область раската:** только хост mva154 / self-hosting инстанс; фича не вводит per-repo гейтов и
|
||||
не меняет рёбер конвейера.
|
||||
- **Артефакты pipeline, которые должны быть созданы/обновлены:**
|
||||
- `06-adr/ADR-001-*.md` — выбор механизма (A/B/C) + параметры удержания/периода (архитектор).
|
||||
- `07-infra-requirements.md` — host-процедура: доступ к docker.sock (A) / правка `daemon.json` +
|
||||
окно рестарта docker daemon (B) / cron-юнит (C) (архитектор).
|
||||
- `10-tech-risks.md` — детализация R-1…R-4 из BRD (архитектор).
|
||||
- `docs/operations/INFRA.md` — секция авто-prune + карта env; снять формулировку ORCH-063
|
||||
«освобождение места — ручная операция» в части build cache.
|
||||
- `.env.example` — новые переменные.
|
||||
- `CHANGELOG.md` — `## [Unreleased]`.
|
||||
- `12-review.md`, `13-test-report.md`, `14-deploy-log.md`, `15-staging-log.md` — по ходу конвейера.
|
||||
- `tests/` — реализовать тесты из `04-test-plan.yaml` (путь A).
|
||||
129
docs/work-items/ORCH-062/03-acceptance-criteria.md
Normal file
129
docs/work-items/ORCH-062/03-acceptance-criteria.md
Normal file
@@ -0,0 +1,129 @@
|
||||
---
|
||||
work_item: ORCH-062
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 03 — Критерии приёмки (Acceptance Criteria): ORCH-062 — авто-prune docker build cache на mva154
|
||||
|
||||
Work Item: **ORCH-062** · Repo: **orchestrator** · Стадия: analysis
|
||||
|
||||
Формат: каждый критерий имеет **PASS** (что должно быть истинно для приёмки) и **FAIL** (что
|
||||
считается провалом). Reviewer/tester проверяют их буквально по файлам репозитория и поведению.
|
||||
|
||||
> Критерии сформулированы инвариантно к выбору механизма (heartbeat-демон A / `daemon.json` B /
|
||||
> cron C). Где критерий специфичен пути A (код), это помечено; при выборе B/C его проверяет
|
||||
> эквивалент на хосте, задокументированный в `07-infra-requirements.md` / INFRA.md.
|
||||
|
||||
---
|
||||
|
||||
## AC-1 — Авто-уборка build cache выполняется без оператора
|
||||
|
||||
**Условие:** build cache очищается автоматически и периодически (BR-1/FR-1).
|
||||
- **PASS:** существует автоматический механизм (демон-тик пути A / BuildKit GC пути B / cron пути C),
|
||||
который без ручного вмешательства запускает уборку build cache с настроенным периодом; механизм
|
||||
описан в `06-adr` и INFRA.md.
|
||||
- **FAIL:** уборка возможна только ручным запуском оператором; либо механизм не описан/не внедрён.
|
||||
|
||||
---
|
||||
|
||||
## AC-2 — Удерживается тёплый недавний кэш
|
||||
|
||||
**Условие:** очистка по умолчанию удаляет старый кэш, сохраняя свежий (BR-2/FR-2).
|
||||
- **PASS:** команда/политика по умолчанию несёт возрастной фильтр (ориентир `until=24h`) или порог
|
||||
объёма (`builder.gc.defaultKeepStorage`); `-a/--all` (если используется) применяется только в
|
||||
паре с фильтром удержания. Параметр удержания конфигурируем.
|
||||
- **FAIL:** дефолт безусловно сносит весь build cache (например, `docker builder prune -af` без
|
||||
возрастного фильтра/порога), убивая тёплый кэш каждой сборки.
|
||||
|
||||
---
|
||||
|
||||
## AC-3 — Self-hosting безопасность: только build cache, без рестарта прода
|
||||
|
||||
**Условие:** операция затрагивает только build cache и не нарушает работу контейнеров (BR-3/FR-3).
|
||||
- **PASS:** используется строго `docker builder prune` (BuildKit GC); в коде/процедуре **нет**
|
||||
`docker image prune`, `docker system prune`, остановки/рестарта контейнеров или прод-деплоя;
|
||||
обслуживание `enduro-trails` и прод-контейнер `orchestrator` не затрагиваются.
|
||||
- **FAIL:** найдено любое удаление образов запущенных сервисов / `system prune` / любая
|
||||
остановка/рестарт прод-контейнера в рамках уборки.
|
||||
|
||||
---
|
||||
|
||||
## AC-4 — never-raise: уборка не роняет конвейер
|
||||
|
||||
**Условие:** ошибки уборки изолированы (NFR-1/FR-6).
|
||||
- **PASS:** сбой docker-команды, ненулевой rc, таймаут или недоступность docker.sock логируются и
|
||||
проглатываются; фоновый цикл/процедура продолжает работу; конвейер не падает. (Путь A:
|
||||
per-tick/per-команда `try/except`, как `disk_watchdog._run`/`tick`.)
|
||||
- **FAIL:** ошибка уборки всплывает в процесс/останавливает фоновый цикл/влияет на обработку очереди.
|
||||
|
||||
---
|
||||
|
||||
## AC-5 — kill-switch отключает фичу в исходное состояние
|
||||
|
||||
**Условие:** обратимость одним флагом (BR-5/FR-5/NFR-3).
|
||||
- **PASS:** при выключенном `*_enabled` демон не стартует (путь A) / процедура неактивна; поведение
|
||||
системы 1:1 как до задачи; (путь A) `GET /queue` показывает `enabled=false`. Флаг задокументирован
|
||||
в `.env.example` и INFRA.md.
|
||||
- **FAIL:** фича работает при выключенном флаге, либо kill-switch отсутствует/не документирован.
|
||||
|
||||
---
|
||||
|
||||
## AC-6 — Конфигурируемость с безопасными дефолтами
|
||||
|
||||
**Условие:** период/политика удержания настраиваемы, невалид деградирует на дефолт (BR-6/FR-5).
|
||||
- **PASS:** период (`*_interval_s`) и политика удержания (возраст/объём) читаются из env с
|
||||
безопасными дефолтами; невалидное значение → лог-warning + дефолт (как валидаторы
|
||||
`disk_monitor_*` в `src/config.py`).
|
||||
- **FAIL:** параметры захардкожены без возможности конфигурации, либо невалидное значение роняет
|
||||
старт/процедуру.
|
||||
|
||||
---
|
||||
|
||||
## AC-7 — Наблюдаемость состояния авто-prune
|
||||
|
||||
**Условие:** оператор видит состояние уборки (BR-4/FR-4).
|
||||
- **PASS:** (путь A) `GET /queue` содержит read-only блок авто-prune (`enabled`, `interval_s`,
|
||||
`retention`, `last_run_ts`, best-effort результат последней уборки); `status()` never-raise.
|
||||
(Путь B/C) способ наблюдения (`docker system df`) описан в INFRA.md.
|
||||
- **FAIL:** состояние авто-prune нигде не наблюдаемо.
|
||||
|
||||
---
|
||||
|
||||
## AC-8 — Изоляция от Quality Gate и схемы БД
|
||||
|
||||
**Условие:** конвейер и гейты не затронуты (NFR-2/FR §5,§6).
|
||||
- **PASS:** `STAGE_TRANSITIONS`, `QG_CHECKS`, `check_*`, `_parse_*`, `src/stage_engine.py` и схема
|
||||
БД (`src/db.py`) — без изменений; новый модуль (путь A) — leaf без зависимостей на конвейер.
|
||||
- **FAIL:** изменён любой элемент реестра гейтов / переходов стадий / схемы БД, либо введена новая
|
||||
миграция ради учёта уборки.
|
||||
|
||||
---
|
||||
|
||||
## AC-9 — Документация и регресс
|
||||
|
||||
**Условие:** golden source обновлён, полный регресс зелёный (NFR-6).
|
||||
- **PASS:** `docs/operations/INFRA.md` обновлён (секция авто-prune + env-карта; снята формулировка
|
||||
ORCH-063 «освобождение build cache — ручная операция»); `.env.example` несёт новые ключи;
|
||||
`CHANGELOG.md` имеет запись Unreleased; `06-adr/ADR-001-*.md` и `07-infra-requirements.md`
|
||||
заполнены; `pytest tests/ -q` зелёный.
|
||||
- **FAIL:** функционал изменён, но INFRA.md/.env.example/CHANGELOG/ADR не обновлены; либо регресс
|
||||
`tests/` красный.
|
||||
|
||||
---
|
||||
|
||||
## Сводная матрица AC ↔ FR/BR
|
||||
| AC | Покрывает |
|
||||
|----|-----------|
|
||||
| AC-1 | BR-1 / FR-1 |
|
||||
| AC-2 | BR-2 / FR-2 |
|
||||
| AC-3 | BR-3 / FR-3 / NFR-2 |
|
||||
| AC-4 | NFR-1 / FR-6 |
|
||||
| AC-5 | BR-5 / FR-5 / NFR-3 |
|
||||
| AC-6 | BR-6 / FR-5 |
|
||||
| AC-7 | BR-4 / FR-4 |
|
||||
| AC-8 | NFR-2 / FR-5 / FR-6 (TRZ §5,§6) |
|
||||
| AC-9 | NFR-6 |
|
||||
95
docs/work-items/ORCH-062/04-test-plan.yaml
Normal file
95
docs/work-items/ORCH-062/04-test-plan.yaml
Normal file
@@ -0,0 +1,95 @@
|
||||
work_item: ORCH-062
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
title: "Авто-prune docker build cache на mva154 — план тестов"
|
||||
framework: pytest
|
||||
scope: >
|
||||
Покрывает code-путь (Вариант A — heartbeat-демон src/build_cache_pruner.py по образцу
|
||||
src/disk_watchdog.py): чистая decision-логика (надо ли убирать на этом тике), построение
|
||||
безопасной docker-команды с политикой удержания, never-raise на ошибках subprocess/таймаут/
|
||||
недоступность docker.sock, kill-switch (демон не стартует), наблюдаемость status()/GET /queue,
|
||||
интеграция в lifespan. ВНЕ покрытия pytest: реальный вызов docker (subprocess мокается — тесты
|
||||
не должны трогать настоящий docker daemon), реальное освобождение диска. Если архитектор выберет
|
||||
чистый инфра-путь (B daemon.json / C cron) без кода src/**, применимые TC сводятся к ручной
|
||||
host-верификации, описанной в 07-infra-requirements.md / INFRA.md (см. TC-10).
|
||||
notes: >
|
||||
docker-вызовы изолируются моками (monkeypatch subprocess.run / docker-клиента) — НИ ОДИН тест не
|
||||
выполняет настоящий `docker builder prune`. Время/период инъектируются (now_provider), как в
|
||||
тестах disk_watchdog. Полный регресс `pytest tests/ -q` остаётся зелёным; STAGE_TRANSITIONS /
|
||||
QG_CHECKS / схема БД не затрагиваются — отдельных гейт-тестов фича не добавляет.
|
||||
|
||||
tests:
|
||||
- id: TC-01
|
||||
type: unit
|
||||
description: "decide-функция: при включённом pruner и истёкшем периоде с прошлой уборки решение = PRUNE"
|
||||
module: tests/test_build_cache_pruner.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-02
|
||||
type: unit
|
||||
description: "decide-функция: период с прошлой уборки не истёк → решение = SKIP (анти-частота, NFR-4)"
|
||||
module: tests/test_build_cache_pruner.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-03
|
||||
type: unit
|
||||
description: "Построение docker-команды несёт возрастной фильтр удержания (until=<retention>) и НЕ содержит image/system prune (FR-2/FR-3/AC-2/AC-3)"
|
||||
module: tests/test_build_cache_pruner.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-04
|
||||
type: unit
|
||||
description: "never-raise: subprocess бросает исключение / возвращает ненулевой rc → тик не падает, ошибка залогирована (FR-6/AC-4)"
|
||||
module: tests/test_build_cache_pruner.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-05
|
||||
type: unit
|
||||
description: "never-raise: недоступность docker.sock (FileNotFoundError/PermissionError) → тик пропускается, цикл жив (FR-6/AC-4)"
|
||||
module: tests/test_build_cache_pruner.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-06
|
||||
type: unit
|
||||
description: "never-raise: таймаут docker-команды (TimeoutExpired) проглатывается, фоновый цикл продолжает работу (FR-6/AC-4)"
|
||||
module: tests/test_build_cache_pruner.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-07
|
||||
type: unit
|
||||
description: "kill-switch: при *_enabled=False start() — no-op, фоновый поток не стартует (FR-5/AC-5/NFR-3)"
|
||||
module: tests/test_build_cache_pruner.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-08
|
||||
type: unit
|
||||
description: "config: невалидный *_interval_s / retention → лог-warning + безопасный дефолт, старт не падает (FR-5/AC-6)"
|
||||
module: tests/test_build_cache_pruner.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-09
|
||||
type: unit
|
||||
description: "status() never-raise и содержит enabled/interval_s/retention/last_run_ts + best-effort результат последней уборки (FR-4/AC-7)"
|
||||
module: tests/test_build_cache_pruner.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-10
|
||||
type: unit
|
||||
description: "Изоляция от Quality Gate: модуль-pruner — leaf, не импортирует stage_engine/stages/qg; STAGE_TRANSITIONS и QG_CHECKS не изменены (NFR-2/AC-8)"
|
||||
module: tests/test_build_cache_pruner.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-11
|
||||
type: integration
|
||||
description: "lifespan: при включённом флаге демон стартует в app-lifespan и корректно останавливается на shutdown (рядом с disk_watchdog), docker замокан (FR-1/AC-1)"
|
||||
module: tests/test_build_cache_pruner.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-12
|
||||
type: integration
|
||||
description: "GET /queue содержит read-only блок авто-prune с состоянием (enabled/interval_s/retention/last_run_ts); при выключенном флаге enabled=false (FR-4/AC-5/AC-7)"
|
||||
module: tests/test_build_cache_pruner.py
|
||||
expected: PASS
|
||||
206
docs/work-items/ORCH-062/06-adr/ADR-001-build-cache-pruner.md
Normal file
206
docs/work-items/ORCH-062/06-adr/ADR-001-build-cache-pruner.md
Normal file
@@ -0,0 +1,206 @@
|
||||
---
|
||||
work_item: ORCH-062
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# ADR-001: Авто-prune docker build cache — фоновый heartbeat-демон, выполняющий `docker builder prune` на хосте через ssh
|
||||
|
||||
Work Item: **ORCH-062** — INFRA: авто-prune docker build cache на mva154
|
||||
Стадия: **architecture**
|
||||
Сквозная регистрация: **`docs/architecture/adr/adr-0025-build-cache-pruner.md`** (кросс-каттинг —
|
||||
вводит новый фоновый компонент в ряду `reconciler`/`job_reaper`/`disk_watchdog`).
|
||||
|
||||
## Статус
|
||||
Proposed
|
||||
|
||||
## Контекст
|
||||
|
||||
07.06.2026 хост-диск mva154 тихо дорос до 100% и положил **весь self-hosting-конвейер всех
|
||||
проектов** (один прод-инстанс `orchestrator` на общей БД/очереди обслуживает и `enduro-trails`, и
|
||||
`orchestrator`). Доминирующий «пожиратель» — **docker build cache** (≈11 ГБ), накопленный частыми
|
||||
пересборками (`docker compose up -d --build` при прод-деплое; пересборка staging-образа
|
||||
`--profile staging`; build-once retag за `check_staging_image_fresh`, ORCH-058). ORCH-063 ввёл
|
||||
disk-watchdog, который **только сигнализирует** (Telegram-алерт ≥85%) и явно отложил авто-очистку в
|
||||
отдельную задачу. **ORCH-062 — эта задача.**
|
||||
|
||||
BRD/ТЗ ставят развилку реализации (`06-adr` решает):
|
||||
- **A** — heartbeat-демон в приложении (`src/build_cache_pruner.py`), 1:1 на `src/disk_watchdog.py`.
|
||||
- **B** — host `daemon.json builder.gc.defaultKeepStorage` (BuildKit GC, инфра-процедура Owner).
|
||||
- **C** — host-cron `docker builder prune -af --filter until=24h` (инфра-процедура Owner).
|
||||
|
||||
**Факты, сверенные с кодом (важно для выбора):**
|
||||
- **Контейнер `orchestrator` НЕ содержит `docker` CLI.** `Dockerfile:11` ставит только
|
||||
`openssh-client git curl ca-certificates`. `src/image_freshness.py::image_revision` прямо
|
||||
фиксирует: *«`docker` lives on the HOST (the container ships only `openssh-client git`), so when
|
||||
`ssh_target` is given the inspect runs over ssh»*. → Любая docker-операция приложения над хостом
|
||||
идёт **через ssh на хост** (`ssh deploy_ssh_user@deploy_ssh_host docker …`), как уже делают
|
||||
`image_freshness` и `self_deploy` (Phase B). Допущение BRD A-1 («docker.sock смонтирован →
|
||||
приложение может вызвать `docker builder prune`») верно на уровне сокета, но **не** даёт готового
|
||||
CLI; raw-HTTP-over-UDS — лишний код против существующего ssh-канала.
|
||||
- В оркестраторе уже три проверенных фоновых daemon-потока с единым каркасом
|
||||
(`threading.Thread(daemon=True)` + `threading.Event`, `start()/stop(timeout)/status()`,
|
||||
per-tick never-raise, kill-switch, снимок в `GET /queue`): `reconciler` (ORCH-053),
|
||||
`job_reaper` (ORCH-065), `disk_watchdog` (ORCH-063, `src/disk_watchdog.py`).
|
||||
- ssh-канал на хост сконфигурирован и доступен: `settings.deploy_ssh_user` (дефолт `slin`),
|
||||
`settings.deploy_ssh_host`; ключи проброшены ro (`~/.orchestrator-ssh → /home/slin/.ssh`,
|
||||
ORCH-040); `slin` — в группе docker (деплой-хук запускает `docker compose` на хосте).
|
||||
- `docker builder prune` по контракту BuildKit затрагивает **только build cache**, не
|
||||
останавливает контейнеры и не удаляет образы запущенных сервисов (основа BR-3).
|
||||
|
||||
## Решение
|
||||
|
||||
### Сводка
|
||||
|
||||
Выбран **Вариант A — фоновый heartbeat-демон `src/build_cache_pruner.py`**, смоделированный
|
||||
**1:1 на `src/disk_watchdog.py`** (тот же каркас, контракт, kill-switch, never-raise, блок в
|
||||
`GET /queue`), который **периодически выполняет `docker builder prune` на ХОСТЕ через ssh** —
|
||||
тем же каналом `deploy_ssh_user@deploy_ssh_host`, что уже используют `image_freshness` и
|
||||
`self_deploy`. Это «вторая половина» disk-watchdog: **watchdog сигналит — pruner убирает**.
|
||||
|
||||
Варианты B и C отклонены (см. «Альтернативы»). Вариант C сохраняется как
|
||||
**задокументированный ручной fallback** в `07-infra-requirements.md` на случай, если ssh-канал
|
||||
недоступен.
|
||||
|
||||
### D1 — Механизм: фоновый демон приложения (A), не host-инфра (B/C) — BR-1/FR-1
|
||||
|
||||
Новый **leaf**-модуль `src/build_cache_pruner.py` (без обратных зависимостей на
|
||||
`stage_engine`/`stages`/`qg`, как `disk_watchdog`/`serial_gate`/`task_deps`). Класс
|
||||
`BuildCachePruner` с каркасом `disk_watchdog`: daemon-поток, чистый стоп через
|
||||
`_stop.wait(interval)`, контракт `start()/stop(timeout)/status()`, модульный singleton
|
||||
`build_cache_pruner`. Каждые `build_cache_prune_interval_s` (дефолт **21600с = 6ч**, NFR-4
|
||||
«порядка часов») один тик выполняет уборку. Выбор A над B/C даёт: наблюдаемость в `GET /queue`,
|
||||
kill-switch из конфига, golden-source-в-git, юнит-тесты, и **симметрию с disk-watchdog** (один
|
||||
паттерн на два смежных эксплуатационных демона) — это снижает стоимость сопровождения и
|
||||
когнитивную нагрузку следующего агента.
|
||||
|
||||
### D2 — Команда и политика удержания: строго BuildKit GC с возрастным фильтром — BR-2/BR-3/FR-2/FR-3
|
||||
|
||||
- Команда уборки — **строго `docker builder prune -f --filter until=<until>`** (BuildKit GC).
|
||||
Дефолт `until=24h` (`build_cache_prune_until`, ориентир из бизнес-запроса): удаляется build
|
||||
cache **старше 24ч**, свежий тёплый кэш недавних сборок сохраняется (BR-2/AC-2).
|
||||
- Флаг `-a/--all` — **только** опционально (`build_cache_prune_all`, дефолт `False`) и **всегда в
|
||||
паре с возрастным фильтром**; «снести весь кэш» (`prune -af` без `until`) запрещён дефолтом.
|
||||
- **Жёстко запрещены** `docker image prune`, `docker system prune`, любое удаление образов
|
||||
запущенных сервисов, любая остановка/рестарт контейнеров. Затрагивается **только** build cache
|
||||
(BR-3/AC-3). Уборка **никогда** не рестартит/не роняет прод-контейнер `orchestrator`
|
||||
(групповой риск self-hosting).
|
||||
|
||||
### D3 — Канал исполнения: ssh на хост (CLI в контейнере нет) — BR-3/FR-3/NFR-1
|
||||
|
||||
- Уборка исполняется на хосте: `ssh -o StrictHostKeyChecking=no <deploy_ssh_user@deploy_ssh_host>
|
||||
"docker builder prune -f --filter until=<until>"`, по образцу `image_freshness.image_revision`
|
||||
(`ssh_target`-ветка). Это где **физически** живёт build cache (host docker daemon).
|
||||
- **Нет ssh-таргета (`deploy_ssh_host` пуст) → тик no-op** (лог + `status()` отражает причину).
|
||||
Это естественно **скоупит** фичу на self-hosting-прод (где ssh настроен) и делает дефолт
|
||||
безопасным для любого окружения без host-доступа — параллель тому, как `self_deploy`/
|
||||
`image_freshness` деградируют без `_ssh_target()`.
|
||||
- Вызов **bounded** таймаутом (`build_cache_prune_timeout_s`, дефлот 120с) и **неблокирующий**
|
||||
конвейер (отдельный daemon-поток). Любой сбой — ниже D6.
|
||||
|
||||
### D4 — Конфиг, kill-switch, дефолты — BR-5/BR-6/FR-5/NFR-3
|
||||
|
||||
Новый блок флагов в `src/config.py` рядом с `disk_monitor_*` (env-префикс `ORCH_BUILD_CACHE_PRUNE_*`):
|
||||
|
||||
| Поле (`settings.*`) | env | Дефолт | Назначение |
|
||||
|---|---|---|---|
|
||||
| `build_cache_prune_enabled` | `ORCH_BUILD_CACHE_PRUNE_ENABLED` | `True` | kill-switch; `False` → демон не стартует, поведение 1:1 как до задачи (NFR-3) |
|
||||
| `build_cache_prune_interval_s` | `ORCH_BUILD_CACHE_PRUNE_INTERVAL_S` | `21600` (6ч) | период тика, сек |
|
||||
| `build_cache_prune_until` | `ORCH_BUILD_CACHE_PRUNE_UNTIL` | `24h` | возраст удержания (`--filter until=`) |
|
||||
| `build_cache_prune_all` | `ORCH_BUILD_CACHE_PRUNE_ALL` | `False` | добавить `-a` (только в паре с `until`) |
|
||||
| `build_cache_prune_timeout_s` | `ORCH_BUILD_CACHE_PRUNE_TIMEOUT_S` | `120` | таймаут ssh-команды, сек |
|
||||
| `build_cache_prune_notify_min_gb` | `ORCH_BUILD_CACHE_PRUNE_NOTIFY_MIN_GB` | `0` | Telegram при освобождении ≥ N ГБ; `0` → тихо (без нотификаций) |
|
||||
|
||||
**Дефолт `enabled=True` (обоснование, не самоочевидно):** (а) бизнес-цель BR-1 — авто-предотвращение
|
||||
инцидента *без ручного вмешательства*; дефолт `False` означал бы, что оператор обязан вспомнить и
|
||||
включить флаг, что подрывает саму задачу; (б) операция документированно-безопасна (только build
|
||||
cache, never images/containers/restart — D2/A-2); (в) при отсутствии ssh-таргета тик no-op (D3) →
|
||||
фича безопасна-по-построению в любом окружении без host-доступа; (г) полностью обратима kill-switch.
|
||||
Это сознательный, явно зафиксированный компромисс «безопасный дефолт vs авто-цель» в пользу
|
||||
авто-цели, при сохранённой обратимости. Параллель: `disk_monitor_enabled` тоже дефолт `True`.
|
||||
|
||||
**Валидаторы** (паттерн `_disk_positive_int`/`_disk_threshold_pct` из `config.py`): невалидный
|
||||
`interval_s`/`timeout_s` (не-int / ≤0) → лог-warning + дефолт; невалидный `until` (не матчит
|
||||
`^\d+[smhdw]?$`) → лог-warning + `24h`. Невалидное значение **никогда** не роняет старт (AC-6).
|
||||
|
||||
### D5 — Наблюдаемость — BR-4/FR-4
|
||||
|
||||
Аддитивный read-only блок `build_cache_prune` в `GET /queue` (как `disk_monitor`):
|
||||
`enabled`, `interval_s`, `until`, `all`, `last_run_ts`, `last_reclaimed` (распарсенное
|
||||
`Total reclaimed space: …` из вывода `docker builder prune`, best-effort), `last_error`
|
||||
(строка причины последнего сбоя/no-op, или `null`). `status()` — never-raise (минимум
|
||||
`{"enabled": …}` при ошибке). Опционально — `send_telegram` при освобождении
|
||||
≥ `notify_min_gb` (по образцу recovery-сообщения watchdog'а; дефолт выключено).
|
||||
|
||||
### D6 — Инварианты и never-raise — NFR-1/NFR-2/NFR-5/FR-6, AC-4/AC-8
|
||||
|
||||
- `STAGE_TRANSITIONS`, реестр `QG_CHECKS`, `check_*`, `_parse_*`, `src/stage_engine.py`, схема БД
|
||||
(`src/db.py`) — **не изменяются**. Pruner — эксплуатационный демон, не Quality Gate (категория
|
||||
`reconciler`/`job_reaper`/`disk_watchdog`).
|
||||
- **Без миграции БД**: учёт «когда убирали в последний раз»/последний результат — **in-memory**,
|
||||
best-effort; сброс при рестарте безопасен (максимум одна лишняя безопасная уборка, NFR-5).
|
||||
- **never-raise на двух уровнях:** per-команда (ненулевой rc / таймаут / `OSError` /
|
||||
недоступность ssh / parsing-ошибка вывода → лог + проглот, тик жив) и per-tick (внешний
|
||||
`try/except` в `_run`, как `disk_watchdog._run`). Фоновый цикл и конвейер не падают.
|
||||
- **Self-hosting:** ssh выполняет `docker builder prune` на хосте под `slin` (в группе docker);
|
||||
команда не трогает образы/контейнеры запущенных сервисов; прод не рестартится. Обслуживание
|
||||
`enduro-trails` в общем инстансе не затронуто.
|
||||
|
||||
### D7 — Жизненный цикл (`main.lifespan`)
|
||||
|
||||
Старт демона — **последним**, сразу после `disk_watchdog.start()` (строки ~113–114 `main.py`);
|
||||
стоп — **первым** в reverse-порядке, перед `disk_watchdog.stop()`. `start()` чтит kill-switch
|
||||
(no-op при `enabled=False`), как `DiskWatchdog.start()`.
|
||||
|
||||
## Альтернативы
|
||||
|
||||
- **Вариант B — host `daemon.json builder.gc.defaultKeepStorage`** — **отвергнуто:** применение
|
||||
конфигурации требует **рестарта docker daemon** на mva154, что останавливает **ВСЕ** контейнеры
|
||||
хоста (прод `orchestrator` + всё остальное) → катастрофический self-hosting blast radius (BRD
|
||||
C-1/R-3). Дополнительно: политика BuildKit GC — по **объёму** (`defaultKeepStorage`), а не по
|
||||
возрасту (BR-2 хочет `until=24h`); состояние не наблюдаемо в `GET /queue` (только хостовый
|
||||
`docker system df`); конфигурация — off-git host-артефакт.
|
||||
- **Вариант C — host-cron** `docker builder prune -af --filter until=24h` — **отвергнуто как
|
||||
основное** (сохранено как ручной fallback в `07`): off-git невидимая инфра (следующий
|
||||
оператор/агент её не видит), **нет** наблюдаемости в `GET /queue`, **нет** kill-switch из
|
||||
конфига, **не** покрывается `tests/` — ломает принцип self-contained/reproducible/observable,
|
||||
которому следуют остальные демоны.
|
||||
- **A через raw-HTTP по docker.sock (без ssh)** — **отвергнуто:** требует ручного HTTP-over-UDS
|
||||
клиента (chunked-ответы, версионирование API) — лишний код против уже существующего,
|
||||
проверенного ssh-канала `image_freshness`/`self_deploy`.
|
||||
- **A через `docker` CLI, вкомпилированный в образ** — **отвергнуто:** раздувает образ и требует
|
||||
пересборки/рестарта прода ради уборки; ssh-канал на хост уже есть и не трогает образ.
|
||||
|
||||
## Последствия
|
||||
|
||||
- **+** Корень инцидента 07.06 (build cache → 100% диска) устраняется **автоматически**, без
|
||||
ручного вмешательства; тёплый кэш ≤24ч сохранён → штатные пересборки не «холодные».
|
||||
- **+** Знакомый паттерн фонового демона (калька `disk_watchdog`) → низкий риск, наблюдаемость в
|
||||
`GET /queue`, обратимость одним флагом, юнит-тестируемость, golden-source-в-git.
|
||||
- **+** Без новых внешних зависимостей и без рестарта docker daemon/прода (принцип «всё в Docker
|
||||
на одном сервере, минимум зависимостей»); ssh-канал переиспользован.
|
||||
- **−** Зависимость от ssh-доступа на хост (как у `image_freshness`/`self_deploy`); при
|
||||
отсутствии — тик no-op (наблюдаемо в `status().last_error`), фича просто не работает, но ничего
|
||||
не ломает. Митигейшн: документированный host-prerequisite + fallback-cron (`07`).
|
||||
- **−** In-memory учёт результата (без миграции) — допустим для эксплуатационного демона (не SLA).
|
||||
- **Откат:** `ORCH_BUILD_CACHE_PRUNE_ENABLED=false` → демон не стартует, поведение 1:1 как до
|
||||
задачи; миграций БД нет, удалять нечего.
|
||||
|
||||
## Ссылки
|
||||
- BRD: `docs/work-items/ORCH-062/01-brd.md`
|
||||
- TRZ: `docs/work-items/ORCH-062/02-trz.md`
|
||||
- Acceptance: `docs/work-items/ORCH-062/03-acceptance-criteria.md`
|
||||
- Инфра-требования: `docs/work-items/ORCH-062/07-infra-requirements.md`
|
||||
- Тех-риски: `docs/work-items/ORCH-062/10-tech-risks.md`
|
||||
- Сквозной ADR: `docs/architecture/adr/adr-0025-build-cache-pruner.md`
|
||||
- Сверено по коду: `src/disk_watchdog.py` (каркас-образец), `src/image_freshness.py`
|
||||
(`image_revision`/`_ssh_target` — ssh-канал к host docker), `src/config.py`
|
||||
(`disk_monitor_*` + валидаторы, `deploy_ssh_user/host`), `src/main.py`
|
||||
(`lifespan` старт/стоп демонов, `GET /queue`), `Dockerfile:11` (нет docker CLI в образе).
|
||||
- Родственные компоненты: `docs/architecture/adr/adr-0024-disk-watchdog.md` (ORCH-063),
|
||||
`adr-0007-reconciler.md`, `adr-0011-job-reaper-lease-reclaim.md`.
|
||||
</content>
|
||||
</invoke>
|
||||
76
docs/work-items/ORCH-062/07-infra-requirements.md
Normal file
76
docs/work-items/ORCH-062/07-infra-requirements.md
Normal file
@@ -0,0 +1,76 @@
|
||||
---
|
||||
work_item: ORCH-062
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 07 — Инфра-требования: ORCH-062 — авто-prune docker build cache на mva154
|
||||
|
||||
Work Item: **ORCH-062** · Repo: **orchestrator** · Стадия: architecture
|
||||
|
||||
> Решение: **Вариант A** (фоновый демон приложения, `docker builder prune` на хосте через ssh) —
|
||||
> см. `06-adr/ADR-001-build-cache-pruner.md`. Этот файл фиксирует host-prerequisites выбранного
|
||||
> пути и задокументированный ручной fallback (Вариант C, host-cron).
|
||||
|
||||
## I-1. Топология / окружения
|
||||
|
||||
- Без изменений топологии: **новый внутренний фоновый daemon-поток** в существующем прод-контейнере
|
||||
`orchestrator` (8500), наравне с `reconciler`/`job_reaper`/`disk_watchdog`. Новых контейнеров,
|
||||
портов, сетей, томов — **нет**.
|
||||
- Уборка исполняется **на хосте mva154** (host docker daemon — там физически живёт build cache)
|
||||
через уже существующий ssh-канал `deploy_ssh_user@deploy_ssh_host`
|
||||
(по образцу `image_freshness`/`self_deploy` Phase B). В контейнере `docker` CLI **нет**
|
||||
(`Dockerfile:11` — только `openssh-client git curl`), поэтому raw-вызов CLI в контейнере
|
||||
невозможен — только ssh на хост.
|
||||
|
||||
## I-2. Переменные окружения / секреты
|
||||
|
||||
Новые env (дефолты безопасны; полная карта — `docs/operations/INFRA.md`; канон — `.env.example`):
|
||||
|
||||
| env | Дефолт | Назначение |
|
||||
|-----|--------|------------|
|
||||
| `ORCH_BUILD_CACHE_PRUNE_ENABLED` | `true` | kill-switch; `false` → демон не стартует, 1:1 как до задачи |
|
||||
| `ORCH_BUILD_CACHE_PRUNE_INTERVAL_S` | `21600` (6ч) | период тика, сек (валидация >0, иначе → дефолт) |
|
||||
| `ORCH_BUILD_CACHE_PRUNE_UNTIL` | `24h` | возраст удержания тёплого кэша (`--filter until=`); валидация `^\d+[smhdw]?$`, иначе → `24h` |
|
||||
| `ORCH_BUILD_CACHE_PRUNE_ALL` | `false` | добавить `-a` (только в паре с `until`) |
|
||||
| `ORCH_BUILD_CACHE_PRUNE_TIMEOUT_S` | `120` | таймаут ssh-команды, сек |
|
||||
| `ORCH_BUILD_CACHE_PRUNE_NOTIFY_MIN_GB` | `0` | Telegram при освобождении ≥ N ГБ; `0` → тихо |
|
||||
|
||||
- Переиспользуются существующие `ORCH_DEPLOY_SSH_USER` (дефолт `slin`) / `ORCH_DEPLOY_SSH_HOST` как
|
||||
ssh-таргет. **Пустой `ORCH_DEPLOY_SSH_HOST` → тик no-op** (фича не активна вне self-host).
|
||||
- Секретов не добавляет. ssh-ключи уже проброшены ro (`~/.orchestrator-ssh → /home/slin/.ssh`,
|
||||
ORCH-040); в git не коммитятся.
|
||||
|
||||
## I-3. Деплой / рестарт
|
||||
|
||||
- **Рестарт docker daemon — НЕ требуется** (ключевое отличие от отклонённого Варианта B). Уборка —
|
||||
это `docker builder prune` (BuildKit GC), без правки `daemon.json`.
|
||||
- **Рестарт прод-контейнера ради уборки — категорически НЕ требуется и запрещён** (self-hosting
|
||||
групповой риск). Сам код демона активируется штатным конвейерным деплоем оркестратора
|
||||
(staging 8501 → Confirm Deploy → prod), не отдельной операцией.
|
||||
- Host-prerequisites выбранного пути A (процедура Owner, в git не коммитятся — как P-1…P-4 в
|
||||
INFRA.md):
|
||||
1. На хосте установлен `docker` и пользователь `slin` — в группе `docker` (уже выполняется:
|
||||
деплой-хук запускает `docker compose` на хосте).
|
||||
2. ssh с контейнера на хост под `slin` работает без пароля (уже настроено для Phase B деплоя).
|
||||
Иные действия Owner не требуются — фича включена дефолтом и активна при наличии ssh-таргета.
|
||||
|
||||
### Ручной fallback (Вариант C, host-cron) — если ssh-канал недоступен
|
||||
|
||||
Если по какой-то причине ssh-канал на хост закрыт, эквивалентную защиту можно временно обеспечить
|
||||
host-cron на mva154 (процедура Owner, off-git):
|
||||
```cron
|
||||
# каждые 6 часов: удалить build cache старше 24ч (только build cache, не образы/контейнеры)
|
||||
0 */6 * * * docker builder prune -f --filter until=24h >> /var/log/orch-build-cache-prune.log 2>&1
|
||||
```
|
||||
Это fallback, не основной путь: cron не наблюдаем в `GET /queue` и не имеет config-kill-switch.
|
||||
|
||||
## I-4. CI/CD
|
||||
|
||||
- `.gitea/workflows/` — **без изменений**. Добавляется юнит-тест `tests/test_build_cache_pruner.py`
|
||||
(путь A), исполняется существующим `pytest tests/ -q`; docker/ssh в тестах мокируются (как
|
||||
`image_freshness`-тесты не требуют реального docker).
|
||||
</content>
|
||||
43
docs/work-items/ORCH-062/10-tech-risks.md
Normal file
43
docs/work-items/ORCH-062/10-tech-risks.md
Normal file
@@ -0,0 +1,43 @@
|
||||
---
|
||||
work_item: ORCH-062
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 10 — Технические риски: ORCH-062 — авто-prune docker build cache на mva154
|
||||
|
||||
Work Item: **ORCH-062** · Repo: **orchestrator** · Стадия: architecture
|
||||
|
||||
> Информационный (гейтом не парсится). Детализация R-1…R-4 из BRD + риски, выявленные при
|
||||
> архитектурном решении (Вариант A, ssh-на-хост). Решение — `06-adr/ADR-001-build-cache-pruner.md`.
|
||||
|
||||
## Реестр рисков
|
||||
|
||||
| ID | Риск | Вер. | Влия. | Митигейшн |
|
||||
|----|------|------|-------|-----------|
|
||||
| TR-1 | **Слишком агрессивная политика** (`-a` без возрастного фильтра / малый `until`) убивает тёплый кэш → каждая сборка «холодная», медленная (BRD R-1) | Низ. | Сред. | Дефолт `docker builder prune -f --filter until=24h` **без** `-a`; `-a` — только опционально и всегда в паре с `until` (D2/AC-2). Параметр удержания конфигурируем |
|
||||
| TR-2 | **Гонка уборки с активной сборкой** staging/прод-образа (`check_staging_image_fresh`, build-once retag) — теоретическое удаление кэша во время сборки (BRD R-2) | Низ. | Низ. | `docker builder prune --filter until=24h` по контракту BuildKit не трогает кэш, занятый/использованный активной сборкой (свежий < 24ч); период тика — порядка часов (6ч), не конкурирует за ресурсы (NFR-4) |
|
||||
| TR-3 | **Контейнер не имеет docker CLI** (`Dockerfile:11`) → наивный `subprocess.run(["docker",…])` упал бы FileNotFoundError | — (закрыт решением) | — | Решено архитектурно: уборка идёт через **ssh на хост** (`image_freshness`-канал), не CLI-в-контейнере. Не риск реализации, а зафиксированный инвариант D3 |
|
||||
| TR-4 | **ssh-канал недоступен** (нет `deploy_ssh_host` / закрыт ssh) → уборка не выполняется | Низ. | Сред. | Тик no-op + причина в `status().last_error` (наблюдаемо в `GET /queue`); never-raise — конвейер не страдает; документированный host-cron fallback (`07` I-3); disk-watchdog продолжает сигналить о росте диска |
|
||||
| TR-5 | **Расширение скоупа** на `docker image prune` / `system prune` → удаление образов запущенных контейнеров (BRD R-4) | Низ. | Выс. | Жёстко исключено D2/FR-3/AC-3: команда строго `docker builder prune`; reviewer проверяет отсутствие `image prune`/`system prune`/рестарта в коде и процедуре |
|
||||
| TR-6 | **Рестарт прода/докера ради уборки** (групповой self-hosting риск) | — (исключён) | Выс. | Вариант B (рестарт docker daemon) отвергнут именно по этой причине; Вариант A не рестартит ни прод, ни docker daemon (D3/I-3) |
|
||||
| TR-7 | **Сбой docker-команды/таймаут** на хосте всплывает в фоновый поток → останавливает цикл/конвейер | Низ. | Сред. | never-raise per-команда и per-tick (D6/FR-6/AC-4), как `disk_watchdog._run`/`tick`; ненулевой rc/таймаут/`OSError` логируются и проглатываются |
|
||||
| TR-8 | **Telegram-шум** при каждом тике | Низ. | Низ. | Нотификация только при освобождении ≥ `notify_min_gb`; дефолт `0` → тихо (D4/D5) |
|
||||
|
||||
## Сводный вывод
|
||||
|
||||
Доминирующий класс — **операционная безопасность self-hosting** (уборка на проде, обслуживающем
|
||||
все проекты). Все высоко-влиятельные риски (TR-5/TR-6) **структурно исключены** выбором узкой
|
||||
команды `docker builder prune` и отказом от рестарта docker daemon/прода (отклонён Вариант B).
|
||||
Остаточные риски — низкой вероятности и нейтрализуются never-raise + наблюдаемостью в `GET /queue`
|
||||
+ обратимостью kill-switch.
|
||||
|
||||
**Эскалация:** вводится **новый фоновый компонент** (leaf-демон) — формально подпадает под
|
||||
`arch:major-change`. Однако это калька уже принятого паттерна `disk_watchdog`/`reconciler`/
|
||||
`job_reaper` **без** изменения `STAGE_TRANSITIONS`/`QG_CHECKS`/схемы БД и **без** рестарта прода,
|
||||
поэтому остаточный риск для прод-конвейера — **низкий**; возврат в анализ не требуется (ТЗ
|
||||
реализуемо без нарушения принципов архитектуры).
|
||||
</content>
|
||||
95
docs/work-items/ORCH-062/12-review.md
Normal file
95
docs/work-items/ORCH-062/12-review.md
Normal file
@@ -0,0 +1,95 @@
|
||||
---
|
||||
verdict: APPROVED
|
||||
work_item: ORCH-062
|
||||
stage: review
|
||||
author_agent: reviewer
|
||||
status: approved
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
type: review
|
||||
work_item_id: ORCH-062
|
||||
version: 1
|
||||
---
|
||||
|
||||
# Review ORCH-062 — INFRA: авто-prune docker build cache на mva154
|
||||
|
||||
## Summary
|
||||
|
||||
PR вводит фоновый daemon-поток `src/build_cache_pruner.py` («вторая половина» disk-watchdog
|
||||
ORCH-063): периодически выполняет **строго `docker builder prune -f --filter until=<until>`** на
|
||||
хосте через ssh, устраняя корень инцидента 07.06.2026 (build cache → 100% диска) автоматически.
|
||||
|
||||
Проверены все 4 оси. Реализация **точно** соответствует ADR-001 (D1…D7) и закрывает все 9 критериев
|
||||
приёмки. Полный регресс зелёный (`pytest tests/ -q` → **1319 passed**); новый модуль покрыт
|
||||
`tests/test_build_cache_pruner.py` (TC-01…TC-12, 23 кейса, docker замокан — ни один тест не трогает
|
||||
реальный docker/диск). Реестр QG, переходы стадий и схема БД **не тронуты** (проверено `git diff`:
|
||||
`src/stages.py`/`src/stage_engine.py`/`src/qg/`/`src/db.py` без изменений). Документация (golden
|
||||
source) обновлена в том же PR. **Findings P0/P1 отсутствуют.**
|
||||
|
||||
### Соответствие ТЗ / Acceptance Criteria
|
||||
- **AC-1** (авто-уборка без оператора): ✅ тик каждые `interval_s` (дефолт 6ч), pure-функция
|
||||
`decide_prune`.
|
||||
- **AC-2** (тёплый кэш удерживается): ✅ дефолт `until=24h`; `-a` добавляется **только в паре** с
|
||||
`until` (`build_prune_command`, TC-03).
|
||||
- **AC-3** (self-hosting безопасность): ✅ строго `docker builder prune`; в коде **нет**
|
||||
`image prune`/`system prune`/удаления контейнеров/рестарта прода (TC-03 ассертит явно).
|
||||
- **AC-4** (never-raise): ✅ per-команда + per-tick `try/except` (TC-04/05/06).
|
||||
- **AC-5** (kill-switch): ✅ гард в `main.lifespan` + `start()` (TC-07).
|
||||
- **AC-6** (конфигурируемость + валидаторы): ✅ `_bcp_positive_int`/`_bcp_until`/`_bcp_notify_min_gb`
|
||||
деградируют на безопасный дефолт + warning, старт не падает (TC-08).
|
||||
- **AC-7** (наблюдаемость): ✅ read-only блок `build_cache_prune` в `GET /queue`, `status()`
|
||||
never-raise (TC-09/TC-12).
|
||||
- **AC-8** (изоляция от QG/БД): ✅ leaf-модуль (TC-10 AST-проверка импортов); `STAGE_TRANSITIONS`/
|
||||
`QG_CHECKS`/схема БД не тронуты (проверено diff).
|
||||
- **AC-9** (документация + регресс): ✅ см. раздел «Документация»; регресс зелёный.
|
||||
|
||||
### Соответствие ADR
|
||||
- **ADR-001 D1** (leaf-демон, не host-инфра B/C): ✅ модуль leaf, каркас `disk_watchdog`.
|
||||
- **D2** (команда + удержание): ✅ строго BuildKit GC, `-a` только с `until`.
|
||||
- **D3** (ssh-канал, no-op без таргета): ✅ `_ssh_target()`, пустой `deploy_ssh_host` → no-op
|
||||
(TC-05).
|
||||
- **D4** (конфиг/дефолты/валидаторы): ✅ 6 флагов и дефолты (`enabled=True`, `interval=21600`,
|
||||
`until=24h`, `all=False`, `timeout=120`, `notify_min_gb=0`) совпадают с таблицей ADR.
|
||||
- **D5** (наблюдаемость): ✅ форма `status()` соответствует.
|
||||
- **D6** (инварианты/never-raise/без миграции): ✅ in-memory state, два уровня never-raise.
|
||||
- **D7** (lifecycle): ✅ старт последним после `disk_watchdog.start()`, стоп первым в reverse.
|
||||
- **Трассировка маркеров:** правки в `main.py`/`config.py`/`INFRA.md` аддитивны рядом с маркерами
|
||||
ORCH-063; инвариант disk-watchdog (порядок старт/стоп демонов) сохранён — стоп идёт строго в
|
||||
reverse (`build_cache_pruner.stop()` → `disk_watchdog.stop()`). Нарушений нет.
|
||||
|
||||
### Качество кода
|
||||
- Docstrings на всех публичных функциях/методах; модульный docstring фиксирует инварианты.
|
||||
- `shlex.quote` на `until` (защита remote-shell) поверх regex-валидации `^\d+[smhdw]?$` —
|
||||
двойная защита от инъекции.
|
||||
- `decide_prune` вынесена в чистую функцию → детерминированно тестируема без потока/таймера.
|
||||
- Тесты содержательные: проверяют поведение (no-op без таргета, запись `last_error`, парсинг
|
||||
reclaimed, изоляция от QG через AST), а не тривиальные ассерты.
|
||||
|
||||
## Findings
|
||||
|
||||
### P0 — Blocker
|
||||
- Нет.
|
||||
|
||||
### P1 — Must fix
|
||||
- Нет.
|
||||
|
||||
### P2 — Should fix
|
||||
- Нет (опционально, не блокирует): `decide_prune(interval_s)` и `_stop.wait(interval_s)` дважды
|
||||
гейтят один интервал — это осознанный belt-and-braces (помечено в docstring), регрессом не
|
||||
является.
|
||||
|
||||
## Документация
|
||||
|
||||
Документация обновлена в том же PR — ось пройдена (golden source = код):
|
||||
- **`docs/operations/INFRA.md`**: добавлена секция «Build-cache-pruner (ORCH-062)» + 6 строк в
|
||||
карте env; **снята** формулировка ORCH-063 «освобождение build cache — ручная операция» в части
|
||||
build cache (требование AC-9 / TRZ §7 выполнено буквально).
|
||||
- **`docs/architecture/README.md`**: новый компонент в ряду фоновых демонов.
|
||||
- **`docs/architecture/adr/README.md`**: индекс adr-0025 (+ комплементарность adr-0024).
|
||||
- **`docs/architecture/adr/adr-0025-build-cache-pruner.md`**: сквозной ADR.
|
||||
- **`.env.example`**: 6 новых ключей `ORCH_BUILD_CACHE_PRUNE_*` (канон).
|
||||
- **`CHANGELOG.md`**: запись в `## [Unreleased]`.
|
||||
- **Артефакты задачи**: `06-adr/ADR-001`, `07-infra-requirements.md`, `10-tech-risks.md` заполнены.
|
||||
|
||||
Изменений в `README.md` «Известные ограничения» (ORCH-079) данный PR не закрывает — обзорная витрина
|
||||
обновления не требует.
|
||||
86
docs/work-items/ORCH-062/13-test-report.md
Normal file
86
docs/work-items/ORCH-062/13-test-report.md
Normal file
@@ -0,0 +1,86 @@
|
||||
---
|
||||
result: PASS # PASS | FAIL — машинный вердикт, UPPERCASE
|
||||
work_item: ORCH-062
|
||||
stage: testing
|
||||
author_agent: tester
|
||||
status: pass
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
type: test-report
|
||||
work_item_id: ORCH-062
|
||||
---
|
||||
|
||||
# Test Report — ORCH-062 — INFRA: авто-prune docker build cache на mva154
|
||||
|
||||
## Окружение
|
||||
- Python: 3.12.13
|
||||
- pytest: 8.3.3
|
||||
- Worktree: `/repos/_wt/orchestrator/feature_ORCH-062-infra-prune-docker-build-cache/`
|
||||
- Ветка: `feature/ORCH-062-infra-prune-docker-build-cache`
|
||||
- Дата: 2026-06-09
|
||||
- Команда: `cd <worktree> && python -m pytest tests/ -v --tb=short`
|
||||
|
||||
## Предусловия
|
||||
- Review-вердикт ORCH-062 (`12-review.md`): **APPROVED** (P0/P1 отсутствуют). ✅
|
||||
- Тесты прогнаны строго из worktree ветки задачи (не из общего `/repos/orchestrator`). ✅
|
||||
|
||||
## Smoke API (read-only)
|
||||
| Проверка | Результат |
|
||||
|----------|-----------|
|
||||
| `GET /health` | ✅ `{"status":"ok","service":"orchestrator"}` |
|
||||
| `GET /status` | ✅ отвечает (ORCH-062 = id 75, stage `testing`) |
|
||||
| `GET /queue` → блок `serial_gate` (ORCH-088) | ✅ присутствует |
|
||||
| `GET /queue` → блок `auto_labels` (ORCH-089) | ✅ присутствует |
|
||||
| `GET /queue` → блок `build_cache_prune` (ORCH-062) | ⚠️ отсутствует в проде — **ожидаемо** (см. примечание) |
|
||||
|
||||
> **Примечание (не регресс):** прод-контейнер на 8500 работает на текущем (старом) коде —
|
||||
> фича ORCH-062 ещё НЕ задеплоена (это стадия `testing`, деплой впереди). Блок
|
||||
> `build_cache_prune` в `GET /queue` проверяется на коде ветки интеграционным TC-12
|
||||
> (`test_tc12_queue_has_build_cache_block` / `test_tc12_queue_disabled_block`) через
|
||||
> FastAPI test client — оба PASS. Смок-требование о наличии `serial_gate` (и `auto_labels`)
|
||||
> в полезной нагрузке `/queue` выполнено. Регресса смока нет.
|
||||
|
||||
## Результаты по TC (04-test-plan.yaml ↔ 03-acceptance-criteria.md)
|
||||
|
||||
| TC ID | Тип | Описание | AC | Pytest-кейс(ы) | Результат |
|
||||
|-------|-----|----------|----|----------------|-----------|
|
||||
| TC-01 | unit | decide=PRUNE при истёкшем периоде | AC-1 | `test_tc01_decide_prune_when_interval_elapsed` | PASS |
|
||||
| TC-02 | unit | decide=SKIP внутри периода (анти-частота) | AC-1 | `test_tc02_decide_skip_within_interval` | PASS |
|
||||
| TC-03 | unit | команда несёт `until=<retention>`, только builder, без image/system prune; `-a` только с `until` | AC-2/AC-3 | `test_tc03_command_carries_until_and_is_builder_only`, `test_tc03_all_flag_only_paired_with_until` | PASS |
|
||||
| TC-04 | unit | never-raise: исключение / ненулевой rc → тик не падает, ошибка залогирована | AC-4 | `test_tc04_subprocess_exception_does_not_raise`, `test_tc04_nonzero_rc_recorded` | PASS |
|
||||
| TC-05 | unit | never-raise: недоступность docker.sock / пустой ssh-таргет → тик no-op, цикл жив | AC-4 | `test_tc05_socket_unavailable_skips_tick`, `test_tc05_no_ssh_target_is_noop` | PASS |
|
||||
| TC-06 | unit | never-raise: таймаут команды проглатывается | AC-4 | `test_tc06_timeout_swallowed` | PASS |
|
||||
| TC-07 | unit | kill-switch: `*_enabled=False` → start() no-op, поток не стартует | AC-5 | `test_tc07_killswitch_does_not_start`, `test_tc07_killswitch_status_block` | PASS |
|
||||
| TC-08 | unit | config: невалидный interval/until/notify_min_gb → warning + безопасный дефолт, старт не падает | AC-6 | `test_tc08_invalid_interval_falls_back_to_default`, `test_tc08_invalid_until_falls_back_to_24h`, `test_tc08_negative_notify_min_gb_falls_back_to_zero` | PASS |
|
||||
| TC-09 | unit | status() never-raise + содержит enabled/interval_s/until/last_run_ts/last_reclaimed/last_error | AC-7 | `test_tc09_status_shape`, `test_tc09_status_reflects_last_prune` | PASS |
|
||||
| TC-10 | unit | изоляция от QG: leaf-модуль (нет импортов stage_engine/stages/qg); STAGE_TRANSITIONS/QG_CHECKS не изменены | AC-8 | `test_tc10_module_is_leaf_no_pipeline_imports`, `test_tc10_stage_transitions_and_qg_unchanged` | PASS |
|
||||
| TC-11 | integration | lifespan: при включённом флаге демон стартует и корректно останавливается | AC-1 | `test_tc11_lifespan_starts_and_stops` | PASS |
|
||||
| TC-12 | integration | `GET /queue` несёт read-only блок авто-prune; при выключенном флаге `enabled=false` | AC-5/AC-7 | `test_tc12_queue_has_build_cache_block`, `test_tc12_queue_disabled_block` | PASS |
|
||||
|
||||
Доп. кейсы модуля (вне нумерации TC, усиливают покрытие): `test_parse_reclaimed_variants`,
|
||||
`test_notify_on_significant_reclaim` — PASS.
|
||||
|
||||
**Покрытие:** все 12 TC из `04-test-plan.yaml` выполнены и сопоставлены с критериями приёмки
|
||||
AC-1…AC-8. AC-9 (документация + зелёный регресс) подтверждён зелёным `pytest tests/` и
|
||||
review-осью документации (`12-review.md`).
|
||||
|
||||
## Вывод pytest
|
||||
|
||||
Модуль ORCH-062 (`tests/test_build_cache_pruner.py`):
|
||||
```
|
||||
collected 23 items
|
||||
... (TC-01 … TC-12, 23 кейса) ...
|
||||
======================== 23 passed, 1 warning in 0.38s =========================
|
||||
```
|
||||
|
||||
Полный регресс (`pytest tests/ -v --tb=short`):
|
||||
```
|
||||
======================= 1319 passed, 1 warning in 34.74s =======================
|
||||
```
|
||||
(1 warning — известная Pydantic V2 deprecation в `src/config.py:8`, не связана с задачей.)
|
||||
|
||||
## Итог
|
||||
PASS — все 1319 тестов зелёные, новый модуль покрыт TC-01…TC-12 (23 кейса, docker замокан —
|
||||
ни один тест не трогает реальный docker/диск), smoke read-only OK (`serial_gate` и `auto_labels`
|
||||
присутствуют в `/queue`). Каждый TC из плана сопоставлен с AC. Задача готова к переходу на
|
||||
`deploy-staging`.
|
||||
12
docs/work-items/ORCH-062/14-deploy-log.md
Normal file
12
docs/work-items/ORCH-062/14-deploy-log.md
Normal file
@@ -0,0 +1,12 @@
|
||||
---
|
||||
deploy_status: SUCCESS
|
||||
work_item: ORCH-062
|
||||
hook_exit_code: 0
|
||||
deployed_by: deploy-finalizer
|
||||
---
|
||||
|
||||
# Deploy log — ORCH-036 executable self-deploy
|
||||
|
||||
Прод-деплой завершён хост-хуком с exit-code `0` -> `deploy_status: SUCCESS`.
|
||||
|
||||
Вердикт зафиксирован детерминированным finalizer'ом (Фаза C), не LLM.
|
||||
41
docs/work-items/ORCH-062/15-staging-log.md
Normal file
41
docs/work-items/ORCH-062/15-staging-log.md
Normal file
@@ -0,0 +1,41 @@
|
||||
---
|
||||
staging_status: SUCCESS
|
||||
work_item: ORCH-062
|
||||
stage: deploy-staging
|
||||
author_agent: deployer
|
||||
status: success
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
timestamp: 2026-06-09T16:53:42Z
|
||||
base_url: http://localhost:8501
|
||||
---
|
||||
|
||||
# Staging Gate Log
|
||||
|
||||
Staging test suite completed against the live staging environment (`orchestrator-staging`, port 8501).
|
||||
|
||||
- **Mode:** stub
|
||||
- **Result:** 8/10 checks PASS — **exit code 0**
|
||||
- **REAL failed:** none
|
||||
- **Verdict:** SUCCESS (infra-waived)
|
||||
|
||||
The canonical invocation was run inside the `orchestrator-staging` container
|
||||
(`docker exec … python3 /repos/orchestrator/scripts/staging_check.py --base-url http://localhost:8501 --mode stub`),
|
||||
so B6 registry-isolation read the running instance's own `.env.staging` process-env (sandbox present, prod ET/ORCH absent).
|
||||
|
||||
## Block results
|
||||
|
||||
- **[A] SMOKE** — A1 `/health` 200, A2 `/queue` 200, A3 `ORCH_STAGING=true` — all PASS.
|
||||
- **[B] ACCESS** — B4 Plane sandbox (R), B5 Gitea sandbox (R+push=true), B6 registry isolation — all PASS.
|
||||
- **[C] E2E (stub)** — C7 create issue (PASS), C8 trigger pipeline (PASS), C9a/C9b waived (see below).
|
||||
|
||||
## INFRA-WAIVED (ORCH-061, observability)
|
||||
|
||||
```
|
||||
INFRA-WAIVED: C9a Branch appears in orchestrator-sandbox, C9b Analyst job enqueued in staging queue (known sandbox-infra; real checks green)
|
||||
VERDICT: SUCCESS (exit 0) — SUCCESS (infra-waived): ['C9a Branch appears in orchestrator-sandbox', 'C9b Analyst job enqueued in staging queue'] are known sandbox-infra checks; all real checks green
|
||||
```
|
||||
|
||||
C9a/C9b are the two sandbox-infra-only checks (sandbox branch / analyst-job) that depend on SANDBOX bot accounts being project members — not on the pipeline. They are tolerated per ORCH-061 because every REAL check is green; the suite still exits 0. Per the verdict contract, the exit-code → `staging_status` mapping is unchanged: exit 0 → SUCCESS.
|
||||
|
||||
Advance to `deploy`.
|
||||
7
docs/work-items/ORCH-063/00-business-request.md
Normal file
7
docs/work-items/ORCH-063/00-business-request.md
Normal file
@@ -0,0 +1,7 @@
|
||||
# Business Request: INFRA: мониторинг диска mva154 + алерт при >85%
|
||||
|
||||
Work Item ID: ORCH-063
|
||||
|
||||
## Description
|
||||
|
||||
TBD
|
||||
147
docs/work-items/ORCH-063/01-brd.md
Normal file
147
docs/work-items/ORCH-063/01-brd.md
Normal file
@@ -0,0 +1,147 @@
|
||||
---
|
||||
work_item: ORCH-063
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 01 — BRD (бизнес-требования): ORCH-063 — INFRA: мониторинг диска mva154 + алерт при >85%
|
||||
|
||||
Work Item: **ORCH-063** · Repo: **orchestrator** (self-hosting) · Стадия: analysis
|
||||
Заказчик: Слава (Владелец/оператор)
|
||||
Тип: INFRA · Приоритет: **P1**
|
||||
|
||||
---
|
||||
|
||||
## 1. Бизнес-контекст и проблема
|
||||
|
||||
### 1.1. Инцидент (установленный факт)
|
||||
**07.06.2026** диск на хосте **mva154** (`slin@82.22.50.71`) незаметно дорос до **100%** и положил
|
||||
**весь конвейер**: CI стал красным, очередь Gitea застряла. Сбой произошёл **тихо** — не было
|
||||
ни одного предупреждающего сигнала до полного исчерпания диска. Разбор был ручным и пост-фактум.
|
||||
|
||||
### 1.2. Корневая боль
|
||||
У оркестратора **нет проактивного сигнала о заполнении диска**. Диск хоста заполняется накопительно
|
||||
и предсказуемо (git-worktree в `/repos/_wt/...`, образы Docker, БД `./data/orchestrator.db`, логи),
|
||||
но оператор узнаёт о проблеме только когда уже **поздно** — конвейер всех проектов (self-hosting:
|
||||
`orchestrator` + `enduro-trails` из одного инстанса) уже встал.
|
||||
|
||||
### 1.3. Self-hosting контекст (групповой риск)
|
||||
Прод-инстанс `orchestrator` (8500) — ОДИН на ВСЕ прод-проекты, с общей БД и общей очередью
|
||||
(`docs/operations/INFRA.md`). Исчерпание диска роняет конвейер **всех** проектов сразу. Ранний
|
||||
сигнал (heartbeat-watchdog) — дешёвая страховка от дорогого группового простоя.
|
||||
|
||||
### 1.4. Что нужно (формулировка Владельца)
|
||||
**Heartbeat-watchdog:** периодически измерять заполнение диска (`df`); при превышении порога
|
||||
**85%** — слать алерт Славе (Telegram). Сигнал должен прийти **заранее**, пока есть запас места
|
||||
на ручную/будущую авто-очистку.
|
||||
|
||||
---
|
||||
|
||||
## 2. Объём (scope)
|
||||
|
||||
### 2.1. В объёме
|
||||
- **Фоновый watchdog-демон** (по образцу `reconciler`/`job_reaper`, ORCH-053/065): периодически
|
||||
семплит заполнение хост-ФС, на которой живут рабочие данные оркестратора (репозитории, БД,
|
||||
Docker), и при пересечении порога шлёт Telegram-алерт оператору.
|
||||
- **Конфигурируемый порог** (дефолт **85%**), период опроса, kill-switch.
|
||||
- **Анти-спам:** алерт по факту пересечения порога + ограниченное по частоте повторение, пока
|
||||
заполнение выше порога (а не на каждом тике); сообщение о возврате «ниже порога» (recovery).
|
||||
- **Наблюдаемость** последнего замера/состояния алерта в `GET /queue` (read-only).
|
||||
- **never-raise:** любой сбой watchdog не влияет на конвейер.
|
||||
|
||||
### 2.2. Вне объёма (явно, не делать)
|
||||
- **Авто-очистка / garbage collection диска** (прунинг старых worktree, образов, логов, vacuum БД) —
|
||||
отдельная задача; ORCH-063 только **сигнализирует**, не **лечит**.
|
||||
- Интеграция с внешними системами мониторинга (Prometheus/Grafana/Zabbix), метрики/экспортёры.
|
||||
- Алерт-каналы кроме существующего Telegram (`send_telegram`).
|
||||
- Мониторинг ресурсов кроме диска (CPU/RAM/inode — возможное расширение, не сейчас; inode —
|
||||
кандидат на follow-up, см. §8 R-4).
|
||||
- Мониторинг нескольких хостов / удалённый сбор (только локальный хост текущего инстанса).
|
||||
- Изменение `STAGE_TRANSITIONS`, реестра `QG_CHECKS`, стадий конвейера, схемы БД-контрактов.
|
||||
|
||||
---
|
||||
|
||||
## 3. Заинтересованные стороны
|
||||
- **Владелец/оператор (Слава):** получает алерт, выполняет ручную очистку/реакцию; принимает
|
||||
результат.
|
||||
- **Self-hosting прод (`orchestrator`):** обслуживает enduro-trails из того же инстанса — watchdog
|
||||
не должен мешать/ронять конвейер (изоляция через never-raise).
|
||||
- **Все прод-проекты:** косвенные бенефициары — ранний сигнал предотвращает групповой простой.
|
||||
|
||||
---
|
||||
|
||||
## 4. Бизнес-требования (BR)
|
||||
|
||||
| ID | Требование | Связь |
|
||||
|----|------------|-------|
|
||||
| BR-1 | Оркестратор **периодически** (heartbeat) измеряет заполнение хост-файловой системы, на которой растут его рабочие данные (репозитории `/repos`, БД `/app/data`, Docker). | FR-1, AC-1 |
|
||||
| BR-2 | При достижении/превышении **порога заполнения** (дефолт **85%**) оператор получает **Telegram-алерт** с действенными деталями: точка монтирования/путь, занято %, свободно (ГБ/%). | FR-2, FR-3, AC-2 |
|
||||
| BR-3 | **Анти-спам:** алерт шлётся при **пересечении** порога (переход «ниже→на/выше»), а далее повторяется не чаще, чем раз в настраиваемый период (`re-alert`), пока заполнение остаётся выше порога — конвейер/чат не заваливается одинаковыми сообщениями на каждом тике. | FR-4, AC-3 |
|
||||
| BR-4 | При возврате заполнения **ниже порога** состояние алерта сбрасывается и отправляется однократное сообщение восстановления «диск ниже порога» (recovery), чтобы оператор знал, что инцидент снят. | FR-4, AC-4 |
|
||||
| BR-5 | Порог, период опроса, период повторного алерта и набор отслеживаемых путей **конфигурируемы**; есть **kill-switch** для полного отключения watchdog (нулевая регрессия). | FR-5, AC-5 |
|
||||
| BR-6 | **never-raise:** любая ошибка измерения/отправки алерта/самого демона **не роняет** и не блокирует конвейер (фоновый поток, изолированный как `reconciler`/`reaper`). | NFR-1, AC-6 |
|
||||
| BR-7 | Текущее состояние watchdog (последний замер по путям, состояние алерта, время последнего алерта, порог/период) наблюдаемо в `GET /queue` (read-only). | FR-6, AC-7 |
|
||||
| BR-8 | Watchdog стартует/останавливается вместе с приложением (в `main.lifespan`) и не требует ручного запуска. | FR-1, AC-8 |
|
||||
|
||||
---
|
||||
|
||||
## 5. Нефункциональные требования (NFR)
|
||||
|
||||
| ID | Требование |
|
||||
|----|------------|
|
||||
| NFR-1 | **never-raise / изоляция:** watchdog — отдельный daemon-поток (паттерн `reconciler`/`job_reaper`); исключение в тике логируется и не прерывает ни поток, ни конвейер. |
|
||||
| NFR-2 | **Дешевизна:** замер диска — лёгкая операция (предпочтительно stdlib `shutil.disk_usage`, без тяжёлого порождения процессов на каждом тике); период опроса по умолчанию — порядка минут (не секунд), чтобы не создавать нагрузки. |
|
||||
| NFR-3 | **Корректность источника замера (self-hosting):** измеряется заполнение **хост-ФС**, а не overlay-ФС контейнера. Контейнер видит хост-разделы через bind-mount'ы (`/repos`, `/app/data`); замер обязан отражать раздел(ы), которые реально заполняются на хосте (см. §6). |
|
||||
| NFR-4 | **Нулевая регрессия:** при выключенном kill-switch поведение приложения идентично текущему; enduro-trails и конвейер не затрагиваются. |
|
||||
| NFR-5 | **Инварианты неизменны:** `STAGE_TRANSITIONS`, реестр `QG_CHECKS`, `check_*`, существующие таблицы-контракты БД — не меняются. Допустимо не вводить новую миграцию (состояние watchdog — best-effort, может жить в памяти). |
|
||||
| NFR-6 | **Self-hosting безопасность:** watchdog только **читает** заполнение и **шлёт** уведомление — не выполняет действий над диском/контейнером, не рестартит прод. |
|
||||
|
||||
---
|
||||
|
||||
## 6. Допущения и ограничения
|
||||
|
||||
- **Видимость хост-диска из контейнера.** Оркестратор бежит в контейнере с `network_mode: host` и
|
||||
bind-mount'ами `/home/slin/repos → /repos`, `./data → /app/data`, `/var/run/docker.sock`
|
||||
(`docs/operations/INFRA.md`). Замер `shutil.disk_usage()`/`df` по **смонтированному пути**
|
||||
(`/repos`, `/app/data`) отражает заполнение **хост-раздела**, который этот путь подмонтировал —
|
||||
именно той ФС, что переполнилась 07.06. Замер по `/` (overlay контейнера) **нерепрезентативен** и
|
||||
не должен использоваться как источник истины.
|
||||
- **Один заполняющийся раздел.** На mva154, вероятно, рабочие данные (`/home/slin/repos`,
|
||||
`./data`, Docker) лежат на одном host-разделе; набор отслеживаемых путей по умолчанию должен
|
||||
покрывать его и при совпадении физического устройства не дублировать алерт (дедуп по устройству —
|
||||
желательное, не блокирующее требование; решение — за архитектором).
|
||||
- **Best-effort алертинг.** Доставка Telegram не гарантирована (та же `send_telegram`, never-raise);
|
||||
watchdog — ранний сигнал, не SLA-гарантия. Состояние анти-спама может быть in-memory (после
|
||||
рестарта допустим повторный алерт, если всё ещё выше порога — это безопасно).
|
||||
- **Порог 85%** — зафиксирован Владельцем как дефолт; конфигурируем (BR-5) на случай тюнинга.
|
||||
- **Только сигнал, не лечение.** Авто-освобождение места — вне объёма (§2.2).
|
||||
|
||||
---
|
||||
|
||||
## 7. Критерии успеха (резюме; детали — 03-acceptance-criteria.md)
|
||||
- AC-1 watchdog периодически измеряет заполнение хост-ФС и стартует с приложением.
|
||||
- AC-2 при ≥85% оператор получает Telegram-алерт с действенными деталями.
|
||||
- AC-3 анти-спам: один алерт на пересечение + ограниченное повторение, не на каждом тике.
|
||||
- AC-4 возврат ниже порога → сброс состояния + recovery-сообщение.
|
||||
- AC-5 порог/период/пути/kill-switch конфигурируемы; выключение → нулевая регрессия.
|
||||
- AC-6 любой сбой watchdog не роняет конвейер (never-raise).
|
||||
- AC-7 состояние watchdog видно в `GET /queue`.
|
||||
|
||||
---
|
||||
|
||||
## 8. Риски (детали — 10-tech-risks.md, заполняет архитектор)
|
||||
- **R-1** — замер по неверной ФС (overlay `/` контейнера вместо хост-раздела) → ложно-низкое
|
||||
заполнение → watchdog «молчит» при реально полном хосте (повтор инцидента 07.06). Митигировать:
|
||||
замер по bind-mount-путям хост-разделов (NFR-3).
|
||||
- **R-2** — спам-алерты на каждом тике при длительном превышении порога → шум, оператор глохнет к
|
||||
сигналу. Митигировать: анти-спам/cooldown (BR-3).
|
||||
- **R-3** — порог 85% слишком близок к 100% при быстром росте (один большой build/worktree) →
|
||||
оператор не успевает среагировать. Зафиксирован как дефолт Владельцем; конфигурируемость (BR-5)
|
||||
оставляет рычаг. Возможный follow-up — второй «критический» порог (напр. 95%) с более громким
|
||||
алертом (кандидат, не в объёме).
|
||||
- **R-4** — исчерпание **inode** (а не байтов) тоже валит ФС, но не ловится замером по %-байтам.
|
||||
Кандидат на расширение (вне объёма ORCH-063).
|
||||
- **R-5** — `df`/субпроцесс на каждом тике — лишняя нагрузка; предпочесть stdlib (NFR-2).
|
||||
186
docs/work-items/ORCH-063/02-trz.md
Normal file
186
docs/work-items/ORCH-063/02-trz.md
Normal file
@@ -0,0 +1,186 @@
|
||||
---
|
||||
work_item: ORCH-063
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 02 — ТЗ (TRZ): ORCH-063 — INFRA: мониторинг диска mva154 + алерт при >85%
|
||||
|
||||
Work Item: **ORCH-063** · Repo: **orchestrator** · Стадия: analysis
|
||||
|
||||
> ТЗ описывает **что** и **где** должно измениться (модули/контракты/артефакты), выведенное из BRD и
|
||||
> фактического кода. **Как** (точная структура демона, способ замера, хранение состояния анти-спама,
|
||||
> точки врезки) — решает архитектор в `06-adr/`. ТЗ фиксирует требования и границы.
|
||||
|
||||
---
|
||||
|
||||
## 1. Сводка изменения
|
||||
|
||||
Ввести **disk-watchdog** — фоновый daemon-поток (по образцу `reconciler`/`job_reaper`), который
|
||||
периодически (heartbeat) измеряет заполнение **хост-файловой системы** через смонтированные в
|
||||
контейнер bind-пути и при пересечении настраиваемого порога (дефолт **85%**) шлёт **Telegram-алерт**
|
||||
оператору. Анти-спам (алерт на пересечение + ограниченное повторение + recovery при возврате ниже
|
||||
порога), наблюдаемость в `GET /queue`, kill-switch, never-raise. **Машина стадий, реестр QG и схема
|
||||
БД-контрактов не меняются; новой миграции не требуется.**
|
||||
|
||||
---
|
||||
|
||||
## 2. Задействованные модули / пути
|
||||
|
||||
| Путь | Действие |
|
||||
|------|----------|
|
||||
| `src/disk_watchdog.py` *(новый leaf-модуль; имя — на усмотрение архитектора)* | **создать** — чистая логика замера + решение об алерте (pure, тестируемо) + daemon-обёртка (`threading.Thread(daemon=True)` + `threading.Event`, `start`/`stop`/`status`), never-raise. Образец: `src/reconciler.py`, `src/job_reaper.py`. |
|
||||
| `src/config.py` | **изменить** — добавить флаги фичи (см. §8). |
|
||||
| `src/main.py` | **изменить** — `start()`/`stop()` watchdog в `lifespan` (после `reaper.start()` / в reverse-порядке на shutdown); добавить read-only блок `disk_monitor` в `GET /queue`. |
|
||||
| `src/notifications.py` | **изменить (опц.)** — переиспользовать `send_telegram(text)` (notifying) напрямую из watchdog **или** добавить тонкий helper `notify_disk_alert(...)`/`notify_disk_recovery(...)` (never-raise). Выбор — архитектор. |
|
||||
| `.env.example` | **изменить** — задокументировать новые `ORCH_DISK_*` переменные (дескрипторы, без значений-секретов). |
|
||||
|
||||
> Чистую логику (замер по путям, дедуп по устройству, решение «алертить / повторить / recovery» как
|
||||
> функция от текущего %, порога и предыдущего состояния) держать в **leaf-модуле**, never-raise, по
|
||||
> образцу `src/task_deps.py` / `src/post_deploy.py` — для юнит-тестируемости без фонового потока.
|
||||
|
||||
---
|
||||
|
||||
## 3. Функциональные требования
|
||||
|
||||
### FR-1 — Heartbeat-демон (BR-1, BR-8)
|
||||
- Фоновый daemon-поток измеряет заполнение диска каждые `disk_monitor_interval_s` секунд.
|
||||
- Стартует/останавливается в `main.lifespan` (паттерн `reconciler.start()`/`reaper.start()` и reverse
|
||||
на shutdown). Период — `threading.Event().wait(interval)` (чистый stop, как `reconciler._run`).
|
||||
- Контракт демона: `start()`, `stop(timeout)`, `status() -> dict` (для `/queue`).
|
||||
|
||||
### FR-2 — Замер заполнения хост-ФС (BR-1, NFR-3)
|
||||
- Для каждого пути из `disk_monitor_paths` измерить заполнение (`used/total`, %), свободно (байты/%).
|
||||
- **Источник — смонтированные хост-пути**, а не overlay `/` контейнера (NFR-3): дефолтный набор
|
||||
путей должен покрывать раздел(ы), на которых растут рабочие данные оркестратора — `/repos`
|
||||
(host `/home/slin/repos`) и `/app/data` (host `./data`). Способ замера — предпочтительно stdlib
|
||||
`shutil.disk_usage(path)` (без субпроцесса `df` на каждом тике, NFR-2); финальный выбор — архитектор.
|
||||
- При совпадении физического устройства у нескольких путей — желательно не дублировать алерт (дедуп
|
||||
по устройству `st_dev`/mount); требование «желательно», не блокирующее.
|
||||
- Недоступный/несуществующий путь → пропуск этого пути с лог-warning, без падения тика.
|
||||
|
||||
### FR-3 — Алерт при превышении порога (BR-2)
|
||||
- Если заполнение пути **≥ `disk_monitor_threshold_pct`** (дефолт `85`) — сформировать и отправить
|
||||
Telegram-алерт через `send_telegram` (notifying, **не** silent — это alert, как `notify_error`).
|
||||
- **Содержимое алерта (действенное):** идентификатор хоста/пути (точка монтирования), занято %,
|
||||
свободно (ГБ и/или %), порог. Текст — на русском, по стилю существующих `notify_*`-алертов.
|
||||
|
||||
### FR-4 — Анти-спам, повтор и recovery (BR-3, BR-4)
|
||||
- Решение об отправке — функция от `(current_pct, threshold, previous_state, now)`:
|
||||
- **переход «ниже→на/выше порога»** → отправить алерт (первое пересечение);
|
||||
- **остаётся выше порога** → повторно слать **не чаще**, чем раз в `disk_monitor_realert_s`
|
||||
(cooldown), а не на каждом тике;
|
||||
- **переход «выше→ниже порога»** → сбросить состояние алерта и отправить однократное
|
||||
**recovery-сообщение** «диск ниже порога» (notifying).
|
||||
- Состояние анти-спама может быть **in-memory** (best-effort; после рестарта допустим повторный
|
||||
алерт, если всё ещё выше порога — безопасно, NFR-5). Время — через инъецируемый `now`-провайдер,
|
||||
чтобы решение было тестируемо без реального таймера.
|
||||
|
||||
### FR-5 — Конфигурируемость и kill-switch (BR-5, NFR-4)
|
||||
- Поведение управляется флагами `config.py` (см. §8). При `disk_monitor_enabled=False` watchdog
|
||||
**не запускается** (демон не стартует в `lifespan`) — нулевая регрессия.
|
||||
|
||||
### FR-6 — Наблюдаемость (BR-7)
|
||||
- `GET /queue` получает аддитивный read-only блок `disk_monitor` (по образцу блоков `reconcile`/
|
||||
`reaper`/`serial_gate`): `enabled`, `threshold_pct`, `interval_s`, `paths` с последним замером
|
||||
(`used_pct`, `free_bytes`/`free_gb`), `alerting` (bool на путь/глобально), `last_alert_at`.
|
||||
never-raise: при ошибке — минимальный словарь с флагами.
|
||||
|
||||
---
|
||||
|
||||
## 4. Изменения API
|
||||
|
||||
- **Новых обязательных endpoint'ов нет.** Снимок состояния отдаётся через существующий `GET /queue`
|
||||
(аддитивный блок `disk_monitor`, §3/FR-6); существующие ключи ответа не меняются.
|
||||
- Опционально (на усмотрение архитектора, **не обязательно**): отдельный `GET /disk` для on-demand
|
||||
замера. Если вводится — задокументировать в README. Рекомендация: ограничиться блоком в `/queue`.
|
||||
|
||||
---
|
||||
|
||||
## 5. Изменения схемы БД
|
||||
|
||||
**Нет.** Состояние watchdog — best-effort, держится в памяти демона (NFR-5). Новых таблиц/колонок/
|
||||
миграций не вводится. `STAGE_TRANSITIONS`/`QG_CHECKS`/`tasks`/`jobs`/`agent_runs` — без изменений.
|
||||
|
||||
> Если архитектор решит сделать состояние last-alert durable (переживающим рестарт) — допустима
|
||||
> только **аддитивная, идемпотентная** миграция (`CREATE TABLE IF NOT EXISTS`), но это **не**
|
||||
> требование ТЗ (по умолчанию — in-memory).
|
||||
|
||||
---
|
||||
|
||||
## 6. Требования к новым/изменённым QG checks
|
||||
|
||||
**Нет.** Watchdog — фоновый эксплуатационный демон, **не** Quality Gate стадии. Реестр `QG_CHECKS` и
|
||||
`check_*` не трогаются (аналогично `reconciler`/`job_reaper`, которые тоже не являются QG).
|
||||
|
||||
---
|
||||
|
||||
## 7. Совместимость / регресс
|
||||
|
||||
- **Аддитивно:** новый leaf-модуль + точечные врезки в `main.lifespan` и `GET /queue` + флаги config.
|
||||
Существующий код не переписывается.
|
||||
- **Kill-switch** `disk_monitor_enabled` (дефолт `True`): `False` → демон не стартует, `/queue`-блок
|
||||
отдаёт `{"enabled": false}` — поведение приложения 1:1 как сейчас (NFR-4).
|
||||
- **never-raise:** изоляция фонового потока (паттерн `reconciler`/`reaper`); сбой замера/отправки/
|
||||
тика не влияет на конвейер (BR-6/NFR-1). Демон бежит в общем self-hosting-инстансе — обязан быть
|
||||
безопасным для enduro-trails.
|
||||
- **Обратимость:** удаление эффекта = выключение флага; миграций БД нет, откат тривиален.
|
||||
- **Self-hosting:** watchdog только читает заполнение и шлёт уведомление — не трогает диск/контейнер,
|
||||
не рестартит прод (NFR-6).
|
||||
|
||||
---
|
||||
|
||||
## 8. Конфигурация (`src/config.py`)
|
||||
|
||||
По образцу `reconcile_*` / `merge_gate_*`:
|
||||
|
||||
| Поле (env) | Тип / дефолт | Назначение |
|
||||
|------------|--------------|------------|
|
||||
| `disk_monitor_enabled` (`ORCH_DISK_MONITOR_ENABLED`) | `bool = True` | kill-switch; `False` → демон не стартует (нулевая регрессия). |
|
||||
| `disk_monitor_interval_s` (`ORCH_DISK_MONITOR_INTERVAL_S`) | `int = 300` | период heartbeat-замера, сек (порядок минут, NFR-2). |
|
||||
| `disk_monitor_threshold_pct` (`ORCH_DISK_MONITOR_THRESHOLD_PCT`) | `int = 85` | порог заполнения для алерта (дефолт фиксирован Владельцем). |
|
||||
| `disk_monitor_realert_s` (`ORCH_DISK_MONITOR_REALERT_S`) | `int = 21600` | минимальный интервал между повторными алертами, пока выше порога (анти-спам; ~6 ч). |
|
||||
| `disk_monitor_paths` (`ORCH_DISK_MONITOR_PATHS`) | `str = "/repos,/app/data"` (CSV) | отслеживаемые пути (смонтированные хост-разделы, NFR-3); пусто → дефолтный набор. |
|
||||
|
||||
Финальный набор/имена флагов и дефолты уточняет архитектор; диапазон/валидация значений (порог в
|
||||
1..100, интервалы > 0) — defensive, невалидное → дефолт + лог-warning (паттерн `reconcile_grace_*`).
|
||||
|
||||
---
|
||||
|
||||
## 9. Артефакты pipeline (создать/обновить в ТОМ ЖЕ PR)
|
||||
|
||||
Документация — golden source (CLAUDE.md §2). По итогам разработки обновить:
|
||||
- `docs/work-items/ORCH-063/06-adr/ADR-001-disk-watchdog.md` — решение (способ замера хост-ФС,
|
||||
набор путей/дедуп, хранение состояния анти-спама, точки врезки, дефолты порога/периода).
|
||||
- `docs/architecture/README.md` — новый компонент «Disk-watchdog (ORCH-063)» в списке компонентов +
|
||||
описание блока `disk_monitor` в `GET /queue`.
|
||||
- `docs/operations/INFRA.md` — раздел/строки про disk-watchdog: что мониторится, порог, как
|
||||
отключить (`ORCH_DISK_MONITOR_ENABLED`), что делать при алерте (ручная очистка — ссылка/руководство).
|
||||
- `.env.example` — новые `ORCH_DISK_*` дескрипторы.
|
||||
- `CHANGELOG.md` — запись `feat:`.
|
||||
- При новом endpoint `/disk` (если архитектор введёт) — обновить таблицу API в README.
|
||||
|
||||
---
|
||||
|
||||
## 10. Инварианты (не нарушать)
|
||||
- `STAGE_TRANSITIONS`, реестр `QG_CHECKS`, `check_*`, схема существующих таблиц БД — **без изменений**.
|
||||
- never-raise на тик демона; сбой watchdog не блокирует и не роняет конвейер (NFR-1).
|
||||
- Замер — по **хост-разделам** (bind-mount-пути), не по overlay `/` контейнера (NFR-3).
|
||||
- Не рестартить/не ронять прод-контейнер; watchdog только читает и уведомляет (NFR-6, self-hosting).
|
||||
- При выключенном флаге — поведение 1:1 как сейчас; enduro-trails не затрагивается.
|
||||
|
||||
---
|
||||
|
||||
## 11. Открытые вопросы для архитектора (не блокируют анализ)
|
||||
- OQ-1: Способ замера — stdlib `shutil.disk_usage(path)` vs субпроцесс `df` (рекомендация — stdlib,
|
||||
NFR-2).
|
||||
- OQ-2: Дедуп путей по физическому устройству (`os.stat().st_dev`), чтобы единый host-раздел не
|
||||
алертил дважды.
|
||||
- OQ-3: Состояние анти-спама — in-memory (рекомендация) vs durable (доп. таблица); влияет на
|
||||
поведение после рестарта.
|
||||
- OQ-4: Нужен ли второй «критический» порог (напр. 95%) с усиленным/более частым алертом — кандидат,
|
||||
по умолчанию **нет** (один порог 85%).
|
||||
- OQ-5: Helper в `notifications.py` (`notify_disk_alert`) vs прямой вызов `send_telegram` из watchdog.
|
||||
132
docs/work-items/ORCH-063/03-acceptance-criteria.md
Normal file
132
docs/work-items/ORCH-063/03-acceptance-criteria.md
Normal file
@@ -0,0 +1,132 @@
|
||||
---
|
||||
work_item: ORCH-063
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 03 — Критерии приёмки (Acceptance Criteria): ORCH-063 — INFRA: мониторинг диска mva154 + алерт при >85%
|
||||
|
||||
Work Item: **ORCH-063** · Repo: **orchestrator** · Стадия: analysis
|
||||
|
||||
Формат: каждый критерий имеет **PASS** (что должно быть истинно для приёмки) и **FAIL** (что
|
||||
считается провалом). Reviewer/tester проверяет их буквально по файлам репозитория и тестам.
|
||||
|
||||
---
|
||||
|
||||
## AC-1 — Heartbeat-демон запускается с приложением
|
||||
|
||||
**Условие:** фоновый disk-watchdog периодически измеряет заполнение диска и стартует вместе с
|
||||
приложением без ручного запуска.
|
||||
- **PASS:** есть daemon-поток (паттерн `reconciler`/`job_reaper`: `threading.Thread(daemon=True)` +
|
||||
`threading.Event`), стартующий в `main.lifespan` (после `reaper.start()`) и останавливающийся на
|
||||
shutdown; период замера = `disk_monitor_interval_s`; есть метод `status()`.
|
||||
- **FAIL:** watchdog не стартует автоматически; блокирующий `time.sleep` без чистого stop; замер
|
||||
выполняется в обработчике вебхука/в горячем пути конвейера, а не в отдельном демоне.
|
||||
|
||||
---
|
||||
|
||||
## AC-2 — Алерт при заполнении ≥ порога
|
||||
|
||||
**Условие:** при заполнении отслеживаемого пути ≥ `disk_monitor_threshold_pct` (дефолт 85%) оператор
|
||||
получает Telegram-алерт с действенными деталями.
|
||||
- **PASS:** при `used_pct ≥ threshold` вызывается `send_telegram` (notifying, не silent) с
|
||||
сообщением, содержащим путь/точку монтирования, занято %, свободно (ГБ или %) и порог.
|
||||
- **FAIL:** алерт не отправляется при превышении; отправляется silent (`disable_notification=True`)
|
||||
и не пингует; сообщение без действенных деталей (нет %/пути/свободно).
|
||||
|
||||
---
|
||||
|
||||
## AC-3 — Анти-спам: не на каждом тике
|
||||
|
||||
**Условие:** при длительном превышении порога алерт не дублируется на каждом тике.
|
||||
- **PASS:** алерт отправляется при пересечении порога (переход «ниже→на/выше»); пока заполнение
|
||||
остаётся выше порога, повторный алерт шлётся не чаще `disk_monitor_realert_s`. Решение об отправке
|
||||
выражено чистой функцией от `(current_pct, threshold, previous_state, now)` и покрыто юнит-тестом.
|
||||
- **FAIL:** алерт шлётся на каждом тике при стабильном превышении; нет cooldown/состояния; логика
|
||||
отправки не тестируема (зашита в поток с реальным таймером).
|
||||
|
||||
---
|
||||
|
||||
## AC-4 — Recovery при возврате ниже порога
|
||||
|
||||
**Условие:** при возврате заполнения ниже порога состояние сбрасывается и приходит однократное
|
||||
сообщение восстановления.
|
||||
- **PASS:** переход «выше→ниже порога» сбрасывает состояние алерта и отправляет ровно одно
|
||||
recovery-сообщение «диск ниже порога»; последующее новое превышение снова алертит (цикл повторяем).
|
||||
- **FAIL:** после спада ниже порога состояние не сбрасывается (новое превышение молчит из-за
|
||||
«залипшего» cooldown); recovery шлётся повторно на каждом тике ниже порога.
|
||||
|
||||
---
|
||||
|
||||
## AC-5 — Конфигурируемость и kill-switch
|
||||
|
||||
**Условие:** порог, период, период повтора, пути и включение конфигурируемы; выключение даёт нулевую
|
||||
регрессию.
|
||||
- **PASS:** в `config.py` есть `disk_monitor_enabled` / `disk_monitor_interval_s` /
|
||||
`disk_monitor_threshold_pct` / `disk_monitor_realert_s` / `disk_monitor_paths` (с env-маппингом);
|
||||
при `disk_monitor_enabled=False` демон не стартует, `/queue`-блок отдаёт `{"enabled": false}`,
|
||||
поведение приложения идентично текущему. Новые env задокументированы в `.env.example`.
|
||||
- **FAIL:** значения захардкожены; нет kill-switch; при выключении меняется поведение конвейера;
|
||||
env не задокументированы.
|
||||
|
||||
---
|
||||
|
||||
## AC-6 — never-raise (изоляция от конвейера)
|
||||
|
||||
**Условие:** любой сбой watchdog не роняет и не блокирует конвейер.
|
||||
- **PASS:** замер по несуществующему/недоступному пути, ошибка `send_telegram`, исключение в тике —
|
||||
логируются и **не** пробрасываются; демон продолжает работу; конвейер и enduro-trails не
|
||||
затронуты. Покрыто тестом (замер по битому пути / исключение в отправке → тик не падает).
|
||||
- **FAIL:** исключение в тике останавливает поток или всплывает в приложение; недоступный путь
|
||||
роняет замер всех путей.
|
||||
|
||||
---
|
||||
|
||||
## AC-7 — Наблюдаемость в `GET /queue`
|
||||
|
||||
**Условие:** состояние watchdog видно в `GET /queue`.
|
||||
- **PASS:** ответ `GET /queue` содержит аддитивный блок `disk_monitor` с `enabled`, `threshold_pct`,
|
||||
`interval_s`, `paths` (последний замер: `used_pct`, свободно), `alerting`, `last_alert_at`;
|
||||
существующие ключи ответа не изменены; блок never-raise (при ошибке — минимальный словарь).
|
||||
- **FAIL:** блока нет; изменены/сломаны существующие ключи `/queue`; блок может выбросить исключение.
|
||||
|
||||
---
|
||||
|
||||
## AC-8 — Корректный источник замера (хост-ФС)
|
||||
|
||||
**Условие:** замер отражает заполнение хост-раздела, а не overlay-ФС контейнера.
|
||||
- **PASS:** дефолтный набор путей — смонтированные хост-пути (`/repos`, `/app/data`); замер по ним
|
||||
репрезентативен для заполняющегося хост-раздела. Источником истины **не** является `shutil.disk_usage("/")`
|
||||
(overlay контейнера).
|
||||
- **FAIL:** мониторится только `/` контейнера → ложно-низкое заполнение при реально полном хосте
|
||||
(риск повтора инцидента 07.06).
|
||||
|
||||
---
|
||||
|
||||
## AC-9 — Документация обновлена (golden source)
|
||||
|
||||
**Условие:** документация обновлена в том же PR (CLAUDE.md §2; reviewer-ось).
|
||||
- **PASS:** обновлены `docs/architecture/README.md` (компонент + блок `/queue`),
|
||||
`docs/operations/INFRA.md` (что мониторится, порог, как отключить, реакция на алерт),
|
||||
`.env.example` (новые `ORCH_DISK_*`), `CHANGELOG.md` (`feat:`); создан
|
||||
`docs/work-items/ORCH-063/06-adr/ADR-001-*.md`.
|
||||
- **FAIL:** функционал добавлен, но обзорные/операционные доки или ADR не обновлены.
|
||||
|
||||
---
|
||||
|
||||
## Сводная матрица AC ↔ FR/BR
|
||||
|
||||
| AC | Покрывает |
|
||||
|----|-----------|
|
||||
| AC-1 | BR-1 / BR-8 / FR-1 |
|
||||
| AC-2 | BR-2 / FR-2 / FR-3 |
|
||||
| AC-3 | BR-3 / FR-4 |
|
||||
| AC-4 | BR-4 / FR-4 |
|
||||
| AC-5 | BR-5 / FR-5 / NFR-4 |
|
||||
| AC-6 | BR-6 / NFR-1 |
|
||||
| AC-7 | BR-7 / FR-6 |
|
||||
| AC-8 | NFR-3 / FR-2 |
|
||||
| AC-9 | CLAUDE.md §2 (документация = golden source) |
|
||||
92
docs/work-items/ORCH-063/04-test-plan.yaml
Normal file
92
docs/work-items/ORCH-063/04-test-plan.yaml
Normal file
@@ -0,0 +1,92 @@
|
||||
work_item: ORCH-063
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
title: "Disk-watchdog mva154: heartbeat-замер + Telegram-алерт при >85%"
|
||||
framework: pytest
|
||||
scope: >
|
||||
Покрывается: чистая логика решения об алерте (порог/анти-спам/recovery), замер заполнения
|
||||
по путям с дедупом/never-raise, формат алерт-сообщения, daemon start/stop/status,
|
||||
блок disk_monitor в GET /queue, нулевая регрессия при выключенном kill-switch.
|
||||
Вне покрытия: реальная отправка в Telegram (мокается), реальное заполнение диска mva154,
|
||||
внешние системы мониторинга, авто-очистка диска (вне объёма ORCH-063).
|
||||
notes: >
|
||||
Время и Telegram-транспорт инъецируются/мокаются: now-провайдер для cooldown,
|
||||
monkeypatch send_telegram для перехвата вызовов. shutil.disk_usage мокается для задания
|
||||
used_pct без реального диска. Полный регресс tests/ должен оставаться зелёным.
|
||||
Имена модулей/функций финализирует архитектор (ADR-001) — module в TC ориентировочны.
|
||||
|
||||
tests:
|
||||
- id: TC-01
|
||||
type: unit
|
||||
description: "Решение алертить: used_pct >= threshold и состояние было 'ниже' -> should_alert=True (пересечение порога)."
|
||||
module: tests/test_disk_watchdog.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-02
|
||||
type: unit
|
||||
description: "Анти-спам: used_pct >= threshold, состояние уже 'выше', с последнего алерта прошло < realert_s -> should_alert=False (не на каждом тике)."
|
||||
module: tests/test_disk_watchdog.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-03
|
||||
type: unit
|
||||
description: "Повтор по cooldown: 'выше' порога, прошло >= realert_s с последнего алерта -> should_alert=True (повторный алерт)."
|
||||
module: tests/test_disk_watchdog.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-04
|
||||
type: unit
|
||||
description: "Recovery: переход used_pct < threshold из состояния 'выше' -> сброс состояния + ровно одно recovery-сообщение; ниже порога устойчиво -> recovery не повторяется."
|
||||
module: tests/test_disk_watchdog.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-05
|
||||
type: unit
|
||||
description: "Граница порога: used_pct ровно == threshold трактуется как превышение (>= порога алертит); used_pct == threshold-1 -> молчит."
|
||||
module: tests/test_disk_watchdog.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-06
|
||||
type: unit
|
||||
description: "Замер по путям: для каждого пути считается used_pct/free через (мок) shutil.disk_usage; совпадающие по устройству пути дедуплицируются (одно срабатывание)."
|
||||
module: tests/test_disk_watchdog.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-07
|
||||
type: unit
|
||||
description: "never-raise: недоступный/несуществующий путь и исключение в send_telegram логируются и не пробрасываются; тик завершается, демон жив."
|
||||
module: tests/test_disk_watchdog.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-08
|
||||
type: unit
|
||||
description: "Формат алерта: сообщение содержит путь/точку монтирования, used_pct, свободно (ГБ или %) и порог; отправляется notifying (disable_notification не True)."
|
||||
module: tests/test_disk_watchdog.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-09
|
||||
type: unit
|
||||
description: "Kill-switch: при disk_monitor_enabled=False демон не стартует в lifespan (или start() — no-op); замеры/алерты не выполняются."
|
||||
module: tests/test_disk_watchdog.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-10
|
||||
type: unit
|
||||
description: "status(): возвращает dict с enabled/threshold_pct/interval_s/paths(последний замер)/alerting/last_alert_at; never-raise при отсутствии замеров."
|
||||
module: tests/test_disk_watchdog.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-11
|
||||
type: integration
|
||||
description: "GET /queue содержит аддитивный блок disk_monitor с ожидаемыми ключами; существующие ключи ответа (counts/reconcile/reaper/serial_gate/...) не изменены."
|
||||
module: tests/test_disk_watchdog.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-12
|
||||
type: integration
|
||||
description: "Тик демона при замоканном высоком заполнении (>=85%) вызывает send_telegram один раз; при выключенном флаге GET /queue отдаёт disk_monitor.enabled=false и алертов нет (нулевая регрессия)."
|
||||
module: tests/test_disk_watchdog.py
|
||||
expected: PASS
|
||||
196
docs/work-items/ORCH-063/06-adr/ADR-001-disk-watchdog.md
Normal file
196
docs/work-items/ORCH-063/06-adr/ADR-001-disk-watchdog.md
Normal file
@@ -0,0 +1,196 @@
|
||||
---
|
||||
work_item: ORCH-063
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# ADR-001: Disk-watchdog — heartbeat-демон мониторинга заполнения хост-ФС + Telegram-алерт при ≥85%
|
||||
|
||||
Work Item: **ORCH-063** — INFRA: мониторинг диска mva154 + алерт при >85%
|
||||
Стадия: **architecture**
|
||||
Сквозная регистрация: **`docs/architecture/adr/adr-0024-disk-watchdog.md`** (новый фоновый
|
||||
компонент-демон в ряду `reconciler`/`job_reaper` — кросс-каттинговое решение).
|
||||
|
||||
## Статус
|
||||
Proposed
|
||||
|
||||
## Контекст
|
||||
07.06.2026 диск хоста **mva154** (`slin@82.22.50.71`) тихо дорос до 100% и положил **весь
|
||||
конвейер всех проектов** (CI красный, очередь Gitea застряла). Корневая боль: у оркестратора
|
||||
**нет проактивного сигнала** о заполнении диска — оператор узнаёт о проблеме постфактум, когда
|
||||
self-hosting-инстанс `orchestrator` (8500, один на все прод-проекты, общая БД/очередь) уже встал
|
||||
(BRD §1).
|
||||
|
||||
Факты, сверенные с кодом:
|
||||
- В оркестраторе уже есть **каркас фонового daemon-потока**, повторённый дважды:
|
||||
`src/reconciler.py::Reconciler` (ORCH-053) и `src/job_reaper.py` (ORCH-065) — оба
|
||||
`threading.Thread(daemon=True)` + `threading.Event`, чистый stop через `self._stop.wait(interval)`,
|
||||
контракт `start()`/`stop(timeout)`/`status()`, **never-raise** на тик, наблюдаемость через
|
||||
`GET /queue`. Старт/стоп — в `src/main.py::lifespan` (старт после `reaper.start()`, стоп в
|
||||
reverse-порядке), снимок — в `@app.get("/queue")` (`"reaper": reaper.status()` и др.).
|
||||
- Контейнер бежит `network_mode: host` с bind-mount'ами host-разделов: `/home/slin/repos → /repos`,
|
||||
`./data → /app/data` (`docs/operations/INFRA.md` §«Тома»). Именно эта ФС переполнилась 07.06.
|
||||
Замер по overlay `/` контейнера нерепрезентативен (BRD §6, NFR-3).
|
||||
- Алерты шлются через `src/notifications.py::send_telegram` (notifying по умолчанию; silent —
|
||||
только при явном `disable_notification`).
|
||||
- Образец «чистая leaf-логика + тонкая обёртка» уже принят: `src/task_deps.py`, `src/serial_gate.py`,
|
||||
`src/staging_verdict.py` — pure-функции (never-raise) + точечные врезки.
|
||||
|
||||
«Как есть» не годится: единственный сигнал о диске — падение всего конвейера. Нужен дешёвый ранний
|
||||
heartbeat-watchdog. ТЗ (02-trz) фиксирует требования; данный ADR фиксирует **как** (§OQ-1..OQ-5).
|
||||
|
||||
## Решение
|
||||
|
||||
### Сводка
|
||||
Вводим **disk-watchdog** — новый фоновый daemon-поток `src/disk_watchdog.py`, точная калька
|
||||
архитектуры `reconciler`/`job_reaper`. Демон каждые `disk_monitor_interval_s` (дефолт 300с) меряет
|
||||
заполнение **смонтированных хост-путей** через stdlib `shutil.disk_usage(path)`, дедуплицирует пути
|
||||
по физическому устройству (`os.stat(path).st_dev`), и через **чистую функцию решения** от
|
||||
`(used_pct, threshold, prev_state, now)` решает: послать алерт (пересечение порога вверх), повторить
|
||||
(cooldown `disk_monitor_realert_s`), послать recovery (возврат вниз) или молчать. Состояние
|
||||
анти-спама — **in-memory** (без миграции БД). Наблюдаемость — аддитивный блок `disk_monitor` в
|
||||
`GET /queue`. Kill-switch `disk_monitor_enabled`. **never-raise** на каждом уровне.
|
||||
`STAGE_TRANSITIONS`/`QG_CHECKS`/`check_*`/схема БД — **не трогаются**.
|
||||
|
||||
### D1 — Способ замера: stdlib `shutil.disk_usage` (OQ-1, FR-2/NFR-2)
|
||||
Замер каждого пути — `shutil.disk_usage(path)` (`total`/`used`/`free` в байтах), `used_pct =
|
||||
round(used / total * 100, 1)`. Чистый системный вызов `statvfs`, без порождения субпроцесса `df` на
|
||||
каждом тике (NFR-2: heartbeat порядка минут, дёшево). `df` отвергнут (см. Альтернативы).
|
||||
- **Почему репрезентативно для хост-ФС (NFR-3, AC-8):** `shutil.disk_usage(path)` возвращает
|
||||
статистику ФС, которой принадлежит `path`. На bind-mount'е `/repos`/`/app/data` это **хост-раздел**
|
||||
(тот, что переполнился 07.06), а не overlay контейнера. Дефолтный набор путей —
|
||||
`/repos,/app/data`; `shutil.disk_usage("/")` **не** используется как источник истины.
|
||||
- Недоступный/несуществующий путь (`FileNotFoundError`/`PermissionError`/`OSError`) → пропуск
|
||||
**этого** пути с `logger.warning`, остальные пути меряются дальше (FR-2, AC-6: один битый путь не
|
||||
роняет весь тик).
|
||||
|
||||
### D2 — Дедуп путей по физическому устройству (OQ-2, FR-2)
|
||||
Перед замером пути резолвим `os.stat(path).st_dev` и схлопываем пути с одинаковым `st_dev` в один
|
||||
логический раздел (ключ дедупа — `st_dev`; для отображения берём первый успешно резолвнутый путь).
|
||||
На mva154 `/repos` и `/app/data` с высокой вероятностью лежат на одном host-разделе (BRD §6) → один
|
||||
алерт, а не два дубля. Дедуп — **желательное** требование (BRD §6), реализуемое, never-raise: ошибка
|
||||
`os.stat` → путь обрабатывается как отдельный (fail-open, без потери замера).
|
||||
|
||||
### D3 — Чистая функция решения + модель состояния (OQ-3, FR-4, AC-3/AC-4)
|
||||
Решение об отправке вынесено в **pure-функцию** (юнит-тестируема без потока и реального таймера,
|
||||
AC-3):
|
||||
|
||||
```
|
||||
decide_action(used_pct, threshold, prev: PathAlertState, now, realert_s) -> Action
|
||||
# Action ∈ {NONE, ALERT, REALERT, RECOVERY}
|
||||
```
|
||||
|
||||
- `prev.alerting == False` и `used_pct >= threshold` → **ALERT** (пересечение «ниже→на/выше»);
|
||||
- `prev.alerting == True` и `used_pct >= threshold` и `now - prev.last_alert_at >= realert_s` →
|
||||
**REALERT** (cooldown истёк); иначе при `alerting && >=threshold` → **NONE** (анти-спам: не на
|
||||
каждом тике, BR-3/AC-3);
|
||||
- `prev.alerting == True` и `used_pct < threshold` → **RECOVERY** (переход «выше→ниже», ровно одно
|
||||
сообщение, сброс `alerting`, BR-4/AC-4);
|
||||
- `prev.alerting == False` и `used_pct < threshold` → **NONE** (норма).
|
||||
|
||||
**Модель состояния (in-memory, per device/path):** `PathAlertState{alerting: bool, last_alert_at:
|
||||
float|None}`, словарь `{dedup_key -> PathAlertState}` в демоне. Durable-хранение **отвергнуто**
|
||||
(OQ-3): TRZ §5/NFR-5 допускает in-memory, состояние best-effort. После рестарта `alerting`
|
||||
сбрасывается → при всё ещё полном диске придёт повторный алерт — это **безопасно** (ранний сигнал,
|
||||
не SLA). **Время инъецируется** `now`-провайдером (дефолт — обёртка над часами; в тестах — фейк),
|
||||
чтобы cooldown/recovery тестировались детерминированно (AC-3).
|
||||
|
||||
### D4 — Отправка алерта: формат в leaf + `send_telegram` напрямую (OQ-5, FR-3)
|
||||
Форматирование текста — pure-функция в `disk_watchdog.py` (`format_alert_message` /
|
||||
`format_recovery_message`, тестируема). Отправка — **прямой** `send_telegram(text)`
|
||||
(**notifying**, не silent — это алерт, как `notify_error`); отдельный helper в `notifications.py`
|
||||
**не** вводим (минимизация поверхности; OQ-5 оставляет выбор за архитектором). Вызов `send_telegram`
|
||||
обёрнут `try/except` → ошибка доставки логируется и не роняет тик (BR-6/AC-6; доставка best-effort,
|
||||
BRD §6).
|
||||
- **Содержимое (действенное, FR-3/AC-2):** точка монтирования/путь, занято %, свободно (ГБ и %),
|
||||
порог; текст на русском в стиле существующих `notify_*`. Пример:
|
||||
`🔴 Диск mva154: /repos заполнен на 87.3% (порог 85%). Свободно 6.2 ГБ (12.7%). Освободите
|
||||
место — риск остановки конвейера всех проектов.`
|
||||
Recovery: `🟢 Диск mva154: /repos вернулся ниже порога — 78.1% (свободно 11.0 ГБ).`
|
||||
|
||||
### D5 — Один порог 85% (OQ-4, BR-2)
|
||||
Один настраиваемый порог `disk_monitor_threshold_pct` (дефолт 85, зафиксирован Владельцем).
|
||||
Второй «критический» порог (напр. 95%) с усиленным алертом — **вне объёма** (OQ-4, BRD §8 R-3),
|
||||
кандидат на follow-up. Конфигурируемость порога (BR-5) оставляет рычаг тюнинга.
|
||||
|
||||
### D6 — Lifecycle и точки врезки (FR-1/FR-5/FR-6, AC-1/AC-5/AC-7)
|
||||
- **`src/disk_watchdog.py`** (новый leaf) — pure-логика (`measure_paths`, `decide_action`,
|
||||
`format_*`) + класс `DiskWatchdog(threading.Thread(daemon=True) + threading.Event)` с
|
||||
`start()`/`stop(timeout=5.0)`/`status()`; цикл `while not self._stop.is_set(): try: tick();
|
||||
except: log; self._stop.wait(interval)`. Модуль-синглтон `disk_watchdog = DiskWatchdog()`.
|
||||
- **`src/config.py`** — флаги §«Конфигурация» (D7); defensive-валидация значений (порог 1..100,
|
||||
интервалы > 0) → невалидное к дефолту + warning (паттерн `reconcile_grace_*`).
|
||||
- **`src/main.py::lifespan`** — `disk_watchdog.start()` **последним** (после `reaper.start()`,
|
||||
гард `if settings.disk_monitor_enabled`), `disk_watchdog.stop()` **первым** в `finally`
|
||||
(reverse-порядок). Демон независим (не трогает очередь/БД) → порядок не критичен, но
|
||||
следуем конвенции.
|
||||
- **`@app.get("/queue")`** — аддитивный ключ `"disk_monitor": disk_watchdog.status()`; существующие
|
||||
ключи не меняются; `status()` never-raise (при ошибке — `{"enabled": ...}` минимум, FR-6/AC-7).
|
||||
Снимок: `enabled`, `threshold_pct`, `interval_s`, `realert_s`, `paths` (по каждому
|
||||
устройству/пути: `path`, `used_pct`, `free_gb`, `alerting`, `last_alert_at`).
|
||||
- **`.env.example`** — дескрипторы `ORCH_DISK_*` (AC-5).
|
||||
|
||||
### D7 — Конфигурация (`src/config.py`, FR-5/AC-5)
|
||||
| Поле (env) | Тип / дефолт | Назначение |
|
||||
|------------|--------------|------------|
|
||||
| `disk_monitor_enabled` (`ORCH_DISK_MONITOR_ENABLED`) | `bool = True` | kill-switch; `False` → демон не стартует (нулевая регрессия, NFR-4). |
|
||||
| `disk_monitor_interval_s` (`ORCH_DISK_MONITOR_INTERVAL_S`) | `int = 300` | период heartbeat (порядок минут, NFR-2). |
|
||||
| `disk_monitor_threshold_pct` (`ORCH_DISK_MONITOR_THRESHOLD_PCT`) | `int = 85` | порог алерта (дефолт Владельца). |
|
||||
| `disk_monitor_realert_s` (`ORCH_DISK_MONITOR_REALERT_S`) | `int = 21600` | cooldown повторного алерта выше порога (~6 ч, анти-спам). |
|
||||
| `disk_monitor_paths` (`ORCH_DISK_MONITOR_PATHS`) | `str = "/repos,/app/data"` (CSV) | отслеживаемые host-пути (NFR-3); пусто → дефолтный набор. |
|
||||
|
||||
### D8 — Инварианты (NFR-5/NFR-6, AC-6)
|
||||
- `STAGE_TRANSITIONS`, реестр `QG_CHECKS`, `check_*`, схема существующих таблиц БД — **без изменений**
|
||||
(watchdog — эксплуатационный демон, не QG; как `reconciler`/`reaper`). Новой миграции нет (D3).
|
||||
- **never-raise** на трёх уровнях: per-path (D1), per-tick (внешний `try/except` в `_run`),
|
||||
per-send (D4). Сбой watchdog не блокирует и не роняет конвейер (BR-6/NFR-1).
|
||||
- **Self-hosting безопасность (NFR-6):** watchdog только **читает** заполнение и **шлёт** Telegram —
|
||||
не трогает диск/контейнер, не рестартит прод. Безопасен для enduro-trails в общем инстансе.
|
||||
|
||||
## Альтернативы
|
||||
- **Субпроцесс `df -P` на каждом тике** — отвергнут: лишнее порождение процесса при heartbeat
|
||||
порядка минут (NFR-2), парсинг вывода, зависимость от формата `df`. `shutil.disk_usage` — stdlib,
|
||||
без субпроцесса, кроссплатформенно.
|
||||
- **Замер по `/` (overlay контейнера)** — отвергнут: нерепрезентативен для хост-раздела (NFR-3/AC-8),
|
||||
прямой путь к повтору инцидента 07.06 (ложно-низкое заполнение).
|
||||
- **Durable-состояние анти-спама (доп. таблица)** — отвергнуто: TRZ §5/NFR-5 допускает in-memory;
|
||||
повторный алерт после рестарта при полном диске безопасен; миграция = лишняя поверхность и
|
||||
усложнение отката.
|
||||
- **Внешний мониторинг (Prometheus/Grafana/node_exporter)** — вне объёма (BRD §2.2): тяжёлая
|
||||
инфра-зависимость против принципа «минимум зависимостей, всё в Docker на одном сервере». Дешёвый
|
||||
встроенный heartbeat закрывает боль.
|
||||
- **Новый endpoint `GET /disk`** — не вводим (TRZ §4 рекомендация): снимок отдаётся блоком в
|
||||
`/queue`, меньше API-поверхности.
|
||||
|
||||
## Последствия
|
||||
- **+** Ранний сигнал о заполнении диска до остановки конвейера всех проектов; дешёвая страховка от
|
||||
дорогого группового self-hosting-простоя.
|
||||
- **+** Полная архитектурная калька проверенных `reconciler`/`reaper` → низкий риск, знакомый паттерн
|
||||
для ревью/сопровождения.
|
||||
- **+** Чистая pure-логика (`decide_action`, `format_*`, `measure_paths`) юнит-тестируема без потока
|
||||
и таймера (AC-3/AC-6).
|
||||
- **−** In-memory состояние → повторный алерт после рестарта при всё ещё полном диске. Митигейшн:
|
||||
это безопасно (ранний сигнал, не SLA; NFR-5) и редко (рестарт прода — событие).
|
||||
- **−** Best-effort доставка Telegram (та же `send_telegram`): алерт может не дойти при сбое сети.
|
||||
Митигейшн: watchdog — ранний сигнал, не гарантия; cooldown-повтор повышает шанс доставки.
|
||||
- **−** Дедуп по `st_dev` не покрывает редкий случай разных устройств для `/repos` и `/app/data`
|
||||
(тогда — два независимых алерта, что корректно). Без ущерба.
|
||||
- **Откат:** `ORCH_DISK_MONITOR_ENABLED=false` (демон не стартует, блок `/queue` → `{"enabled":
|
||||
false}`, поведение 1:1 как сейчас). Полное удаление — снять врезки в `main.py`/`config.py` +
|
||||
удалить leaf; миграций БД нет → откат тривиален (TRZ §7).
|
||||
|
||||
## Ссылки
|
||||
- BRD: `docs/work-items/ORCH-063/01-brd.md`
|
||||
- TRZ: `docs/work-items/ORCH-063/02-trz.md`
|
||||
- Acceptance: `docs/work-items/ORCH-063/03-acceptance-criteria.md`
|
||||
- Инфра: `docs/work-items/ORCH-063/07-infra-requirements.md`
|
||||
- Риски: `docs/work-items/ORCH-063/10-tech-risks.md`
|
||||
- Сквозной ADR: `docs/architecture/adr/adr-0024-disk-watchdog.md`
|
||||
- Сверено по коду: `src/reconciler.py` (каркас демона), `src/job_reaper.py` (lifecycle/status),
|
||||
`src/main.py` (lifespan §94-118, `/queue` §142-173), `src/notifications.py::send_telegram`,
|
||||
`docs/operations/INFRA.md` (bind-mount'ы `/repos`, `/app/data`).
|
||||
</content>
|
||||
</invoke>
|
||||
63
docs/work-items/ORCH-063/07-infra-requirements.md
Normal file
63
docs/work-items/ORCH-063/07-infra-requirements.md
Normal file
@@ -0,0 +1,63 @@
|
||||
---
|
||||
work_item: ORCH-063
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 07 — Инфра-требования: ORCH-063 — мониторинг диска mva154 + алерт при ≥85%
|
||||
|
||||
Work Item: **ORCH-063** · Repo: **orchestrator** (self-hosting) · Стадия: architecture
|
||||
|
||||
## I-1. Топология / окружения
|
||||
Топология **не меняется**. Watchdog работает внутри существующего контейнера `orchestrator`
|
||||
(8500, `network_mode: host`) и опирается на уже существующие bind-mount'ы host-разделов:
|
||||
- `/home/slin/repos → /repos` (рабочие репозитории, git-worktree `/repos/_wt/...`);
|
||||
- `./data → /app/data` (SQLite БД).
|
||||
|
||||
Именно эта host-ФС переполнилась 07.06. Замер ведётся по смонтированным путям `/repos`, `/app/data`
|
||||
(`shutil.disk_usage`), что отражает **хост-раздел**, а не overlay `/` контейнера (NFR-3/AC-8). Новых
|
||||
контейнеров/портов/томов/сетей не требуется. Тот же демон автоматически работает и в staging-инстансе
|
||||
(8501) — на собственной Ф С/путях, без отдельной настройки.
|
||||
|
||||
## I-2. Переменные окружения / секреты
|
||||
Новые env (дескрипторы — в `.env.example`; **без секретов**):
|
||||
|
||||
| Env | Дефолт | Назначение |
|
||||
|-----|--------|------------|
|
||||
| `ORCH_DISK_MONITOR_ENABLED` | `true` | kill-switch (false → демон не стартует, нулевая регрессия). |
|
||||
| `ORCH_DISK_MONITOR_INTERVAL_S` | `300` | период heartbeat-замера, сек. |
|
||||
| `ORCH_DISK_MONITOR_THRESHOLD_PCT` | `85` | порог заполнения для алерта. |
|
||||
| `ORCH_DISK_MONITOR_REALERT_S` | `21600` | cooldown повторного алерта выше порога (~6 ч). |
|
||||
| `ORCH_DISK_MONITOR_PATHS` | `/repos,/app/data` | CSV отслеживаемых host-путей. |
|
||||
|
||||
Telegram-доставка использует **существующие** секреты `send_telegram` (`ORCH_TELEGRAM_*` /
|
||||
`.env`) — новых секретов не вводится. Дефолты пригодны для прода без обязательной правки `.env`
|
||||
(env опциональны — все имеют значения по умолчанию в `config.py`).
|
||||
|
||||
## I-3. Деплой / рестарт
|
||||
- Изменение **не требует** специальной инфра-процедуры сверх штатного self-hosting-деплоя
|
||||
(staging 8501 → прод 8500 через `Confirm Deploy`, ORCH-059/036).
|
||||
- **Self-hosting инвариант соблюдён:** watchdog только читает заполнение и шлёт уведомление — не
|
||||
рестартит/не роняет прод-контейнер, не выполняет действий над диском (NFR-6). Безопасен для
|
||||
enduro-trails в общем инстансе.
|
||||
- Демон стартует/останавливается автоматически в `main.lifespan` (ручной запуск не нужен, AC-1/AC-8).
|
||||
|
||||
### Реакция оператора на алерт (runbook-минимум)
|
||||
При получении Telegram-алерта «Диск mva154 ≥ порога»:
|
||||
1. Зайти на хост (`slin@82.22.50.71`), проверить `df -h /home/slin/repos`.
|
||||
2. Освободить место (кандидаты — порядок ручной очистки): прунинг старых git-worktree
|
||||
`/home/slin/repos/_wt/*` завершённых задач; `docker image prune` / `docker builder prune`;
|
||||
ротация/удаление старых логов. **Авто-очистка — вне объёма ORCH-063** (отдельная задача).
|
||||
3. Дождаться recovery-сообщения «диск ниже порога» (приходит однократно при возврате под порог).
|
||||
|
||||
> Развёрнутый раздел про disk-watchdog (что мониторится, порог, как отключить
|
||||
> `ORCH_DISK_MONITOR_ENABLED`, реакция на алерт) добавляется в `docs/operations/INFRA.md` на стадии
|
||||
> development (TRZ §9, AC-9).
|
||||
|
||||
## I-4. CI/CD
|
||||
Без изменений `.gitea/workflows/`. Новый код покрывается существующим `pytest tests/` (юнит-тесты
|
||||
pure-логики `decide_action`/`measure_paths`/`format_*` + изоляция never-raise — TRZ/AC-3/AC-6).
|
||||
</content>
|
||||
39
docs/work-items/ORCH-063/10-tech-risks.md
Normal file
39
docs/work-items/ORCH-063/10-tech-risks.md
Normal file
@@ -0,0 +1,39 @@
|
||||
---
|
||||
work_item: ORCH-063
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 10 — Технические риски: ORCH-063 — мониторинг диска mva154 + алерт при ≥85%
|
||||
|
||||
Work Item: **ORCH-063** · Repo: **orchestrator** · Стадия: architecture
|
||||
|
||||
> Информационный (гейтом не парсится). Риски реализации и их митигейшн.
|
||||
|
||||
## Реестр рисков
|
||||
|
||||
| ID | Риск | Вер. | Влия. | Митигейшн |
|
||||
|----|------|------|-------|-----------|
|
||||
| TR-1 | **Замер по неверной ФС** (overlay `/` контейнера вместо host-раздела) → ложно-низкое заполнение → watchdog молчит при реально полном хосте (повтор 07.06). | Сред. | Выс. | ADR D1: замер `shutil.disk_usage` по bind-mount-путям `/repos`/`/app/data` (host-разделы); `/` запрещён как источник (NFR-3/AC-8). Тест AC-8. |
|
||||
| TR-2 | **Спам-алерты на каждом тике** при длительном превышении → шум, оператор глохнет. | Сред. | Сред. | ADR D3: pure `decide_action` — алерт на пересечении + cooldown `disk_monitor_realert_s` (~6 ч); юнит-тест AC-3. |
|
||||
| TR-3 | **Залипший cooldown** — после спада ниже порога состояние не сброшено → новое превышение молчит. | Низ. | Сред. | ADR D3: переход «выше→ниже» сбрасывает `alerting` + однократный recovery; цикл повторяем. Тест AC-4. |
|
||||
| TR-4 | **Исключение в тике/отправке роняет поток или конвейер.** | Низ. | Выс. | ADR D8: never-raise на 3 уровнях (per-path, per-tick, per-send), как `reconciler`/`reaper`. Тест AC-6 (битый путь / падение `send_telegram`). |
|
||||
| TR-5 | **Порог 85% близок к 100% при быстром росте** (один большой build/worktree) → оператор не успевает. | Низ. | Сред. | Дефолт зафиксирован Владельцем; конфигурируем (BR-5). Второй «критический» порог (95%) — кандидат follow-up (OQ-4, вне объёма). |
|
||||
| TR-6 | **Исчерпание inode** (не байтов) валит ФС, но не ловится замером по %-байтам. | Низ. | Сред. | Вне объёма ORCH-063 (BRD §8 R-4); кандидат на расширение замера (`os.statvfs` f_files/f_favail). Задокументировать как known-limitation. |
|
||||
| TR-7 | **Потеря анти-спам-состояния при рестарте** (in-memory) → повторный алерт при всё ещё полном диске. | Сред. | Низ. | Осознанный компромисс (ADR D3, NFR-5): повторный ранний сигнал безопасен; durable-хранение отвергнуто (лишняя миграция). |
|
||||
| TR-8 | **Best-effort Telegram** — алерт не доставлен при сбое сети. | Низ. | Сред. | Та же `send_telegram` (never-raise); cooldown-повтор повышает шанс доставки. Watchdog — ранний сигнал, не SLA (BRD §6). |
|
||||
| TR-9 | **Дедуп по `st_dev` ошибочно схлопнет разные разделы** или `os.stat` упадёт. | Низ. | Низ. | ADR D2: ключ дедупа — фактический `st_dev`; ошибка `os.stat` → fail-open (путь как отдельный, замер не теряется). |
|
||||
|
||||
## Сводный вывод
|
||||
Доминирующий класс — **риски ложного молчания/шума** (TR-1, TR-2, TR-3), полностью закрытые
|
||||
конструктивно: корректный источник замера (host-ФС) + pure-функция анти-спама с юнит-покрытием.
|
||||
Изоляция от конвейера обеспечена never-raise-каркасом проверенных `reconciler`/`reaper`. Эскалация
|
||||
`arch:major-change` **не требуется**: изменение аддитивное, под kill-switch, без правки
|
||||
`STAGE_TRANSITIONS`/`QG_CHECKS`/схемы БД, тривиально откатывается. Возврат в анализ **не требуется** —
|
||||
ТЗ реализуемо без нарушения принципов. Остаточный риск для прод-конвейера (self-hosting) — **низкий**:
|
||||
watchdog только читает и уведомляет, не трогает прод. TR-6 (inode) — осознанная known-limitation вне
|
||||
объёма.
|
||||
</content>
|
||||
99
docs/work-items/ORCH-063/12-review.md
Normal file
99
docs/work-items/ORCH-063/12-review.md
Normal file
@@ -0,0 +1,99 @@
|
||||
---
|
||||
verdict: APPROVED
|
||||
work_item: ORCH-063
|
||||
stage: review
|
||||
author_agent: reviewer
|
||||
status: approved
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
type: review
|
||||
work_item_id: ORCH-063
|
||||
version: 1
|
||||
---
|
||||
|
||||
# Review ORCH-063 — INFRA: disk-watchdog мониторинг диска mva154 + алерт при ≥85%
|
||||
|
||||
> Машинный вердикт читается ТОЛЬКО из `verdict:` во frontmatter. `APPROVED` → дальше по конвейеру.
|
||||
|
||||
## Summary
|
||||
|
||||
PR реализует disk-watchdog — фоновый daemon-поток `src/disk_watchdog.py` по канону
|
||||
`reconciler`/`job_reaper`, точно по ТЗ `02-trz.md` и ADR-001/`adr-0024`. Все 9 критериев приёмки
|
||||
(`03-acceptance-criteria.md` AC-1..AC-9) выполнены и покрыты содержательными тестами
|
||||
(`tests/test_disk_watchdog.py`, TC-01..TC-12, 18 кейсов). Полный регресс зелёный: **1296 passed**.
|
||||
Инварианты соблюдены: `STAGE_TRANSITIONS`/`QG_CHECKS`/`check_*`/схема БД — **не тронуты** (проверено
|
||||
`git diff` — `src/stages.py`/`src/stage_engine.py`/`src/qg/` без изменений), миграций нет. Документация
|
||||
обновлена как golden source в том же work-item. **Блокеров (P0/P1) нет → APPROVED.**
|
||||
|
||||
## Оси проверки
|
||||
|
||||
### 1. Соответствие ТЗ / Acceptance Criteria
|
||||
- **AC-1 (heartbeat-демон):** `DiskWatchdog(threading.Thread(daemon=True) + threading.Event)`,
|
||||
`_stop.wait(interval)` (чистый stop, без блокирующего `time.sleep`), контракт
|
||||
`start()`/`stop(timeout)`/`status()`. Старт в `main.lifespan` **после** `reaper.start()`, стоп
|
||||
**первым** в `finally` (reverse) — `src/main.py`. ✓
|
||||
- **AC-2 (алерт ≥ порога):** `format_alert_message` несёт host/путь/`used_pct`/свободно (ГБ+%)/порог;
|
||||
отправка `send_telegram(..., disable_notification=False)` — notifying. Подтверждено TC-08. ✓
|
||||
- **AC-3 (анти-спам):** чистая `decide_action(used_pct, threshold, prev, now, realert_s)`, cooldown
|
||||
`disk_monitor_realert_s`, время инъецируется `now_provider`. TC-02/TC-03 + e2e. ✓
|
||||
- **AC-4 (recovery):** переход «выше→ниже» → ровно одно recovery-сообщение + сброс `alerting`; ниже
|
||||
порога молчит. TC-04 + e2e (`test_tick_antispam_then_realert_then_recovery`). ✓
|
||||
- **AC-5 (config + kill-switch):** 5 флагов `disk_monitor_*` (env `ORCH_DISK_MONITOR_*`, `env_prefix=ORCH_`)
|
||||
+ defensive-валидаторы (порог 1..100, интервалы > 0 → дефолт + warning). `enabled=False` → `start()`
|
||||
no-op (TC-09), `.env.example` обновлён. ✓
|
||||
- **AC-6 (never-raise):** три уровня — per-path (`_measure_one`), per-tick (`_run` outer try/except),
|
||||
per-send (`_send`). TC-07 (битый путь / падение `send_telegram`). ✓
|
||||
- **AC-7 (наблюдаемость):** аддитивный блок `disk_monitor` в `GET /queue`; `status()` never-raise
|
||||
(минимум `{"enabled": …}` при ошибке). TC-11 проверяет сохранность всех существующих ключей. ✓
|
||||
- **AC-8 (источник = хост-ФС):** дефолт `/repos,/app/data` через `shutil.disk_usage`, не overlay `/`,
|
||||
не субпроцесс `df`; дедуп по `st_dev`. TC-06. ✓
|
||||
- **AC-9 (документация):** см. секцию «Документация». ✓
|
||||
|
||||
### 2. Соответствие ADR / инвариантам
|
||||
- Реализация 1:1 с ADR-001 D1–D8: stdlib-замер (D1), дедуп `st_dev` fail-open (D2), pure
|
||||
`decide_action` + in-memory state (D3), прямой `send_telegram` без helper (D4), один порог 85% (D5),
|
||||
lifecycle/врезки (D6), config (D7), инварианты (D8). Сквозной `adr-0024` зарегистрирован в ряду
|
||||
`reconciler`/`job_reaper`.
|
||||
- **Трассировка:** врезки в `main.lifespan` и `@app.get("/queue")` — строго **аддитивные** (новый
|
||||
импорт + один вызов `disk_watchdog.start()/stop()` + ключ `"disk_monitor"`); зафиксированные
|
||||
инварианты соседних маркеров не сломаны. `STAGE_TRANSITIONS`/`QG_CHECKS` не затронуты — подтверждено.
|
||||
|
||||
### 3. Качество кода
|
||||
- Docstrings на всех публичных функциях/классе; чистая leaf-логика отделена от потока (тестируемо).
|
||||
- Defensive-граничные случаи покрыты: `total == 0` → `0.0`, пустой CSV → дефолт, `os.stat` fail → fail-open.
|
||||
- Тесты содержательные (не тривиальные): юнит-решения, измерение/дедуп, e2e цикл alert→silent→realert→
|
||||
recovery, интеграция `/queue`. Полный suite зелёный (1296).
|
||||
|
||||
### 4. Документация (golden source)
|
||||
- `docs/architecture/README.md` — компонент «Disk-watchdog» + описание блока `/queue`. ✓
|
||||
- `docs/operations/INFRA.md` — что мониторится / порог / как отключить / реакция на алерт. ✓
|
||||
- `.env.example` — 5 дескрипторов `ORCH_DISK_MONITOR_*`. ✓
|
||||
- `CHANGELOG.md` — запись `feat:`. ✓
|
||||
- `docs/work-items/ORCH-063/06-adr/ADR-001-disk-watchdog.md` + сквозной `adr-0024`. ✓
|
||||
- `src/` изменён → документация обновлена в том же work-item. Ось пройдена.
|
||||
|
||||
## Findings
|
||||
|
||||
### P0 — Blocker
|
||||
- (нет)
|
||||
|
||||
### P1 — Must fix
|
||||
- (нет)
|
||||
|
||||
### P2 — Should fix
|
||||
- (нет)
|
||||
|
||||
### P3 — Nice-to-have
|
||||
- [ ] Косметика: хвостовые артефакты тул-обёртки `</content>` / `</invoke>`, протёкшие в текст
|
||||
golden-source доков, авторизованных на стадии architecture (НЕ в developer-коммите):
|
||||
`06-adr/ADR-001-disk-watchdog.md` (строки 195–196), `docs/architecture/adr/adr-0024-disk-watchdog.md`
|
||||
(стр. 59), `07-infra-requirements.md` (стр. 63), `10-tech-risks.md` (стр. 39). На парсинг
|
||||
frontmatter/QG не влияют (находятся в конце файла), функциональность не затрагивают — поэтому P3.
|
||||
Рекомендуется зачистить при следующем касании этих доков (правка чужой стадии — по согласованию,
|
||||
CLAUDE.md §3). Не блокирует вердикт.
|
||||
|
||||
## Документация
|
||||
Обновлена полностью в том же work-item: `architecture/README.md` (компонент + блок `/queue`),
|
||||
`operations/INFRA.md` (мониторинг/порог/отключение/реакция), `.env.example` (новые `ORCH_DISK_*`),
|
||||
`CHANGELOG.md` (`feat:`), задачный ADR-001 + сквозной `adr-0024`. Обзорная витрина (README «Известные
|
||||
ограничения») этим PR не затрагивается. Ось документации пройдена — оснований для `REQUEST_CHANGES` нет.
|
||||
94
docs/work-items/ORCH-063/13-test-report.md
Normal file
94
docs/work-items/ORCH-063/13-test-report.md
Normal file
@@ -0,0 +1,94 @@
|
||||
---
|
||||
result: PASS # PASS | FAIL — машинный вердикт, UPPERCASE
|
||||
work_item: ORCH-063
|
||||
stage: testing
|
||||
author_agent: tester
|
||||
status: pass
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
type: test-report
|
||||
work_item_id: ORCH-063
|
||||
---
|
||||
|
||||
# Test Report — ORCH-063 — INFRA: disk-watchdog мониторинг диска mva154 + алерт при ≥85%
|
||||
|
||||
> Машинный вердикт читается ТОЛЬКО из `result:` во frontmatter. `PASS` → задача переходит на `deploy-staging`.
|
||||
|
||||
## Окружение
|
||||
- Python: 3.12.13
|
||||
- pytest: 8.3.3 (pytest-asyncio 0.23.8, anyio 4.13.0)
|
||||
- Worktree: `/repos/_wt/orchestrator/feature_ORCH-063-infra-mva154-85/` (ветка `feature/ORCH-063-infra-mva154-85`)
|
||||
- Дата: 2026-06-09
|
||||
|
||||
## Smoke API (read-only)
|
||||
| Endpoint | Результат |
|
||||
|----------|-----------|
|
||||
| `GET /health` | PASS — `{"status":"ok","service":"orchestrator"}` |
|
||||
| `GET /status` | PASS — отвечает; ORCH-063 (task 74) виден в `active_tasks` на `stage=testing` |
|
||||
| `GET /queue` | PASS — блок `serial_gate` присутствует (ORCH-088) рядом с `auto_labels` (ORCH-089); существующие ключи `counts/reconcile/reaper/post_deploy/merge_verify/task_deps` на месте |
|
||||
|
||||
`serial_gate.per_repo.orchestrator.active_task = ORCH-063 (testing)` — регресса смока нет.
|
||||
|
||||
## Результаты по тест-плану (`04-test-plan.yaml`)
|
||||
|
||||
Все TC прогнаны в `tests/test_disk_watchdog.py` (18 кейсов покрывают TC-01..TC-12). Сопоставление с
|
||||
критериями приёмки `03-acceptance-criteria.md`:
|
||||
|
||||
| TC ID | Тип | Описание | Тест(ы) | AC | Результат |
|
||||
|-------|-----|----------|---------|----|-----------|
|
||||
| TC-01 | unit | Алерт при пересечении порога (ниже→на/выше) → should_alert=True | `test_tc01_alert_on_crossing_up` | AC-2/AC-3 | PASS |
|
||||
| TC-02 | unit | Анти-спам: выше порога, прошло < realert_s → should_alert=False | `test_tc02_antispam_within_cooldown` | AC-3 | PASS |
|
||||
| TC-03 | unit | Повтор по cooldown: прошло ≥ realert_s → should_alert=True | `test_tc03_realert_after_cooldown` | AC-3 | PASS |
|
||||
| TC-04 | unit | Recovery: выше→ниже → сброс + ровно одно recovery; ниже устойчиво → не повторяется | `test_tc04_recovery_and_no_repeat`, `test_tick_antispam_then_realert_then_recovery` | AC-4 | PASS |
|
||||
| TC-05 | unit | Граница порога: `== threshold` алертит; `== threshold-1` молчит | `test_tc05_threshold_boundary_inclusive` | AC-2 | PASS |
|
||||
| TC-06 | unit | Замер по путям через (мок) `shutil.disk_usage`; дедуп по устройству | `test_tc06_measure_and_dedup_by_device` | AC-8 | PASS |
|
||||
| TC-07 | unit | never-raise: битый путь и исключение в `send_telegram` не пробрасываются | `test_tc07_broken_path_does_not_kill_tick`, `test_tc07_send_failure_does_not_raise` | AC-6 | PASS |
|
||||
| TC-08 | unit | Формат алерта: путь/used_pct/свободно/порог; notifying (не silent) | `test_tc08_alert_message_actionable_and_notifying`, `test_tc08_format_helpers` | AC-2 | PASS |
|
||||
| TC-09 | unit | Kill-switch: `enabled=False` → демон не стартует / `/queue` enabled=false | `test_tc09_killswitch_does_not_start`, `test_tc09_killswitch_status_block` | AC-5 | PASS |
|
||||
| TC-10 | unit | `status()`: dict с enabled/threshold_pct/interval_s/paths/alerting/last_alert_at; never-raise | `test_tc10_status_shape`, `test_tc10_status_reflects_last_measurement` | AC-7 | PASS |
|
||||
| TC-11 | integration | `GET /queue` содержит блок `disk_monitor`; существующие ключи не изменены | `test_tc11_queue_has_disk_monitor_block` | AC-7 | PASS |
|
||||
| TC-12 | integration | Тик при ≥85% → `send_telegram` один раз; при выключенном флаге `disk_monitor.enabled=false`, алертов нет | `test_tc12_queue_disabled_block`, `test_tick_antispam_then_realert_then_recovery` | AC-5/AC-2 | PASS |
|
||||
|
||||
Доп. кейсы (вне номерных TC, усиливают покрытие): `test_parse_paths_default_and_csv` (парс CSV/дефолт путей) — PASS.
|
||||
|
||||
Покрытие: все 12 TC из тест-плана выполнены, каждый сопоставлен с AC; AC-1 (heartbeat-демон,
|
||||
lifecycle) и AC-9 (документация) — структурно подтверждены review (`12-review.md`, вердикт `APPROVED`)
|
||||
и не требуют отдельного рантайм-теста.
|
||||
|
||||
## Вывод pytest
|
||||
|
||||
Целевой файл:
|
||||
```
|
||||
tests/test_disk_watchdog.py ... 18 items
|
||||
test_tc01_alert_on_crossing_up PASSED
|
||||
test_tc02_antispam_within_cooldown PASSED
|
||||
test_tc03_realert_after_cooldown PASSED
|
||||
test_tc04_recovery_and_no_repeat PASSED
|
||||
test_tc05_threshold_boundary_inclusive PASSED
|
||||
test_tc06_measure_and_dedup_by_device PASSED
|
||||
test_tc07_broken_path_does_not_kill_tick PASSED
|
||||
test_tc07_send_failure_does_not_raise PASSED
|
||||
test_tc08_alert_message_actionable_and_notifying PASSED
|
||||
test_tc08_format_helpers PASSED
|
||||
test_tc09_killswitch_does_not_start PASSED
|
||||
test_tc09_killswitch_status_block PASSED
|
||||
test_tc10_status_shape PASSED
|
||||
test_tc10_status_reflects_last_measurement PASSED
|
||||
test_tick_antispam_then_realert_then_recovery PASSED
|
||||
test_parse_paths_default_and_csv PASSED
|
||||
test_tc11_queue_has_disk_monitor_block PASSED
|
||||
test_tc12_queue_disabled_block PASSED
|
||||
======================== 18 passed, 1 warning in 0.40s =========================
|
||||
```
|
||||
|
||||
Полный регресс:
|
||||
```
|
||||
======================= 1296 passed, 1 warning in 31.97s =======================
|
||||
```
|
||||
(Единственный warning — `PydanticDeprecatedSince20` в `src/config.py:7`, предсуществующий, не связан
|
||||
с ORCH-063, не влияет на функциональность.)
|
||||
|
||||
## Итог
|
||||
**PASS** — все 12 TC выполнены и зелёные, полный регресс `1296 passed`, smoke API (read-only)
|
||||
исправен, блоки `serial_gate`/`auto_labels` в `/queue` на месте. Регрессов и обоснованных
|
||||
FAIL не выявлено. Задача готова к переходу на `deploy-staging`.
|
||||
12
docs/work-items/ORCH-063/14-deploy-log.md
Normal file
12
docs/work-items/ORCH-063/14-deploy-log.md
Normal file
@@ -0,0 +1,12 @@
|
||||
---
|
||||
deploy_status: SUCCESS
|
||||
work_item: ORCH-063
|
||||
hook_exit_code: 0
|
||||
deployed_by: deploy-finalizer
|
||||
---
|
||||
|
||||
# Deploy log — ORCH-036 executable self-deploy
|
||||
|
||||
Прод-деплой завершён хост-хуком с exit-code `0` -> `deploy_status: SUCCESS`.
|
||||
|
||||
Вердикт зафиксирован детерминированным finalizer'ом (Фаза C), не LLM.
|
||||
33
docs/work-items/ORCH-063/15-staging-log.md
Normal file
33
docs/work-items/ORCH-063/15-staging-log.md
Normal file
@@ -0,0 +1,33 @@
|
||||
---
|
||||
staging_status: SUCCESS
|
||||
work_item: ORCH-063
|
||||
stage: deploy-staging
|
||||
author_agent: deployer
|
||||
status: success
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
timestamp: 2026-06-09T16:03:48Z
|
||||
base_url: http://localhost:8501
|
||||
---
|
||||
|
||||
# Staging Gate Log
|
||||
|
||||
> Машинный вердикт читается ТОЛЬКО из `staging_status:` во frontmatter. `SUCCESS` → дальше; `FAILED` → откат.
|
||||
|
||||
Staging test suite completed. All REAL pipeline checks passed. Suite run canonically **inside the
|
||||
`orchestrator-staging` container** (8501) via the Docker exec API (`docker exec` equivalent), so
|
||||
check **B6** built the project registry from the instance's own `.env.staging` process-env
|
||||
(`ORCH_PROJECTS_JSON` set) — avoiding the ORCH-048 host false-FAIL.
|
||||
|
||||
Exit code **0** → `staging_status: SUCCESS` (ORCH-061 waiver tolerance: exit 0 includes the two
|
||||
waived sandbox-infra checks C9a/C9b; every REAL check is green).
|
||||
|
||||
INFRA-WAIVED: C9a Branch appears in orchestrator-sandbox, C9b Analyst job enqueued in staging queue (known sandbox-infra; real checks green)
|
||||
VERDICT: SUCCESS (exit 0) — SUCCESS (infra-waived): ['C9a Branch appears in orchestrator-sandbox', 'C9b Analyst job enqueued in staging queue'] are known sandbox-infra checks; all real checks green
|
||||
|
||||
## Results
|
||||
- **Block A (SMOKE)**: PASS — A1 `/health` 200 ok · A2 `/queue` 200 (counts/max_concurrency/resilience) · A3 `ORCH_STAGING=true`.
|
||||
- **Block B (ACCESS)**: PASS — B4 Plane sandbox project accessible · B5 Gitea orchestrator-sandbox accessible push=true · B6 registry sandbox present, prod ET/ORCH absent.
|
||||
- **Block C (E2E, mode=stub)**: C7 create Plane issue PASS · C8 trigger `/webhook/plane` PASS · C9a branch / C9b analyst-job **INFRA-WAIVED** (sandbox bot-accounts not project members — depends on sandbox infra, not the pipeline). CLEANUP: Plane issue deleted (HTTP 204).
|
||||
|
||||
RESULT: 8/10 checks PASS — REAL failed: **none**; SANDBOX_INFRA failed (waived): C9a, C9b.
|
||||
12
docs/work-items/ORCH-078/14-deploy-log.md
Normal file
12
docs/work-items/ORCH-078/14-deploy-log.md
Normal file
@@ -0,0 +1,12 @@
|
||||
---
|
||||
deploy_status: SUCCESS
|
||||
work_item: ORCH-078
|
||||
hook_exit_code: 0
|
||||
deployed_by: deploy-finalizer
|
||||
---
|
||||
|
||||
# Deploy log — ORCH-036 executable self-deploy
|
||||
|
||||
Прод-деплой завершён хост-хуком с exit-code `0` -> `deploy_status: SUCCESS`.
|
||||
|
||||
Вердикт зафиксирован детерминированным finalizer'ом (Фаза C), не LLM.
|
||||
7
docs/work-items/ORCH-079/00-business-request.md
Normal file
7
docs/work-items/ORCH-079/00-business-request.md
Normal file
@@ -0,0 +1,7 @@
|
||||
# Business Request: ORCH-52f: синхронизация README/доков с кодом + reviewer-гейт обзорных доков
|
||||
|
||||
Work Item ID: ORCH-079
|
||||
|
||||
## Description
|
||||
|
||||
TBD
|
||||
140
docs/work-items/ORCH-079/01-brd.md
Normal file
140
docs/work-items/ORCH-079/01-brd.md
Normal file
@@ -0,0 +1,140 @@
|
||||
---
|
||||
work_item: ORCH-079
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 01 — BRD (бизнес-требования): ORCH-079 — ORCH-52f: синхронизация README/доков с кодом + reviewer-гейт обзорных доков
|
||||
|
||||
Work Item: **ORCH-079** · Repo: **orchestrator** · Стадия: analysis
|
||||
|
||||
## 1. Бизнес-контекст и проблема
|
||||
|
||||
ORCH-079 — **слой 5 (финал) эпика ORCH-52** «доки = golden source наравне с кодом».
|
||||
Предыдущие слои привели в порядок *структуру* конвейерных доков (52b — `PIPELINE_DOCS.md`),
|
||||
*машинный frontmatter-контракт* (52c — `src/frontmatter.py`), *канон промптов* (52d — ORCH-077)
|
||||
и *стандарт трассировки* (52e — ORCH-078). Незакрытым остался **корневой `README.md` и
|
||||
`docs/architecture/README.md`** — обзорная документация, которую читатель воспринимает как
|
||||
«паспорт состояния проекта».
|
||||
|
||||
**Установленный факт (проверено в `main`, `README.md`, секция «Известные ограничения»,
|
||||
строки 234–242):**
|
||||
|
||||
1. **Битая нумерация** списка: `1, 2, 3, 4, 3, 4` — номера `3` и `4` повторяются дважды
|
||||
(строки 238–242). Список визуально некорректен.
|
||||
2. **Устаревшие пункты помечают РЕШЁННОЕ как открытое** — обзорный док лжёт о состоянии
|
||||
системы. Подтверждено сверкой с кодом:
|
||||
- п.1 «Single-task / shared `/repos` checkout … гонки при параллельных … исправление —
|
||||
git worktree per task (S-4, отдельно)» → **РЕШЕНО**: `src/agents/launcher.py` импортирует
|
||||
и использует `ensure_worktree` (git worktree per task), плюс serial-gate ORCH-088 и
|
||||
зависимости задач ORCH-026 — оба в проде (см. `CLAUDE.md`, `docs/architecture/README.md`).
|
||||
- п.3 «In-process daemon-потоки … целевое — очередь задач (F-2b)» → **РЕШЕНО**: персистентная
|
||||
очередь `jobs` (ORCH-1, `src/queue_worker.py`), restart-safe; описана в самом `README.md`
|
||||
(«Очередь задач (ORCH-1 / F-2b)»).
|
||||
- п.4 «Gitea CI не настроен — тесты гоняет сам оркестратор локально» → **УСТАРЕЛО**: гейт
|
||||
стадии `development` — `check_ci_green` (`src/qg/checks.py:82`, реальные обращения к Gitea
|
||||
status API с ретраями); `check_tests_local` помечен `DEPRECATED: replaced by check_ci_green`
|
||||
(`src/qg/checks.py:381`).
|
||||
- «No retry on API errors — httpx вызовы … без retry logic» → **УСТАРЕЛО**: queue-слой несёт
|
||||
exp-backoff + circuit breaker (`ORCH_BACKOFF_*`, `ORCH_TRANSIENT_MAX_ATTEMPTS`,
|
||||
`ORCH_BREAKER_*`, `src/queue_worker.py`), а `check_ci_green` содержит явный retry-loop
|
||||
(`src/qg/checks.py:128–137`).
|
||||
|
||||
Дополнительно отсутствует **процессный контроль**: когда PR решает один из пунктов «Известные
|
||||
ограничения», ничто не заставляет автора снять/обновить соответствующий пункт README — поэтому
|
||||
обзорные доки и копят рассинхрон. Reviewer сегодня обязан проверять обновление *конвейерной*
|
||||
документации (`docs/architecture/README.md`, `internals.md`, env-таблица), но **обзорные**
|
||||
разделы (README «Известные ограничения») в его правиле не названы явно.
|
||||
|
||||
Боль: читатель (Owner, новый агент, внешний наблюдатель) принимает решения по неверной картине;
|
||||
эпик 52 не может считаться закрытым, пока витрина проекта противоречит коду.
|
||||
|
||||
## 2. Объём (scope)
|
||||
|
||||
### В объёме
|
||||
- Починка нумерации и содержимого секции **«Известные ограничения»** корневого `README.md`:
|
||||
решённые пункты убрать/пометить закрытыми с явной ссылкой на ORCH-решение; оставить **только
|
||||
реально открытые** ограничения (каждое — сверено с кодом/закрытыми задачами).
|
||||
- Сверка остального содержимого `README.md` и **`docs/architecture/README.md`** с фактическим
|
||||
кодом (стадии, гейты, модели/эффорты, env, компоненты) — устранение точечного рассинхрона.
|
||||
- **Точечное** дополнение `.openclaw/agents/reviewer.md`: ось «Документация» должна явно покрывать
|
||||
**обзорные доки** (README «Известные ограничения») — если PR решает пункт из «ограничений»,
|
||||
reviewer требует обновить README (finding). XML-канон 52d сохраняется (правка точечная, не
|
||||
переписывание промпта).
|
||||
- Обновление `CLAUDE.md` (при необходимости), `CHANGELOG.md`, ADR.
|
||||
|
||||
### Вне объёма
|
||||
- ❌ Любые изменения `src/**` (`STAGE_TRANSITIONS`, `QG_CHECKS`, `check_*`, схема БД) — задача
|
||||
чисто документная + одно точечное правило в промпте reviewer.
|
||||
- ❌ Переписывание промпта reviewer целиком (52d уже зафиксировала канон) или иных 5 промптов.
|
||||
- ❌ Изменение имён/регистра/значений machine-verdict ключей (`verdict:` и др.).
|
||||
- ❌ Машинный enforcement reviewer-правила (новый QG/код-проверка) — правило остаётся
|
||||
нормативно-описательным в промпте, как и ось трассировки ORCH-078.
|
||||
- ❌ Массовая ревизия `docs/operations/**`, `internals.md` сверх обнаруженного рассинхрона
|
||||
по стадиям/гейтам/моделям.
|
||||
|
||||
## 3. Заинтересованные стороны
|
||||
- **Заказчик / приёмка:** Owner (Слава) — BRD-гейт ручной; финал эпика 52.
|
||||
- **Затрагиваются:** все агенты (читают `README.md` / `docs/architecture/README.md` как контекст);
|
||||
reviewer (новое правило обзорных доков); будущие задачи (получают честную витрину состояния).
|
||||
- **Источник истины:** код (`src/`) и закрытые ORCH-задачи — каждый снятый пункт обязан быть
|
||||
подтверждён кодом/решением, «решено» не выдумывается.
|
||||
|
||||
## 4. Бизнес-требования (BR)
|
||||
- **BR-1** — Секция «Известные ограничения» корневого `README.md` имеет **последовательную
|
||||
нумерацию** (без повторов `3`/`4`).
|
||||
- **BR-2** — Каждый решённый пункт (single-task/worktree, daemon-потоки, Gitea CI, no-retry)
|
||||
**убран или явно помечен закрытым** с указанием ORCH-решения, которым закрыт (worktree per task —
|
||||
ORCH-026/088; очередь — ORCH-1; CI — `check_ci_green`; retry/breaker — ORCH-1 resilience).
|
||||
- **BR-3** — Каждое **оставшееся** в списке ограничение **реально открыто** — подтверждено сверкой
|
||||
с кодом/задачами; неподтверждённые/неверифицируемые пункты не остаются в формулировке «открыто».
|
||||
- **BR-4** — `docs/architecture/README.md` **согласован с фактическим кодом** в части, затронутой
|
||||
задачей: таблица стадий/гейтов, реестр `QG_CHECKS`, таблица моделей/эффортов, перечень
|
||||
компонентов — без расхождений с `src/`.
|
||||
- **BR-5** — `.openclaw/agents/reviewer.md` **обязывает** проверять обновление **обзорных** доков:
|
||||
если PR решает пункт из README «Известные ограничения», отсутствие обновления README — **finding**
|
||||
(ось «Документация»). XML-канон 52d (5 секций, формат «❌→✅», `<thinking>`) сохранён.
|
||||
- **BR-6** — `CLAUDE.md` (если затронуто), `CHANGELOG.md` и ADR (per-work-item `06-adr/` +
|
||||
при необходимости сквозной) обновлены в том же PR.
|
||||
|
||||
## 5. Нефункциональные требования (NFR)
|
||||
- **NFR-1 (анти-регресс кода)** — `src/**` не изменяется; `STAGE_TRANSITIONS`, `QG_CHECKS`,
|
||||
`check_*`, схема БД — байт-в-байт; полный регресс `pytest tests/` остаётся зелёным.
|
||||
- **NFR-2 (сохранность machine-verdict контракта)** — в `reviewer.md` ключ `verdict:` и его
|
||||
значения `APPROVED|REQUEST_CHANGES` — байт-в-байт; 6-польная frontmatter-схема 52c и 5 XML-секций
|
||||
сохранены (структурные тесты `tests/test_agent_prompts_canon.py` зелёные).
|
||||
- **NFR-3 (истинность)** — ни один пункт не объявляется «решённым» без подтверждения кодом или
|
||||
закрытой ORCH-задачей; источник истины — код.
|
||||
- **NFR-4 (минимальность правки промпта)** — дополнение reviewer.md точечное (врезка в существующую
|
||||
ось «Документация»), без переписывания и без дрейфа канона.
|
||||
- **NFR-5 (loading-model совместимость)** — правка `reviewer.md` вступает в силу на следующем
|
||||
worktree от `main` без прод-рестарта (промпт `cat`-ается launcher'ом); рестарт прод-контейнера
|
||||
не требуется (self-hosting, общий прод).
|
||||
|
||||
## 6. Допущения и ограничения
|
||||
- Self-hosting: прод-контейнер общий для всех проектов; задача — docs + промпт, прод НЕ
|
||||
перезапускается ради неё (промпт подхватится со следующего worktree).
|
||||
- Источник истины о «решённости» — текущий код в `main` и закрытые задачи (ORCH-1/026/088 и пр.),
|
||||
а не память/устные договорённости.
|
||||
- Пункты с неочевидным статусом (например, «Plane sync — маппинг issue ID», «Tester timeout —
|
||||
Playwright e2e») требуют отдельной сверки: либо подтвердить, что реально открыты (оставить с
|
||||
корректной формулировкой), либо переформулировать/убрать — решение принимается по коду, а не
|
||||
переносится «как было».
|
||||
- Лейбл `autoDeploy` на задаче: орк сам деплоит после staging; BRD-гейт ручной (Слава).
|
||||
|
||||
## 7. Критерии успеха
|
||||
Нумерация в «Известные ограничения» последовательна; решённые пункты сняты/помечены закрытыми с
|
||||
ORCH-ссылкой; оставшиеся — реально открыты (сверено с кодом); `docs/architecture/README.md`
|
||||
согласован с кодом; `reviewer.md` требует обновлять обзорные доки при решении пункта; `src/` не
|
||||
тронут, verdict-ключи и XML-канон 52d сохранены, регресс зелёный; `CLAUDE.md`/`CHANGELOG`/ADR
|
||||
обновлены. Детальные PASS/FAIL — в `03-acceptance-criteria.md`.
|
||||
|
||||
## 8. Риски
|
||||
- Ложное объявление «решено» для пункта, который частично открыт (напр. Plane sync) → митигировать
|
||||
сверкой с кодом и сохранением реально открытых пунктов.
|
||||
- Дрейф канона 52d при правке `reviewer.md` → митигировать точечной врезкой и структурными тестами.
|
||||
- Случайное затрагивание verdict-ключа/схемы 52c → митигировать NFR-2 и `test_agent_prompts_canon`.
|
||||
- (Детальный разбор — `10-tech-risks.md`, заполняет архитектор.)
|
||||
128
docs/work-items/ORCH-079/02-trz.md
Normal file
128
docs/work-items/ORCH-079/02-trz.md
Normal file
@@ -0,0 +1,128 @@
|
||||
---
|
||||
work_item: ORCH-079
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 02 — ТЗ (TRZ): ORCH-079 — ORCH-52f: синхронизация README/доков с кодом + reviewer-гейт обзорных доков
|
||||
|
||||
Work Item: **ORCH-079** · Repo: **orchestrator** · Стадия: analysis
|
||||
|
||||
> ТЗ описывает **конкретные изменения к реализации**, выведенные из BRD и фактического кода.
|
||||
> Архитектурное обоснование/решения — задача архитектора (`06-adr/`). Это **docs + prompt-only**
|
||||
> изменение: `src/**` не трогается.
|
||||
|
||||
## 1. Сводка изменения
|
||||
|
||||
Три блока правок, все вне `src/`:
|
||||
1. **`README.md`** — починить нумерацию секции «Известные ограничения»; снять/пометить закрытыми
|
||||
решённые пункты с явной ORCH-ссылкой; оставить только реально открытые ограничения; точечно
|
||||
сверить остальной текст (стадии/гейты/env) с кодом.
|
||||
2. **`docs/architecture/README.md`** — сверить таблицу стадий/гейтов, реестр `QG_CHECKS`, таблицу
|
||||
моделей/эффортов и перечень компонентов с фактическим `src/`; устранить найденный рассинхрон.
|
||||
3. **`.openclaw/agents/reviewer.md`** — точечно расширить ось «Документация»: обзорные доки (README
|
||||
«Известные ограничения») включаются в обязательную проверку; решение пункта без обновления README
|
||||
→ finding. XML-канон 52d и `verdict:`-контракт сохраняются.
|
||||
|
||||
Плюс сопроводительные: `CLAUDE.md` (при необходимости), `CHANGELOG.md`, ADR, структурный тест.
|
||||
|
||||
## 2. Задействованные модули / пути
|
||||
|
||||
| Путь | Действие |
|
||||
|------|----------|
|
||||
| `README.md` | **изменить** — секция «Известные ограничения» (нумерация + содержимое); точечная сверка стадий/env |
|
||||
| `docs/architecture/README.md` | **изменить** — сверить стадии/гейты/`QG_CHECKS`/модели/компоненты с кодом |
|
||||
| `.openclaw/agents/reviewer.md` | **изменить** — точечная врезка про обзорные доки в ось «Документация» (`<task>` ось 4 + `<constraints>`) |
|
||||
| `CLAUDE.md` | **изменить** (при необходимости) — упоминание правила обзорных доков / финала эпика 52 |
|
||||
| `CHANGELOG.md` | **изменить** — запись в `## [Unreleased]` (merge=union по `.gitattributes`) |
|
||||
| `docs/work-items/ORCH-079/06-adr/ADR-001-*.md` | **создать** — решение «синхронизация README + reviewer-правило обзорных доков» |
|
||||
| `docs/architecture/adr/adr-00NN-*.md` | **создать** (на усмотрение архитектора) — сквозной ADR, замыкающий эпик 52 |
|
||||
| `tests/test_agent_prompts_canon.py` | **изменить** — добавить структурный assert «reviewer.md покрывает обзорные доки/README-ограничения» (анти-регресс правила) |
|
||||
| Только для чтения (сверка, НЕ менять): `src/stages.py`, `src/qg/checks.py`, `src/queue_worker.py`, `src/agents/launcher.py`, `src/config.py` | сверка истины |
|
||||
|
||||
> Точные источники истины для сверки (read-only): `src/stages.py::STAGE_TRANSITIONS`,
|
||||
> `src/qg/checks.py::QG_CHECKS` + `check_ci_green` (стр. 82) + `check_tests_local` DEPRECATED
|
||||
> (стр. 379–381), `src/queue_worker.py` (backoff/breaker), `src/agents/launcher.py` (`ensure_worktree`,
|
||||
> `resolve_agent_model`/`resolve_agent_effort`).
|
||||
|
||||
## 3. Функциональные требования
|
||||
|
||||
### FR-1 — Починка нумерации «Известные ограничения» (BR-1)
|
||||
В `README.md` секция «Известные ограничения» обязана иметь **строго последовательную** нумерацию
|
||||
`1, 2, 3, …` без повторов. Текущее состояние `1,2,3,4,3,4` (строки 236–242) исправляется как часть
|
||||
переработки содержимого (FR-2): после удаления/пометки решённых пунктов список перенумеровывается
|
||||
сквозно.
|
||||
|
||||
### FR-2 — Снятие/пометка решённых пунктов с ORCH-ссылкой (BR-2, BR-3, NFR-3)
|
||||
Для каждого пункта определить статус **по коду** и применить действие:
|
||||
|
||||
| Текущий пункт | Статус | Подтверждение в коде/задаче | Действие |
|
||||
|---------------|--------|------------------------------|----------|
|
||||
| Single-task / shared `/repos` checkout (worktree S-4) | РЕШЕНО | `launcher.py` `ensure_worktree` (worktree per task) + serial-gate ORCH-088 + deps ORCH-026 | убрать из «открытых»; при желании — строка «Закрыто: ORCH-026/088» |
|
||||
| In-process daemon-потоки (целевое — очередь F-2b) | РЕШЕНО | `src/queue_worker.py`, таблица `jobs`, restart-safe (ORCH-1) | убрать; при желании — «Закрыто: ORCH-1» |
|
||||
| Gitea CI не настроен | УСТАРЕЛО | `check_ci_green` (`qg/checks.py:82`) — активный гейт `development`; `check_tests_local` `DEPRECATED` | убрать |
|
||||
| No retry on API errors | УСТАРЕЛО | `queue_worker.py` exp-backoff + breaker (`ORCH_BACKOFF_*`/`ORCH_BREAKER_*`/`ORCH_TRANSIENT_MAX_ATTEMPTS`); retry-loop в `check_ci_green` | убрать |
|
||||
| Plane sync — маппинг issue ID (P3, в работе) | СВЕРИТЬ | `src/plane_sync.py` после ORCH-066/068 | подтвердить открытость по коду → оставить с корректной формулировкой ИЛИ снять/переформулировать |
|
||||
| Tester timeout — Playwright e2e >25 мин | СВЕРИТЬ | watchdog 30 мин (`launcher`); Playwright для orchestrator неактуален | подтвердить → оставить/переформулировать; не оставлять как «открыто» без основания |
|
||||
|
||||
**Контракт FR-2:** ни один пункт не помечается решённым без подтверждения кодом/задачей (NFR-3);
|
||||
оставшиеся в списке — только реально открытые (BR-3). Допустимы оба формата снятия: полное удаление
|
||||
ИЛИ перенос в строку «Закрыто (ORCH-NNN)» — на усмотрение исполнителя, лишь бы открытыми остались
|
||||
только открытые.
|
||||
|
||||
### FR-3 — Сверка `README.md` с кодом (точечно) (BR-4)
|
||||
Сверить и при расхождении поправить: блок «Стадии пайплайна» (таблица стадий/гейтов/триггеров),
|
||||
таблицу env-переменных (наличие описанных флагов в `src/config.py`), описание очереди. Минимально
|
||||
инвазивно — править только подтверждённые расхождения.
|
||||
|
||||
### FR-4 — Сверка `docs/architecture/README.md` с кодом (BR-4)
|
||||
Сверить с фактическим `src/`:
|
||||
- таблица «Стадия → Агент → Quality Gate → Артефакт» ↔ `STAGE_TRANSITIONS`;
|
||||
- реестр `QG_CHECKS` ↔ `src/qg/checks.py::QG_CHECKS` (полный список ключей);
|
||||
- таблица «Модель и эффорт по ролям» ↔ `resolve_agent_model`/`resolve_agent_effort` (все 6 ролей,
|
||||
`claude-opus-4-8`; эффорты developer=`xhigh`, tester/deployer=`medium`, прочие=`high`);
|
||||
- перечень компонентов ↔ реально присутствующие модули `src/`.
|
||||
Расхождения — устранить; совпадающее — не трогать.
|
||||
|
||||
### FR-5 — Reviewer покрывает обзорные доки (BR-5, NFR-2, NFR-4)
|
||||
В `.openclaw/agents/reviewer.md` **ось 4 «Документация»** (`<task>`) и соответствующий пункт
|
||||
`<constraints>` дополняются явным требованием: **если PR решает пункт из README «Известные
|
||||
ограничения» (обзорные доки), reviewer обязан проверить, что README обновлён; необновление →
|
||||
finding.** Severity: рекомендуется ≥ P1 (по образцу оси трассировки ORCH-078); при изменении `src/`,
|
||||
закрывающем ограничение, без обновления README — согласуется с существующим P0 «`src/` изменён,
|
||||
документация не обновлена». Формулировка — в формате «❌ X → ✅ Y» (канон 52d), точечно, без
|
||||
переписывания промпта. `verdict:`/значения, 6 полей схемы 52c, 5 XML-секций — без изменений.
|
||||
|
||||
### FR-6 — Анти-регресс правила структурным тестом (BR-5, NFR-1)
|
||||
В `tests/test_agent_prompts_canon.py` добавить assert: `reviewer.md` содержит маркер покрытия
|
||||
обзорных доков / README-ограничений (напр. подстрока «Известные ограничения» или «README»
|
||||
в контексте оси «Документация»). Тест фиксирует наличие правила (анти-дрейф), как существующие
|
||||
`test_reviewer_carries_traceability_control_axis` и `test_machine_verdict_keys_preserved_exact_case`.
|
||||
|
||||
## 4. Изменения API
|
||||
Нет. Эндпоинты (`/health`, `/status`, `/queue`, `/webhook/*`) не затрагиваются.
|
||||
|
||||
## 5. Изменения схемы БД
|
||||
Нет. Таблицы/миграции/индексы не затрагиваются.
|
||||
|
||||
## 6. Требования к новым/изменённым QG checks
|
||||
Нет. `QG_CHECKS`, `check_*`, `STAGE_TRANSITIONS`, `_parse_*` — без изменений (NFR-1). Reviewer-правило
|
||||
обзорных доков — **нормативно-описательное** в промпте (как ось трассировки ORCH-078), машинный
|
||||
enforcement не вводится.
|
||||
|
||||
## 7. Совместимость / регресс
|
||||
- **Обратная совместимость:** изменения — только Markdown-доки + один промпт + один тест; runtime-код
|
||||
не затронут → нулевая функциональная регрессия для всех проектов (enduro-trails не задет).
|
||||
- **machine-verdict контракт:** `verdict: APPROVED|REQUEST_CHANGES` в `reviewer.md` — байт-в-байт;
|
||||
6 полей схемы 52c и 5 XML-секций сохранены → гейт `check_reviewer_verdict` читает вердикт как
|
||||
прежде. Структурные тесты `test_agent_prompts_canon.py` остаются зелёными (+ новый assert FR-6).
|
||||
- **Loading-model / self-hosting:** новый `reviewer.md` подхватывается launcher'ом (`cat`
|
||||
`.openclaw/agents/reviewer.md`) на следующем worktree от `main` — **прод НЕ перезапускается**.
|
||||
- **Артефакты pipeline:** задача создаёт/обновляет `docs/work-items/ORCH-079/01..04`, `06-adr/`,
|
||||
`12-review.md`, `13-test-report.md`, `14/15-*` по ходу конвейера; обновляет `README.md`,
|
||||
`docs/architecture/README.md`, `CLAUDE.md`, `CHANGELOG.md`. Обновлять только doc-артефакты —
|
||||
чужие work item не трогать.
|
||||
- **Обратимость:** kill-switch не требуется (нет рантайм-поведения); откат = revert PR.
|
||||
109
docs/work-items/ORCH-079/03-acceptance-criteria.md
Normal file
109
docs/work-items/ORCH-079/03-acceptance-criteria.md
Normal file
@@ -0,0 +1,109 @@
|
||||
---
|
||||
work_item: ORCH-079
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 03 — Критерии приёмки (Acceptance Criteria): ORCH-079 — ORCH-52f: синхронизация README/доков с кодом + reviewer-гейт обзорных доков
|
||||
|
||||
Work Item: **ORCH-079** · Repo: **orchestrator** · Стадия: analysis
|
||||
|
||||
Формат: каждый критерий имеет **PASS** (что должно быть истинно для приёмки) и **FAIL**
|
||||
(что считается провалом). Reviewer/tester проверяет их буквально по файлам репозитория и коду.
|
||||
|
||||
---
|
||||
|
||||
## AC-1 — Последовательная нумерация «Известные ограничения»
|
||||
|
||||
**Условие:** Секция «Известные ограничения» в корневом `README.md` пронумерована сквозно без
|
||||
повторов.
|
||||
- **PASS:** номера в списке идут `1, 2, 3, …` строго по возрастанию без дубликатов; повторов `3`/`4`
|
||||
(текущее `1,2,3,4,3,4`) нет.
|
||||
- **FAIL:** есть повторяющиеся номера, пропуски или не-последовательная нумерация.
|
||||
|
||||
---
|
||||
|
||||
## AC-2 — Решённые пункты сняты/помечены закрытыми с ORCH-ссылкой
|
||||
|
||||
**Условие:** Четыре решённых/устаревших пункта (single-task/worktree, in-process daemon-потоки,
|
||||
Gitea CI, no-retry) не присутствуют как **открытые** ограничения; если упомянуты — то как
|
||||
закрытые, с указанием ORCH-решения.
|
||||
- **PASS:** ни один из этих пунктов не стоит в списке открытых ограничений; для каждого упоминания
|
||||
(если оставлено) указана закрывшая задача/механизм (worktree — ORCH-026/088; очередь — ORCH-1;
|
||||
CI — `check_ci_green`; retry/breaker — ORCH-1 resilience).
|
||||
- **FAIL:** хотя бы один из четырёх пунктов остался в формулировке «открыто/не настроено/в работе»
|
||||
без пометки закрытия и без ORCH-ссылки.
|
||||
|
||||
---
|
||||
|
||||
## AC-3 — Оставшиеся ограничения реально открыты (сверено с кодом)
|
||||
|
||||
**Условие:** Каждый пункт, оставшийся в списке открытых ограничений, подтверждён открытым по коду
|
||||
или закрытой/незакрытой задаче.
|
||||
- **PASS:** для каждого оставшегося пункта в `02-trz.md`/`12-review.md` прослеживается подтверждение
|
||||
открытости (ссылка на код/задачу); ни один открытый пункт не противоречит фактическому коду.
|
||||
- **FAIL:** в списке открытых остаётся пункт, который по коду уже решён, либо пункт без какого-либо
|
||||
подтверждения открытости.
|
||||
|
||||
---
|
||||
|
||||
## AC-4 — `docs/architecture/README.md` согласован с кодом
|
||||
|
||||
**Условие:** В части, затронутой задачей, `docs/architecture/README.md` не противоречит `src/`.
|
||||
- **PASS:** таблица стадий/гейтов соответствует `STAGE_TRANSITIONS`; реестр `QG_CHECKS`
|
||||
соответствует `src/qg/checks.py::QG_CHECKS`; таблица моделей/эффортов соответствует резолву
|
||||
(`claude-opus-4-8`; developer=`xhigh`, tester/deployer=`medium`, прочие=`high`); перечень
|
||||
компонентов соответствует модулям `src/`.
|
||||
- **FAIL:** найдено хотя бы одно фактическое расхождение в перечисленных таблицах, оставшееся
|
||||
непоправленным.
|
||||
|
||||
---
|
||||
|
||||
## AC-5 — Reviewer требует обновлять обзорные доки (README limitations)
|
||||
|
||||
**Условие:** `.openclaw/agents/reviewer.md` явно обязывает: при решении пункта из README «Известные
|
||||
ограничения» необновление README — finding.
|
||||
- **PASS:** в оси «Документация» (`<task>`) и/или `<constraints>` `reviewer.md` присутствует явное
|
||||
упоминание обзорных доков / README «Известные ограничения» с трактовкой «не обновлено → finding»;
|
||||
формулировка в каноне 52d («❌→✅»).
|
||||
- **FAIL:** правило отсутствует, упоминает только конвейерные доки, или внесено вне канона
|
||||
(сломаны 5 XML-секций / формат запретов).
|
||||
|
||||
---
|
||||
|
||||
## AC-6 — Анти-регресс: код не тронут, verdict-ключи и канон 52d сохранены, тесты зелёные
|
||||
|
||||
**Условие:** Изменения не затрагивают рантайм; контракт reviewer сохранён; регресс зелёный.
|
||||
- **PASS:** `git diff` не содержит изменений в `src/**` (особенно `STAGE_TRANSITIONS`, `QG_CHECKS`,
|
||||
`check_*`, схема БД); в `reviewer.md` ключ `verdict:` и значения `APPROVED|REQUEST_CHANGES` —
|
||||
байт-в-байт, 6 полей схемы 52c и 5 XML-секций на месте; `pytest tests/ -q` зелёный, включая
|
||||
`tests/test_agent_prompts_canon.py` и `tests/test_agent_frontmatter_no_model.py`.
|
||||
- **FAIL:** есть правка `src/**`; изменён `verdict:`/его значения; сломан XML-канон/схема 52c;
|
||||
любой тест регресса красный.
|
||||
|
||||
---
|
||||
|
||||
## AC-7 — `CLAUDE.md` / `CHANGELOG` / ADR обновлены
|
||||
|
||||
**Условие:** Сопроводительная документация обновлена в том же PR.
|
||||
- **PASS:** `CHANGELOG.md` содержит запись об ORCH-079 в `## [Unreleased]`; создан
|
||||
`docs/work-items/ORCH-079/06-adr/ADR-001-*.md`; `CLAUDE.md` обновлён, если правило/финал эпика
|
||||
его затрагивает (иначе — обоснованно не затронут).
|
||||
- **FAIL:** отсутствует запись в `CHANGELOG.md`, либо нет ADR задачи, либо `CLAUDE.md` устарел
|
||||
относительно внесённого правила.
|
||||
|
||||
---
|
||||
|
||||
## Сводная матрица AC ↔ FR/BR
|
||||
| AC | Покрывает |
|
||||
|----|-----------|
|
||||
| AC-1 | BR-1 / FR-1 |
|
||||
| AC-2 | BR-2 / FR-2 |
|
||||
| AC-3 | BR-3 / FR-2 |
|
||||
| AC-4 | BR-4 / FR-3, FR-4 |
|
||||
| AC-5 | BR-5 / FR-5 |
|
||||
| AC-6 | NFR-1, NFR-2 / FR-6 |
|
||||
| AC-7 | BR-6 |
|
||||
56
docs/work-items/ORCH-079/04-test-plan.yaml
Normal file
56
docs/work-items/ORCH-079/04-test-plan.yaml
Normal file
@@ -0,0 +1,56 @@
|
||||
work_item: ORCH-079
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
title: "ORCH-52f: синхронизация README/доков с кодом + reviewer-гейт обзорных доков"
|
||||
framework: pytest
|
||||
scope: >
|
||||
Покрывается: структурная валидность секции README «Известные ограничения» (нумерация,
|
||||
отсутствие решённых пунктов), наличие reviewer-правила про обзорные доки в каноне 52d,
|
||||
анти-регресс machine-verdict ключей и схемы 52c, согласованность docs/architecture/README.md
|
||||
с кодом по гейтам/моделям. Вне покрытия: рантайм-поведение (src/ не меняется), машинный
|
||||
enforcement reviewer-правила (его нет — правило нормативно-описательное).
|
||||
notes: >
|
||||
Это docs + prompt-only задача — основной анти-регресс структурный (Markdown/промпт), а не
|
||||
поведенческий. Новые проверки добавляются в tests/test_agent_prompts_canon.py (структурный
|
||||
анти-дрейф промптов) и при необходимости в отдельный tests/test_readme_limitations.py.
|
||||
Полный регресс pytest tests/ должен оставаться зелёным; src/ не тронут.
|
||||
|
||||
tests:
|
||||
- id: TC-01
|
||||
type: unit
|
||||
description: "reviewer.md покрывает обзорные доки: содержит явное упоминание README «Известные ограничения» / обзорных доков в оси «Документация» (анти-дрейф правила FR-5/AC-5)."
|
||||
module: tests/test_agent_prompts_canon.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-02
|
||||
type: unit
|
||||
description: "Анти-регресс reviewer machine-verdict: ключ `verdict:` и значения APPROVED|REQUEST_CHANGES присутствуют байт-в-байт (существующий test_machine_verdict_keys_preserved_exact_case остаётся зелёным, AC-6/NFR-2)."
|
||||
module: tests/test_agent_prompts_canon.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-03
|
||||
type: unit
|
||||
description: "Анти-регресс канона 52d: reviewer.md (и все 6 промптов) сохраняют 5 обязательных XML-секций и 6 полей схемы 52c (существующие test_five_xml_sections_present / test_six_schema_field_names_present зелёные, AC-6)."
|
||||
module: tests/test_agent_prompts_canon.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-04
|
||||
type: unit
|
||||
description: "frontmatter agent-промптов без мёртвого `model:` остаётся валидным (test_agent_frontmatter_no_model.py зелёный после правки reviewer.md, AC-6)."
|
||||
module: tests/test_agent_frontmatter_no_model.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-05
|
||||
type: unit
|
||||
description: "README «Известные ограничения»: нумерация строго последовательна без повторов (AC-1) и не содержит решённых пунктов как открытых — single-task/worktree, in-process daemon, Gitea CI, no-retry (AC-2). Реализуется как новый структурный тест README."
|
||||
module: tests/test_readme_limitations.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-06
|
||||
type: integration
|
||||
description: "Полный регресс pytest tests/ зелёный; git diff не содержит изменений в src/** (STAGE_TRANSITIONS/QG_CHECKS/check_*/схема БД) — проверяется ревьюером/тестером на стадии review/testing (AC-6/NFR-1)."
|
||||
module: tests/
|
||||
expected: PASS
|
||||
@@ -0,0 +1,161 @@
|
||||
---
|
||||
work_item: ORCH-079
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# ADR-001: Синхронизация обзорных доков (README) с кодом + reviewer-ось «обзорные доки»
|
||||
|
||||
Work Item: **ORCH-079** — ORCH-52f: финальный слой эпика 52 «доки = golden source наравне с кодом».
|
||||
Стадия: **architecture**
|
||||
Сквозная регистрация: **`docs/architecture/adr/adr-0023-overview-docs-reviewer-axis-and-epic52-close.md`**
|
||||
(решение кросс-каттинговое — меняет нормативную ось ревью-гейта для ВСЕХ задач/проектов и
|
||||
закрывает эпик 52).
|
||||
|
||||
## Статус
|
||||
Proposed
|
||||
|
||||
## Контекст
|
||||
|
||||
Эпик ORCH-52 строит сквозной контракт документации конвейера слоями: **52b** (adr-0019,
|
||||
`PIPELINE_DOCS.md`) — структура доков; **52c** (adr-0020, `src/frontmatter.py`) — машинный
|
||||
frontmatter-контракт; **52d** (adr-0021, ORCH-077) — 6 промптов в каноне Anthropic; **52e**
|
||||
(adr-0022, ORCH-078) — стандарт трассировки маркеров. Приведены в порядок *конвейерные* доки и
|
||||
*промпты*, но **корневой `README.md`** — «паспорт состояния проекта», который читатель (Owner,
|
||||
новый агент, внешний наблюдатель) воспринимает как витрину истины — остался незакрытым и **лжёт о
|
||||
состоянии системы**.
|
||||
|
||||
Факты, сверенные с кодом `main`:
|
||||
|
||||
1. **Битая нумерация** секции «Известные ограничения» (`README.md:236–241`): фактический порядок
|
||||
списка — `1, 2, 3, 4, 3, 4` (номера `3`/`4` повторяются). Список визуально некорректен.
|
||||
2. **Устаревшие пункты выдают РЕШЁННОЕ за открытое.** Сверка каждого пункта с кодом:
|
||||
|
||||
| Пункт README | Статус | Доказательство в коде |
|
||||
|--------------|--------|------------------------|
|
||||
| п.1 Single-task / shared `/repos` checkout (worktree S-4) | **РЕШЕНО** | `src/agents/launcher.py` использует `ensure_worktree` (git worktree per task) + serial-gate ORCH-088 + task-deps ORCH-026 — все в проде |
|
||||
| п.2 Plane sync — маппинг issue ID (P3, в работе) | **НЕ открыто** | `src/plane_sync.py`: `find_issue_id` (451), `fetch_issue_sequence_id` M-6 (541), статус-модель ORCH-066, TTL-самозалечивание ORCH-068 — зрелый слой, активной задачи нет |
|
||||
| п.3 In-process daemon-потоки (целевое — очередь F-2b) | **РЕШЕНО** | `src/queue_worker.py`, таблица `jobs`, restart-safe (ORCH-1) |
|
||||
| п.4 Gitea CI не настроен | **УСТАРЕЛО** | `check_ci_green` (`src/qg/checks.py:82`) — активный гейт `development`; `check_tests_local` помечен `DEPRECATED` (`:381`) |
|
||||
| п.«Tester timeout — Playwright e2e >25 мин» | **УСТАРЕЛО** | orchestrator — pytest-сервис, Playwright неприменим; реальный механизм — конфигурируемый watchdog `_resolve_timeout`/`agent_timeout_seconds` (ORCH-7 M-2, `launcher.py:642`) |
|
||||
| п.«No retry on API errors» | **УСТАРЕЛО** | queue-слой: exp-backoff + circuit breaker (`ORCH_BACKOFF_*`/`ORCH_BREAKER_*`/`ORCH_TRANSIENT_MAX_ATTEMPTS`, `src/queue_worker.py`); retry-loop в `check_ci_green` (`:128–137`) |
|
||||
|
||||
3. **Процессный пробел.** Reviewer обязан проверять обновление *конвейерной* документации
|
||||
(`docs/architecture/README.md`, `internals.md`, env-таблица), но **обзорные** разделы (README
|
||||
«Известные ограничения») в его правиле **не названы явно** → когда PR закрывает ограничение,
|
||||
ничто не заставляет автора снять пункт → витрина копит рассинхрон.
|
||||
|
||||
Боль: читатель принимает решения по неверной картине; эпик 52 не может считаться закрытым, пока
|
||||
витрина противоречит коду. Это **docs + prompt-only** изменение: `src/**` не трогается.
|
||||
|
||||
## Решение
|
||||
|
||||
### Сводка
|
||||
Привести «Известные ограничения» в честное состояние **по коду** (а не по памяти), точечно сверить
|
||||
обзорные доки с `src/`, и **закрыть процессный пробел** добавив reviewer'у нормативную под-ось
|
||||
«обзорные доки» (по образцу оси трассировки ORCH-078). Без машинного enforcement, без касания
|
||||
`STAGE_TRANSITIONS`/`QG_CHECKS`/`check_*`/схемы БД. Это замыкающий (5-й) слой эпика 52 → дополнительно
|
||||
сквозной `adr-0023`.
|
||||
|
||||
### D1 — Перенумерация + триаж секции «Известные ограничения» (FR-1/FR-2; BR-1/2/3; NFR-3)
|
||||
Все 6 текущих пунктов по сверке выше — **решены / устарели / не являются tracked-ограничением**.
|
||||
Контракт триажа (NFR-3, источник истины — код): **ни один пункт не объявляется решённым без
|
||||
подтверждения кодом/задачей; в списке открытых остаются ТОЛЬКО реально открытые.**
|
||||
|
||||
Решение по форме (developer имеет латитуду FR-2 «удаление ИЛИ перенос в „Закрыто“»):
|
||||
- **Рекомендованная форма (A):** заменить 6 устаревших пунктов на (а) короткий трейл
|
||||
**«Закрыто (история)»** с ORCH-ссылками — worktree → ORCH-026/088; очередь → ORCH-1; CI →
|
||||
`check_ci_green`; retry/breaker → ORCH-1 resilience; issue-ID → зрелый `plane_sync` (ORCH-010/066/068);
|
||||
agent-timeout → конфигурируемый watchdog ORCH-7; и (б) короткий список **реально открытых**
|
||||
ограничений **только из уже задокументированных** known-limitations (анти-scope-creep, см. D4):
|
||||
Telegram-48h сироты (ORCH-087), task-deps только intra-repo v1 (ORCH-026), serial-gate — Этап 1
|
||||
эпика ORCH-088 (пакетный автоном — в развитии).
|
||||
- **Допустимая форма (B):** полное удаление 6 пунктов + минимальная честная секция.
|
||||
|
||||
Перенумерация сквозная `1,2,3,…` без повторов (AC-1) выполняется как следствие переработки
|
||||
содержимого.
|
||||
|
||||
### D2 — Reviewer-ось «обзорные доки» (FR-5; BR-5; NFR-2/NFR-4)
|
||||
В `.openclaw/agents/reviewer.md` **ось 4 «Документация»** (`<task>`) и соответствующий пункт
|
||||
`<constraints>` дополняются точечной врезкой в формате «❌ X → ✅ Y» (канон 52d):
|
||||
|
||||
> ❌ PR закрыл пункт из README «Известные ограничения», но README не обновлён → ✅ требуй обновления
|
||||
> README (снять/пометить закрытым с ORCH-ссылкой) — это **finding**.
|
||||
|
||||
**Severity (нормативно):** базово **≥ P1** (по образцу под-оси трассировки ORCH-078). Когда
|
||||
ограничение закрывает **изменение `src/`** без обновления README — это совпадает с уже
|
||||
существующим **P0** «`src/` изменён, документация не обновлена» (усиление трактовки, не новая ось).
|
||||
|
||||
**Границы правки промпта (NFR-2/NFR-4):** машинный ключ `verdict: APPROVED | REQUEST_CHANGES` —
|
||||
байт-в-байт; 6 полей схемы 52c и 5 XML-секций сохранены; врезка точечная (без переписывания
|
||||
промпта). Единый источник правила — текст промпта; новая ось НЕ дублируется в отдельный стандарт
|
||||
(в отличие от 52e, где правило вынесено в `TRACEABILITY.md`), т.к. касается одного промпта и одного
|
||||
артефакта (README) — выноса в `docs/_standards/` не требует.
|
||||
|
||||
### D3 — Точечная сверка обзорных доков с кодом (FR-3/FR-4; BR-4)
|
||||
`README.md` (блок «Стадии пайплайна», env-таблица, описание очереди) и `docs/architecture/README.md`
|
||||
(таблица «Стадия→Агент→QG→Артефакт» ↔ `STAGE_TRANSITIONS`; реестр `QG_CHECKS` ↔
|
||||
`src/qg/checks.py::QG_CHECKS`; таблица моделей/эффортов ↔ `resolve_agent_model`/`resolve_agent_effort`,
|
||||
6 ролей `claude-opus-4-8`, эффорты developer=`xhigh`/tester+deployer=`medium`/прочие=`high`; перечень
|
||||
компонентов ↔ модули `src/`) приводятся в соответствие коду. **Минимально инвазивно:** править
|
||||
только подтверждённые расхождения, совпадающее не трогать.
|
||||
|
||||
### D4 — Анти-scope-creep при наполнении «открытых» (NFR-3; BRD §2 «Вне объёма»)
|
||||
**Запрет на изобретение ограничений.** Новые «открытые» пункты берутся ТОЛЬКО из уже
|
||||
задокументированных known-limitations (CLAUDE.md / README / ADR); массовый майнинг кодовой базы на
|
||||
предмет «а что ещё может быть ограничением» — **вне объёма**. Триаж ограничен ровно 6 исходными
|
||||
пунктами + перечисленным в D1 множеством уже-документированных границ. Честность важнее длины:
|
||||
короткая секция с верифицируемыми пунктами лучше длинной с выдуманными.
|
||||
|
||||
### D5 — Анти-регресс правила структурным тестом (FR-6; NFR-1)
|
||||
`tests/test_agent_prompts_canon.py` (tests-only) получает assert: `reviewer.md` содержит маркер оси
|
||||
обзорных доков (подстрока «Известные ограничения»/«README» в контексте оси «Документация»). Канон 52d
|
||||
(5 секций, 6 полей, точный регистр verdict-ключей) и `test_agent_frontmatter_no_model.py` остаются
|
||||
зелёными.
|
||||
|
||||
## Альтернативы
|
||||
- **Машинный enforcement reviewer-правила (новый QG / код-проверка «README актуален»).** Отвергнуто:
|
||||
правка `src/`/`QG_CHECKS` вне scope; для self-hosting рискованно (ложный fail валит конвейер всех
|
||||
проектов); правило остаётся нормативно-описательным, как ось трассировки ORCH-078. Enforcement —
|
||||
потенциальная будущая задача (как hard-fail схемы 52c).
|
||||
- **Вынести правило обзорных доков в отдельный `docs/_standards/`.** Отвергнуто: касается одного
|
||||
промпта и одного артефакта (README) — врезки в промпт достаточно; новый стандарт-файл — overkill.
|
||||
- **Сохранить пункты «как было», лишь починив нумерацию.** Отвергнуто: нарушает NFR-3/BR-3 (витрина
|
||||
продолжит лгать).
|
||||
- **Объявить плановую issue-ID / Playwright-timeout «решёнными конкретным тикетом».** Отвергнуто:
|
||||
нет тикета, который их «закрыл»; честная формулировка — «не tracked-ограничение / устаревшая
|
||||
формулировка», с переносом в историю или удалением (NFR-3).
|
||||
- **Только per-work-item ADR без глобального.** Отвергнуто: рвёт цепочку эпика 52 (52b/c/d/e имеют
|
||||
глобальный ADR); нет точки входа «эпик 52 закрыт» для будущих агентов.
|
||||
|
||||
## Последствия
|
||||
- **+** Витрина проекта (README) перестаёт лгать; читатель принимает решения по честной картине.
|
||||
- **+** Замкнут слой 5 (финал) эпика 52: reviewer получает ось контроля обзорных доков →
|
||||
самоподдерживающаяся синхронность витрины (закрыл ограничение — обнови README, иначе finding).
|
||||
- **+** Self-hosting без рестарта: `reviewer.md` `cat`-ается launcher'ом → правило действует на
|
||||
следующем worktree от `main` без рестарта прод-контейнера 8500 (NFR-5).
|
||||
- **+** Нулевая функциональная регрессия: только Markdown + один промпт + один тест; runtime-код,
|
||||
verdict-контракт, схема БД не тронуты (enduro-trails не задет).
|
||||
- **−** Reviewer-правило нормативно, но не enforced машинно → соблюдение на дисциплине + ревью
|
||||
(осознанный компромисс, как ORCH-078).
|
||||
- **−** Секция «открытых» может стать короткой/почти пустой — приемлемо (честность > длина, D4).
|
||||
- **Откат:** `git revert` PR — доки/промпт/тест возвращаются к прежнему состоянию; поведение
|
||||
кода/гейтов идентично (kill-switch не нужен — нет рантайм-поведения).
|
||||
|
||||
## Ссылки
|
||||
- BRD: `docs/work-items/ORCH-079/01-brd.md`
|
||||
- TRZ: `docs/work-items/ORCH-079/02-trz.md`
|
||||
- Acceptance: `docs/work-items/ORCH-079/03-acceptance-criteria.md`
|
||||
- Tech-risks: `docs/work-items/ORCH-079/10-tech-risks.md`
|
||||
- Сквозной ADR: `docs/architecture/adr/adr-0023-overview-docs-reviewer-axis-and-epic52-close.md`
|
||||
- Цепочка эпика 52: adr-0019 (52b), adr-0020 (52c), adr-0021 (52d), adr-0022 (52e).
|
||||
- Сверено по коду: `src/agents/launcher.py` (`ensure_worktree`, `_resolve_timeout`),
|
||||
`src/queue_worker.py` (backoff/breaker), `src/qg/checks.py:82,381` (`check_ci_green`/
|
||||
`check_tests_local` DEPRECATED), `src/plane_sync.py:451,541` (`find_issue_id`/
|
||||
`fetch_issue_sequence_id`), `README.md:236–241`, `.openclaw/agents/reviewer.md`,
|
||||
`tests/test_agent_prompts_canon.py`.
|
||||
</content>
|
||||
</invoke>
|
||||
38
docs/work-items/ORCH-079/10-tech-risks.md
Normal file
38
docs/work-items/ORCH-079/10-tech-risks.md
Normal file
@@ -0,0 +1,38 @@
|
||||
---
|
||||
work_item: ORCH-079
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 10 — Технические риски: ORCH-079 — ORCH-52f: синхронизация README + reviewer-ось обзорных доков
|
||||
|
||||
Work Item: **ORCH-079** · Repo: **orchestrator** · Стадия: architecture
|
||||
|
||||
> Информационный (гейтом не парсится). Перечисляет риски реализации и их митигейшн.
|
||||
> Задача — **docs + prompt-only**; рантайм-код не изменяется → класс рисков узкий.
|
||||
|
||||
## Реестр рисков
|
||||
|
||||
| ID | Риск | Вер. | Влия. | Митигейшн |
|
||||
|----|------|------|-------|-----------|
|
||||
| TR-1 | **Ложное «решено».** Пункт объявлен закрытым, но открыт частично (особенно issue-ID `plane_sync`, Playwright-timeout) → витрина снова лжёт, обратный знак | Низ. | Сред. | NFR-3: каждый снятый пункт подтверждён ссылкой на код/задачу (D1-таблица ADR-001); спорные (issue-ID/timeout) переформулированы как «не tracked / устаревшая формулировка», не «закрыто тикетом»; reviewer сверяет по AC-3 |
|
||||
| TR-2 | **Дрейф канона 52d** при правке `reviewer.md` (сломаны 5 XML-секций / формат «❌→✅» / порядок) | Низ. | Выс. | Точечная врезка в существующую ось 4 (NFR-4), без переписывания; структурные тесты `test_agent_prompts_canon.py` (`test_five_xml_sections_present`, `test_six_schema_field_names_present`) ловят слом |
|
||||
| TR-3 | **Касание machine-verdict контракта.** Случайно изменён `verdict:`/значения `APPROVED\|REQUEST_CHANGES` или 6 полей схемы 52c → гейт `check_reviewer_verdict` ложно падает на ВСЕХ задачах | Низ. | Выс. | NFR-2: ключ байт-в-байт; `test_machine_verdict_keys_preserved_exact_case` зелёный; reviewer проверяет diff `reviewer.md` по AC-6 |
|
||||
| TR-4 | **Scope-creep.** Майнинг кодовой базы порождает «новые» открытые ограничения → раздувание, недоказуемые пункты | Сред. | Низ. | D4 ADR-001: «открытые» берутся ТОЛЬКО из уже задокументированных known-limitations; триаж ограничен 6 исходными пунктами; честность > длина |
|
||||
| TR-5 | **Незамеченное касание `src/**`.** Правка/перенос вышли за docs+prompt+test → функциональная регрессия | Низ. | Выс. | NFR-1: `git diff` не содержит `src/**` (AC-6); полный `pytest tests/ -q` зелёный; reviewer гейтит diff |
|
||||
| TR-6 | **Неполная сверка обзорных доков** с кодом: расхождение в таблице стадий/`QG_CHECKS`/моделей осталось непоправленным | Сред. | Низ. | FR-3/FR-4 чек-лист (D3 ADR-001) со ссылками на `STAGE_TRANSITIONS`/`QG_CHECKS`/`resolve_agent_*`; tester сверяет по AC-4 |
|
||||
| TR-7 | **Stale-промпт до следующего worktree.** Reviewer текущей задачи исполняется под СТАРЫМ промптом (промпт `cat`-ается на старте worktree) | Низ. | Низ. | Ожидаемо by design (loading-model NFR-5): правило вступает в силу со следующего worktree от `main`; прод-рестарт НЕ требуется и НЕ выполняется (self-hosting) |
|
||||
|
||||
## Сводный вывод
|
||||
|
||||
Доминирующий класс — **риск целостности контракта ревью-гейта** (TR-2/TR-3): низкая вероятность, но
|
||||
высокое влияние, т.к. `reviewer.md` исполняется на каждой задаче всех проектов. Полностью покрыт
|
||||
структурными тестами `test_agent_prompts_canon.py` + `test_agent_frontmatter_no_model.py` (анти-дрейф)
|
||||
и точечностью правки (NFR-2/NFR-4). Рантайм-рисков нет — `src/`/`STAGE_TRANSITIONS`/`QG_CHECKS`/схема
|
||||
БД не трогаются, kill-switch не требуется, откат = revert PR. **Эскалация `arch:major-change` не
|
||||
требуется; возврат в анализ не требуется.** Остаточный риск для прод-конвейера (self-hosting) —
|
||||
**низкий**.
|
||||
</content>
|
||||
96
docs/work-items/ORCH-079/12-review.md
Normal file
96
docs/work-items/ORCH-079/12-review.md
Normal file
@@ -0,0 +1,96 @@
|
||||
---
|
||||
verdict: APPROVED
|
||||
work_item: ORCH-079
|
||||
stage: review
|
||||
author_agent: reviewer
|
||||
status: approved
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
type: review
|
||||
work_item_id: ORCH-079
|
||||
version: 1
|
||||
---
|
||||
|
||||
# Review ORCH-079 — ORCH-52f: синхронизация README/доков с кодом + reviewer-ось обзорных доков
|
||||
|
||||
## Summary
|
||||
|
||||
PR — финальный слой (52f) эпика ORCH-52, **docs + prompt-only**. Чистый PR без правок `src/`:
|
||||
коммит реализации `131d002` трогает только `README.md`, `.openclaw/agents/reviewer.md`, `CLAUDE.md`,
|
||||
`CHANGELOG.md` и два тест-файла. (Файлы `architect.md`/`developer.md`/`docs/architecture/README.md`/
|
||||
`TRACEABILITY.md` в `git diff main...HEAD` — артефакты ORCH-078, попавшие в трёхточечный diff из-за
|
||||
merge-base раньше мержа ORCH-078; к этому PR отношения не имеют и тоже не являются `src/`.)
|
||||
|
||||
Проверены все четыре оси; каждое утверждение README сверено с фактическим кодом. Findings P0/P1/P2
|
||||
отсутствуют. **Вердикт: APPROVED.**
|
||||
|
||||
## Findings
|
||||
|
||||
### P0 — Blocker
|
||||
- (нет)
|
||||
|
||||
### P1 — Must fix
|
||||
- (нет)
|
||||
|
||||
### P2 — Should fix
|
||||
- (нет)
|
||||
|
||||
### P3 — Nice to have
|
||||
- (нет существенных)
|
||||
|
||||
## Оси проверки
|
||||
|
||||
### 1. Соответствие ТЗ / Acceptance Criteria
|
||||
- **AC-1 (нумерация):** секция «Известные ограничения» перенумерована сквозно `1,2,3` (было
|
||||
`1,2,3,4,3,4`); закреплено тестом `test_open_limitations_numbered_sequentially`. **PASS.**
|
||||
- **AC-2 (решённые сняты с ORCH-ссылкой):** все 4 решённых/устаревших пункта (single-task/worktree,
|
||||
in-process daemon-потоки, Gitea CI, no-retry) перенесены в блок «Закрыто (история)» с ORCH-ссылками;
|
||||
ни один не стоит как «открытый». Дополнительно закрыты Plane-sync и Tester-timeout с обоснованием.
|
||||
Тест `test_resolved_items_not_listed_as_open`. **PASS.**
|
||||
- **AC-3 (оставшиеся реально открыты):** три открытых пункта подтверждены кодом/задачами — Telegram-48h
|
||||
(ORCH-087, known-limitation в CLAUDE.md), intra-repo deps (ORCH-026), serial-gate Этап 1 (ORCH-088).
|
||||
**PASS.**
|
||||
- **AC-5 / FR-5 (reviewer-ось):** в `reviewer.md` добавлена ось обзорных доков (ось 4 `<task>` +
|
||||
`<constraints>`) в каноне «❌→✅» с severity ≥P1. **PASS.**
|
||||
- **AC-7 / FR-6:** ADR-001, сквозной `adr-0023`, `CHANGELOG.md`, `CLAUDE.md` (правило 6) обновлены;
|
||||
новый тест `test_reviewer_carries_overview_docs_axis`. **PASS.**
|
||||
|
||||
### 2. Соответствие ADR / трассировка
|
||||
- Заявленные изменения соответствуют `06-adr/ADR-001` и сквозному `adr-0023` (закрытие эпика 52).
|
||||
- Трассировка: правки сверены с источниками истины; маркированные инварианты конвейера
|
||||
(`STAGE_TRANSITIONS`, `QG_CHECKS`, `verdict:`-контракт) **не тронуты** — глобальные ADR не нарушены.
|
||||
- Точечная синхронизация стадийной таблицы README: `development → check_ci_green` совпадает с
|
||||
`src/stages.py::STAGE_TRANSITIONS` (`"development": {... "qg": "check_ci_green"}`). Корректно.
|
||||
|
||||
### 3. Качество кода
|
||||
- Рантайм-кода нет. Новые тесты содержательны (проверка нумерации, отсутствия решённых среди
|
||||
открытых, наличия closed-trail с ORCH-ссылками, наличия reviewer-оси) — не тривиальны. `pytest`
|
||||
по `test_readme_limitations.py` + `test_agent_prompts_canon.py` + `test_agent_frontmatter_no_model.py`
|
||||
зелёный (**57 passed**).
|
||||
- **Сверка README-утверждений с `src/` (выполнена явно):** `check_ci_green` (qg/checks.py:82) активен,
|
||||
`check_tests_local` DEPRECATED (qg/checks.py:379–381); `ensure_worktree` (launcher); очередь
|
||||
`queue_worker.py`/`jobs`; backoff+breaker (`backoff_*`/`transient_max_attempts`/`breaker_*` в
|
||||
config.py + `CircuitBreaker` в queue_worker.py; env-префикс `ORCH_` корректно даёт
|
||||
`ORCH_BACKOFF_*`/`ORCH_BREAKER_*`/`ORCH_TRANSIENT_MAX_ATTEMPTS`); `find_issue_id`/
|
||||
`fetch_issue_sequence_id` (plane_sync.py); watchdog `agent_timeout_seconds`. Все утверждения точны.
|
||||
|
||||
### 4. Документация (обязательная проверка)
|
||||
- **`src/` НЕ изменён** → P0 «код изменён, доки не обновлены» неприменим.
|
||||
- Это сам по себе docs-PR, и документация обновлена полно и согласованно.
|
||||
- **AC-4 (`docs/architecture/README.md` ↔ код):** файл этим PR не правился; проверено, что он уже НЕ
|
||||
противоречит коду в затронутых областях — стадийная таблица (стр.33 `development | check_ci_green`),
|
||||
реестр `QG_CHECKS` (стр.40, полный список совпадает с `src/qg/checks.py::QG_CHECKS`), таблица
|
||||
моделей/эффортов (стр.136–141: все `claude-opus-4-8`; developer=`xhigh`, tester/deployer=`medium`,
|
||||
прочие=`high`) — соответствует резолву. Отсутствие правки обосновано (расхождений нет). **PASS.**
|
||||
- **ORCH-079 / правило обзорных доков соблюдено самим PR:** README — обзорная витрина — приведён в
|
||||
соответствие с кодом, решённые ограничения помечены закрытыми с ORCH-ссылками. Reviewer-ось,
|
||||
закрепляющая это правило на будущее, добавлена в промпт и тест.
|
||||
|
||||
## Документация
|
||||
|
||||
Обновлено и проверено: `README.md` (нумерация + closed-trail + точечная сверка), `.openclaw/agents/
|
||||
reviewer.md` (ось обзорных доков, канон 52d, `verdict:`/5 XML-секций/6 полей схемы 52c байт-в-байт —
|
||||
подтверждено `test_agent_prompts_canon.py`), `CLAUDE.md` (правило 6), `CHANGELOG.md` (`[Unreleased]`,
|
||||
ORCH-079), `docs/work-items/ORCH-079/06-adr/ADR-001-…`, `docs/architecture/adr/adr-0023-…` (закрытие
|
||||
эпика 52). `docs/architecture/README.md` правки не требовал (уже согласован с кодом). Документация в
|
||||
полном порядке — `REQUEST_CHANGES` по оси документации не требуется.
|
||||
74
docs/work-items/ORCH-079/13-test-report.md
Normal file
74
docs/work-items/ORCH-079/13-test-report.md
Normal file
@@ -0,0 +1,74 @@
|
||||
---
|
||||
result: PASS
|
||||
work_item: ORCH-079
|
||||
stage: testing
|
||||
author_agent: tester
|
||||
status: pass
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
type: test-report
|
||||
work_item_id: ORCH-079
|
||||
---
|
||||
|
||||
# Test Report — ORCH-079
|
||||
|
||||
ORCH-52f: синхронизация README/доков с кодом + reviewer-ось обзорных доков (финал эпика 52).
|
||||
**docs + prompt-only**: `src/**` не тронут (подтверждено git diff). Review-вердикт — `APPROVED`.
|
||||
|
||||
## Окружение
|
||||
- Python: 3.12.13
|
||||
- pytest: 8.3.3
|
||||
- Worktree: `/repos/_wt/orchestrator/feature_ORCH-079-orch-52f-readme-reviewer`
|
||||
- Ветка: `feature/ORCH-079-orch-52f-readme-reviewer`
|
||||
- Дата: 2026-06-09
|
||||
|
||||
## Smoke API (read-only, прод 8500)
|
||||
| Endpoint | Результат |
|
||||
|----------|-----------|
|
||||
| `GET /health` | `{"status":"ok","service":"orchestrator"}` — OK |
|
||||
| `GET /status` | OK — ORCH-079 (id 72) на стадии `testing`, активная очередь читается |
|
||||
| `GET /queue` | OK — breaker `closed`, preflight_ok, `done:1019`, `failed:4` (исторические) |
|
||||
|
||||
Прод-контейнер не трогался (read-only smoke, без рестарта — self-hosting инвариант соблюдён).
|
||||
|
||||
## Результаты (покрытие ТЗ — TC из 04-test-plan.yaml)
|
||||
|
||||
| TC ID | Описание | AC | Результат |
|
||||
|-------|----------|----|-----------|
|
||||
| TC-01 | `reviewer.md` покрывает обзорные доки (README «Известные ограничения») — `test_reviewer_carries_overview_docs_axis` | AC-5/FR-5 | PASS |
|
||||
| TC-02 | Анти-регресс machine-verdict: `verdict: APPROVED\|REQUEST_CHANGES` байт-в-байт — `test_machine_verdict_keys_preserved_exact_case` | AC-6/NFR-2 | PASS |
|
||||
| TC-03 | Канон 52d: 5 XML-секций + 6 полей схемы 52c во всех 6 промптах — `test_five_xml_sections_present` / `test_six_schema_field_names_present` | AC-6 | PASS |
|
||||
| TC-04 | frontmatter без мёртвого `model:` остаётся валидным — `test_agent_frontmatter_no_model.py` (12 тестов) | AC-6 | PASS |
|
||||
| TC-05 | README «Известные ограничения»: последовательная нумерация + решённые не значатся открытыми + closed-trail с ORCH-ссылками — `test_readme_limitations.py` (3 теста) | AC-1/AC-2/AC-3 | PASS |
|
||||
| TC-06 | Полный регресс `pytest tests/` зелёный; `git diff --name-only main...HEAD -- 'src/**'` пуст (STAGE_TRANSITIONS/QG_CHECKS/check_*/схема БД не тронуты) | AC-6/NFR-1 | PASS |
|
||||
|
||||
**Примечание к TC-06:** трёхточечный `git diff main...HEAD` показывает также артефакты ORCH-078
|
||||
(`architect.md`/`developer.md`/`TRACEABILITY.md` и др.) — это следствие merge-base до мержа ORCH-078,
|
||||
к данному PR отношения не имеют и тоже не входят в `src/`. Фильтр `-- 'src/**'` пуст → рантайм-код
|
||||
не изменён.
|
||||
|
||||
## Вывод pytest
|
||||
|
||||
Целевой набор (TC-01..05):
|
||||
```
|
||||
tests/test_readme_limitations.py ......... (3)
|
||||
tests/test_agent_prompts_canon.py ........ (42)
|
||||
tests/test_agent_frontmatter_no_model.py . (12)
|
||||
57 passed, 1 warning in 0.45s
|
||||
```
|
||||
|
||||
Полный регресс (TC-06):
|
||||
```
|
||||
python -m pytest tests/ -q
|
||||
............................................................ [100%]
|
||||
1257 passed, 1 warning in 34.10s
|
||||
```
|
||||
|
||||
(Единственный warning — `PydanticDeprecatedSince20` в `src/config.py`, исторический, не связан с
|
||||
задачей и не влияет на результат.)
|
||||
|
||||
## Итог
|
||||
Все TC (TC-01…TC-06) — **PASS**; smoke `/health`, `/status`, `/queue` — OK; `src/**` не тронут;
|
||||
полный регресс `1257 passed`. Машинный вердикт:
|
||||
|
||||
**PASS**
|
||||
12
docs/work-items/ORCH-079/14-deploy-log.md
Normal file
12
docs/work-items/ORCH-079/14-deploy-log.md
Normal file
@@ -0,0 +1,12 @@
|
||||
---
|
||||
deploy_status: SUCCESS
|
||||
work_item: ORCH-079
|
||||
hook_exit_code: 0
|
||||
deployed_by: deploy-finalizer
|
||||
---
|
||||
|
||||
# Deploy log — ORCH-036 executable self-deploy
|
||||
|
||||
Прод-деплой завершён хост-хуком с exit-code `0` -> `deploy_status: SUCCESS`.
|
||||
|
||||
Вердикт зафиксирован детерминированным finalizer'ом (Фаза C), не LLM.
|
||||
39
docs/work-items/ORCH-079/15-staging-log.md
Normal file
39
docs/work-items/ORCH-079/15-staging-log.md
Normal file
@@ -0,0 +1,39 @@
|
||||
---
|
||||
staging_status: SUCCESS
|
||||
work_item: ORCH-079
|
||||
stage: deploy-staging
|
||||
author_agent: deployer
|
||||
status: success
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
timestamp: 2026-06-09T13:31:56Z
|
||||
base_url: http://localhost:8501
|
||||
---
|
||||
|
||||
# Staging Gate Log
|
||||
|
||||
> Машинный вердикт читается ТОЛЬКО из `staging_status:` во frontmatter. `SUCCESS` → дальше; `FAILED` → откат.
|
||||
|
||||
Staging test suite выполнен канонически внутри контейнера `orchestrator-staging` (8501):
|
||||
|
||||
```
|
||||
docker exec orchestrator-staging \
|
||||
python3 /repos/orchestrator/scripts/staging_check.py \
|
||||
--base-url http://localhost:8501 --mode stub
|
||||
```
|
||||
|
||||
**Итог: 8/10 checks PASS, exit code 0.** Все REAL-проверки зелёные; два FAIL — известная
|
||||
sandbox-infra (C9a/C9b), waived по ORCH-061 (tolerance enabled). Exit 0 → advance.
|
||||
|
||||
INFRA-WAIVED: C9a Branch appears in orchestrator-sandbox, C9b Analyst job enqueued in staging queue (known sandbox-infra; real checks green)
|
||||
VERDICT: SUCCESS (exit 0) — SUCCESS (infra-waived): C9a/C9b are known sandbox-infra checks; all real checks green
|
||||
|
||||
## Results
|
||||
- **Block A (SMOKE)**: PASS — `/health`, `/queue`, `ORCH_STAGING=true`.
|
||||
- **Block B (ACCESS)**: PASS — Plane sandbox (R), Gitea sandbox (R+push), registry isolation (B6).
|
||||
- **Block C (E2E)**: PASS (real) — C7 create issue (HTTP 201), C8 trigger pipeline `/webhook/plane`
|
||||
(HTTP 200), CLEANUP deleted Plane issue (HTTP 204). C9a/C9b — sandbox-infra waived (depend on
|
||||
SANDBOX bot accounts being project members, not on the pipeline).
|
||||
|
||||
REAL failed: none.
|
||||
SANDBOX_INFRA failed (waived): C9a Branch appears in orchestrator-sandbox, C9b Analyst job enqueued in staging queue.
|
||||
7
docs/work-items/ORCH-090/00-business-request.md
Normal file
7
docs/work-items/ORCH-090/00-business-request.md
Normal file
@@ -0,0 +1,7 @@
|
||||
# Business Request: Механизм отмены задачи: статус STOP в Plane (остановка + полный сброс)
|
||||
|
||||
Work Item ID: ORCH-090
|
||||
|
||||
## Description
|
||||
|
||||
TBD
|
||||
165
docs/work-items/ORCH-090/01-brd.md
Normal file
165
docs/work-items/ORCH-090/01-brd.md
Normal file
@@ -0,0 +1,165 @@
|
||||
---
|
||||
work_item: ORCH-090
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 01 — BRD (бизнес-требования): ORCH-090 — Механизм отмены задачи: статус STOP в Plane (остановка + полный сброс)
|
||||
|
||||
Work Item: **ORCH-090** · Repo: **orchestrator** · Стадия: analysis
|
||||
|
||||
## 1. Бизнес-контекст и проблема
|
||||
|
||||
Сегодня в оркестраторе **нет штатного способа отменить/остановить задачу**. Оператор вынужден
|
||||
выполнять разрозненные ручные действия: убить процесс агента, дождаться исчерпания ретраев job,
|
||||
удалить ветку/worktree/строку task из БД и вручную сбросить статус в Plane. Это медленно,
|
||||
ошибкоопасно и не воспроизводимо (инцидент 09.06 с ORCH-087 — оператор делал всё это руками).
|
||||
|
||||
Вторая, связанная проблема — **дыра ручного релонча**: `src/webhooks/plane.py::handle_status_start`
|
||||
при ручном переводе задачи в рабочий статус (через «To Analyse» / In Progress) **повторно ставит в
|
||||
очередь агента текущей стадии на той же ветке** (`has_active_job_for_task` → иначе
|
||||
`enqueue_job(stage_agent, …)`). Это означает, что попытка оператора «подтолкнуть» задачу сменой
|
||||
статуса может незаметно релончить агента — именно этот механизм усугубил сегодняшний инцидент.
|
||||
|
||||
Требуется единый, декларативный механизм: **перевод задачи в новый Plane-статус STOP →
|
||||
оркестратор немедленно останавливает всю работу по задаче и полностью сбрасывает её прогресс**.
|
||||
Повторный запуск возможен ТОЛЬКО через «To Analyse» (с нуля). Никакой другой статус пайплайн не
|
||||
запускает.
|
||||
|
||||
**Установленные факты (по текущему коду, не изобретать):**
|
||||
- Машина стадий — `src/stages.py::STAGE_TRANSITIONS`; терминальная стадия только `done`
|
||||
(`cancelled`-стадии нет).
|
||||
- Plane-маппинг — `src/plane_sync.py`: `_PLANE_NAME_TO_KEY` уже содержит `"Cancelled" → "cancelled"`,
|
||||
`_DEFAULT_STATES` содержит UUID `cancelled`; имени «STOP» в маппинге сейчас нет.
|
||||
- Остановка процесса агента уже реализована как graceful-каскад в
|
||||
`src/agents/launcher.py::_watchdog` (SIGTERM → grace `agent_kill_grace_seconds` → SIGKILL); PID
|
||||
задачи хранится в `jobs.pid`.
|
||||
- Статусы job в `jobs` — `queued | running | done | failed`; статуса `cancelled` нет.
|
||||
- Терминал-скип для реконсилятора/мониторов уже учитывает `done` и `cancelled`
|
||||
(`src/reconciler.py::_is_terminal_state`, ORCH-068/086).
|
||||
- Запуск пайплайна с нуля — `handle_status_start → start_pipeline` (создаёт ветку + docs + analyst).
|
||||
|
||||
## 2. Объём (scope)
|
||||
|
||||
### В объёме
|
||||
- Новый Plane-статус **STOP** как сигнал отмены задачи (распознавание в диспетчере статусов).
|
||||
- **Остановка задачи (G1):** graceful-стоп активного агента (SIGTERM), отмена всех job'ов задачи
|
||||
(queued/running → терминальный «cancelled»-исход), исчерпание ретраев (запрет авто-requeue),
|
||||
снятие таймеров/мониторов (post-deploy monitor, brd-review clock и т.п.).
|
||||
- **Полный сброс прогресса (G2):** удаление/архив рабочей ветки и worktree, очистка незавершённого
|
||||
прогресса задачи в БД так, чтобы повторный старт шёл строго через `start_pipeline` (с нуля).
|
||||
Docs-артефакты задачи — сохранить/забэкапить (не теряем аналитику).
|
||||
- **Закрытие дыры релонча (G3/G4):** перевод в любой промежуточный рабочий статус
|
||||
(Development/Architecture/Review/Deploying/…) вручную **не** запускает агента; единственный вход
|
||||
к запуску пайплайна — «To Analyse» (старт с нуля).
|
||||
- **Идемпотентность и fail-safe (G5):** STOP на уже остановленной/завершённой задаче — no-op; STOP
|
||||
во время критичной операции (merge/deploy) — корректное прерывание без порчи `main`/прода.
|
||||
- Kill-switch фичи; наблюдаемость (лог + Telegram + блок в `GET /queue`).
|
||||
- Обновление документации (CLAUDE.md, architecture/README.md, CHANGELOG.md) и инфра-предусловие
|
||||
(создать статус STOP на доске Plane).
|
||||
|
||||
### Вне объёма
|
||||
- Автоматическая отмена задач по таймауту/эвристике — STOP только по явному человеческому сигналу.
|
||||
- Возобновление задачи «с середины» после STOP — сознательно НЕ поддерживается (только перезапуск
|
||||
с нуля через To Analyse).
|
||||
- Изменение семантики Rejected (откат на стадию назад) — STOP это отдельный путь, не Rejected.
|
||||
- Изменение состава/семантики `STAGE_TRANSITIONS` exit-гейтов и `QG_CHECKS` / `check_*`.
|
||||
- Откат уже задеплоенного в прод кода (rollback) — STOP не выполняет rollback; он лишь прерывает
|
||||
незавершённую работу безопасно.
|
||||
- Кросс-проектная отмена пакета задач (отменяется одна задача за сигнал).
|
||||
|
||||
## 3. Заинтересованные стороны
|
||||
|
||||
- **Заказчик / владелец продукта:** Слава (идея STOP-статуса).
|
||||
- **Оператор оркестратора** (Стрим и др.) — главный потребитель: получает кнопку «отменить» вместо
|
||||
ручной хирургии по БД/процессам.
|
||||
- **Затрагиваемые проекты:** orchestrator (self-hosting) и enduro-trails (общая прод-БД/очередь) —
|
||||
изменения должны быть аддитивны и не задевать enduro при выключенном/неприменимом флаге.
|
||||
- **Принимает результат:** reviewer/tester по критериям приёмки (`03`/`04`).
|
||||
|
||||
## 4. Бизнес-требования (BR)
|
||||
|
||||
- **BR-1 (STOP останавливает работу)** — перевод задачи в Plane-статус STOP → оркестратор
|
||||
останавливает всю работу по задаче: (a) активному агенту посылается SIGTERM (graceful, с
|
||||
последующим жёстким kill по существующему grace-каскаду); (b) все job'ы задачи (queued и running)
|
||||
переводятся в терминальный «отменённый» исход и не выбираются claim'ом; (c) ретраи исчерпываются
|
||||
(никакого авто-requeue после STOP); (d) таймеры/мониторы задачи (post-deploy monitor, brd-review
|
||||
clock, merge-lease defer и т.п.) снимаются. Контракт фичи — **never-raise**.
|
||||
- **BR-2 (STOP = полный сброс)** — после STOP задача НЕ продолжается с середины. Рабочая
|
||||
ветка+worktree удаляются/архивируются; незавершённый прогресс задачи в БД очищается или
|
||||
помечается так, что повторный запуск идёт через `start_pipeline` с нуля (свежая ветка от
|
||||
актуального `origin/main`, новый аналитик). Docs-артефакты (`01..17`) — сохранить/забэкапить.
|
||||
- **BR-3 (единственный вход — To Analyse)** — единственный Plane-статус, запускающий пайплайн —
|
||||
«To Analyse» (старт с нуля). После STOP повторный «To Analyse» создаёт задачу заново.
|
||||
- **BR-4 (закрыть дыру релонча)** — ручной перевод задачи в любой промежуточный рабочий статус
|
||||
(Architecture/Development/Review/Testing/Deploying/Awaiting Deploy/…) **не** запускает агента
|
||||
соответствующей стадии. Текущее поведение `handle_status_start`, релончащее агента текущей стадии
|
||||
на той же ветке, должно быть устранено/загейчено так, чтобы пайплайн стартовал только из
|
||||
«To Analyse».
|
||||
- **BR-5 (идемпотентность)** — STOP на задаче, которая уже остановлена (cancelled), уже `done` или
|
||||
не существует, — **no-op** (без ошибок, без побочных эффектов, без повторного kill).
|
||||
- **BR-6 (безопасное прерывание критичных операций)** — STOP во время merge/deploy не оставляет
|
||||
`main` в half-merged состоянии и не роняет/не рестартит прод-контейнер. Если критичный шаг уже
|
||||
необратимо запущен (детач-деплой/слияние в процессе), STOP не должен его «разорвать» с порчей —
|
||||
допустимо дождаться/пропустить необратимый шаг и зафиксировать честный итог (детали безопасной
|
||||
точки прерывания — архитектору).
|
||||
- **BR-7 (STOP ≠ Rejected)** — STOP это полная остановка+сброс задачи, а не откат на предыдущую
|
||||
стадию. Существующий путь Rejected (`handle_verdict(approved=False)` → `_rollback_stage`) не
|
||||
меняется и не смешивается с STOP.
|
||||
- **BR-8 (наблюдаемость)** — каждое срабатывание STOP прозрачно: лог, Telegram-уведомление (с
|
||||
кликабельным номером задачи), Plane-коммент (best-effort), отражение в live-карточке и read-only
|
||||
блок в `GET /queue`.
|
||||
|
||||
## 5. Нефункциональные требования (NFR)
|
||||
|
||||
- **NFR-1 (нулевая регрессия + kill-switch)** — фича под флагом включения (по образцу
|
||||
`serial_gate_enabled`/`merge_gate_enabled`); при выключенном флаге поведение оркестратора строго
|
||||
как сейчас. `STAGE_TRANSITIONS` / `QG_CHECKS` / `check_*` / семантика существующих статусов — без
|
||||
изменений.
|
||||
- **NFR-2 (общая прод-БД, аддитивность)** — любые изменения схемы БД — только аддитивные и
|
||||
идемпотентные (`CREATE TABLE IF NOT EXISTS` / `_ensure_column`); enduro-trails не затрагивается.
|
||||
- **NFR-3 (self-hosting safety)** — STOP не должен убить сам оркестратор / прод и не портить `main`.
|
||||
Прерывание merge/deploy — fail-safe (не оставлять half-merge; не рестартить прод).
|
||||
- **NFR-4 (restart-safe)** — состояние «задача отменена» durable (БД); после рестарта контейнера
|
||||
отменённая задача не «оживает» и не релончится reconciler'ом/reaper'ом (переиспользовать
|
||||
терминал-скип `done`/`cancelled`).
|
||||
- **NFR-5 (never-raise)** — обработчик STOP и закрытие дыры релонча не должны валить вебхук-поток;
|
||||
ошибка на единице работы логируется и не прерывает обработку других задач/проектов.
|
||||
- **NFR-6 (offline-устойчивость горячего пути)** — закрытие дыры релонча и терминал-скип не должны
|
||||
добавлять обязательных сетевых вызовов в горячий claim-цикл.
|
||||
|
||||
## 6. Допущения и ограничения
|
||||
|
||||
- На доске Plane проекта ORCH будет создан статус **STOP** (инфра-предусловие); до его создания
|
||||
фича в режиме fail-safe (нет статуса → нет STOP-действия, ничего не ломается).
|
||||
- Логический ключ `cancelled` и его UUID/группа уже присутствуют в `plane_sync` — STOP может
|
||||
переиспользовать «cancelled»-семантику терминал-скипа (точное соответствие имя→ключ и
|
||||
группа-`cancelled` — решение архитектора).
|
||||
- Существующий graceful kill-каскад агента (`_watchdog`: SIGTERM→grace→SIGKILL) переиспользуется
|
||||
для остановки активного агента; новый механизм kill не изобретается.
|
||||
- Терминал-скип `done`/`cancelled` в `reconciler`/мониторах уже есть и должен покрыть
|
||||
STOP-отменённые задачи (NFR-4) — переиспользовать, не дублировать.
|
||||
- Архитектурные решения (хранилище статуса отмены, точка безопасного прерывания merge/deploy,
|
||||
удаление vs архив ветки, точные точки врезки в `plane.py`) — зона архитектора (`06-adr/`).
|
||||
|
||||
## 7. Критерии успеха
|
||||
|
||||
STOP-статус, выставленный на задаче, приводит к: остановленному агенту, отменённым job'ам без
|
||||
авто-requeue, снятым таймерам/мониторам, удалённой/заархивированной ветке+worktree, durable-статусу
|
||||
«отменена» (переживает рестарт), сохранённым docs-артефактам. Ручной перевод в промежуточный
|
||||
рабочий статус более не релончит агента; пайплайн стартует только из «To Analyse». STOP
|
||||
идемпотентен и безопасен при merge/deploy. Детальные PASS/FAIL — в `03-acceptance-criteria.md`.
|
||||
|
||||
## 8. Риски
|
||||
|
||||
- Гонка «STOP во время merge/deploy» → риск half-merge/порчи `main` (mitigation: безопасная точка
|
||||
прерывания, fail-safe — детали архитектору).
|
||||
- Закрытие дыры релонча может задеть легитимный сценарий resume после «Needs Input» → нужно
|
||||
сохранить намеренные сценарии возврата к работе, не ломая их (уточнить с архитектором, какой путь
|
||||
заменяет релонч).
|
||||
- Очистка прогресса в БД при общей прод-БД → риск задеть enduro/другие задачи (mitigation:
|
||||
строго per-task, аддитивно).
|
||||
- Детали — `10-tech-risks.md` (заполняет архитектор).
|
||||
191
docs/work-items/ORCH-090/02-trz.md
Normal file
191
docs/work-items/ORCH-090/02-trz.md
Normal file
@@ -0,0 +1,191 @@
|
||||
---
|
||||
work_item: ORCH-090
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 02 — ТЗ (TRZ): ORCH-090 — Механизм отмены задачи: статус STOP в Plane (остановка + полный сброс)
|
||||
|
||||
Work Item: **ORCH-090** · Repo: **orchestrator** · Стадия: analysis
|
||||
|
||||
> ТЗ описывает **что** и **где** должно измениться (модули/контракты/артефакты), выведенное из BRD
|
||||
> и фактического кода. **Как** (хранилище статуса отмены, точка безопасного прерывания merge/deploy,
|
||||
> удаление vs архив ветки, точные точки врезки) — решает архитектор в `06-adr/`. ТЗ фиксирует
|
||||
> требования и границы, не предлагает архитектурное решение.
|
||||
|
||||
---
|
||||
|
||||
## 1. Сводка изменения
|
||||
|
||||
Ввести обработку нового Plane-статуса **STOP** как сигнала отмены задачи. При его получении
|
||||
оркестратор: (1) останавливает активного агента (graceful SIGTERM через существующий каскад),
|
||||
(2) отменяет все job'ы задачи и исчерпывает ретраи, (3) снимает таймеры/мониторы, (4) удаляет/
|
||||
архивирует рабочую ветку+worktree и сбрасывает незавершённый прогресс в БД до состояния «отменена»
|
||||
(durable), сохраняя docs-артефакты. Параллельно закрывается **дыра релонча**: ручной перевод в
|
||||
промежуточный рабочий статус больше не запускает агента — единственный вход к запуску пайплайна
|
||||
остаётся «To Analyse» (`start_pipeline`). Всё — аддитивно, под kill-switch, never-raise,
|
||||
restart-safe. `STAGE_TRANSITIONS`, `QG_CHECKS`, `check_*` и семантика существующих статусов —
|
||||
**не меняются**.
|
||||
|
||||
---
|
||||
|
||||
## 2. Задействованные модули / пути
|
||||
|
||||
| Путь | Действие |
|
||||
|------|----------|
|
||||
| `src/webhooks/plane.py` | изменить: добавить распознавание/маршрутизацию STOP (`handle_issue_updated`) → новый обработчик `handle_stop` (имя — на усмотрение архитектора); **загейтить/убрать релонч агента** в `handle_status_start` (промежуточные статусы не запускают агента; пайплайн — только из `To Analyse`/`start_pipeline`) |
|
||||
| `src/agents/launcher.py` | изменить: предоставить/переиспользовать остановку активного процесса задачи (SIGTERM каскад `_watchdog`; `jobs.pid`), пометку «не релончить» (исчерпание `max_attempts`/запрет авто-requeue для отменённой задачи) |
|
||||
| `src/queue_worker.py` / `src/db.py` | изменить: отмена job'ов задачи (queued/running → терминальный «cancelled»-исход); claim не выбирает отменённые; helper'ы выборки job'ов задачи; (возможно) новый терминальный статус job `cancelled` ИЛИ переиспользование `failed`+флаг — выбор архитектора; durable-пометка задачи «отменена» в `tasks` |
|
||||
| `src/git_worktree.py` | изменить/переиспользовать: удаление/архив рабочей ветки и worktree отменённой задачи (`remove_worktree`; удаление/архив Gitea-ветки) — never-raise |
|
||||
| `src/plane_sync.py` | изменить: маппинг Plane-статуса STOP (`_PLANE_NAME_TO_KEY` / `_DEFAULT_STATES`); переиспользовать группу `cancelled` для терминал-скипа; сеттер статуса (best-effort) |
|
||||
| `src/stages.py` | при необходимости — терминальная трактовка отменённой задачи (НЕ менять exit-гейты рёбер; добавление `cancelled`-стадии — решение архитектора, см. §5) |
|
||||
| `src/reconciler.py` | переиспользовать терминал-скип `done`/`cancelled` (`_is_terminal_state`) — отменённая задача не реконсилируется/не релончится |
|
||||
| `src/job_reaper.py` | согласовать: reaper не «оживляет» отменённые job'ы (терминальный исход не requeue'ится) |
|
||||
| `src/stage_engine.py` | согласовать: снятие таймеров/мониторов (post-deploy monitor, brd-review clock) и безопасное прерывание merge/deploy при STOP |
|
||||
| `src/notifications.py` | переиспользовать `send_telegram`/`update_task_tracker` для алерта/карточки отмены (never-raise, кликабельный номер) |
|
||||
| `src/config.py` | изменить: новый kill-switch `stop_status_enabled` (+ при необходимости область репо/доп-флаги) по образцу `serial_gate_enabled` |
|
||||
| `src/main.py` | изменить: read-only блок наблюдаемости отмены в `GET /queue` (аддитивно) |
|
||||
| `docs/architecture/README.md`, `CLAUDE.md`, `CHANGELOG.md` | обновить в том же PR (golden source) |
|
||||
| `tests/` | добавить тесты (см. `04-test-plan.yaml`) |
|
||||
|
||||
> Чистую логику распознавания/решения по STOP желательно вынести в leaf-модуль (по образцу
|
||||
> `src/serial_gate.py` / `src/labels.py`, never-raise) — окончательно решает архитектор.
|
||||
|
||||
---
|
||||
|
||||
## 3. Функциональные требования
|
||||
|
||||
### FR-1 — Распознавание и маршрутизация STOP (BR-1, BR-5)
|
||||
- `handle_issue_updated` (`webhooks/plane.py`) распознаёт перевод задачи в логический статус STOP
|
||||
(через `_PLANE_NAME_TO_KEY`/группа `cancelled`) и маршрутизирует в обработчик отмены.
|
||||
- Обработчик идемпотентен: если задача уже отменена / `done` / отсутствует → no-op (BR-5).
|
||||
- Контракт — never-raise: ошибка обработки STOP логируется, вебхук-поток не падает (NFR-5).
|
||||
|
||||
### FR-2 — Остановка активного агента (BR-1a)
|
||||
- Для running-job'а задачи послать активному процессу SIGTERM (graceful) через существующий
|
||||
каскад `launcher._watchdog` (SIGTERM → grace `agent_kill_grace_seconds` → SIGKILL); PID берётся
|
||||
из `jobs.pid`.
|
||||
- Если активного процесса нет (idle/queued) — шаг no-op.
|
||||
|
||||
### FR-3 — Отмена job'ов и исчерпание ретраев (BR-1b, BR-1c)
|
||||
- Все job'ы задачи (`status IN (queued, running)`) переводятся в **терминальный отменённый исход**
|
||||
так, что `claim_next_job` их больше не выбирает и `_finalize_*`/reaper не делает авто-requeue.
|
||||
- Запрет авто-requeue: после STOP `attempts` считаются исчерпанными (либо отдельный терминальный
|
||||
статус job `cancelled`, либо `failed`+маркер — выбор архитектора). Reaper (`job_reaper.py`) и
|
||||
`_finalize_permanent` не должны возвращать отменённый job в `queued`.
|
||||
|
||||
### FR-4 — Снятие таймеров и мониторов (BR-1d)
|
||||
- При STOP снимаются/обнуляются связанные с задачей таймеры и фоновые наблюдатели: post-deploy
|
||||
monitor (ORCH-021), brd-review clock (ORCH-087), отложенные defer'ы merge-lease/serial-gate.
|
||||
- Терминал-скип `done`/`cancelled` (`reconciler._is_terminal_state`, ORCH-068/086) применяется к
|
||||
отменённой задаче, чтобы реконсилятор/мониторы её не трогали (NFR-4).
|
||||
|
||||
### FR-5 — Полный сброс прогресса (BR-2)
|
||||
- Рабочая ветка и worktree задачи удаляются/архивируются (`git_worktree.remove_worktree` + удаление/
|
||||
архив Gitea-ветки; never-raise). `main` не трогается, force-push в `main` запрещён.
|
||||
- Незавершённый прогресс задачи в БД приводится к durable-состоянию «отменена» так, что повторный
|
||||
запуск возможен ТОЛЬКО через `start_pipeline` с нуля (новая ветка от свежего `origin/main`, новый
|
||||
analyst). Конкретика «очистить строку vs пометить cancelled» — архитектору; инвариант:
|
||||
возобновления «с середины» не происходит.
|
||||
- **Docs-артефакты задачи (`01..17`) сохраняются/бэкапятся** — не удаляются вместе с прогрессом.
|
||||
|
||||
### FR-6 — Закрытие дыры релонча (BR-3, BR-4)
|
||||
- `handle_status_start` (или эквивалентная точка) **не должен релончить агента текущей стадии** при
|
||||
ручном переводе в промежуточный рабочий статус (Architecture/Development/Review/Testing/
|
||||
Deploying/Awaiting Deploy/Monitoring/…).
|
||||
- Запуск пайплайна остаётся возможен **только** через статус «To Analyse» → `start_pipeline`
|
||||
(создание ветки + docs + enqueue analyst). Любой намеренный сценарий «вернуть задачу в работу»
|
||||
(например, после Needs Input) должен быть пересмотрен так, чтобы НЕ опираться на авто-релонч
|
||||
агента сменой рабочего статуса (точный заменяющий механизм — архитектору).
|
||||
|
||||
### FR-7 — Безопасное прерывание критичных операций (BR-6, NFR-3)
|
||||
- STOP во время merge/deploy не оставляет `main` в half-merged состоянии и не рестартит/не роняет
|
||||
прод-контейнер. Если необратимый шаг (detached self-deploy / слияние PR) уже запущен — STOP не
|
||||
«разрывает» его с порчей: допускается дать необратимому шагу завершиться/зафиксировать честный
|
||||
исход, после чего применить отмену. Точка безопасного прерывания и обработка merge-lease — ADR.
|
||||
|
||||
### FR-8 — Наблюдаемость (BR-8)
|
||||
- Каждое срабатывание STOP: `logger.info/warning` (что остановлено/сброшено), Telegram-алерт
|
||||
(`send_telegram`, кликабельный номер `plane_issue_link`), Plane-коммент (best-effort), обновление
|
||||
live-карточки (`update_task_tracker`, never-raise), read-only блок отмены в `GET /queue`.
|
||||
|
||||
---
|
||||
|
||||
## 4. Изменения API
|
||||
|
||||
- **Новых обязательных публичных endpoint'ов нет.** Триггер STOP — смена статуса Plane (webhook),
|
||||
не REST. (По аналогии с ORCH-088 возможен опциональный админ-эндпоинт принудительной отмены —
|
||||
на усмотрение архитектора; если вводится, описать в ADR и таблице API README.)
|
||||
- `GET /queue` — **аддитивно**: новый read-only блок (например `stop`/`cancel`) — флаг `enabled`,
|
||||
счётчик отменённых задач/job'ов, последние отмены. Существующие ключи не меняются; never-raise.
|
||||
- Внешний контракт вебхука `POST /webhook/plane` — не меняется (новая ветка обработки статуса
|
||||
внутри `handle_issue_updated`).
|
||||
|
||||
---
|
||||
|
||||
## 5. Изменения схемы БД
|
||||
|
||||
> Только **аддитивные, идемпотентные** миграции (общая прод-БД; enduro не трогать).
|
||||
> `CREATE TABLE IF NOT EXISTS` / `_ensure_column`.
|
||||
|
||||
- **Статус job «отменён» (FR-3):** требуется терминальный исход, который не requeue'ится. Варианты
|
||||
(выбор — архитектор): новый статус `jobs.status='cancelled'` ИЛИ переиспользование `failed` +
|
||||
аддитивный маркер. Требование к выбранному варианту: claim/finalize/reaper не возвращают его в
|
||||
`queued`; restart-safe.
|
||||
- **Состояние задачи «отменена» (FR-5, NFR-4):** durable-признак, что задача отменена и не
|
||||
возобновляется с середины. Варианты: добавление терминальной стадии `cancelled` в `tasks.stage`
|
||||
(учитывается терминал-скипом `done`/`cancelled`, уже поддержан reconciler'ом) ИЛИ аддитивная
|
||||
колонка/таблица. `STAGE_TRANSITIONS` (exit-гейты рёбер) при этом **не меняются** — отмена это
|
||||
терминальное состояние, не новое ребро конвейера.
|
||||
- `QG_CHECKS`, `check_*`, `job_deps`, `agent_runs`-контракт, `repo_freeze` — **без изменений**.
|
||||
|
||||
---
|
||||
|
||||
## 6. Требования к новым/изменённым QG checks
|
||||
|
||||
- **Новых QG-проверок не вводить.** STOP — это решение диспетчера статусов/планировщика (отмена),
|
||||
а не Quality Gate стадии. Реестр `QG_CHECKS` и `check_*` не меняются (по образцу `task_deps`
|
||||
ORCH-026 и `serial_gate` ORCH-088 — логика в обработчике/claim, не новый QG).
|
||||
|
||||
---
|
||||
|
||||
## 7. Совместимость / регресс
|
||||
|
||||
- **Kill-switch:** новый флаг `stop_status_enabled` (env `ORCH_STOP_STATUS_ENABLED`) по образцу
|
||||
`serial_gate_enabled`; `False` → STOP-обработка и закрытие дыры релонча ведут себя нейтрально
|
||||
(поведение строго как сейчас, нулевая регрессия). При необходимости — область репо
|
||||
(`stop_status_repos`, CSV) с дефолтом «все репо» (отмена осмысленна и для enduro).
|
||||
- **Аддитивность БД (NFR-2):** только идемпотентные миграции; enduro при выключенном/неприменимом
|
||||
флаге не затрагивается.
|
||||
- **Инварианты (не нарушать):** `STAGE_TRANSITIONS`, реестр `QG_CHECKS`, `check_*`, exit-коды
|
||||
deploy-хука, merge-gate (ORCH-043), merge-verify (ORCH-071/073), image-freshness (ORCH-058),
|
||||
post-deploy контракт (ORCH-021), serial-gate (ORCH-088), auto-label (ORCH-089), семантика
|
||||
Rejected/Approved/Confirm Deploy — **без изменений**.
|
||||
- **Self-hosting safety (NFR-3):** STOP не рестартит/не роняет прод-контейнер; не push/force-push в
|
||||
`main`; merge/deploy прерываются fail-safe (без half-merge).
|
||||
- **never-raise (NFR-5):** обработчик STOP и закрытие релонча не валят вебхук-поток; ошибка на
|
||||
единице работы изолирована.
|
||||
- **Артефакты pipeline (создать/обновить в том же PR):** `docs/work-items/ORCH-090/06-adr/ADR-001-…`
|
||||
(решение архитектора), `docs/architecture/README.md` (раздел «STOP / отмена задачи (ORCH-090)»,
|
||||
обновление описания `GET /queue`, раздела статусной модели и при новой таблице/колонке — раздела
|
||||
«База данных»), `CLAUDE.md` (абзац о STOP в статусной модели), `CHANGELOG.md` (`feat:`); при новой
|
||||
таблице/колонке — `docs/work-items/ORCH-090/08-data-requirements.md`; при админ-эндпоинте — таблица
|
||||
API в README.
|
||||
|
||||
---
|
||||
|
||||
## 8. Открытые вопросы для архитектора (не блокируют анализ)
|
||||
|
||||
- OQ-1: Имя Plane-статуса — отдельный «STOP» (новый key) vs переиспользование существующего
|
||||
«Cancelled» (key `cancelled` уже в `_PLANE_NAME_TO_KEY`). Влияет на маппинг и группу терминал-скипа.
|
||||
- OQ-2: Статус отменённого job — новый `cancelled` vs `failed`+маркер.
|
||||
- OQ-3: Состояние отменённой задачи — терминальная стадия `cancelled` vs аддитивная колонка/таблица.
|
||||
- OQ-4: Сброс прогресса — удалить строку task (полный re-create через To Analyse) vs пометить
|
||||
cancelled и при To Analyse создавать новую задачу.
|
||||
- OQ-5: Удаление vs архив рабочей ветки (и Gitea-ветки) — что безопаснее для аудита.
|
||||
- OQ-6: Точка безопасного прерывания merge/deploy (FR-7) и обработка удерживаемого merge-lease.
|
||||
- OQ-7: Чем заменить легитимный «resume после Needs Input», который сейчас опирается на релонч в
|
||||
`handle_status_start` (FR-6), чтобы не сломать намеренный сценарий возврата к работе.
|
||||
146
docs/work-items/ORCH-090/03-acceptance-criteria.md
Normal file
146
docs/work-items/ORCH-090/03-acceptance-criteria.md
Normal file
@@ -0,0 +1,146 @@
|
||||
---
|
||||
work_item: ORCH-090
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 03 — Критерии приёмки (Acceptance Criteria): ORCH-090 — Механизм отмены задачи: статус STOP в Plane
|
||||
|
||||
Work Item: **ORCH-090** · Repo: **orchestrator** · Стадия: analysis
|
||||
|
||||
Формат: каждый критерий имеет **PASS** (что должно быть истинно для приёмки) и **FAIL**
|
||||
(что считается провалом). Любой машинный/ручной reviewer проверяет их буквально по файлам
|
||||
репозитория.
|
||||
|
||||
---
|
||||
|
||||
## AC-1 — STOP останавливает активного агента
|
||||
|
||||
**Условие:** задача с running-job'ом переведена в Plane-статус STOP.
|
||||
- **PASS:** активному процессу агента послан SIGTERM через существующий каскад
|
||||
(`launcher._watchdog`: SIGTERM → grace → SIGKILL); по grace процесс завершён; `agent_runs`/`jobs`
|
||||
отражают завершение. Тест демонстрирует вызов остановки по `jobs.pid`.
|
||||
- **FAIL:** процесс агента продолжает работать после STOP, либо kill реализован новым «грязным»
|
||||
механизмом мимо graceful-каскада, либо STOP падает с исключением.
|
||||
|
||||
---
|
||||
|
||||
## AC-2 — Все job'ы задачи отменены без авто-requeue
|
||||
|
||||
**Условие:** у задачи есть job'ы в `queued` и/или `running`; пришёл STOP.
|
||||
- **PASS:** все job'ы задачи переведены в терминальный отменённый исход; `claim_next_job` их не
|
||||
выбирает; `_finalize_permanent`/`job_reaper` не возвращают их в `queued` (ретраи исчерпаны).
|
||||
Тест: после STOP claim не возвращает job задачи, reaper не requeue'ит.
|
||||
- **FAIL:** хотя бы один job задачи остаётся claimable/возвращается в `queued` после STOP, либо
|
||||
происходит авто-requeue.
|
||||
|
||||
---
|
||||
|
||||
## AC-3 — Таймеры/мониторы сняты, отменённая задача не реконсилируется
|
||||
|
||||
**Условие:** задача отменена через STOP.
|
||||
- **PASS:** связанные таймеры/мониторы (post-deploy monitor, brd-review clock, defer'ы) не активны
|
||||
для задачи; `reconciler` (`_is_terminal_state`, терминал-скип `done`/`cancelled`) и `job_reaper`
|
||||
не трогают/не «оживляют» отменённую задачу. Тест: reconciler F-1 пропускает отменённую задачу.
|
||||
- **FAIL:** монитор/таймер срабатывает по отменённой задаче, либо reconciler/reaper её
|
||||
релончит/реанимирует.
|
||||
|
||||
---
|
||||
|
||||
## AC-4 — Полный сброс: ветка/worktree удалены/архивированы, прогресс сброшен, docs сохранены
|
||||
|
||||
**Условие:** задача отменена через STOP.
|
||||
- **PASS:** рабочий worktree удалён (`remove_worktree`, never-raise), рабочая ветка удалена/
|
||||
заархивирована; `main` не тронут (force-push в `main` отсутствует); прогресс задачи в БД приведён
|
||||
к durable-состоянию «отменена» (повторный запуск возможен только с нуля); docs-артефакты
|
||||
(`docs/work-items/ORCH-090/01..17`) **сохранены/забэкаплены**, не удалены.
|
||||
- **FAIL:** worktree/ветка остаются как «живой» прогресс, либо тронут `main`, либо docs-артефакты
|
||||
удалены, либо задача способна продолжиться «с середины».
|
||||
|
||||
---
|
||||
|
||||
## AC-5 — Единственный вход к запуску — To Analyse; дыра релонча закрыта
|
||||
|
||||
**Условие:** существующая задача (с веткой/прогрессом) вручную переведена в промежуточный рабочий
|
||||
статус (Architecture/Development/Review/Testing/Deploying/Awaiting Deploy/Monitoring).
|
||||
- **PASS:** агент соответствующей стадии **не** запускается (нет `enqueue_job` стадийного агента по
|
||||
факту ручной смены рабочего статуса). Запуск пайплайна происходит ТОЛЬКО при статусе «To Analyse»
|
||||
(`start_pipeline`). Тест: перевод в Development не порождает job; перевод в To Analyse порождает
|
||||
старт с нуля.
|
||||
- **FAIL:** ручной перевод в любой промежуточный рабочий статус релончит агента текущей стадии
|
||||
(текущее дырявое поведение `handle_status_start`).
|
||||
|
||||
---
|
||||
|
||||
## AC-6 — Идемпотентность STOP
|
||||
|
||||
**Условие:** STOP приходит на задачу, которая уже отменена / `done` / не существует.
|
||||
- **PASS:** обработчик — no-op: нет повторного kill, нет повторного удаления ветки, нет ошибок, нет
|
||||
Telegram-спама дублями. Тест: повторный STOP не меняет состояние и не бросает.
|
||||
- **FAIL:** повторный STOP бросает исключение, повторно убивает/чистит, либо генерирует
|
||||
дубль-уведомления.
|
||||
|
||||
---
|
||||
|
||||
## AC-7 — Безопасное прерывание merge/deploy (self-hosting safety)
|
||||
|
||||
**Условие:** STOP приходит во время merge/deploy задачи.
|
||||
- **PASS:** `main` не остаётся в half-merged состоянии; прод-контейнер не рестартится/не роняется
|
||||
обработчиком STOP; force-push в `main` отсутствует. Если необратимый шаг уже запущен — он не
|
||||
«разрывается» с порчей (исход зафиксирован честно, затем применена отмена). Тест/обоснование
|
||||
демонстрирует fail-safe точку прерывания.
|
||||
- **FAIL:** после STOP `main` в неконсистентном состоянии, прод перезапущен/упал по вине STOP, либо
|
||||
выполнен force-push в `main`.
|
||||
|
||||
---
|
||||
|
||||
## AC-8 — Kill-switch и нулевая регрессия
|
||||
|
||||
**Условие:** флаг `stop_status_enabled=False`.
|
||||
- **PASS:** STOP-обработка не активна, дыра релонча в поведении не меняется относительно текущего
|
||||
кода; `STAGE_TRANSITIONS` / `QG_CHECKS` / `check_*` не изменены; полный `pytest tests/` зелёный;
|
||||
enduro-trails не затронут. При `True` — STOP работает по AC-1…AC-7.
|
||||
- **FAIL:** при выключенном флаге поведение отличается от текущего; изменены exit-гейты/реестр QG;
|
||||
регресс существующих тестов.
|
||||
|
||||
---
|
||||
|
||||
## AC-9 — Аддитивность БД и restart-safe
|
||||
|
||||
**Условие:** изменения схемы БД и поведение после рестарта.
|
||||
- **PASS:** все миграции аддитивны и идемпотентны (`CREATE TABLE IF NOT EXISTS`/`_ensure_column`);
|
||||
после рестарта контейнера отменённая задача остаётся отменённой и не релончится. Тест: повторная
|
||||
инициализация БД не падает; отменённая задача durable.
|
||||
- **FAIL:** деструктивная/неидемпотентная миграция, изменение существующих таблиц-контрактов, либо
|
||||
«оживание» отменённой задачи после рестарта.
|
||||
|
||||
---
|
||||
|
||||
## AC-10 — Наблюдаемость STOP
|
||||
|
||||
**Условие:** STOP применён к задаче.
|
||||
- **PASS:** факт отмены залогирован; отправлен Telegram-алерт с кликабельным номером задачи;
|
||||
Plane-коммент (best-effort); live-карточка обновлена (never-raise); `GET /queue` несёт read-only
|
||||
блок отмены. Тест: блок присутствует в ответе `GET /queue`.
|
||||
- **FAIL:** STOP не оставляет следов в логе/уведомлениях, либо `GET /queue` падает/не отражает
|
||||
отмену.
|
||||
|
||||
---
|
||||
|
||||
## Сводная матрица AC ↔ FR/BR
|
||||
|
||||
| AC | Покрывает |
|
||||
|----|-----------|
|
||||
| AC-1 | BR-1 / FR-2 |
|
||||
| AC-2 | BR-1 / FR-3 |
|
||||
| AC-3 | BR-1 / FR-4 / NFR-4 |
|
||||
| AC-4 | BR-2 / FR-5 |
|
||||
| AC-5 | BR-3, BR-4 / FR-6 |
|
||||
| AC-6 | BR-5 / FR-1 |
|
||||
| AC-7 | BR-6 / FR-7 / NFR-3 |
|
||||
| AC-8 | NFR-1 / FR-6 |
|
||||
| AC-9 | NFR-2, NFR-4 / FR-3, FR-5 |
|
||||
| AC-10 | BR-8 / FR-8 |
|
||||
107
docs/work-items/ORCH-090/04-test-plan.yaml
Normal file
107
docs/work-items/ORCH-090/04-test-plan.yaml
Normal file
@@ -0,0 +1,107 @@
|
||||
work_item: ORCH-090
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
title: "STOP-статус: отмена задачи (остановка + полный сброс) и закрытие дыры релонча"
|
||||
framework: pytest
|
||||
scope: >
|
||||
Покрывается: распознавание/маршрутизация STOP, остановка агента, отмена job'ов без авто-requeue,
|
||||
снятие мониторов/терминал-скип, полный сброс ветки/worktree/прогресса при сохранении docs,
|
||||
закрытие дыры релонча (только To Analyse стартует пайплайн), идемпотентность, kill-switch,
|
||||
аддитивность БД/restart-safe, наблюдаемость (GET /queue, уведомления).
|
||||
Вне покрытия: реальный прод-деплой/рестарт контейнера (self-hosting safety проверяется на уровне
|
||||
«не вызывается рестарт/force-push», а не живым деплоем); кросс-проектная пакетная отмена.
|
||||
notes: >
|
||||
Полный регресс `pytest tests/` должен оставаться зелёным (NFR-1). Регрессом считается: изменение
|
||||
STAGE_TRANSITIONS/QG_CHECKS/check_*, релонч агента ручной сменой рабочего статуса, авто-requeue
|
||||
отменённого job, «оживание» отменённой задачи reconciler/reaper, любой push/force-push в main,
|
||||
рестарт прод-контейнера обработчиком STOP. Тесты должны проходить и при stop_status_enabled=False
|
||||
(нейтральное поведение). Использовать существующие фикстуры из tests/test_plane_webhook.py /
|
||||
test_launcher.py / test_queue.py / test_reconciler.py.
|
||||
|
||||
tests:
|
||||
- id: TC-01
|
||||
type: unit
|
||||
description: "STOP-статус распознаётся и маршрутизируется в обработчик отмены (handle_issue_updated); неизвестная/прочая задача -> no-op, never-raise."
|
||||
module: tests/test_stop_status.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-02
|
||||
type: unit
|
||||
description: "Остановка активного агента: при STOP по running-job посылается SIGTERM по jobs.pid через каскад _watchdog (SIGTERM->grace->SIGKILL); нет активного процесса -> no-op."
|
||||
module: tests/test_stop_status.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-03
|
||||
type: unit
|
||||
description: "Отмена job'ов: queued+running job'ы задачи переведены в терминальный отменённый исход; claim_next_job их не выбирает (AC-2)."
|
||||
module: tests/test_stop_status.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-04
|
||||
type: unit
|
||||
description: "Запрет авто-requeue: _finalize_permanent/job_reaper не возвращают отменённый job в queued (ретраи исчерпаны)."
|
||||
module: tests/test_stop_status.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-05
|
||||
type: unit
|
||||
description: "Полный сброс: при STOP вызывается remove_worktree и удаление/архив рабочей ветки; main не трогается; force-push в main отсутствует (AC-4, AC-7)."
|
||||
module: tests/test_stop_status.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-06
|
||||
type: unit
|
||||
description: "Docs-артефакты задачи (01..17) сохраняются/бэкапятся при сбросе прогресса, не удаляются (AC-4)."
|
||||
module: tests/test_stop_status.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-07
|
||||
type: unit
|
||||
description: "Идемпотентность: повторный STOP на уже отменённой / done / несуществующей задаче -> no-op (нет повторного kill/cleanup, нет исключений, нет дубль-уведомлений) (AC-6)."
|
||||
module: tests/test_stop_status.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-08
|
||||
type: unit
|
||||
description: "Kill-switch: при stop_status_enabled=False STOP-обработка нейтральна, поведение как сейчас; при True -> отмена выполняется (AC-8)."
|
||||
module: tests/test_stop_status.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-09
|
||||
type: unit
|
||||
description: "Наблюдаемость: GET /queue несёт read-only блок отмены; never-raise при ошибке построения блока (AC-10)."
|
||||
module: tests/test_stop_status.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-10
|
||||
type: integration
|
||||
description: "Закрытие дыры релонча: ручной перевод существующей задачи в Development/Architecture/Review/Testing НЕ порождает job стадийного агента (handle_status_start не релончит) (AC-5)."
|
||||
module: tests/test_stop_status.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-11
|
||||
type: integration
|
||||
description: "Единственный вход: перевод в To Analyse запускает start_pipeline (новая ветка от свежего origin/main + analyst) — единственный путь старта пайплайна (AC-5)."
|
||||
module: tests/test_stop_status.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-12
|
||||
type: integration
|
||||
description: "Терминал-скип/restart-safe: отменённая задача durable; reconciler F-1 и job_reaper её не реконсилируют/не оживляют (терминал-скип done/cancelled, _is_terminal_state) (AC-3, AC-9)."
|
||||
module: tests/test_stop_status.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-13
|
||||
type: integration
|
||||
description: "End-to-end STOP: задача со срезанной веткой и активным job -> STOP -> агент остановлен, job'ы отменены, ветка/worktree убраны, статус задачи durable 'отменена', уведомления отправлены (AC-1..AC-4, AC-10)."
|
||||
module: tests/test_stop_status.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-14
|
||||
type: unit
|
||||
description: "Аддитивность БД: миграция нового терминального исхода job/состояния задачи идемпотентна (повторная init_db не падает); существующие таблицы-контракты не изменены (AC-9, NFR-2)."
|
||||
module: tests/test_stop_status.py
|
||||
expected: PASS
|
||||
294
docs/work-items/ORCH-090/06-adr/ADR-001-stop-cancel-task.md
Normal file
294
docs/work-items/ORCH-090/06-adr/ADR-001-stop-cancel-task.md
Normal file
@@ -0,0 +1,294 @@
|
||||
---
|
||||
work_item: ORCH-090
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# ADR-001: Механизм отмены задачи — Plane-статус STOP (остановка + полный сброс)
|
||||
|
||||
Work Item: **ORCH-090** — единый декларативный механизм отмены/сброса задачи через
|
||||
Plane-статус STOP.
|
||||
Стадия: **architecture**
|
||||
Сквозная регистрация: **`docs/architecture/adr/adr-0026-stop-cancel-task.md`** (решение
|
||||
кросс-каттинговое — вводит системное терминальное состояние `cancelled`, затрагивающее
|
||||
планировщик, реконсилятор, serial-gate, task-deps, мониторы).
|
||||
|
||||
## Статус
|
||||
Proposed
|
||||
|
||||
---
|
||||
|
||||
## Контекст
|
||||
|
||||
Сегодня в оркестраторе **нет штатного способа отменить/остановить задачу** (BRD §1). Оператор
|
||||
делает ручную хирургию: убивает процесс агента, ждёт исчерпания ретраев job, чистит
|
||||
ветку/worktree/строку `tasks` и сбрасывает статус Plane. Медленно, ошибкоопасно,
|
||||
невоспроизводимо (инцидент 09.06 с ORCH-087).
|
||||
|
||||
Вторая, связанная проблема — **дыра релонча**. Сверено по коду
|
||||
`src/webhooks/plane.py::handle_status_start` (строки 215–306): при существующей задаче без
|
||||
активного job функция **безусловно релончит агента текущей стадии** на той же ветке
|
||||
(`has_active_job_for_task(task_id)` → иначе `enqueue_job(stage_agent, …)`, где
|
||||
`stage_agent = STAGE_AUTHORS.get(current_stage)`). Этот путь задуман для «аналитик ответил на
|
||||
Needs Input», но релончит агента **любой** стадии — именно он усугубил инцидент.
|
||||
|
||||
**Факты, сверенные по коду (не изобретать):**
|
||||
- Машина стадий — `src/stages.py::STAGE_TRANSITIONS`; `done` — терминальный сток
|
||||
(`{"next": None, "agent": None, "qg": None}`, строка 21). `cancelled`-стадии нет.
|
||||
- Plane-маппинг — `src/plane_sync.py`: `_PLANE_NAME_TO_KEY` уже содержит
|
||||
`"Cancelled" → "cancelled"` (стр. 141); `_DEFAULT_STATES` содержит UUID `cancelled` (стр. 102);
|
||||
имени «STOP» в маппинге нет. Маршрутизация статуса — `handle_issue_updated` (стр. 129–173),
|
||||
сравнивает `new_state` с per-project UUID из `get_project_states(project_id)`; `to_analyse →
|
||||
handle_status_start`, `confirm_deploy → handle_confirm_deploy`, `approved/rejected →
|
||||
handle_verdict`; всё прочее → `else` (no-op).
|
||||
- Остановка процесса агента уже есть — graceful-каскад `launcher._watchdog`
|
||||
(SIGTERM → grace `agent_kill_grace_seconds` → SIGKILL, стр. 661–718); PID задачи стампится в
|
||||
`jobs.pid` (`_spawn`, стр. 607–614).
|
||||
- Статусы job в `jobs` — `queued | running | done | failed` (`src/db.py`, стр. 56–72); claim
|
||||
выбирает только `status='queued'` (`claim_next_job`, стр. 586–651). Реквью на dead-running —
|
||||
`job_reaper._reap_unknown_outcome` (`attempts<max → queued`, иначе `failed`, стр. 315–334).
|
||||
- **Терминал-скип уже учитывает `cancelled`:** `reconciler._is_terminal_state` (group
|
||||
`completed`/`cancelled` или логический ключ `cancelled`, стр. 398–415) и F-1 пропускает
|
||||
`stage in ("done","cancelled")` ДО любой работы (стр. 196, ORCH-086 D2 — `cancelled`-стадия
|
||||
**уже предвосхищена**).
|
||||
- **Но** «незавершённость» задачи в горячем планировщике определена как `stage != 'done'`
|
||||
(БЕЗ `cancelled`) в `src/serial_gate.py` (стр. 115, 120, 270, 334) и `src/task_deps.py`
|
||||
(`stage != 'done'`). Новая терминальная стадия `cancelled`, не распознанная здесь, **заклинит
|
||||
очередь** репо (serial-gate сочтёт отменённую задачу «активной»; task-deps — «незавершённой
|
||||
зависимостью»).
|
||||
- `remove_worktree(repo, branch)` — never-raise локальная очистка (`src/git_worktree.py`,
|
||||
стр. 98–107); функции удаления Gitea-ветки **нет**.
|
||||
- Запуск с нуля — `handle_status_start → start_pipeline` (ветка + docs + analyst, стр. 430–626);
|
||||
`create_task_atomic` с anti-dup по `plane_id`; uniqueness-guard по `work_item_id`
|
||||
(`ensure_unique_work_item_id`).
|
||||
|
||||
Требуется единый, декларативный, обратимый, аддитивный механизм под kill-switch, never-raise,
|
||||
restart-safe; `STAGE_TRANSITIONS`/`QG_CHECKS`/`check_*` — без изменений (TRZ §1, NFR-1).
|
||||
|
||||
---
|
||||
|
||||
## Решение
|
||||
|
||||
### Сводка
|
||||
|
||||
Ввести **STOP** как сигнал отмены задачи: новый логический Plane-ключ `stop` (fail-closed, по
|
||||
образцу `confirm_deploy`/ORCH-059), маршрутизируемый в новый обработчик `handle_stop`. Обработчик
|
||||
переводит задачу в **новое системное терминальное состояние `cancelled`** (стадия + durable),
|
||||
останавливая активного агента существующим graceful-каскадом, отменяя все job'ы новым
|
||||
терминальным исходом `jobs.status='cancelled'`, снимая таймеры/мониторы, удаляя рабочую
|
||||
ветку+worktree (docs сохраняются) и **тумбстоня** натуральные ключи (`plane_id`/`work_item_id`),
|
||||
чтобы повторный «To Analyse» создал задачу с нуля. Параллельно закрывается дыра релонча:
|
||||
relaunch в `handle_status_start` ограничивается единственным легитимным владельцем Needs-Input —
|
||||
стадией `analysis`. Чистая логика — leaf `src/cancel.py` (never-raise); оркестрация —
|
||||
`stage_engine.cancel_task`. Всё под флагом `stop_status_enabled`.
|
||||
|
||||
**Ключевой кросс-каттинг (см. adr-0026):** системный предикат «задача терминальна» расширяется с
|
||||
`{done}` до `{done, cancelled}` в трёх горячих местах планировщика (serial-gate, task-deps,
|
||||
`stages.py`-сток), приводя их в соответствие с уже существующим терминал-скипом реконсилятора.
|
||||
|
||||
### D1 — Распознавание и маршрутизация STOP (FR-1, BR-1, BR-5)
|
||||
|
||||
- В `_PLANE_NAME_TO_KEY` добавить `"STOP" → "stop"`. **В `_DEFAULT_STATES` ключ `stop` НЕ
|
||||
добавляется** — fail-closed по образцу ORCH-059: нет UUID-фолбэка для enduro/API-сбоя →
|
||||
`get_project_states(...).get("stop")` вернёт `None` → ветка просто не активируется (нет
|
||||
`KeyError`, нет слепой отмены). Инфра-предусловие — создать статус STOP на доске ORCH с
|
||||
**группой `cancelled`** (07-infra-requirements.md), чтобы терминал-скип по группе работал
|
||||
нативно.
|
||||
- `handle_issue_updated`: добавить ветку `stop_state = proj_states.get("stop")` →
|
||||
`elif stop_state and new_state == stop_state: await handle_stop(data, project_id)`. Ставится
|
||||
**до** `to_analyse`/`approved`/`rejected`, чтобы жесты не алиасили.
|
||||
- `handle_stop` (новый, в `plane.py`): резолвит задачу по `get_task_by_plane_id`; делегирует в
|
||||
`stage_engine.cancel_task(task_id, …)`. Гард kill-switch + repo-scope через `cancel.applies(repo)`.
|
||||
- **Идемпотентность (BR-5):** если задача отсутствует / уже `stage in ("done","cancelled")` →
|
||||
no-op (без повторного kill/удаления/уведомления). Контракт — never-raise (NFR-5): ошибка
|
||||
логируется, вебхук-поток не падает.
|
||||
|
||||
### D2 — Остановка активного агента (FR-2, BR-1a)
|
||||
|
||||
Переиспользовать существующий graceful-каскад, **не изобретать новый kill**. Для running-job'а
|
||||
задачи взять `jobs.pid` и послать `SIGTERM` через путь `launcher._watchdog`
|
||||
(SIGTERM → grace `agent_kill_grace_seconds` → SIGKILL). Вынести из `_watchdog` переиспользуемый
|
||||
хелпер `launcher.stop_process(pid, run_id)` (тот же каскад + `_record_kill`), вызываемый и из
|
||||
cancel-пути. Нет активного процесса (idle/queued) → шаг no-op. **Никогда** не убивать
|
||||
detached-процесс self-deploy (см. D7).
|
||||
|
||||
### D3 — Отмена job'ов и запрет авто-requeue (FR-3, BR-1b/1c)
|
||||
|
||||
- Новый **терминальный** статус job `jobs.status='cancelled'`. Схема не меняется (`status` — TEXT);
|
||||
расширяется лишь набор допустимых значений → `queued|running|done|failed|cancelled`.
|
||||
- Хелпер `db.cancel_jobs_for_task(task_id)` — guarded UPDATE
|
||||
`SET status='cancelled', finished_at=datetime('now') WHERE task_id=? AND status IN ('queued','running')`.
|
||||
`mark_job` расширяется: `cancelled` тоже стампит `finished_at` (в наборе с `done|failed`).
|
||||
- **claim не трогается:** `claim_next_job` выбирает только `status='queued'` → `cancelled`
|
||||
исключён нативно (NFR-6 — без новых JOIN'ов в горячий путь).
|
||||
- **Запрет авто-requeue (race-safe):** `job_reaper._reap_unknown_outcome` и launch-error requeue
|
||||
в `queue_worker` ПЕРЕД реквью читают терминальное состояние задачи; `stage in
|
||||
("done","cancelled")` → job помечается `cancelled` (терминал), **без** возврата в `queued`.
|
||||
Это закрывает гонку «SIGTERM послан, job ещё `running`, reaper видит dead-pid → реквью».
|
||||
Источник истины «не оживлять» — **стадия задачи `cancelled`**, а не статус job.
|
||||
|
||||
### D4 — Durable терминал задачи + переиспользование ключей (FR-5, NFR-4, BR-2/BR-3)
|
||||
|
||||
- Durable-состояние = **`tasks.stage='cancelled'`**. Это уже понимается терминал-скипом
|
||||
реконсилятора (стр. 196) → **ноль нового кода** для NFR-4; после рестарта отменённая задача не
|
||||
оживает (`requeue_running_jobs` флипает только `running`, а job'ы — `cancelled`).
|
||||
- Аддитивная колонка `tasks.cancelled_at TEXT` (через `_ensure_column`) — durable-метка
|
||||
времени для аудита/наблюдаемости.
|
||||
- **Переиспользование натуральных ключей (BR-3):** чтобы повторный «To Analyse» создал задачу с
|
||||
нуля, на cancel выполняется **тумбстон** ключей отменённой строки:
|
||||
`plane_id := plane_id || '#cancelled-' || id`, `work_item_id := work_item_id || '#cancelled-' || id`.
|
||||
Тогда `get_task_by_plane_id(plane_id)` вернёт `None` → `start_pipeline` создаст свежую задачу
|
||||
(новая ветка от актуального `origin/main`, новый analyst); anti-dup `create_task_atomic` и
|
||||
`ensure_unique_work_item_id` не коллизируют. Поле `plane_issue_id` **сохраняется** нетронутым —
|
||||
аудит-связь с issue Plane не теряется. Строка `tasks` **не удаляется** (история + durable
|
||||
терминал).
|
||||
- **Возобновления «с середины» нет** — единственный вход к запуску остаётся `start_pipeline`
|
||||
через «To Analyse» (D6).
|
||||
|
||||
### D5 — Системное терминальное состояние `cancelled` (кросс-каттинг — adr-0026)
|
||||
|
||||
Расширить предикат «задача терминальна/завершена» с `{done}` до `{done, cancelled}` там, где он
|
||||
сейчас захардкожен как `stage != 'done'`, **приводя планировщик в соответствие с уже
|
||||
существующим терминал-скипом реконсилятора** (стр. 196, `{done, cancelled}`):
|
||||
- `src/serial_gate.py` — `repo_has_other_unfinished` (стр. 115/120), claim-фрагмент
|
||||
`t2.stage != 'done'` (стр. 270), snapshot (стр. 334): `stage != 'done'` →
|
||||
`stage NOT IN ('done','cancelled')`. Иначе отменённая задача навсегда заблокирует репо.
|
||||
**Маркер ORCH-088** — сверено по `src/serial_gate.py` и
|
||||
`docs/work-items/ORCH-088/06-adr/ADR-001-serial-gate.md`: инвариант serial-gate — «не входить в
|
||||
analysis, пока есть **более ранняя незавершённая** задача»; «незавершённость» определяется
|
||||
стадией, и расширение терминал-набора `cancelled` лишь harmonизирует определение, не меняя
|
||||
FIFO-семантику (`t2.id < jobs.task_id`).
|
||||
- `src/task_deps.py` — dep-gate `t.stage != 'done'` и `is_task_ready`: `NOT IN ('done','cancelled')`.
|
||||
Иначе отменённая зависимость заблокирует зависимые задачи навсегда. **Маркер ORCH-026** —
|
||||
сверено: зависимость считается «готовой», когда предшественник терминален; `cancelled` —
|
||||
терминальный исход, поэтому его включение в готовность корректно.
|
||||
- `src/stages.py::STAGE_TRANSITIONS` — добавить терминальный **сток**
|
||||
`"cancelled": {"next": None, "agent": None, "qg": None}` (параллельно `done`, стр. 21). Это
|
||||
**не новое ребро** — ни одно exit-гейт ребра не меняется (TRZ §5, NFR-1); сток лишь делает
|
||||
`get_next_stage('cancelled')` корректным (None).
|
||||
- `src/reconciler.py::get_active_tasks_for_reconcile` (фильтр `stage != 'done'`) опционально
|
||||
сузить до `NOT IN ('done','cancelled')` (микро-оптимизация; функционально уже покрыто скипом
|
||||
стр. 196).
|
||||
|
||||
### D6 — Закрытие дыры релонча (FR-6, BR-3/BR-4, OQ-7)
|
||||
|
||||
Маршрутизация уже игнорирует промежуточные статусы (Architecture/Development/… → `else`, no-op),
|
||||
поэтому реальная дыра — relaunch внутри `handle_status_start` при `To Analyse` на существующей
|
||||
задаче. Решение: **ограничить relaunch единственным легитимным владельцем Needs-Input —
|
||||
стадией `analysis`** (единственный, кто ставит Needs Input, ORCH-066). Конкретно: ветку
|
||||
«existing task + idle agent → `enqueue_job(stage_agent,…)`» загейтить условием
|
||||
`current_stage == 'analysis'`. Для существующей задачи любой иной стадии «To Analyse» → **no-op**
|
||||
(лог + best-effort Plane-коммент «для перезапуска с нуля: STOP → To Analyse»). Это сохраняет
|
||||
легитимный «аналитик ответил на вопросы», но устраняет тихий релонч середины пайплайна на старой
|
||||
ветке (инцидент ORCH-087). Гейт — под `stop_status_enabled` (AC-8: флаг off → поведение 1:1 как
|
||||
сейчас).
|
||||
|
||||
### D7 — Безопасное прерывание merge/deploy (FR-7, BR-6, NFR-3, AC-7)
|
||||
|
||||
STOP **никогда** не трогает `main`, не делает force-push, не рестартит/не роняет прод-контейнер и
|
||||
**не SIGKILL'ит** detached-процесс self-deploy. `cancel_task` классифицирует «критическое окно» по
|
||||
существующим маркерам (чистая функция `cancel.in_critical_window(task)`, never-raise):
|
||||
- self-deploy Phase B запущен — sentinel `INITIATED` в `<repos_dir>/.deploy-state-<repo>/<wi>/`
|
||||
(ORCH-036);
|
||||
- задача держит merge-lease `<repos_dir>/.merge-lease-<repo>.json` / merge в процессе (ORCH-043/071).
|
||||
|
||||
**Вне критического окна** — полный сброс немедленно (D2–D4, D8).
|
||||
**Внутри критического окна** — отложенная отмена: ставится durable-метка
|
||||
`tasks.cancel_requested_at` (аддитивная колонка), отменяются **только `queued`** job'ы (не
|
||||
running-актор деплоя/мержа), шлётся алерт «STOP отложен до завершения критичного шага».
|
||||
Детерминированный finalizer (`run_deploy_finalizer` Phase C / `_handle_merge_verify`) **доводит
|
||||
необратимый шаг до честного исхода** и на терминальном `advance_stage` сверяется с
|
||||
`cancel_requested_at`: задача переводится в `cancelled` с очисткой (worktree/ветка; код, уже
|
||||
влитый в `main`, **не откатывается** — rollback вне объёма, BRD §2). Если шаг достиг `done` —
|
||||
STOP фиксируется как «no-op после завершения» (честно: код уже в проде). Так AC-7 выполняется без
|
||||
порчи `main`/прода.
|
||||
|
||||
### D8 — Полный сброс ветки/worktree, сохранение docs (FR-5, BR-2, AC-4)
|
||||
|
||||
- `git_worktree.remove_worktree(repo, branch)` — снять worktree (never-raise, уже есть).
|
||||
- **Удалить удалённую feature-ветку** через новый never-raise хелпер
|
||||
`gitea.delete_remote_branch(repo, branch)` (Gitea `DELETE /repos/{owner}/{repo}/branches/{branch}`).
|
||||
Удаляется **только** ветка задачи; `main` — никогда; force-push отсутствует. Выбор «удалить» (не
|
||||
архив): ветку легко восстановить из Gitea, а аналитику хранят docs — минимум новой Gitea-логики
|
||||
(OQ-5).
|
||||
- **Docs-артефакты (`01..17`) сохраняются** — не удаляются. На диске они в `docs/work-items/ORCH-090/`
|
||||
(merge'ятся отдельным PR); cancel их не трогает. (Бэкап = они уже в `origin/main`/ветке docs.)
|
||||
|
||||
### D9 — Флаги, leaf-модуль, наблюдаемость (FR-8, BR-8, NFR-1, AC-10)
|
||||
|
||||
- `src/config.py`: `stop_status_enabled: bool = True` (env `ORCH_STOP_STATUS_ENABLED`,
|
||||
kill-switch) + `stop_status_repos: str = ""` (CSV; **пусто → все репо**, отмена осмысленна и для
|
||||
enduro; токены санитайзятся `^[A-Za-z0-9._-]+$`) — по образцу `serial_gate_*`.
|
||||
- Leaf `src/cancel.py` (never-raise, импортирует только `config`/`db`, лениво `plane_sync`): чистая
|
||||
логика — `applies(repo)`, `in_critical_window(task)`, `snapshot()`. Оркестрация
|
||||
(SIGTERM/cancel-jobs/worktree/branch/tombstone/notify) — `stage_engine.cancel_task` (там уже есть
|
||||
доступ к launcher/db/notifications/plane_sync).
|
||||
- Наблюдаемость: `logger.info/warning`, Telegram-алерт (`send_telegram`, кликабельный
|
||||
`plane_issue_link`), Plane-коммент (best-effort), `update_task_tracker` (never-raise),
|
||||
read-only блок `stop` в `GET /queue` (`cancel.snapshot()`: `enabled`/`repos`/счётчик
|
||||
`stage='cancelled'`/последние отмены). Существующие ключи `/queue` не меняются.
|
||||
|
||||
---
|
||||
|
||||
## Альтернативы
|
||||
|
||||
- **Переиспользовать существующий статус «Cancelled» (key `cancelled`) вместо нового «STOP»** —
|
||||
отвергнуто: владелец продукта явно хочет операторскую кнопку «STOP», отличную от встроенного
|
||||
Plane-«Cancelled» (которым наблюдатели могут пользоваться иначе). Терминал-семантику группы
|
||||
`cancelled` мы при этом переиспользуем (D1, D5).
|
||||
- **Job-статус `failed`+маркер вместо нового `cancelled`** (OQ-2) — отвергнуто: `failed`
|
||||
семантически реквью-абелен (reaper/worker путь `attempts<max → queued`); отдельный
|
||||
терминальный `cancelled`, нигде не реквью'ящийся, самодокументируем и безопаснее.
|
||||
- **Удалять строку `tasks` целиком** (OQ-4) — отвергнуто: теряется durable-аудит и durable
|
||||
терминал в БД; тумбстон ключей (D4) даёт переиспользование с нуля, сохраняя строку и аудит.
|
||||
- **Архивировать ветку (rename `archive/…`)** вместо удаления (OQ-5) — отвергнуто: лишняя
|
||||
Gitea-логика; удаление обратимо в Gitea, аналитику хранят docs.
|
||||
- **Прерывать merge/deploy жёстко (kill detached)** (OQ-6) — отвергнуто: риск half-merge/порчи
|
||||
`main`/прода (NFR-3); отложенная отмена (D7) безопаснее.
|
||||
- **Полностью блокировать «To Analyse» на существующей задаче** (D6) — отвергнуто: сломает
|
||||
легитимный resume аналитика после Needs Input; ограничение релонча стадией `analysis` точечнее.
|
||||
|
||||
---
|
||||
|
||||
## Последствия
|
||||
|
||||
- **+** Оператор получает декларативную кнопку «отменить+сбросить» вместо ручной хирургии;
|
||||
воспроизводимо, наблюдаемо, обратимо (kill-switch).
|
||||
- **+** Дыра релонча закрыта; тихий релонч середины пайплайна на старой ветке исключён.
|
||||
- **+** Терминал-набор планировщика приведён в соответствие с реконсилятором (`{done,cancelled}`)
|
||||
— устранён латентный рассинхрон ORCH-086.
|
||||
- **+** Аддитивно/идемпотентно; при `stop_status_enabled=False` — нулевая регрессия; enduro не
|
||||
затронут.
|
||||
- **−** Вводится **системная терминальная стадия `cancelled`** — затрагивает несколько горячих
|
||||
предикатов (serial-gate/task-deps/stages). Митигейшн: исчерпывающий список точек в adr-0026 +
|
||||
тесты на «отменённая задача не клинит очередь / не реквью'ится / переживает рестарт».
|
||||
- **−** Отложенная отмена в критическом окне (D7) — не мгновенная. Митигейшн: прозрачный алерт
|
||||
«STOP отложен»; необратимый шаг доводится до честного исхода; код в `main` не откатывается (в
|
||||
объёме BRD — STOP ≠ rollback).
|
||||
- **−** Тумбстон `work_item_id` меняет значение колонки на отменённой строке. Митигейшн: формат
|
||||
суффикса `#cancelled-<id>` детерминирован и парсится для аудита; `plane_issue_id` нетронут.
|
||||
- **Откат:** `stop_status_enabled=False` отключает обработку STOP, гейт релонча и
|
||||
freeze-неотносимые ветки; аддитивные колонки (`cancelled_at`/`cancel_requested_at`) и расширение
|
||||
терминал-набора инертны при отсутствии отменённых задач. Полный revert — снять врезки в
|
||||
`plane.py`/`stage_engine.py`/`serial_gate.py`/`task_deps.py`/`stages.py`, leaf `cancel.py`, флаги.
|
||||
|
||||
---
|
||||
|
||||
## Ссылки
|
||||
- BRD: `docs/work-items/ORCH-090/01-brd.md`
|
||||
- TRZ: `docs/work-items/ORCH-090/02-trz.md`
|
||||
- Acceptance: `docs/work-items/ORCH-090/03-acceptance-criteria.md`
|
||||
- Data: `docs/work-items/ORCH-090/08-data-requirements.md`
|
||||
- Infra: `docs/work-items/ORCH-090/07-infra-requirements.md`
|
||||
- Риски: `docs/work-items/ORCH-090/10-tech-risks.md`
|
||||
- Сквозной ADR: `docs/architecture/adr/adr-0026-stop-cancel-task.md`
|
||||
- Сверено по коду: `src/webhooks/plane.py`, `src/plane_sync.py`, `src/db.py`,
|
||||
`src/queue_worker.py`, `src/agents/launcher.py`, `src/reconciler.py`, `src/job_reaper.py`,
|
||||
`src/serial_gate.py`, `src/task_deps.py`, `src/stages.py`, `src/git_worktree.py`,
|
||||
`src/post_deploy.py`, `src/main.py`
|
||||
- Маркеры (сверено перед изменением, TRACEABILITY.md): ORCH-088 (`serial_gate`), ORCH-026
|
||||
(`task_deps`), ORCH-086/068 (терминал-скип reconciler), ORCH-036/059 (self-deploy phases),
|
||||
ORCH-043/071 (merge-gate/merge-verify), ORCH-021 (post-deploy), ORCH-087 (brd-clock)
|
||||
51
docs/work-items/ORCH-090/07-infra-requirements.md
Normal file
51
docs/work-items/ORCH-090/07-infra-requirements.md
Normal file
@@ -0,0 +1,51 @@
|
||||
---
|
||||
work_item: ORCH-090
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 07 — Инфра-требования: ORCH-090 — Механизм отмены задачи (STOP)
|
||||
|
||||
Work Item: **ORCH-090** · Repo: **orchestrator** · Стадия: architecture
|
||||
|
||||
## I-1. Топология / окружения
|
||||
|
||||
Без изменения топологии. Тот же прод-контейнер `orchestrator` (8500) и staging (8501), та же
|
||||
общая SQLite-БД и очередь. STOP — обработка вебхука внутри существующего сервиса; новых
|
||||
контейнеров/портов/томов/сетей нет.
|
||||
|
||||
**Инфра-предусловие (обязательно):** на доске Plane проекта ORCH создать статус **«STOP»** с
|
||||
**группой `cancelled`** (а не `started`/`unstarted`). Группа `cancelled` обеспечивает нативный
|
||||
терминал-скип реконсилятора (`_is_terminal_state`, ORCH-068/086) без доп-кода. До создания
|
||||
статуса фича в fail-safe: `get_project_states(...).get("stop")` → `None` → ветка STOP не
|
||||
активируется (нет `KeyError`, ничего не ломается). После создания — сбросить кэш состояний
|
||||
(`reload_project_states`) или дождаться TTL `ORCH_PLANE_STATES_TTL_S` (дефолт 300с).
|
||||
|
||||
> Для enduro-trails статус STOP **не** обязателен: `stop` отсутствует в `_DEFAULT_STATES`
|
||||
> (fail-closed), отмена для enduro станет доступна только при создании статуса на их доске.
|
||||
|
||||
## I-2. Переменные окружения / секреты
|
||||
|
||||
Новые env (в `.env.example`, аддитивно; секретов нет):
|
||||
- `ORCH_STOP_STATUS_ENABLED` — kill-switch фичи (дефолт `true`).
|
||||
- `ORCH_STOP_STATUS_REPOS` — CSV области репо (дефолт пусто → все репо).
|
||||
|
||||
Существующие переиспользуются: `ORCH_AGENT_KILL_GRACE_SECONDS` (graceful kill), Gitea-токен
|
||||
(`delete_remote_branch`), Telegram-токен (алерт). Новых секретов нет.
|
||||
|
||||
## I-3. Деплой / рестарт
|
||||
|
||||
Прод-деплой орка — обязательно через staging-гейт (8501) перед `deploy` (self-hosting инвариант,
|
||||
INFRA.md). STOP-обработчик сам **никогда** не рестартит/не роняет прод-контейнер и не трогает
|
||||
`main` (NFR-3): при STOP во время self-deploy критичный detached-шаг не прерывается — отмена
|
||||
откладывается до его честного завершения (ADR-001 D7). Раскат — поэтапно через `stop_status_repos`
|
||||
при необходимости; дефолт «все репо».
|
||||
|
||||
## I-4. CI/CD
|
||||
|
||||
Без изменений `.gitea/workflows/`. Добавляются только pytest-тесты (`tests/`, см.
|
||||
`04-test-plan.yaml`): STOP-каскад, запрет авто-requeue, терминал-скип, закрытие дыры релонча,
|
||||
kill-switch, аддитивность миграций.
|
||||
70
docs/work-items/ORCH-090/08-data-requirements.md
Normal file
70
docs/work-items/ORCH-090/08-data-requirements.md
Normal file
@@ -0,0 +1,70 @@
|
||||
---
|
||||
work_item: ORCH-090
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 08 — Требования к данным: ORCH-090 — Механизм отмены задачи (STOP)
|
||||
|
||||
Work Item: **ORCH-090** · Repo: **orchestrator** · Стадия: architecture
|
||||
|
||||
> Общая прод-БД (orchestrator + enduro). Все изменения — **только аддитивные и идемпотентные**
|
||||
> (`_ensure_column`); существующие таблицы-контракты не переопределяются (NFR-2, AC-9).
|
||||
|
||||
## Изменения схемы БД
|
||||
|
||||
### Таблица `tasks` — аддитивные колонки (через `_ensure_column`)
|
||||
| Колонка | Тип | Назначение |
|
||||
|---------|-----|------------|
|
||||
| `cancelled_at` | `TEXT` | durable-метка времени отмены (аудит/наблюдаемость). NULL для неотменённых. |
|
||||
| `cancel_requested_at` | `TEXT` | durable-метка «отмена запрошена, но отложена» (STOP в критическом окне merge/deploy, ADR-001 D7). Снимается при доведении отмены до конца. |
|
||||
|
||||
Никаких `ALTER` существующих колонок. `init_db` идемпотентен (повторный вызов — no-op).
|
||||
|
||||
### Без DDL-изменений (расширение допустимых значений TEXT)
|
||||
- **`jobs.status`** — добавляется значение `cancelled` к набору `queued|running|done|failed`.
|
||||
Колонка уже `TEXT`; DDL не меняется. `claim_next_job` выбирает только `status='queued'` →
|
||||
`cancelled` исключён нативно.
|
||||
- **`tasks.stage`** — добавляется терминальное значение `cancelled` (сток, параллельно `done`).
|
||||
Колонка уже `TEXT DEFAULT 'created'`; DDL не меняется. `STAGE_TRANSITIONS` exit-гейты рёбер
|
||||
**не меняются** — `cancelled` это терминальное состояние, не новое ребро.
|
||||
|
||||
### Без изменений
|
||||
`job_deps`, `agent_runs`, `repo_freeze`, `tracker_messages`, индексы — контракты нетронуты.
|
||||
`QG_CHECKS` / `check_*` — без изменений.
|
||||
|
||||
## Новые/изменённые сущности
|
||||
|
||||
### Тумбстон натуральных ключей отменённой задачи (ADR-001 D4)
|
||||
На cancel выполняется UPDATE отменённой строки `tasks`:
|
||||
- `plane_id := plane_id || '#cancelled-' || id`
|
||||
- `work_item_id := work_item_id || '#cancelled-' || id`
|
||||
- `stage := 'cancelled'`, `cancelled_at := datetime('now')`
|
||||
- `plane_issue_id` — **сохраняется нетронутым** (аудит-связь с issue Plane).
|
||||
|
||||
Цель: освободить натуральные ключи, чтобы повторный «To Analyse» создал свежую задачу
|
||||
(`get_task_by_plane_id(plane_id)` → `None`; anti-dup `create_task_atomic` /
|
||||
`ensure_unique_work_item_id` не коллизируют), сохранив строку для аудита. Формат суффикса
|
||||
`#cancelled-<id>` детерминирован и парсится.
|
||||
|
||||
### Отмена job'ов (ADR-001 D3)
|
||||
`cancel_jobs_for_task(task_id)` — guarded UPDATE
|
||||
`SET status='cancelled', finished_at=datetime('now') WHERE task_id=? AND status IN ('queued','running')`.
|
||||
Терминальный исход, нигде не реквью'ящийся.
|
||||
|
||||
## Совместимость данных / миграции
|
||||
|
||||
- **Аддитивность/идемпотентность:** только `_ensure_column` (no-op если колонка есть) и
|
||||
расширение наборов TEXT-значений; деструктивных/несовместимых миграций нет (AC-9). Повторная
|
||||
`init_db` после рестарта не падает.
|
||||
- **Restart-safe (NFR-4):** durable терминал = `tasks.stage='cancelled'` (уже понимается
|
||||
терминал-скипом реконсилятора, стр. 196). После рестарта `requeue_running_jobs` флипает только
|
||||
`running` → отменённые job'ы (`cancelled`) не оживают; отменённая задача не реконсилируется.
|
||||
- **Влияние на общую прод-БД:** изменения строго per-task; enduro не затрагивается, при
|
||||
`stop_status_enabled=False` или отсутствии отменённых задач — поведение БД 1:1 как сейчас.
|
||||
- **Кросс-каттинг (adr-0026):** предикат «задача незавершена» в `serial_gate`/`task_deps`
|
||||
расширяется `stage != 'done'` → `stage NOT IN ('done','cancelled')`, иначе отменённая задача
|
||||
заклинит очередь репо. Чтение БД (offline hot-path) не приобретает новых сетевых вызовов (NFR-6).
|
||||
42
docs/work-items/ORCH-090/10-tech-risks.md
Normal file
42
docs/work-items/ORCH-090/10-tech-risks.md
Normal file
@@ -0,0 +1,42 @@
|
||||
---
|
||||
work_item: ORCH-090
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 10 — Технические риски: ORCH-090 — Механизм отмены задачи (STOP)
|
||||
|
||||
Work Item: **ORCH-090** · Repo: **orchestrator** · Стадия: architecture
|
||||
|
||||
## Реестр рисков
|
||||
|
||||
| ID | Риск | Вер. | Влия. | Митигейшн |
|
||||
|----|------|------|-------|-----------|
|
||||
| TR-1 | **Отменённая задача клинит очередь репо** — `serial_gate`/`task_deps` считают `cancelled` «незавершённой» (`stage != 'done'`) → serial-gate блокирует репо, dep-gate вечно держит зависимые. | Выс. | Выс. | Расширить предикат до `stage NOT IN ('done','cancelled')` во ВСЕХ точках (adr-0026, исчерпывающий список). Тест: после STOP другая задача репо стартует; зависимая разблокируется. |
|
||||
| TR-2 | **Гонка reaper/worker реквью** — SIGTERM послан, job ещё `running`, reaper видит dead-pid → `attempts<max → queued` (авто-requeue отменённой задачи). | Сред. | Выс. | Источник истины «не оживлять» — `tasks.stage='cancelled'`. reaper/worker ПЕРЕД реквью сверяют терминал задачи → помечают job `cancelled`, не реквью'ят. Тест: reaper не возвращает job отменённой задачи в `queued`. |
|
||||
| TR-3 | **STOP во время merge/deploy → half-merge / порча `main` / рестарт прода.** | Низ. | Крит. | D7: критическое окно (`INITIATED`-sentinel self-deploy, держание merge-lease) → отложенная отмена; необратимый шаг доводится до честного исхода; STOP **никогда** не трогает `main`/force-push/прод-контейнер/detached-процесс. Тест/обоснование fail-safe точки. |
|
||||
| TR-4 | **Коллизия натуральных ключей при повторном «To Analyse»** — старая отменённая строка держит `plane_id`/`work_item_id` → anti-dup/uniqueness блокируют пере-создание. | Сред. | Сред. | Тумбстон ключей `#cancelled-<id>` на cancel (D4); `plane_issue_id` сохранён. Тест: после STOP «To Analyse» создаёт свежую задачу без коллизии. |
|
||||
| TR-5 | **Очистка прогресса в общей прод-БД задевает enduro/другие задачи.** | Низ. | Выс. | Все операции строго per-`task_id`; тумбстон/cancel-jobs гардятся `WHERE task_id=?`; аддитивные миграции; при `stop_status_enabled=False` — инертно. Тест: enduro-строки не тронуты. |
|
||||
| TR-6 | **Закрытие дыры релонча ломает легитимный resume аналитика после Needs Input.** | Сред. | Сред. | Relaunch ограничивается стадией `analysis` (единственный владелец Needs-Input, ORCH-066), а не блокируется целиком (D6). Тест: To Analyse на `analysis` релончит аналитика; на середине пайплайна — no-op. |
|
||||
| TR-7 | **STOP на «Cancelled»-группе без явного статуса STOP** — fail-closed `stop` не в `_DEFAULT_STATES` может удивить (на доске нет статуса → отмены нет). | Низ. | Низ. | Документировано как fail-safe (07-infra); инфра-предусловие — создать статус STOP (группа `cancelled`). Наблюдаемость: блок `stop` в `/queue` показывает `enabled`/`repos`. |
|
||||
| TR-8 | **Дубль-уведомления / повторный kill при повторном STOP.** | Низ. | Низ. | Идемпотентность (BR-5/D1): `stage in ("done","cancelled")` → no-op до любых действий. Тест: повторный STOP не меняет состояние и не шлёт дубль. |
|
||||
| TR-9 | **`delete_remote_branch` падает / ветка уже удалена / Gitea недоступна.** | Низ. | Низ. | never-raise хелпер: ошибка/404 логируется, отмена продолжается; worktree снимается локально независимо; `main` не трогается. |
|
||||
| TR-10 | **Удаление feature-ветки теряет код, не влитый в `main`.** | Низ. | Сред. | По замыслу: STOP = сброс незавершённого прогресса (BRD §2). docs-артефакты (`01..17`) сохраняются; ветку можно восстановить в Gitea. Влитый в `main` код не откатывается (rollback вне объёма). |
|
||||
|
||||
## Сводный вывод
|
||||
|
||||
Доминирующий класс — **консистентность системного терминал-набора** (TR-1, TR-2): введение
|
||||
`cancelled` как первоклассного терминала обязывает синхронно обновить ВСЕ предикаты «задача
|
||||
завершена», иначе латентный клин очереди. Это покрыто исчерпывающим списком в adr-0026 и
|
||||
маркером `ORCH-090`. Второй класс — **self-hosting safety при STOP во время merge/deploy** (TR-3),
|
||||
покрыт отложенной отменой (D7) с жёсткими запретами (`main`/прод/force-push/kill detached).
|
||||
|
||||
**Эскалация:** решение вводит **новое системное терминальное состояние `cancelled`** (новая
|
||||
стадия-сток + новый job-статус + сквозное изменение предиката терминальности) → классифицируется
|
||||
как `arch:major-change`. Возврат в анализ **не требуется** — ТЗ полно, OQ-1…OQ-7 разрешены в
|
||||
ADR-001; реализация аддитивна, под kill-switch, с нулевой регрессией при выключенном флаге.
|
||||
Остаточный риск для прод-конвейера (self-hosting) — **низкий** при условии полного покрытия
|
||||
тестами TR-1/TR-2/TR-3 и обязательного staging-гейта перед прод-деплоем.
|
||||
114
docs/work-items/ORCH-090/12-review.md
Normal file
114
docs/work-items/ORCH-090/12-review.md
Normal file
@@ -0,0 +1,114 @@
|
||||
---
|
||||
verdict: APPROVED
|
||||
work_item: ORCH-090
|
||||
stage: review
|
||||
author_agent: reviewer
|
||||
status: approved
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
type: review
|
||||
work_item_id: ORCH-090
|
||||
version: 2
|
||||
---
|
||||
|
||||
# Review ORCH-090 — Механизм отмены задачи: статус STOP (re-review, attempt 2)
|
||||
|
||||
## Summary
|
||||
|
||||
Повторный review после фикса блокирующего P1 из предыдущей итерации (`12-review.md` v1).
|
||||
Реализация STOP-отмены аккуратна и канонична (leaf `src/cancel.py` never-raise, kill-switch
|
||||
`stop_status_enabled`, fail-closed маршрутизация по образцу `confirm_deploy`/ORCH-059, аддитивные
|
||||
идемпотентные миграции). Кросс-каттинг `{done}` → `{done, cancelled}` проведён исчерпывающе и
|
||||
консистентно (serial_gate / task_deps / stages / db / job_reaper / queue_worker), в точности по
|
||||
adr-0026.
|
||||
|
||||
**Оба ранее блокировавших/важных дефекта закрыты и покрыты содержательными тестами:**
|
||||
- **P1 (был blocker) — ИСПРАВЛЕН.** `cancel.in_critical_window` сужен: удержание merge-lease без
|
||||
бегущего актора (`_task_has_running_actor`) на стадии `deploy` в ожидании `Confirm Deploy` теперь
|
||||
НЕ считается критическим окном → немедленный полный сброс, который сам отпускает lease (шаг 3c).
|
||||
Тесты `test_d7_lease_held_idle_parking_is_not_critical`,
|
||||
`test_d7_lease_held_with_running_actor_still_critical`,
|
||||
`test_d7_stop_on_deploy_awaiting_confirm_full_resets` (последний прямо проверяет
|
||||
`stage='cancelled'` + удалённую ветку + `current_lease_holder is None`). Сверено по коду
|
||||
`src/cancel.py::in_critical_window` (стр. 100–158) и `stage_engine.cancel_task` — wedge
|
||||
self-hosting-репо устранён.
|
||||
- **P2 (был should-fix) — ИСПРАВЛЕН.** Deferred-ветка `cancel_task` шлёт алерт только при первом
|
||||
переходе (`first = set_task_cancel_requested(...)`, далее `if first:`); повторный STOP в
|
||||
критическом окне даёт `deferred-already-pending` без повторного уведомления. Тест
|
||||
`test_d7_repeated_stop_in_critical_window_no_duplicate_notify` (ровно 1 notify).
|
||||
|
||||
Полный регресс `pytest tests/` зелёный (**1349 passed**); `tests/test_stop_status.py` — 30 кейсов
|
||||
(TC-01…TC-14 + D7), покрывают AC-1…AC-10 и оба фикса.
|
||||
|
||||
Оси проверки: ✅ ТЗ/AC (AC-1…AC-10, включая ранее проваленный AC-7) · ✅ ADR (соответствие
|
||||
adr-0026/ADR-001; см. P2-нит ниже) · ✅ качество кода · ✅ документация.
|
||||
|
||||
## Findings
|
||||
|
||||
### P0 — Blocker
|
||||
- (нет)
|
||||
|
||||
### P1 — Must fix
|
||||
- (нет)
|
||||
|
||||
### P2 — Should fix
|
||||
|
||||
- [ ] **Work-item ADR-001 §D7 не синхронизирован с фиксом P1 (running-actor-уточнение).**
|
||||
`docs/work-items/ORCH-090/06-adr/ADR-001-stop-cancel-task.md` §D7 (стр. 189–201) по-прежнему
|
||||
определяет критическое окно как «задача держит merge-lease … / merge в процессе» — **без**
|
||||
оговорки «И активно бегущий актор», которую фактически реализует код
|
||||
(`cancel.in_critical_window` + `_task_has_running_actor`) после фикса P1. Авторитетные
|
||||
golden-source доки уже синхронизированы (`CLAUDE.md` — абзац «Уточнение P1 (ORCH-090 review)»;
|
||||
`docs/architecture/README.md` стр. 316–317 «P1-уточнение»; `CHANGELOG.md` — буллет «Фикс P1»),
|
||||
поэтому витрина проекта корректна и это **не** P0 «src изменён, доки не обновлены». Но per
|
||||
«documentation = golden source» работа-айтемный ADR (запись именно этого архитектурного решения)
|
||||
должен честно отражать итоговую семантику — как это уже сделано для уточнения D4. Предложение:
|
||||
добавить в §D7 строку-уточнение «merge-lease критичен ТОЛЬКО при бегущем акторе; припаркованное
|
||||
ожидание `Confirm Deploy` обратимо → немедленный сброс» (ссылка на review P1). Не блокирует.
|
||||
|
||||
### P3 — Nice to have
|
||||
|
||||
- [ ] **«Завис» `cancel_requested_at` на успешно задеплоенной задаче → вечный `pending` в
|
||||
`GET /queue`** (перенесено из v1, не адресовано). При SUCCESS-деплое `run_deploy_finalizer`
|
||||
вызывает `cancel_task(force=True)`, который видит `stage='done'` → «already-terminal» no-op и
|
||||
**не очищает** `cancel_requested_at`; `db.cancelled_tasks_snapshot` считает
|
||||
`pending = cancel_requested_at IS NOT NULL AND stage != 'cancelled'` → done-задача с бывшим
|
||||
deferred-STOP навсегда показывается «pending». Чисто наблюдаемость; предложение — очищать
|
||||
`cancel_requested_at` при честном no-op после завершения.
|
||||
- [ ] **adr-0026 п.6 (post-deploy monitor «не тикает по отменённой задаче») в коде не реализован**
|
||||
(перенесено из v1). Фактически безвреден и недостижим: post-deploy наблюдение идёт только ПОСЛЕ
|
||||
`done`, а STOP на `done` — no-op. Рекомендация: снять пункт из adr-0026 как нерелевантный либо
|
||||
добавить дешёвый терминал-гард для строгого соответствия ADR.
|
||||
- [ ] **Косметика:** «рваная» строковая склейка комментария relaunch-hole в
|
||||
`src/webhooks/plane.py` (стр. 345–351) — собрать в одну строку для читаемости.
|
||||
|
||||
## Документация
|
||||
|
||||
**Обновлена полностью и качественно — отдельных blocking-findings нет.** Проверено пофайльно:
|
||||
- `README.md` — таблица env (`ORCH_STOP_STATUS_ENABLED`/`ORCH_STOP_STATUS_REPOS`), раздел «Отмена
|
||||
задачи: статус STOP (ORCH-090)», обновлён список job-статусов (`cancelled`), инфра-предусловие.
|
||||
- `docs/architecture/README.md` — раздел STOP со статусом «реализовано», блок `stop` в `/queue`,
|
||||
раздел «База данных» (колонки/тумбстон/статусы) **и P1-уточнение** (стр. 316–317).
|
||||
- `docs/architecture/internals.md` — `STAGE_TRANSITIONS` (сток `cancelled`), терминал-предикат
|
||||
`{done,cancelled}`, job-статусы.
|
||||
- `CHANGELOG.md` (`feat:` + отдельный буллет «Фикс P1»), `CLAUDE.md` (раздел «Отмена задачи: статус
|
||||
STOP (ORCH-090)» с абзацем «Уточнение P1»), `.env.example` — согласованы.
|
||||
- ADR: локальный `06-adr/ADR-001-stop-cancel-task.md` + сквозной
|
||||
`docs/architecture/adr/adr-0026-stop-cancel-task.md`; уточнение D4 (тумбстон `plane_issue_id`)
|
||||
отражено в коде и доках. Единственный gap — §D7 локального ADR не дотянут до running-actor-фикса
|
||||
(P2 выше).
|
||||
- Раздела README «Известные ограничения», который ORCH-090 закрывал бы (ORCH-079), нет — обзорная
|
||||
витрина не рассинхронена.
|
||||
|
||||
**Трассировка маркеров (TRACEABILITY.md):** правки маркированных инвариантов `serial_gate`/ORCH-088
|
||||
и `task_deps`/ORCH-026 сверены с их ADR — расширение терминал-набора до `{done,cancelled}` сохраняет
|
||||
FIFO-семантику (`t2.id < jobs.task_id`) и dep-готовность (терминальный предшественник), инварианты
|
||||
не сломаны. `STAGE_TRANSITIONS` exit-гейты / `QG_CHECKS` / `check_*` — не тронуты (подтверждено
|
||||
анти-регресс-снапшотами, зелёные).
|
||||
|
||||
## Вердикт
|
||||
|
||||
`APPROVED` — оба ранее найденных дефекта (P1 wedge при STOP в ожидании Confirm Deploy; P2
|
||||
дубль-уведомления в deferred-ветке) исправлены и покрыты содержательными тестами; полный регресс
|
||||
зелёный (1349 passed). Остаются только P2 (синхронизация §D7 локального ADR) и P3 (наблюдаемость/
|
||||
косметика) — не блокируют приёмку, желательны к устранению попутно.
|
||||
95
docs/work-items/ORCH-090/13-test-report.md
Normal file
95
docs/work-items/ORCH-090/13-test-report.md
Normal file
@@ -0,0 +1,95 @@
|
||||
---
|
||||
result: PASS
|
||||
work_item: ORCH-090
|
||||
stage: testing
|
||||
author_agent: tester
|
||||
status: pass
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
type: test-report
|
||||
work_item_id: ORCH-090
|
||||
---
|
||||
|
||||
# Test Report — ORCH-090 — Механизм отмены задачи: статус STOP (остановка + полный сброс)
|
||||
|
||||
> Машинный вердикт читается ТОЛЬКО из frontmatter (`result:`). Гейт `check_tests_passed`
|
||||
> (`_parse_tests_verdict`) парсит его. Review-вердикт предшественника — `APPROVED` (`12-review.md` v2).
|
||||
|
||||
## Окружение
|
||||
- Python: 3.12.13
|
||||
- pytest: 8.3.3
|
||||
- Дата: 2026-06-09
|
||||
- Worktree: `feature/ORCH-090-stop-plane` (`/repos/_wt/orchestrator/feature_ORCH-090-stop-plane/`)
|
||||
- Прод-контейнер `orchestrator` (8500) не трогался (smoke только read-only).
|
||||
|
||||
## Результаты
|
||||
|
||||
### Полный регресс
|
||||
`pytest tests/ -q` (из worktree ветки задачи) — **1349 passed, 1 warning** (37.91s).
|
||||
Warning — известный pydantic v2 deprecation в `src/config.py:8` (не относится к ORCH-090, не регресс).
|
||||
`STAGE_TRANSITIONS` / `QG_CHECKS` / `check_*` анти-регресс-снапшоты — зелёные (NFR-1).
|
||||
|
||||
### Профильные сюиты
|
||||
`pytest tests/test_stop_status.py -v` — **30 passed** (1.72s): TC-01…TC-14 + 7 кейсов D7
|
||||
(безопасное прерывание merge/deploy, P1-фикс «merge-lease критичен только при бегущем акторе»,
|
||||
P2-фикс «нет дубль-уведомлений в deferred-ветке»).
|
||||
|
||||
### Smoke API (read-only, прод 8500)
|
||||
| Проверка | Результат |
|
||||
|----------|-----------|
|
||||
| `GET /health` | `{"status":"ok","service":"orchestrator"}` — OK |
|
||||
| `GET /status` | OK (active_tasks отдаётся; ORCH-090 видна на `testing`) |
|
||||
| `GET /queue` → блок `serial_gate` (ORCH-088) | присутствует — OK |
|
||||
| `GET /queue` → блок `auto_labels` (ORCH-089) | присутствует — OK |
|
||||
|
||||
> Блок `stop` (ORCH-090) в проде 8500 отсутствует — ожидаемо: фича этой задачи ещё не задеплоена
|
||||
> (прод несёт предыдущий образ). В коде ветки блок присутствует (`src/main.py:198 "stop": cancel.snapshot()`)
|
||||
> и покрыт тестом `test_tc09_queue_has_stop_block_and_keeps_keys` — это НЕ регресс смока.
|
||||
|
||||
## Сопоставление с тест-планом (`04-test-plan.yaml`)
|
||||
|
||||
| TC ID | Описание | Тест-функция(и) | Результат |
|
||||
|-------|----------|-----------------|-----------|
|
||||
| TC-01 | STOP распознаётся/маршрутизируется; прочее → no-op, never-raise | `test_tc01_stop_routed_and_unknown_is_noop` | PASS |
|
||||
| TC-02 | Остановка агента: SIGTERM по `jobs.pid` через каскад `_watchdog`; idle → no-op | `test_tc02_stop_active_agent_by_pid`, `test_tc02_idle_agent_no_stop` | PASS |
|
||||
| TC-03 | Отмена job'ов: queued+running → терминал; `claim_next_job` их не выбирает | `test_tc03_jobs_cancelled_and_claim_skips`, `test_tc03_cancel_jobs_helper_only_queued` | PASS |
|
||||
| TC-04 | Запрет авто-requeue: `_finalize`/reaper не возвращают в `queued` | `test_tc04_reaper_does_not_requeue_terminal_task` | PASS |
|
||||
| TC-05 | Полный сброс: `remove_worktree`+удаление ветки; `main` не тронут, нет force-push | `test_tc05_full_reset_removes_branch_and_worktree`, `test_tc05_delete_remote_branch_refuses_main` | PASS |
|
||||
| TC-06 | Docs-артефакты (01..17) сохраняются при сбросе | `test_tc06_docs_and_task_row_survive` | PASS |
|
||||
| TC-07 | Идемпотентность: повторный STOP на cancelled/done/missing → no-op | `test_tc07_idempotent_on_cancelled_done_missing` | PASS |
|
||||
| TC-08 | Kill-switch `stop_status_enabled=False` нейтрален; `True` → отмена; scope CSV | `test_tc08_kill_switch_off_inert`, `test_tc08_kill_switch_off_handle_stop_noop`, `test_tc08_scope_csv` | PASS |
|
||||
| TC-09 | Наблюдаемость: `GET /queue` несёт блок `stop`; never-raise при ошибке | `test_tc09_queue_has_stop_block_and_keeps_keys`, `test_tc09_snapshot_never_raises` | PASS |
|
||||
| TC-10 | Дыра релонча закрыта: ручной перевод в mid-стадию НЕ порождает job | `test_tc10_relaunch_hole_closed_midpipeline` | PASS |
|
||||
| TC-11 | Единственный вход — To Analyse → `start_pipeline`; analysis idle релончит analyst | `test_tc11_new_task_starts_pipeline`, `test_tc11_analysis_idle_relaunches_analyst` | PASS |
|
||||
| TC-12 | Терминал-скип/restart-safe: reconciler F-1 и reaper не оживляют cancelled | `test_tc12_reconciler_skips_cancelled`, `test_tc12_requeue_running_does_not_revive_cancelled` | PASS |
|
||||
| TC-13 | End-to-end STOP: агент остановлен, job'ы отменены, ветка убрана, статус durable, уведомления | `test_tc13_end_to_end_stop` | PASS |
|
||||
| TC-14 | Аддитивность БД: миграция идемпотентна; существующие контракты целы | `test_tc14_migration_idempotent_and_columns_present`, `test_tc14_existing_contracts_intact` | PASS |
|
||||
| — (D7) | Безопасное прерывание merge/deploy + P1/P2-фиксы | `test_d7_*` (7 кейсов) | PASS |
|
||||
|
||||
Все 14 TC из тест-плана выполнены и сопоставлены; ожидаемый `expected: PASS` совпадает с фактом.
|
||||
|
||||
## Сопоставление с критериями приёмки (`03-acceptance-criteria.md`)
|
||||
|
||||
| AC | Критерий | Покрытие | Результат |
|
||||
|----|----------|----------|-----------|
|
||||
| AC-1 | STOP останавливает активного агента (SIGTERM-каскад по `jobs.pid`) | TC-02, TC-13 | PASS |
|
||||
| AC-2 | Все job'ы отменены без авто-requeue (claim не выбирает) | TC-03, TC-04 | PASS |
|
||||
| AC-3 | Таймеры/мониторы сняты; отменённая задача не реконсилируется | TC-12 | PASS |
|
||||
| AC-4 | Полный сброс: ветка/worktree убраны, прогресс durable, docs сохранены | TC-05, TC-06, TC-13 | PASS |
|
||||
| AC-5 | Единственный вход — To Analyse; дыра релонча закрыта | TC-10, TC-11 | PASS |
|
||||
| AC-6 | Идемпотентность STOP (cancelled/done/missing) | TC-07 | PASS |
|
||||
| AC-7 | Безопасное прерывание merge/deploy (нет half-merge/рестарта прода/force-push) | TC-05, D7 (`test_d7_*`) | PASS |
|
||||
| AC-8 | Kill-switch и нулевая регрессия (полный pytest зелёный) | TC-08, полный регресс 1349 passed | PASS |
|
||||
| AC-9 | Аддитивность БД и restart-safe | TC-14, TC-12 | PASS |
|
||||
| AC-10 | Наблюдаемость STOP (`GET /queue` блок, уведомления) | TC-09, TC-13 | PASS |
|
||||
|
||||
Все AC-1…AC-10 покрыты и зелёные.
|
||||
|
||||
## Итог
|
||||
|
||||
**PASS.** Полный регресс зелёный (1349 passed), профильная сюита `tests/test_stop_status.py` зелёная
|
||||
(30 passed), smoke read-only OK (`/health`, `/status`, `/queue` с блоками `serial_gate`/`auto_labels`),
|
||||
каждый TC тест-плана выполнен и сопоставлен с AC. Регрессов (`STAGE_TRANSITIONS`/`QG_CHECKS`/`check_*`,
|
||||
авто-requeue, оживание отменённой задачи, касание `main`/прод-контейнера) не обнаружено.
|
||||
|
||||
`result: PASS` → задача переходит на `deploy-staging`.
|
||||
12
docs/work-items/ORCH-090/14-deploy-log.md
Normal file
12
docs/work-items/ORCH-090/14-deploy-log.md
Normal file
@@ -0,0 +1,12 @@
|
||||
---
|
||||
deploy_status: SUCCESS
|
||||
work_item: ORCH-090
|
||||
hook_exit_code: 0
|
||||
deployed_by: deploy-finalizer
|
||||
---
|
||||
|
||||
# Deploy log — ORCH-036 executable self-deploy
|
||||
|
||||
Прод-деплой завершён хост-хуком с exit-code `0` -> `deploy_status: SUCCESS`.
|
||||
|
||||
Вердикт зафиксирован детерминированным finalizer'ом (Фаза C), не LLM.
|
||||
53
docs/work-items/ORCH-090/15-staging-log.md
Normal file
53
docs/work-items/ORCH-090/15-staging-log.md
Normal file
@@ -0,0 +1,53 @@
|
||||
---
|
||||
staging_status: SUCCESS
|
||||
work_item: ORCH-090
|
||||
stage: deploy-staging
|
||||
author_agent: deployer
|
||||
status: success
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
timestamp: 2026-06-09T18:30:25Z
|
||||
base_url: http://localhost:8501
|
||||
---
|
||||
|
||||
# Staging Gate Log
|
||||
|
||||
Staging test suite completed against the live staging environment
|
||||
(`orchestrator-staging`, 8501), run canonically inside the container
|
||||
(ORCH-048, ADR-001):
|
||||
|
||||
```
|
||||
docker exec orchestrator-staging \
|
||||
python3 /repos/orchestrator/scripts/staging_check.py \
|
||||
--base-url http://localhost:8501 --mode stub
|
||||
```
|
||||
|
||||
**Verdict: SUCCESS** (exit code 0).
|
||||
|
||||
## Results
|
||||
|
||||
Result: 8/10 checks PASS. All REAL (pipeline) checks are green:
|
||||
|
||||
- **Block A (SMOKE)**: A1 `/health`, A2 `/queue`, A3 `ORCH_STAGING=true` — PASS
|
||||
- **Block B (ACCESS)**: B4 Plane sandbox, B5 Gitea sandbox (push=true), B6 registry
|
||||
isolation (sandbox present, prod ET/ORCH absent) — PASS
|
||||
- **Block C (E2E, stub)**: C7 create issue in SANDBOX, C8 trigger pipeline via
|
||||
`/webhook/plane` — PASS; C9a/C9b — waived sandbox-infra
|
||||
|
||||
REAL failed: none.
|
||||
|
||||
## Infra waiver (ORCH-061)
|
||||
|
||||
The two failed checks are known sandbox-infra checks (C9a branch appears in
|
||||
`orchestrator-sandbox`, C9b analyst-job enqueued) — they depend on SANDBOX bot
|
||||
accounts being members of the sandbox Plane project, not on the pipeline. They
|
||||
were waived per ORCH-061 (`staging_infra_tolerance_enabled=True`); the script
|
||||
still exited 0 fail-closed because every REAL check is green.
|
||||
|
||||
```
|
||||
INFRA-WAIVED: C9a Branch appears in orchestrator-sandbox, C9b Analyst job enqueued in staging queue (known sandbox-infra; real checks green)
|
||||
VERDICT: SUCCESS (exit 0) — SUCCESS (infra-waived): ['C9a Branch appears in orchestrator-sandbox', 'C9b Analyst job enqueued in staging queue'] are known sandbox-infra checks; all real checks green
|
||||
```
|
||||
|
||||
Exit code remains the source of truth (fail-closed: any REAL failure still yields
|
||||
exit 1).
|
||||
14
docs/work-items/ORCH-090/16-post-deploy-log.md
Normal file
14
docs/work-items/ORCH-090/16-post-deploy-log.md
Normal file
@@ -0,0 +1,14 @@
|
||||
---
|
||||
post_deploy_status: HEALTHY
|
||||
action_taken: NONE
|
||||
work_item: ORCH-090
|
||||
window_s: 900
|
||||
checks_total: 30
|
||||
checks_failed: 0
|
||||
---
|
||||
|
||||
# Post-deploy log — ORCH-021 post-deploy monitor
|
||||
|
||||
Наблюдение прода завершено: `post_deploy_status: HEALTHY`, `action_taken: NONE`.
|
||||
|
||||
Окно наблюдения: 900s; опросов всего: 30, из них с провалом: 0.
|
||||
7
docs/work-items/ORCH-092/00-business-request.md
Normal file
7
docs/work-items/ORCH-092/00-business-request.md
Normal file
@@ -0,0 +1,7 @@
|
||||
# Business Request: Промпт-аудит 6 агентов: расхардкод дат/модели + сверка гейтов + escalation + чистка мёртвых инструкций
|
||||
|
||||
Work Item ID: ORCH-092
|
||||
|
||||
## Description
|
||||
|
||||
TBD
|
||||
169
docs/work-items/ORCH-092/01-brd.md
Normal file
169
docs/work-items/ORCH-092/01-brd.md
Normal file
@@ -0,0 +1,169 @@
|
||||
---
|
||||
work_item: ORCH-092
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 01 — BRD (бизнес-требования): ORCH-092 — Промпт-аудит 6 агентов (расхардкод дат/модели, сверка гейтов, escalation, чистка мёртвых инструкций)
|
||||
|
||||
Work Item: **ORCH-092** · Repo: **orchestrator** · Стадия: analysis
|
||||
|
||||
## 1. Бизнес-контекст и проблема
|
||||
|
||||
ORCH-092 — **эпилог эпика ORCH-52** (канонизация системных промптов). После слоёв 52d
|
||||
(XML-канон) и 52e (трассировка маркеров) системный аудит 6 промптов (`.openclaw/agents/*.md`)
|
||||
выявил класс системных дефектов, способных приводить к **дрейфу и багам** в self-hosting-конвейере:
|
||||
|
||||
- **Хардкод даты в примерах.** Во всех 6 промптах пример frontmatter содержит жёсткое
|
||||
`created_at: 2026-06-09`. Исполняющая модель — литеральный Opus 4.8: пример сильнее
|
||||
инструкции «текущая дата». Риск — модель **копирует дату буквально** → все документы
|
||||
всех задач получают одну и ту же дату, метаданные перестают отражать реальность.
|
||||
- **Хардкод модели в примерах.** Пример несёт `model_used: claude-opus-4-8`. Если включат
|
||||
model-routing (ORCH-41), промпты начнут **врать** про использованную модель — ровно та
|
||||
боль, которую слой 52f чинил для README «Известные ограничения».
|
||||
- **Несверённые имена гейтов.** Промпты называют имена QG-функций (`check_*`); при дрейфе
|
||||
кода имя в промпте может разойтись с реальным реестром `QG_CHECKS`. *(Сверка кодом в рамках
|
||||
анализа показала: текущие имена корректны — см. §6, допущение A-1; задача — закрепить сверку
|
||||
как воспроизводимую проверку, а не «починить несуществующий баг».)*
|
||||
- **Логические нестыковки в developer.md.** Инструкция «PR > 1500 строк → разбивай на меньшие
|
||||
PR» **физически невыполнима**: конвейер = 1 задача = 1 ветка = 1 PR, разбить внутри стадии
|
||||
нельзя. Инструкция `git rebase origin/main` в начале алгоритма **дублирует/конфликтует** с
|
||||
автоматикой движка (serial-gate ORCH-088 режет ветку от свежего `origin/main`;
|
||||
`auto_rebase_onto_main` ORCH-026 делает pre-merge rebase сам).
|
||||
- **Размазанная эскалация.** Секцию `<escalation>` имеет только `architect.md`. У developer /
|
||||
reviewer / tester маршруты эскалации (негодное ТЗ, FAIL, REQUEST_CHANGES) растворены в
|
||||
`<constraints>` — нет единой видной точки «куда эскалировать при затыке».
|
||||
- **Консистентность/качество.** `deployer.md` (самый большой, ~9.6 KB, на английском) рискует
|
||||
«утопить» критичный self-hosting-запрет «НЕ рестартить 8500». `tester.md` (самый бедный,
|
||||
~4.7 KB) не фиксирует worktree-путь (были гонки checkout), не проверяет serial_gate-блок и
|
||||
не требует покрытия ТЗ. `reviewer.md` содержит мёртвую инструкцию про «тот же экземпляр
|
||||
Developer» (в конвейере reviewer всегда отдельный agent-run).
|
||||
|
||||
**Это docs/prompts-only задача.** Код (`src/**`, `STAGE_TRANSITIONS`, `QG_CHECKS`, схема БД)
|
||||
**не трогается**. Промпт `cat`-ается из worktree в момент запуска агента, поэтому новые
|
||||
промпты вступают в силу на следующем worktree от `main` **без рестарта прод-контейнера** —
|
||||
что критично для self-hosting (рестарт 8500 встаёт конвейер всех проектов).
|
||||
|
||||
## 2. Объём (scope)
|
||||
|
||||
### В объёме
|
||||
- Правка 6 промптов `.openclaw/agents/{analyst,architect,developer,reviewer,tester,deployer}.md`:
|
||||
расхардкод даты (P0-1) и модели (P0-2) в **копируемых примерах**; сверка имён гейтов (P0-3);
|
||||
переформулировка «PR>1500» в эскалацию (P1-1); добавление `<escalation>` в developer/reviewer/
|
||||
tester (P1-3); рамка критичных запретов в deployer (P2-1); обогащение tester (P2-3); удаление
|
||||
мёртвой инструкции reviewer (P2-4).
|
||||
- **Решения, требующие архитектора** (формализованы как открытые в §6, решаются в `06-adr/`):
|
||||
P1-2 (нужен ли ручной rebase у developer при наличной автоматике), P2-2 (язык deployer:
|
||||
унификация en→ru ИЛИ явно зафиксированное исключение).
|
||||
- Обновление обзорной документации: `CLAUDE.md`, `docs/architecture/README.md` (при
|
||||
необходимости), `CHANGELOG.md`, ADR work item, и **новые/обновлённые структурные тесты**
|
||||
`tests/test_agent_prompts_canon.py` (анти-регресс новых инвариантов).
|
||||
|
||||
### Вне объёма
|
||||
- ❌ Любая правка `src/**`, `STAGE_TRANSITIONS`, `QG_CHECKS`, `check_*`, схемы БД.
|
||||
- ❌ Изменение машинных verdict-ключей (`verdict:` / `result:` / `staging_status:` /
|
||||
`deploy_status:` / `security_status:`) — байт-в-байт неприкосновенны.
|
||||
- ❌ Слом XML-канона 52d (5 обязательных секций в нормативном порядке), 52c-схемы (6 полей),
|
||||
правила трассировки 52e.
|
||||
- ❌ Включение enforcement frontmatter (`frontmatter_validation_strict` остаётся `False`).
|
||||
- ❌ Артефакты других work item.
|
||||
|
||||
## 3. Заинтересованные стороны
|
||||
- **Заказчик / приёмка:** Owner (Слава) — BRD-гейт ручной; решения по P1-2/P2-2.
|
||||
- **Затрагиваются:** все 6 ролей конвейера (исполняют обновлённые промпты), все проекты в
|
||||
общем инстансе (self-hosting), сопровождающие агенты.
|
||||
- **Принимает архитектурные развилки:** архитектор (стадия architecture, `06-adr/`).
|
||||
|
||||
## 4. Бизнес-требования (BR)
|
||||
|
||||
- **BR-1 (P0-1)** — В копируемых примерах frontmatter **всех 6** промптов `created_at` —
|
||||
плейсхолдер `<YYYY-MM-DD>` (НЕ конкретная дата), сопровождённый явной инструкцией: подставить
|
||||
фактическую текущую дату (`date +%F`), НЕ копировать из примера буквально.
|
||||
- **BR-2 (P0-2)** — В копируемых примерах **всех 6** промптов `model_used` — плейсхолдер/резолв
|
||||
(`<resolve ORCH-41>`, НЕ литеральный `claude-opus-4-8`), с оговоркой подставить фактическую
|
||||
модель из конфига. Факт «сейчас `claude-opus-4-8`» допускается как **справка вне копируемого
|
||||
блока** (например в таблице полей), но не как литерал в примере.
|
||||
- **BR-3 (P0-3)** — Все имена гейтов/QG-функций, упомянутые в промптах, **сверены** с реальным
|
||||
реестром `QG_CHECKS` (`src/qg/checks.py`). Реальные несовпадения (если бы нашлись) исправлены;
|
||||
**ложные подозрения не трогаются** (`check_tests_passed` верен). Сверка закреплена
|
||||
воспроизводимым тестом.
|
||||
- **BR-4 (P1-1)** — Инструкция developer «PR > 1500 строк → разбивай на меньшие PR» заменена на
|
||||
**эскалацию**: PR слишком большой → флагировать/эскалировать (задача слишком крупная, нужна
|
||||
декомпозиция **на уровне задач**, не PR).
|
||||
- **BR-5 (P1-3)** — developer / reviewer / tester получают явную секцию `<escalation>` с чёткими
|
||||
маршрутами: developer → `back-to:analysis` при негодном ТЗ; tester → `back-to:dev` при FAIL;
|
||||
reviewer → `REQUEST_CHANGES`. (Существующая `<escalation>` у architect — эталон формата.)
|
||||
- **BR-6 (P2-1)** — Критичные self-hosting-запреты deployer (прежде всего «НЕ рестартить
|
||||
прод 8500») вынесены в **видную рамку в начале** промпта, чтобы не утонуть в объёме.
|
||||
- **BR-7 (P2-3)** — tester обогащён: явный worktree-путь (ветка vs `/repos` — устранить гонки
|
||||
checkout); smoke добавляет проверку блока `serial_gate` в `/queue` (ORCH-088); `success_criteria`
|
||||
упоминает **покрытие ТЗ** (каждый TC из `04-test-plan.yaml`), не только «файл записан».
|
||||
- **BR-8 (P2-4)** — Мёртвая инструкция reviewer «не апрувь PR от того же экземпляра Developer»
|
||||
удалена (защита от несуществующего кейса — reviewer всегда отдельный agent-run), при сохранении
|
||||
всех живых инвариантов оси документации.
|
||||
- **BR-9 (P1-2, решение архитектора)** — Зафиксировать в ADR: должен ли developer выполнять
|
||||
ручной `git rebase origin/main`, или это полностью делает движок (serial-gate + auto_rebase).
|
||||
Промпт приводится в соответствие с принятым решением (убрать/смягчить/оставить с пояснением).
|
||||
- **BR-10 (P2-2, решение архитектора)** — Зафиксировать в ADR язык deployer: унифицировать
|
||||
(en→ru) ЛИБО явно задокументировать исключение («deployer — en, т.к. критичные команды/
|
||||
контракты на en»). При любом исходе machine-verdict ключи и shell-команды **не ломаются**.
|
||||
- **BR-11 (документация)** — Обновлены `CLAUDE.md` / `README` / ADR / `CHANGELOG.md`
|
||||
(golden source = код); добавлены/обновлены структурные тесты анти-регресса новых инвариантов.
|
||||
|
||||
## 5. Нефункциональные требования (NFR)
|
||||
|
||||
- **NFR-1 (анти-регресс, критично)** — verdict-ключи `verdict:` / `result:` / `staging_status:` /
|
||||
`deploy_status:` / `security_status:` сохраняются **байт-в-байт** (имя/регистр/значения);
|
||||
XML-канон 52d (5 секций, нормативный порядок), 52c-схема (6 полей), правило трассировки 52e —
|
||||
сохранены. `tests/test_agent_prompts_canon.py` и `tests/test_agent_frontmatter_no_model.py` —
|
||||
**зелёные**.
|
||||
- **NFR-2 (self-hosting безопасность)** — Изменение docs/prompts-only: `src/**` не тронут,
|
||||
прод-контейнер 8500 **не перезапускается**. Новые промпты применяются на следующем worktree
|
||||
от `main` без прод-рестарта.
|
||||
- **NFR-3 (обратимость)** — Все правки текстовые и ревертируемы одним PR; нет миграций, нет
|
||||
изменения схемы/состояния.
|
||||
- **NFR-4 (консистентность канона)** — Все правки соблюдают канон Anthropic (запреты «❌ X →
|
||||
✅ Y», секции в нормативном порядке); новая секция `<escalation>` размещается так, чтобы не
|
||||
нарушать порядок 5 обязательных секций (после `</output_format>`, как у architect).
|
||||
- **NFR-5 (отсутствие enforcement)** — `frontmatter_validation_strict` остаётся `False`;
|
||||
плейсхолдеры в примерах не вызывают hard-fail валидатора (warning-only).
|
||||
|
||||
## 6. Допущения и ограничения
|
||||
|
||||
- **A-1 (сверено кодом):** реестр `QG_CHECKS` (`src/qg/checks.py`) содержит:
|
||||
`check_analysis_complete`, `check_analysis_approved`, `check_architecture_done`,
|
||||
`check_ci_green`, `check_review_approved`, `check_tests_passed`, `check_reviewer_verdict`,
|
||||
`check_deploy_status`, `check_staging_status`, `check_branch_mergeable`, `check_security_gate`,
|
||||
`check_staging_image_fresh` (+ `check_tests_local` — DEPRECATED). Имена гейтов в промптах
|
||||
(`check_ci_green`, `check_reviewer_verdict`, `check_tests_passed`, `check_deploy_status`,
|
||||
`check_staging_status`, `check_security_gate`) **совпадают**. Реальных несовпадений на момент
|
||||
анализа НЕТ → BR-3 = «закрепить сверку», а не «исправить».
|
||||
- **A-2 (сверено кодом, основание для BR-9):** `auto_rebase_onto_main` (`src/merge_gate.py`)
|
||||
вызывается автоматически в `check_branch_mergeable` (`src/qg/checks.py`) при
|
||||
`premerge_rebase_always=True` (дефолт), а serial-gate (ORCH-088) откладывает срез ветки на
|
||||
свежий `origin/main`. Ручной rebase developer пересекается с этой автоматикой → требует решения
|
||||
архитектора (не менять вслепую).
|
||||
- **A-3:** Канон-тест проверяет **наличие имён полей** `created_at`/`model_used` и **литеральные
|
||||
строки** `author_agent: <role>` / `stage: <stage>` в примере — плейсхолдеры даты/модели этого
|
||||
не нарушают. Ни один тест не утверждает литерал `claude-opus-4-8` внутри промптов.
|
||||
- **Ограничение:** P1-2 и P2-2 — зона архитектора; analyst фиксирует факты и требование-решение,
|
||||
но НЕ принимает решение и НЕ правит вслепую.
|
||||
|
||||
## 7. Критерии успеха
|
||||
|
||||
Аудит-правки внесены во все 6 промптов согласно BR-1…BR-8; архитектурные развилки BR-9/BR-10
|
||||
решены в ADR и отражены в промптах; документация и анти-регресс-тесты обновлены (BR-11);
|
||||
анти-регресс NFR-1 соблюдён (verdict-ключи и канон не сломаны, целевые тесты зелёные).
|
||||
Детальные PASS/FAIL — `03-acceptance-criteria.md`.
|
||||
|
||||
## 8. Риски
|
||||
|
||||
- Случайный слом verdict-ключа/канона при массовой текстовой правке → митигируется
|
||||
структурными тестами (NFR-1).
|
||||
- Плейсхолдер `<YYYY-MM-DD>` / `<resolve ORCH-41>` сам по себе мог бы быть скопирован буквально —
|
||||
митигируется **явной инструкцией** «подставь фактическое, НЕ копируй».
|
||||
- Принятие архитектурного решения (P1-2/P2-2) не аналитиком — митигируется явным выносом в `06-adr/`.
|
||||
- Детальная карта рисков — `10-tech-risks.md` (заполняет архитектор).
|
||||
159
docs/work-items/ORCH-092/02-trz.md
Normal file
159
docs/work-items/ORCH-092/02-trz.md
Normal file
@@ -0,0 +1,159 @@
|
||||
---
|
||||
work_item: ORCH-092
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 02 — ТЗ (TRZ): ORCH-092 — Промпт-аудит 6 агентов
|
||||
|
||||
Work Item: **ORCH-092** · Repo: **orchestrator** · Стадия: analysis
|
||||
|
||||
> ТЗ описывает **конкретные изменения к реализации**, выведенные из BRD и фактического кода.
|
||||
> Архитектурное обоснование/решения (P1-2 rebase, P2-2 язык deployer) — задача архитектора (`06-adr/`).
|
||||
|
||||
## 1. Сводка изменения
|
||||
|
||||
Точечная правка 6 системных промптов `.openclaw/agents/*.md` + обзорной документации + структурных
|
||||
анти-регресс-тестов. **Код приложения не трогается** (docs/prompts-only). Цель — устранить класс
|
||||
дефектов промптов (хардкод даты/модели, размазанная эскалация, нереализуемые/конфликтующие
|
||||
инструкции, мёртвые инструкции, недообогащённые промпты), сохранив канон 52d/52c/52e и
|
||||
машинные verdict-ключи байт-в-байт.
|
||||
|
||||
## 2. Задействованные модули / пути
|
||||
|
||||
| Путь | Действие |
|
||||
|------|----------|
|
||||
| `.openclaw/agents/analyst.md` | изменить — расхардкод `created_at`/`model_used` в примере (FR-1, FR-2) |
|
||||
| `.openclaw/agents/architect.md` | изменить — расхардкод `created_at`/`model_used` в примере (FR-1, FR-2) |
|
||||
| `.openclaw/agents/developer.md` | изменить — расхардкод (FR-1/2); «PR>1500»→эскалация (FR-4); `<escalation>` (FR-5); rebase по решению ADR (FR-9) |
|
||||
| `.openclaw/agents/reviewer.md` | изменить — расхардкод (FR-1/2); `<escalation>` (FR-5); удалить мёртвую инструкцию (FR-8) |
|
||||
| `.openclaw/agents/tester.md` | изменить — расхардкод (FR-1/2); `<escalation>` (FR-5); worktree-путь + serial_gate smoke + покрытие ТЗ (FR-7) |
|
||||
| `.openclaw/agents/deployer.md` | изменить — расхардкод (FR-1/2); рамка критичных запретов (FR-6); язык по решению ADR (FR-10) |
|
||||
| `tests/test_agent_prompts_canon.py` | изменить — добавить TC анти-регресса новых инвариантов (FR-11) |
|
||||
| `CLAUDE.md` | изменить — отразить ORCH-092 (норматив промптов), при необходимости |
|
||||
| `docs/architecture/README.md` | изменить — when-applicable (если затрагивается обзорная карта) |
|
||||
| `CHANGELOG.md` | изменить — запись под `## [Unreleased]` |
|
||||
| `docs/work-items/ORCH-092/06-adr/ADR-001-*.md` | создать (архитектор) — решения P1-2, P2-2 |
|
||||
| `src/**`, `src/qg/checks.py`, `STAGE_TRANSITIONS`, `QG_CHECKS`, схема БД | **НЕ трогать** |
|
||||
|
||||
## 3. Функциональные требования
|
||||
|
||||
### FR-1 — Расхардкод `created_at` в примерах (BR-1, P0-1)
|
||||
Во **всех 6** промптах в копируемом примере frontmatter заменить `created_at: 2026-06-09` на
|
||||
плейсхолдер `created_at: <YYYY-MM-DD>`. Рядом — явная инструкция (в `<output_format>`): «подставь
|
||||
фактическую текущую дату (`date +%F`); НЕ копируй дату из примера буквально». Инвариант: имя поля
|
||||
`created_at` остаётся (канон-тест проверяет наличие имени).
|
||||
|
||||
### FR-2 — Расхардкод `model_used` в примерах (BR-2, P0-2)
|
||||
Во **всех 6** промптах в копируемом примере заменить `model_used: claude-opus-4-8` на
|
||||
`model_used: <resolve ORCH-41>` + оговорку «подставь фактическую модель из конфига, не копируй
|
||||
буквально». Факт «сейчас `claude-opus-4-8`» допустимо оставить как **справку в таблице полей**
|
||||
(вне копируемого блока). Инвариант: имя поля `model_used` остаётся.
|
||||
|
||||
### FR-3 — Сверка имён гейтов с `QG_CHECKS` (BR-3, P0-3)
|
||||
Пройти по каждому промпту, сверить все упомянутые `check_*`/имена QG-функций с реальным реестром
|
||||
`QG_CHECKS` в `src/qg/checks.py`. **Установленный факт:** на момент анализа несовпадений НЕТ
|
||||
(`check_ci_green`, `check_reviewer_verdict`, `check_tests_passed`, `check_deploy_status`,
|
||||
`check_staging_status`, `check_security_gate` — все присутствуют в реестре; `check_tests_passed`
|
||||
верен — подозрение было ложным). Требование: **исправлять только реально несовпадающие** имена
|
||||
(не выдумывать); закрепить сверку воспроизводимым тестом (FR-11/TC-03).
|
||||
|
||||
### FR-4 — «PR>1500» → эскалация (BR-4, P1-1)
|
||||
В `developer.md` (секция `<constraints>`) заменить запрет «❌ Не делай PR > 1500 строк без
|
||||
декомпозиции → ✅ разбивай на меньшие PR» на эскалацию: PR оказался слишком большим → **флагируй/
|
||||
эскалируй** (задача слишком крупная, нужна декомпозиция **на уровне задач**, не внутри стадии;
|
||||
1 задача = 1 ветка = 1 PR). Инвариант FR-6-анти-регресс: маркер «свой PR» («не мержи свой PR»)
|
||||
сохраняется отдельно.
|
||||
|
||||
### FR-5 — Секция `<escalation>` в developer/reviewer/tester (BR-5, P1-3)
|
||||
Добавить секцию `<escalation>` (формат — как у `architect.md`, **после** `</success_criteria>`,
|
||||
чтобы не нарушать нормативный порядок 5 обязательных секций):
|
||||
- **developer:** негодное/нереализуемое ТЗ → вернуть в Анализ (`back-to:analysis`); нужна новая
|
||||
архитектурная развилка → эскалация к архитектору.
|
||||
- **tester:** обоснованный FAIL → откат на development (`back-to:dev`); смок-сбой инфраструктуры →
|
||||
зафиксировать как FAIL с диагностикой.
|
||||
- **reviewer:** любой P0/P1 → `REQUEST_CHANGES` (единая точка); неоднозначность требований →
|
||||
finding со ссылкой на ТЗ/ADR.
|
||||
|
||||
Эскалационные строки консолидируют (не дублируют слепо) то, что было размазано по `<constraints>`.
|
||||
|
||||
### FR-6 — Рамка критичных запретов в deployer (BR-6, P2-1)
|
||||
В `deployer.md` вынести самые критичные self-hosting-запреты в **видную рамку в начале** (сразу
|
||||
после frontmatter / в начале `<context>`), как минимум: «**NEVER restart the prod `orchestrator`
|
||||
(8500) container**». Существующий blockquote усилить/поднять. Инвариант анти-регресса: маркеры
|
||||
`docker exec orchestrator-staging`, `pr_already_merged`, `8500`, `INFRA-WAIVED` сохраняются.
|
||||
|
||||
### FR-7 — Обогащение tester (BR-7, P2-3)
|
||||
В `tester.md`:
|
||||
- **worktree-путь:** явно указать, что тесты гоняются в worktree ветки задачи (а не в общем
|
||||
`/repos/orchestrator`), чтобы исключить гонки checkout; зафиксировать корректный путь алгоритма.
|
||||
- **serial_gate smoke:** в smoke `/queue` добавить проверку наличия блока `serial_gate`
|
||||
(ORCH-088) в ответе.
|
||||
- **покрытие ТЗ:** в `<success_criteria>` добавить, что готовность = каждый TC из
|
||||
`04-test-plan.yaml` выполнен и сопоставлен с `03-acceptance-criteria.md`, а не только «файл
|
||||
записан». Инвариант анти-регресса: маркеры `pytest`, `/health`, `/status`, `/queue` сохраняются.
|
||||
|
||||
### FR-8 — Удаление мёртвой инструкции reviewer (BR-8, P2-4)
|
||||
В `reviewer.md` удалить строку-запрет «❌ Не апрувь PR от того же экземпляра Developer →
|
||||
✅ выноси независимый вердикт» (защита от несуществующего кейса — reviewer всегда отдельный
|
||||
agent-run). Перед удалением убедиться, что ни один тест на неё не опирается (анти-регресс reviewer
|
||||
держит только `REQUEST_CHANGES` и «НЕ обновлена» — они сохраняются). Ось «независимый вердикт по
|
||||
4 осям» остаётся выражена через `<task>`/`<thinking>`.
|
||||
|
||||
### FR-9 — Ручной rebase developer по решению ADR (BR-9, P1-2) — **зона архитектора**
|
||||
Установленный факт (A-2): движок уже выполняет rebase автоматически (`auto_rebase_onto_main` в
|
||||
`check_branch_mergeable`, `premerge_rebase_always=True`; serial-gate режет ветку от свежего
|
||||
`origin/main`). Требование: архитектор в ADR решает — убрать/смягчить/оставить-с-пояснением шаг
|
||||
`git fetch origin && git rebase origin/main` в алгоритме developer; developer.md приводится в
|
||||
соответствие. БЕЗ ADR-решения промпт-строку rebase **не менять**.
|
||||
|
||||
### FR-10 — Язык deployer по решению ADR (BR-10, P2-2) — **зона архитектора**
|
||||
Архитектор решает: унифицировать deployer на русский (как остальные 5) ЛИБО явно задокументировать
|
||||
исключение («deployer — en по причине критичных команд/контрактов»). Инвариант: при любом исходе
|
||||
machine-verdict ключи (`staging_status:`/`deploy_status:`/`security_status:` + значения
|
||||
SUCCESS/FAILED/PASS/FAIL) и shell-команды НЕ переводятся/не ломаются. БЕЗ ADR-решения язык
|
||||
**не менять**.
|
||||
|
||||
### FR-11 — Анти-регресс-тесты новых инвариантов (BR-11)
|
||||
В `tests/test_agent_prompts_canon.py` (pure-text, без импорта `src/`, кроме TC-03 сверки реестра)
|
||||
добавить проверки: плейсхолдеры даты/модели в примерах (нет литерала `created_at: 2026-`/
|
||||
`model_used: claude-opus-4-8` в копируемом блоке); наличие `<escalation>` у developer/reviewer/
|
||||
tester; отсутствие удалённой мёртвой строки reviewer; обогащение tester (serial_gate/worktree/
|
||||
покрытие ТЗ); рамка в deployer. Существующие проверки (5 секций, 6 полей, verdict-ключи,
|
||||
анти-регресс-маркеры) остаются зелёными.
|
||||
|
||||
## 4. Изменения API
|
||||
Нет. Эндпоинты не добавляются и не меняются.
|
||||
|
||||
## 5. Изменения схемы БД
|
||||
Нет. Схема БД не трогается.
|
||||
|
||||
## 6. Требования к новым/изменённым QG checks
|
||||
Нет. `QG_CHECKS` / `check_*` / `STAGE_TRANSITIONS` **не трогаются**. Имена гейтов в промптах лишь
|
||||
**сверяются** с существующим реестром (FR-3). `frontmatter_validation_strict` остаётся `False`
|
||||
(enforcement не включается).
|
||||
|
||||
## 7. Совместимость / регресс
|
||||
|
||||
- **Машинные verdict-ключи** — байт-в-байт: `verdict:` (APPROVED|REQUEST_CHANGES), `result:`
|
||||
(PASS|FAIL), `staging_status:`/`deploy_status:` (SUCCESS|FAILED), `security_status:` (PASS|FAIL).
|
||||
Гарант — `test_machine_verdict_keys_preserved_exact_case`.
|
||||
- **Канон 52d/52c/52e** — 5 секций в нормативном порядке (context→task→deliverables→constraints→
|
||||
output_format), 6 полей схемы, правило трассировки. `<escalation>` добавляется как 6-я
|
||||
необязательная секция ПОСЛЕ `</output_format>`/`</success_criteria>` — порядок обязательной
|
||||
пятёрки не нарушается. Гаранты — `test_five_xml_sections_present`,
|
||||
`test_six_schema_field_names_present`, `test_schema_pins_role_specific_author_and_stage`.
|
||||
- **Frontmatter определения агента** — верхний `---`-блок (name/description, без `model:`)
|
||||
не трогается; примеры схемы живут в теле. Гарант — `tests/test_agent_frontmatter_no_model.py`.
|
||||
- **Область раската / обратимость** — docs/prompts-only; вступает в силу на следующем worktree
|
||||
от `main`; прод-рестарт НЕ требуется; полностью ревертируемо одним PR.
|
||||
- **Полный регресс** `pytest tests/ -q` остаётся зелёным.
|
||||
|
||||
## 8. Артефакты pipeline, создаваемые/обновляемые этой задачей
|
||||
- Анализ (этот пакет): `01-brd.md`, `02-trz.md`, `03-acceptance-criteria.md`, `04-test-plan.yaml`.
|
||||
- Архитектура: `06-adr/ADR-001-*.md` (решения P1-2 FR-9, P2-2 FR-10), при сквозном эффекте —
|
||||
возможный `10-tech-risks.md`.
|
||||
- Разработка: 6 промптов + `tests/test_agent_prompts_canon.py` + `CLAUDE.md`/README/`CHANGELOG.md`.
|
||||
151
docs/work-items/ORCH-092/03-acceptance-criteria.md
Normal file
151
docs/work-items/ORCH-092/03-acceptance-criteria.md
Normal file
@@ -0,0 +1,151 @@
|
||||
---
|
||||
work_item: ORCH-092
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 03 — Критерии приёмки (Acceptance Criteria): ORCH-092 — Промпт-аудит 6 агентов
|
||||
|
||||
Work Item: **ORCH-092** · Repo: **orchestrator** · Стадия: analysis
|
||||
|
||||
Формат: каждый критерий имеет **PASS** (что должно быть истинно для приёмки) и **FAIL**
|
||||
(что считается провалом). Reviewer/tester проверяют буквально по файлам репозитория
|
||||
(`.openclaw/agents/*.md`, `tests/`, `docs/`).
|
||||
|
||||
---
|
||||
|
||||
## AC-1 — `created_at` в примерах всех 6 промптов — плейсхолдер (P0-1, BR-1, FR-1)
|
||||
|
||||
**Условие:** В копируемом примере frontmatter каждого из 6 промптов дата не захардкожена.
|
||||
- **PASS:** В `analyst/architect/developer/reviewer/tester/deployer.md` пример несёт
|
||||
`created_at: <YYYY-MM-DD>` (плейсхолдер); рядом — явная инструкция «подставь фактическую дату
|
||||
(`date +%F`), НЕ копируй из примера». Литерала `created_at: 2026-06-09` (или иной конкретной
|
||||
даты) в **копируемом блоке** нет.
|
||||
- **FAIL:** Хотя бы один промпт оставляет конкретную дату в примере, или отсутствует инструкция
|
||||
«не копируй буквально».
|
||||
|
||||
---
|
||||
|
||||
## AC-2 — `model_used` в примерах — плейсхолдер/резолв (P0-2, BR-2, FR-2)
|
||||
|
||||
**Условие:** В копируемом примере frontmatter каждого из 6 промптов модель не захардкожена.
|
||||
- **PASS:** Пример несёт `model_used: <resolve ORCH-41>` (или эквивалентный плейсхолдер) +
|
||||
оговорку «подставь фактическую модель из конфига». Литерал `claude-opus-4-8` в **копируемом
|
||||
блоке** отсутствует (допускается как справка в таблице полей вне блока).
|
||||
- **FAIL:** Хотя бы один промпт оставляет `model_used: claude-opus-4-8` в копируемом примере,
|
||||
или нет оговорки про подстановку.
|
||||
|
||||
---
|
||||
|
||||
## AC-3 — Имена гейтов сверены с `QG_CHECKS` (P0-3, BR-3, FR-3)
|
||||
|
||||
**Условие:** Все `check_*`/имена QG-функций в промптах соответствуют реестру `QG_CHECKS`.
|
||||
- **PASS:** Каждое имя гейта, встречающееся в 6 промптах, присутствует ключом в
|
||||
`QG_CHECKS` (`src/qg/checks.py`). Реальные несовпадения (если бы были) исправлены; ложные
|
||||
(напр. `check_tests_passed` — верен) НЕ тронуты. Сверка закреплена тестом (см. AC-10/TC-03).
|
||||
- **FAIL:** В промпте остаётся имя гейта, которого нет в `QG_CHECKS`; ИЛИ исправлено верное имя
|
||||
«вслепую» (придуманная замена).
|
||||
|
||||
---
|
||||
|
||||
## AC-4 — developer: «PR>1500» → эскалация (P1-1, BR-4, FR-4)
|
||||
|
||||
**Условие:** Нереализуемая инструкция о разбиении PR переформулирована.
|
||||
- **PASS:** `developer.md` НЕ содержит инструкции «разбивай на меньшие PR»; вместо неё —
|
||||
эскалация: слишком большой PR → флагировать/эскалировать (нужна декомпозиция на уровне задач,
|
||||
1 задача = 1 ветка = 1 PR). Маркер «свой PR» («не мержи свой PR») сохранён.
|
||||
- **FAIL:** Старая формулировка «разбивай на меньшие PR» осталась; ИЛИ при правке удалён маркер
|
||||
«свой PR».
|
||||
|
||||
---
|
||||
|
||||
## AC-5 — `<escalation>` в developer/reviewer/tester (P1-3, BR-5, FR-5)
|
||||
|
||||
**Условие:** Три промпта получили секцию `<escalation>` с чёткими маршрутами.
|
||||
- **PASS:** `developer.md`, `reviewer.md`, `tester.md` содержат `<escalation>`…`</escalation>`
|
||||
(после `</success_criteria>`), с маршрутами: developer → `back-to:analysis`; tester →
|
||||
`back-to:dev` (при FAIL); reviewer → `REQUEST_CHANGES`. Нормативный порядок 5 обязательных
|
||||
секций НЕ нарушен.
|
||||
- **FAIL:** Хотя бы у одного из трёх нет `<escalation>`; ИЛИ её добавление сломало порядок/
|
||||
наличие 5 обязательных секций.
|
||||
|
||||
---
|
||||
|
||||
## AC-6 — deployer: рамка запретов + решённый язык (P2-1/P2-2, BR-6/BR-10, FR-6/FR-10)
|
||||
|
||||
**Условие:** Критичные self-hosting-запреты подняты в видную рамку; вопрос языка решён.
|
||||
- **PASS:** `deployer.md` несёт **в начале** видную рамку с критичным запретом «NEVER restart
|
||||
prod 8500». Язык deployer решён архитектором в `06-adr/`: либо унифицирован на ru, либо
|
||||
зафиксировано явное исключение (en) с обоснованием. Маркеры `docker exec orchestrator-staging`,
|
||||
`pr_already_merged`, `8500`, `INFRA-WAIVED` сохранены; verdict-ключи и команды не сломаны.
|
||||
- **FAIL:** Критичный запрет не выделен/утоплен в тексте; ИЛИ язык не решён (нет ADR-решения);
|
||||
ИЛИ потерян анти-регресс-маркер / сломан verdict-ключ при переводе.
|
||||
|
||||
---
|
||||
|
||||
## AC-7 — tester обогащён (P2-3, BR-7, FR-7)
|
||||
|
||||
**Условие:** tester получил worktree-путь, serial_gate smoke и покрытие ТЗ.
|
||||
- **PASS:** `tester.md`: (а) явно указывает worktree-путь ветки задачи (а не общий
|
||||
`/repos/orchestrator`) для прогона тестов; (б) smoke `/queue` проверяет наличие блока
|
||||
`serial_gate` (ORCH-088); (в) `<success_criteria>` требует покрытия каждого TC из
|
||||
`04-test-plan.yaml` (а не только «файл записан»). Маркеры `pytest`/`/health`/`/status`/`/queue`
|
||||
сохранены.
|
||||
- **FAIL:** Отсутствует любой из трёх пунктов; ИЛИ потерян анти-регресс-маркер tester.
|
||||
|
||||
---
|
||||
|
||||
## AC-8 — Удалена мёртвая инструкция reviewer (P2-4, BR-8, FR-8)
|
||||
|
||||
**Условие:** Строка про «тот же экземпляр Developer» удалена без потери живых инвариантов.
|
||||
- **PASS:** `reviewer.md` НЕ содержит «не апрувь PR от того же экземпляра Developer». Маркеры
|
||||
`REQUEST_CHANGES` и «НЕ обновлена», ось документации, ось трассировки (`TRACEABILITY.md`),
|
||||
ось обзорных доков (`Известные ограничения`, `ORCH-079`) сохранены.
|
||||
- **FAIL:** Мёртвая строка осталась; ИЛИ при удалении пострадал живой инвариант reviewer.
|
||||
|
||||
---
|
||||
|
||||
## AC-9 — АНТИ-РЕГРЕСС: verdict-ключи + канон + `src/` не тронут (NFR-1/2, BR-11)
|
||||
|
||||
**Условие:** Машинные контракты и канон сохранены, код не тронут.
|
||||
- **PASS:** verdict-ключи `verdict:`/`result:`/`staging_status:`/`deploy_status:`/
|
||||
`security_status:` (+ значения APPROVED/REQUEST_CHANGES/PASS/FAIL/SUCCESS/FAILED) — байт-в-байт.
|
||||
5 XML-секций в нормативном порядке + 6 полей 52c во всех 6 промптах. `src/**`,
|
||||
`STAGE_TRANSITIONS`, `QG_CHECKS`, схема БД — без изменений в diff. `git diff --stat` не содержит
|
||||
`src/`. `tests/test_agent_prompts_canon.py` и `tests/test_agent_frontmatter_no_model.py` —
|
||||
зелёные.
|
||||
- **FAIL:** Любой verdict-ключ изменён по имени/регистру/значению; нарушен порядок/наличие 5
|
||||
секций или 6 полей; есть правка `src/`; целевые тесты красные.
|
||||
|
||||
---
|
||||
|
||||
## AC-10 — Документация и тесты обновлены (BR-11, FR-11)
|
||||
|
||||
**Условие:** Обзорная документация и анти-регресс-тесты отражают изменение.
|
||||
- **PASS:** `CHANGELOG.md` несёт запись ORCH-092; `CLAUDE.md`/`docs/architecture/README.md`
|
||||
обновлены при необходимости; `06-adr/ADR-001-*.md` фиксирует решения P1-2/P2-2; новые
|
||||
структурные TC (плейсхолдеры даты/модели, `<escalation>`, удаление мёртвой строки, обогащение
|
||||
tester, рамка deployer, сверка гейтов) добавлены в `tests/test_agent_prompts_canon.py` и
|
||||
зелёные; полный `pytest tests/ -q` зелёный.
|
||||
- **FAIL:** Отсутствует ADR-решение P1-2/P2-2; нет записи в CHANGELOG; новые инварианты не
|
||||
покрыты тестом; регресс красный.
|
||||
|
||||
---
|
||||
|
||||
## Сводная матрица AC ↔ FR/BR
|
||||
|
||||
| AC | Покрывает |
|
||||
|----|-----------|
|
||||
| AC-1 | BR-1 / FR-1 |
|
||||
| AC-2 | BR-2 / FR-2 |
|
||||
| AC-3 | BR-3 / FR-3 |
|
||||
| AC-4 | BR-4 / FR-4 |
|
||||
| AC-5 | BR-5 / FR-5 |
|
||||
| AC-6 | BR-6 / BR-10 / FR-6 / FR-10 |
|
||||
| AC-7 | BR-7 / FR-7 |
|
||||
| AC-8 | BR-8 / FR-8 |
|
||||
| AC-9 | NFR-1 / NFR-2 / FR-9 (rebase по ADR без слома канона) |
|
||||
| AC-10 | BR-9 / BR-11 / FR-9 / FR-11 |
|
||||
89
docs/work-items/ORCH-092/04-test-plan.yaml
Normal file
89
docs/work-items/ORCH-092/04-test-plan.yaml
Normal file
@@ -0,0 +1,89 @@
|
||||
work_item: ORCH-092
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
title: "Промпт-аудит 6 агентов: расхардкод дат/модели, сверка гейтов, escalation, чистка"
|
||||
framework: pytest
|
||||
scope: >
|
||||
Покрываются структурные (pure-text) инварианты 6 промптов .openclaw/agents/*.md после
|
||||
аудита ORCH-092, плюс анти-регресс канона 52d/52c/52e и машинных verdict-ключей. Вне
|
||||
покрытия: поведение src/ (НЕ трогается), запуск реальных агентов. Полный регресс tests/
|
||||
должен оставаться зелёным. Новые TC живут в tests/test_agent_prompts_canon.py; TC-03 —
|
||||
единственный с импортом QG_CHECKS (integration).
|
||||
|
||||
notes: >
|
||||
Все правки docs/prompts-only — src/ не изменяется, прод-контейнер 8500 не перезапускается.
|
||||
Регрессом считается: слом любого verdict-ключа (verdict:/result:/staging_status:/
|
||||
deploy_status:/security_status:) по имени/регистру/значению; нарушение порядка/наличия 5
|
||||
XML-секций или 6 полей 52c; красный test_agent_prompts_canon.py или
|
||||
test_agent_frontmatter_no_model.py. P1-2 (rebase) и P2-2 (язык deployer) фиксируются ADR —
|
||||
TC проверяют лишь, что промпт согласован и канон/ключи не сломаны.
|
||||
|
||||
tests:
|
||||
- id: TC-01
|
||||
type: unit
|
||||
description: "AC-1: во всех 6 промптах пример frontmatter использует created_at: <YYYY-MM-DD> (нет литерала конкретной даты в копируемом блоке) и несёт инструкцию 'не копируй дату буквально'."
|
||||
module: tests/test_agent_prompts_canon.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-02
|
||||
type: unit
|
||||
description: "AC-2: во всех 6 промптах пример несёт model_used: <resolve ORCH-41> (нет литерала claude-opus-4-8 в копируемом блоке) + оговорку про подстановку фактической модели."
|
||||
module: tests/test_agent_prompts_canon.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-03
|
||||
type: integration
|
||||
description: "AC-3: каждое имя check_* в 6 промптах присутствует ключом в QG_CHECKS (импорт src.qg.checks). check_tests_passed подтверждён валидным; нет имён вне реестра."
|
||||
module: tests/test_agent_prompts_canon.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-04
|
||||
type: unit
|
||||
description: "AC-4: developer.md не содержит 'разбивай на меньшие PR'; содержит эскалацию для слишком большого PR (декомпозиция на уровне задач); маркер 'свой PR' сохранён."
|
||||
module: tests/test_agent_prompts_canon.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-05
|
||||
type: unit
|
||||
description: "AC-5: developer.md, reviewer.md, tester.md содержат секцию <escalation>…</escalation> с маршрутами back-to:analysis / back-to:dev / REQUEST_CHANGES соответственно."
|
||||
module: tests/test_agent_prompts_canon.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-06
|
||||
type: unit
|
||||
description: "AC-7: tester.md содержит явный worktree-путь, smoke-проверку блока serial_gate в /queue (ORCH-088) и упоминание покрытия ТЗ (каждый TC из 04-test-plan) в success_criteria; маркеры pytest//health//status//queue сохранены."
|
||||
module: tests/test_agent_prompts_canon.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-07
|
||||
type: unit
|
||||
description: "AC-6: deployer.md несёт в начале видную рамку с запретом рестарта прод-8500; анти-регресс-маркеры docker exec orchestrator-staging / pr_already_merged / 8500 / INFRA-WAIVED сохранены."
|
||||
module: tests/test_agent_prompts_canon.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-08
|
||||
type: unit
|
||||
description: "AC-8: reviewer.md не содержит 'того же экземпляра Developer'; маркеры REQUEST_CHANGES, 'НЕ обновлена', TRACEABILITY.md, 'Известные ограничения', ORCH-079 сохранены."
|
||||
module: tests/test_agent_prompts_canon.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-09
|
||||
type: unit
|
||||
description: "AC-9 анти-регресс: verdict-ключи (verdict:/result:/staging_status:/deploy_status:/security_status:) и значения (APPROVED/REQUEST_CHANGES/PASS/FAIL/SUCCESS/FAILED) присутствуют байт-в-байт; 5 XML-секций в нормативном порядке + 6 полей 52c во всех 6 промптах (существующие канон-проверки зелёные)."
|
||||
module: tests/test_agent_prompts_canon.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-10
|
||||
type: unit
|
||||
description: "AC-9: верхний frontmatter определения агента остаётся валидным YAML с name/description и без ключа model: во всех 6 промптах (регресс test_agent_frontmatter_no_model.py)."
|
||||
module: tests/test_agent_frontmatter_no_model.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-11
|
||||
type: integration
|
||||
description: "AC-9/AC-10: полный регресс pytest tests/ -q зелёный; git diff не содержит правок src/ (docs/prompts-only)."
|
||||
module: tests/
|
||||
expected: PASS
|
||||
@@ -0,0 +1,135 @@
|
||||
---
|
||||
work_item: ORCH-092
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: accepted
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# ADR-001: Ручной rebase developer и язык промпта deployer
|
||||
|
||||
Work Item: **ORCH-092** — Промпт-аудит 6 агентов (эпилог эпика ORCH-52)
|
||||
Стадия: **architecture**
|
||||
Сквозная регистрация: **N/A — локальное docs/prompts-only решение.** Оба решения уточняют
|
||||
существующий канон промптов (`docs/architecture/adr/adr-0021-prompt-canon-anthropic.md`,
|
||||
README §«Слой промптов»), но не вводят ни нового QG, ни стадии, ни компонента, ни смены БД →
|
||||
нового global ADR не требуют. Долговечность нормативного эффекта обеспечивается анти-регресс-тестом
|
||||
`tests/test_agent_prompts_canon.py` (FR-11), а не отдельным сквозным ADR.
|
||||
|
||||
## Статус
|
||||
Accepted
|
||||
|
||||
## Контекст
|
||||
|
||||
ORCH-092 — аудит 6 системных промптов `.openclaw/agents/*.md`. Анализ (BRD §6, TRZ §3) вынес две
|
||||
развилки, которые analyst **намеренно не решал** (зона архитектора), потребовав ADR ПЕРЕД правкой
|
||||
соответствующих строк:
|
||||
|
||||
**P1-2 / FR-9 — ручной rebase developer.** `developer.md` (`<task>`, шаг 2 алгоритма) предписывает
|
||||
`git fetch origin && git rebase origin/main`. Сверка кодом (BRD A-2) показала, что движок **уже**
|
||||
держит свежесть базы детерминированно и автоматически, причём двумя независимыми рубежами:
|
||||
- **Срез ветки от свежего `origin/main`** — serial-gate (ORCH-088) откладывает создание ветки со
|
||||
`start_pipeline` на момент claim analyst-job (`launcher._materialize_deferred_branch`,
|
||||
`src/agents/launcher.py:421`), когда `origin/main` уже содержит код предшественника
|
||||
(`done` ⇔ SHA-в-main, ORCH-071/073). `ensure_worktree` режет worktree от свежего `origin/main`.
|
||||
- **Авторитетный pre-merge rebase под merge-lease** — `check_branch_mergeable`
|
||||
(`src/qg/checks.py:697-703`) на ребре `deploy-staging → deploy` вызывает
|
||||
`merge_gate.auto_rebase_onto_main` (`src/merge_gate.py:113`) **всегда** при
|
||||
`premerge_rebase_always=True` (дефолт, ORCH-026). Эта операция завершается
|
||||
`git push --force-with-lease origin <branch>` (`src/merge_gate.py:151`).
|
||||
|
||||
Важная асимметрия прав: авторитетный rebase движка **обязан** делать `--force-with-lease`, чтобы
|
||||
переписать уже запушенную историю ветки. Developer-промпту это **прямо запрещено**
|
||||
(`<constraints>`: «❌ Не используй `--no-verify` / `--force-push`»). Значит ручной
|
||||
`git rebase origin/main` developer'а либо безопасен-но-бесполезен (в начале стадии ветка только что
|
||||
срезана от свежего main — rebase no-op), либо опасен (после первого push повторный rebase требует
|
||||
force-push, который developer'у запрещён) — то есть инструкция шага 2 **дублирует** автоматику и
|
||||
**конфликтует** с собственным запретом промпта.
|
||||
|
||||
**P2-2 / FR-10 — язык deployer.** 5 из 6 промптов на русском; `deployer.md` (~9.6 KB, самый большой
|
||||
и самый safety-critical: self-hosting, прод-рестарт 8500) — на английском. Нужно решить:
|
||||
унифицировать на ru ИЛИ зафиксировать исключение (en). Инвариант NFR-1 критичен: machine-verdict
|
||||
ключи (`staging_status:`/`deploy_status:`/`security_status:` + значения `SUCCESS/FAILED/PASS/FAIL`),
|
||||
shell-команды и анти-регресс-маркеры (`docker exec orchestrator-staging`, `pr_already_merged`,
|
||||
`8500`, `INFRA-WAIVED`) — **байт-в-байт неприкосновенны**.
|
||||
|
||||
## Решение
|
||||
|
||||
### Сводка
|
||||
**D1:** убрать безусловный ручной `git rebase origin/main` из алгоритма developer; свежесть базы —
|
||||
инвариант движка (serial-gate + auto_rebase под lease), а не ответственность агента. **D2:** оставить
|
||||
`deployer.md` на английском как **явно задокументированное исключение** канона; не переводить.
|
||||
|
||||
### D1 — Developer НЕ делает ручной rebase (закрывает FR-9 / BR-9)
|
||||
|
||||
Шаг 2 алгоритма developer (`git fetch origin && git rebase origin/main`) **удаляется** как
|
||||
самостоятельная мутирующая операция. Вместо него — короткая нормативная заметка, что:
|
||||
- ветка уже срезана движком от свежего `origin/main` (serial-gate ORCH-088), поэтому ручная синхра
|
||||
на входе не нужна;
|
||||
- авторитетный догон `main` перед слиянием делает движок (`auto_rebase_onto_main` под merge-lease,
|
||||
ORCH-026/043) на ребре `deploy-staging → deploy`;
|
||||
- developer **не делает** `git rebase` / `git push --force*` сам (это пересекается с запретом
|
||||
`<constraints>` и с авторитетной операцией движка, использующей `--force-with-lease`).
|
||||
|
||||
Допустимо сохранить **read-only** `git fetch origin` (без rebase) — он не мутирует историю и полезен
|
||||
для сверки с актуальным `main`; но это не обязательный шаг. Главный инвариант: **из алгоритма
|
||||
исчезает мутирующий `git rebase origin/main`**.
|
||||
|
||||
Привязка: FR-9 (промпт приводится в соответствие с ADR), AC-9 (developer не нарушает no-force-push),
|
||||
анти-регресс — маркер «не мержи свой PR» и запрет force-push сохраняются.
|
||||
|
||||
### D2 — Deployer остаётся на английском (закрывает FR-10 / BR-10)
|
||||
|
||||
`deployer.md` **не переводится**; язык остаётся английским как зафиксированное исключение из канона
|
||||
«остальные промпты на ru». Обоснование (в порядке веса):
|
||||
1. **Минимизация регресс-поверхности на самом критичном промпте.** Перевод ~9.6 KB плотного
|
||||
операционного текста — широкая поверхность для случайного слома verdict-ключа, маркера или
|
||||
shell-команды (NFR-1 — критичный инвариант). Deployer управляет прод-рестартом 8500 (групповой
|
||||
self-hosting риск) — здесь цена ошибки максимальна, выгода от churn — нулевая.
|
||||
2. **Нулевая выгода понимания.** Исполняющая модель (`claude-opus-4-8`) двуязычна; критичные
|
||||
команды, контракты, exit-code-маппинги и verdict-ключи **англо-нативны** — перевод вокруг них
|
||||
лишь добавляет риск рассинхрона «русский текст ↔ английская команда».
|
||||
3. **Исключение, а не дрейф.** Чтобы будущий агент не «починил» язык вслепую, исключение
|
||||
фиксируется нормативно: (а) запись в `CLAUDE.md`/README §«Слой промптов», (б) анти-регресс-тест
|
||||
`tests/test_agent_prompts_canon.py` (FR-11) допускает/ожидает EN для deployer.
|
||||
|
||||
D2 **не отменяет** FR-6: критичная рамка «NEVER restart prod 8500» поднимается/усиливается в начале
|
||||
`deployer.md` — на английском, в существующем blockquote-стиле. machine-verdict ключи и команды
|
||||
остаются байт-в-байт (AC-6).
|
||||
|
||||
## Альтернативы
|
||||
|
||||
- **D1-альт: оставить ручной rebase «с пояснением».** Отвергнуто: пояснение не снимает конфликт с
|
||||
запретом force-push и не устраняет дублирование авторитетной операции движка; «оставить, но
|
||||
объяснить почему оно безопасно» сложнее и хрупче, чем «убрать то, что движок делает лучше».
|
||||
- **D1-альт: оставить как есть.** Отвергнуто: BRD/TRZ явно квалифицируют это как
|
||||
нереализуемо-конфликтующую инструкцию (after-push rebase ⇒ нужен запрещённый force-push).
|
||||
- **D2-альт: унифицировать deployer на русский.** Отвергнуто: максимальный регресс-риск на самом
|
||||
опасном промпте при нулевой выгоде понимания; противоречит духу «docs/prompts-only, минимум
|
||||
изменений, NFR-1 байт-в-байт».
|
||||
|
||||
## Последствия
|
||||
|
||||
- **+** Developer-алгоритм перестаёт противоречить собственному запрету force-push; единственный
|
||||
владелец догона `main` — движок (один авторитетный путь, меньше гонок).
|
||||
- **+** Самый safety-critical промпт (deployer) не подвергается рискованному массовому переводу;
|
||||
NFR-1 защищён структурно.
|
||||
- **+** Оба решения — чисто текстовые, ревертируемы одним PR; `src/**` не тронут (NFR-2/NFR-3).
|
||||
- **−** Языковая неоднородность канона (5 ru + 1 en) остаётся. Митигейшн: явная нормативная запись +
|
||||
тест → это документированное исключение, а не необъяснённый дрейф.
|
||||
- **−** Теоретически developer может захотеть подтянуть `main` во время длинной стадии и теперь не
|
||||
имеет шага rebase. Митигейшн: серийность репо (ORCH-088) ограничивает расхождение `main` за время
|
||||
одной задачи; авторитетный rebase перед merge закрывает остаточное расхождение детерминированно.
|
||||
- **Откат:** вернуть строку `git rebase origin/main` в `developer.md` шаг 2 и (при желании) перевести
|
||||
`deployer.md` — обе правки текстовые, в одном PR, без изменения кода/схемы.
|
||||
|
||||
## Ссылки
|
||||
- BRD: `docs/work-items/ORCH-092/01-brd.md` (BR-9, BR-10; §6 A-2)
|
||||
- TRZ: `docs/work-items/ORCH-092/02-trz.md` (FR-9, FR-10)
|
||||
- Acceptance: `docs/work-items/ORCH-092/03-acceptance-criteria.md` (AC-6, AC-9)
|
||||
- Канон промптов: `docs/architecture/adr/adr-0021-prompt-canon-anthropic.md`
|
||||
- Сверено по коду: `src/merge_gate.py:113,151` (`auto_rebase_onto_main` + `--force-with-lease`),
|
||||
`src/qg/checks.py:697-703` (`check_branch_mergeable` → авто-rebase при `premerge_rebase_always`),
|
||||
`src/agents/launcher.py:421` (`_materialize_deferred_branch`, отложенный срез ветки ORCH-088)
|
||||
- Риски: `docs/work-items/ORCH-092/10-tech-risks.md`
|
||||
42
docs/work-items/ORCH-092/10-tech-risks.md
Normal file
42
docs/work-items/ORCH-092/10-tech-risks.md
Normal file
@@ -0,0 +1,42 @@
|
||||
---
|
||||
work_item: ORCH-092
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: accepted
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 10 — Технические риски: ORCH-092 — Промпт-аудит 6 агентов
|
||||
|
||||
Work Item: **ORCH-092** · Repo: **orchestrator** · Стадия: architecture
|
||||
|
||||
> Информационный (гейтом не парсится). Перечисляет риски реализации и их митигейшн.
|
||||
> Решения, порождающие/снижающие часть рисков, зафиксированы в
|
||||
> `06-adr/ADR-001-developer-rebase-and-deployer-language.md`.
|
||||
|
||||
## Реестр рисков
|
||||
|
||||
| ID | Риск | Вер. | Влия. | Митигейшн |
|
||||
|----|------|------|-------|-----------|
|
||||
| TR-1 | Массовая текстовая правка 6 промптов случайно ломает machine-verdict ключ (`verdict:`/`result:`/`staging_status:`/`deploy_status:`/`security_status:`) по имени/регистру/значению | Сред. | Выс. | NFR-1 анти-регресс: `tests/test_agent_prompts_canon.py` (`test_machine_verdict_keys_preserved_exact_case`) + `test_agent_frontmatter_no_model.py` зелёные; правка точечная, не переписывание |
|
||||
| TR-2 | Плейсхолдеры `<YYYY-MM-DD>` / `<resolve ORCH-41>` сами скопированы моделью буквально (тот же класс бага, что хардкод) | Сред. | Низ. | Явная инструкция «подставь фактическое (`date +%F` / резолв конфига), НЕ копируй из примера»; плейсхолдер визуально не похож на валидное значение |
|
||||
| TR-3 | Удаление шага `git rebase origin/main` (D1) оставляет ветку на устаревшем `main` в длинной/повторной (rework) стадии development | Низ. | Сред. | Авторитетный `auto_rebase_onto_main` под merge-lease перед слиянием (ORCH-026/043) детерминированно догоняет `main`; serial-gate (ORCH-088) ограничивает расхождение `main` за время одной задачи; срез ветки — от свежего `origin/main` |
|
||||
| TR-4 | Решение «deployer = EN» (D2) воспринято будущим агентом как дрейф и «починено» переводом → регресс NFR-1 на самом опасном промпте | Низ. | Выс. | Нормативная фиксация исключения: запись в `CLAUDE.md`/README §«Слой промптов» + ожидание EN-deployer в каноне-тесте (FR-11); ADR-001 D2 как ссылка-обоснование |
|
||||
| TR-5 | Добавление секции `<escalation>` (developer/reviewer/tester) нарушает нормативный порядок 5 обязательных XML-секций канона 52d | Низ. | Сред. | `<escalation>` ставится ПОСЛЕ `</success_criteria>` (как у `architect.md` — эталон); гаранты `test_five_xml_sections_present` / `test_six_schema_field_names_present` |
|
||||
| TR-6 | Поднятие критичной рамки в `deployer.md` (FR-6) задевает анти-регресс-маркер (`docker exec orchestrator-staging`, `pr_already_merged`, `8500`, `INFRA-WAIVED`) | Низ. | Выс. | Рамка добавляется/поднимается аддитивно (blockquote в начале `<context>`), маркеры не трогаются; каноне-тест проверяет их наличие |
|
||||
| TR-7 | Сверка имён гейтов (FR-3) «исправляет» верное имя вслепую (напр. `check_tests_passed`) | Низ. | Сред. | BR-3/A-1: несовпадений на момент анализа НЕТ → правка только реально отсутствующих в `QG_CHECKS`; TC-03 сверяет имена против реального реестра `src/qg/checks.py` |
|
||||
|
||||
## Сводный вывод
|
||||
|
||||
Доминирующий класс рисков — **случайный слом машинного контракта/канона при текстовой правке**
|
||||
(TR-1/TR-5/TR-6/TR-7), полностью покрываемый структурными анти-регресс-тестами
|
||||
`tests/test_agent_prompts_canon.py` + `test_agent_frontmatter_no_model.py` (NFR-1). Архитектурные
|
||||
решения D1/D2 снижают, а не повышают системный риск: D1 устраняет конфликт инструкции с запретом
|
||||
force-push и отдаёт догон `main` единственному авторитетному владельцу (движок); D2 минимизирует
|
||||
регресс-поверхность на самом safety-critical промпте.
|
||||
|
||||
Изменение **docs/prompts-only**: `src/**`, `STAGE_TRANSITIONS`, `QG_CHECKS`, схема БД — не тронуты;
|
||||
прод-контейнер 8500 не перезапускается (NFR-2); всё ревертируемо одним PR (NFR-3). Эскалация
|
||||
`arch:major-change` **не требуется**; возврат в анализ **не требуется** (ТЗ реализуемо без нарушения
|
||||
принципов). Остаточный риск для прод-конвейера (self-hosting) — **низкий**.
|
||||
94
docs/work-items/ORCH-092/12-review.md
Normal file
94
docs/work-items/ORCH-092/12-review.md
Normal file
@@ -0,0 +1,94 @@
|
||||
---
|
||||
verdict: APPROVED
|
||||
work_item: ORCH-092
|
||||
stage: review
|
||||
author_agent: reviewer
|
||||
status: approved
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
type: review
|
||||
work_item_id: ORCH-092
|
||||
version: 1
|
||||
---
|
||||
|
||||
# Review ORCH-092
|
||||
|
||||
## Summary
|
||||
|
||||
Промпт-аудит 6 агентов (эпилог эпика ORCH-52), **docs/prompts-only**. PR проверен по 4 осям:
|
||||
соответствие ТЗ (`02-trz.md` FR-1…FR-11), соответствие ADR (`06-adr/ADR-001`), качество кода,
|
||||
качество документации. Все критерии приёмки `03-acceptance-criteria.md` (AC-1…AC-10) выполнены;
|
||||
машинные verdict-ключи и канон 52d/52c/52e — байт-в-байт; `src/**`/`STAGE_TRANSITIONS`/`QG_CHECKS`/
|
||||
схема БД не тронуты. Полный регресс `pytest tests/ -q` — **1278 passed**; целевые
|
||||
`test_agent_prompts_canon.py` + `test_agent_frontmatter_no_model.py` — **75 passed**.
|
||||
|
||||
**Вердикт: APPROVED.** P0/P1/P2-findings нет.
|
||||
|
||||
## Findings
|
||||
|
||||
### P0 — Blocker
|
||||
- _нет_
|
||||
|
||||
### P1 — Must fix
|
||||
- _нет_
|
||||
|
||||
### P2 — Should fix
|
||||
- _нет_
|
||||
|
||||
## Проверка по осям
|
||||
|
||||
### Ось 1 — Соответствие ТЗ / Acceptance
|
||||
- **AC-1 / FR-1 (расхардкод `created_at`):** PASS. Во всех 6 промптах копируемый блок несёт
|
||||
`created_at: <YYYY-MM-DD>` + врезка «не копируй буквально, подставь `date +%F`». Литерала
|
||||
`created_at: 2026-…` в fenced-блоках нет (закреплено `test_orch092_created_at_is_placeholder_not_literal`).
|
||||
- **AC-2 / FR-2 (расхардкод `model_used`):** PASS. `model_used: <resolve ORCH-41>` в примерах;
|
||||
литерал `claude-opus-4-8` остаётся лишь справкой в таблице полей (вне блока).
|
||||
- **AC-3 / FR-3 (сверка гейтов):** PASS. Все `check_*` из 6 промптов присутствуют в `QG_CHECKS`
|
||||
(интеграционный `test_orch092_gate_names_match_qg_registry`); `check_tests_passed` подтверждён
|
||||
валидным, не «исправлен вслепую».
|
||||
- **AC-4 / FR-4 (PR>1500 → эскалация):** PASS. «разбивай на меньшие PR» удалено, переформулировано
|
||||
в декомпозицию на уровне задач; маркер «свой PR» сохранён.
|
||||
- **AC-5 / FR-5 (`<escalation>`):** PASS. developer/reviewer/tester несут `<escalation>` ПОСЛЕ
|
||||
`</success_criteria>` (порядок 5 обязательных секций цел); маршруты ролеспецифичны
|
||||
(`back-to:analysis` / `back-to:dev` / `REQUEST_CHANGES`).
|
||||
- **AC-6 / FR-6+FR-10 (deployer рамка + язык):** PASS. Критичные self-hosting-запреты подняты в
|
||||
видную рамку в начале `<context>` («NEVER restart the prod 8500»); язык — EN по решению ADR D2.
|
||||
- **AC-7 / FR-7 (обогащение tester):** PASS. worktree-путь ветки задачи, smoke-проверка блока
|
||||
`serial_gate` в `/queue`, требование покрытия каждого TC из `04-test-plan.yaml`.
|
||||
- **AC-8 / FR-8 (мёртвая строка reviewer):** PASS. «не апрувь PR от того же экземпляра Developer»
|
||||
удалена; живые инварианты (`REQUEST_CHANGES`, «НЕ обновлена», ось трассировки, ось обзорных доков
|
||||
ORCH-079) сохранены.
|
||||
- **AC-9 / FR-11 (анти-регресс):** PASS. verdict-ключи `verdict:`/`result:`/`staging_status:`/
|
||||
`deploy_status:`/`security_status:` (+ значения) байт-в-байт; 5 секций + 6 полей во всех 6
|
||||
промптах; `git diff --stat -- src/` пуст.
|
||||
- **AC-10 (документация и тесты):** PASS — см. ось 4.
|
||||
|
||||
### Ось 2 — Соответствие ADR
|
||||
- **ADR-001 D1 (убран ручной rebase):** реализовано точно. Шаг `git fetch origin && git rebase
|
||||
origin/main` удалён из алгоритма developer, заменён нормативной заметкой; маркер запрета
|
||||
`--force-push` сохранён. Код-обоснование ADR **верифицировано**: `premerge_rebase_always=True`
|
||||
(config.py:432, дефолт), `auto_rebase_onto_main` + `--force-with-lease` (merge_gate.py:113/151),
|
||||
`_materialize_deferred_branch` (launcher.py:421). Логика верна: developer'у force-push запрещён,
|
||||
а пост-push rebase его требует → ручной шаг был конфликтующим/дублирующим.
|
||||
- **ADR-001 D2 (deployer EN):** реализовано — `deployer.md` оставлен на английском с явной
|
||||
«Language note» как задокументированное исключение; рамка запретов на EN.
|
||||
- **Глобальные ADR:** нарушений нет. Трассировка (`TRACEABILITY.md`): удалённая rebase-строка не
|
||||
несла маркера `ORCH-NNN`; зафиксированные инварианты не сломаны.
|
||||
|
||||
### Ось 3 — Качество кода
|
||||
- `src/` не изменён. Новые TC в `test_agent_prompts_canon.py` содержательны (парсер fenced-блоков,
|
||||
anti-literal regex, ролеспецифичные маршруты, интеграция с реальным реестром `QG_CHECKS`), не
|
||||
тривиальны. Все зелёные.
|
||||
|
||||
### Ось 4 — Документация (ОБЯЗАТЕЛЬНАЯ ПРОВЕРКА)
|
||||
- `src/**` НЕ изменён → правило «src изменён, документация не обновлена = P0» не триггерится.
|
||||
- Документация обновлена сверх требуемого: **CHANGELOG.md** (запись ORCH-092 под `[Unreleased]`),
|
||||
**CLAUDE.md** (абзац ORCH-092 в «Стек/Агенты»), **docs/architecture/README.md** (§«Слой промптов»
|
||||
— пункт ORCH-092), **ADR** `06-adr/ADR-001-developer-rebase-and-deployer-language.md` (решения
|
||||
P1-2/P2-2).
|
||||
- **Обзорные доки (ORCH-079):** PR не закрывает ни одного пункта `README.md` «Известные
|
||||
ограничения» → обновление витрины не требуется.
|
||||
|
||||
## Документация
|
||||
Обновлена полностью и корректно: CHANGELOG.md, CLAUDE.md, docs/architecture/README.md, ADR-001.
|
||||
Дополнительных обновлений не требуется.
|
||||
67
docs/work-items/ORCH-092/13-test-report.md
Normal file
67
docs/work-items/ORCH-092/13-test-report.md
Normal file
@@ -0,0 +1,67 @@
|
||||
---
|
||||
result: PASS
|
||||
work_item: ORCH-092
|
||||
stage: testing
|
||||
author_agent: tester
|
||||
status: pass
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
type: test-report
|
||||
work_item_id: ORCH-092
|
||||
---
|
||||
|
||||
# Test Report — ORCH-092 — Промпт-аудит 6 агентов
|
||||
|
||||
## Окружение
|
||||
- Python: 3.12.13
|
||||
- pytest: 8.3.3
|
||||
- Worktree: `/repos/_wt/orchestrator/feature_ORCH-092-6-escalation` (ветка `feature/ORCH-092-6-escalation`)
|
||||
- Дата: 2026-06-09
|
||||
- Review-вердикт (`12-review.md`): **APPROVED** — предусловие стадии выполнено.
|
||||
|
||||
## Команды
|
||||
```
|
||||
cd /repos/_wt/orchestrator/feature_ORCH-092-6-escalation && python -m pytest tests/ -q
|
||||
python -m pytest tests/test_agent_prompts_canon.py tests/test_agent_frontmatter_no_model.py -q
|
||||
curl -s http://localhost:8500/health → {"status":"ok","service":"orchestrator"}
|
||||
curl -s http://localhost:8500/status → 200 OK (active_tasks[0] = ORCH-092/testing)
|
||||
curl -s http://localhost:8500/queue → serial_gate present: True · auto_labels present: True
|
||||
git diff --stat main -- src/ → пусто (src/ не тронут, docs/prompts-only)
|
||||
```
|
||||
|
||||
## Результаты по тест-плану (`04-test-plan.yaml` ↔ `03-acceptance-criteria.md`)
|
||||
|
||||
| TC ID | AC | Описание | Покрывающий тест | Результат |
|
||||
|-------|----|----------|------------------|-----------|
|
||||
| TC-01 | AC-1 | `created_at: <YYYY-MM-DD>` плейсхолдер во всех 6 промптах + инструкция «не копируй буквально» | `test_orch092_created_at_is_placeholder_not_literal` | PASS |
|
||||
| TC-02 | AC-2 | `model_used: <resolve ORCH-41>` плейсхолдер; нет литерала `claude-opus-4-8` в копируемом блоке | `test_orch092_model_used_is_placeholder_not_literal` | PASS |
|
||||
| TC-03 | AC-3 | каждое имя `check_*` в 6 промптах присутствует ключом в `QG_CHECKS` (импорт `src.qg.checks`) | `test_orch092_gate_names_match_qg_registry` | PASS |
|
||||
| TC-04 | AC-4 | developer: «разбивай на меньшие PR» удалено → эскалация; маркер «свой PR» сохранён | `test_orch092_developer_pr_oversize_is_escalation_not_split` | PASS |
|
||||
| TC-05 | AC-5 | `<escalation>` у developer/reviewer/tester после `</success_criteria>`; маршруты ролеспецифичны | `test_orch092_escalation_section_present_after_success` + `..._routes_are_role_specific` | PASS |
|
||||
| TC-06 | AC-7 | tester: worktree-путь, smoke `serial_gate` в `/queue`, покрытие ТЗ; маркеры pytest//health//status//queue целы | `test_orch092_tester_enriched` | PASS |
|
||||
| TC-07 | AC-6 | deployer: видная рамка запрета рестарта прод-8500; маркеры `docker exec orchestrator-staging`/`pr_already_merged`/`8500`/`INFRA-WAIVED` целы | `test_orch092_deployer_prominent_ban_frame` | PASS |
|
||||
| TC-08 | AC-8 | reviewer: «того же экземпляра Developer» удалена; живые маркеры (`REQUEST_CHANGES`/«НЕ обновлена»/`TRACEABILITY.md`/`Известные ограничения`/`ORCH-079`) целы | `test_orch092_reviewer_dead_line_removed` | PASS |
|
||||
| TC-09 | AC-9 | verdict-ключи байт-в-байт + 5 XML-секций в порядке + 6 полей 52c во всех 6 промптах | `test_machine_verdict_keys_preserved_exact_case` + `test_five_xml_sections_present` + `test_six_schema_field_names_present` | PASS |
|
||||
| TC-10 | AC-9 | верхний frontmatter определения агента валиден, без ключа `model:` | `tests/test_agent_frontmatter_no_model.py` | PASS |
|
||||
| TC-11 | AC-9/AC-10 | полный регресс `pytest tests/ -q` зелёный; `git diff` не содержит правок `src/` | `tests/` (1278 passed) + `git diff --stat main -- src/` пуст | PASS |
|
||||
|
||||
**Итог покрытия:** все 11 TC выполнены и сопоставлены с критериями приёмки AC-1…AC-10. Несопоставленных TC нет.
|
||||
|
||||
## Smoke API (read-only)
|
||||
- `GET /health` → `{"status":"ok","service":"orchestrator"}` — OK.
|
||||
- `GET /status` → 200; активная задача `ORCH-092` на стадии `testing`.
|
||||
- `GET /queue` → 200; блок **`serial_gate` присутствует** (ORCH-088, анти-регресс смока пройден), блок `auto_labels` присутствует (ORCH-089).
|
||||
|
||||
## Вывод pytest
|
||||
```
|
||||
tests/test_agent_prompts_canon.py tests/test_agent_frontmatter_no_model.py — 75 passed in 0.45s
|
||||
|
||||
tests/ (полный регресс):
|
||||
........................................................................ [ 95%]
|
||||
...................................................... [100%]
|
||||
1278 passed, 1 warning in 35.24s
|
||||
```
|
||||
> Единственный warning — `PydanticDeprecatedSince20` (class-based config в `src/config.py`), предсуществующий, не относится к ORCH-092, на результат не влияет.
|
||||
|
||||
## Итог
|
||||
**PASS** — полный регресс (1278 passed) и целевые анти-регресс-тесты (75 passed) зелёные; smoke `/health`/`/status`/`/queue` (включая блок `serial_gate`) — OK; `src/` не тронут (docs/prompts-only). Каждый TC из `04-test-plan.yaml` выполнен и сопоставлен с `03-acceptance-criteria.md`. Задача готова к переходу на `deploy-staging`.
|
||||
12
docs/work-items/ORCH-092/14-deploy-log.md
Normal file
12
docs/work-items/ORCH-092/14-deploy-log.md
Normal file
@@ -0,0 +1,12 @@
|
||||
---
|
||||
deploy_status: SUCCESS
|
||||
work_item: ORCH-092
|
||||
hook_exit_code: 0
|
||||
deployed_by: deploy-finalizer
|
||||
---
|
||||
|
||||
# Deploy log — ORCH-036 executable self-deploy
|
||||
|
||||
Прод-деплой завершён хост-хуком с exit-code `0` -> `deploy_status: SUCCESS`.
|
||||
|
||||
Вердикт зафиксирован детерминированным finalizer'ом (Фаза C), не LLM.
|
||||
35
docs/work-items/ORCH-092/15-staging-log.md
Normal file
35
docs/work-items/ORCH-092/15-staging-log.md
Normal file
@@ -0,0 +1,35 @@
|
||||
---
|
||||
staging_status: SUCCESS
|
||||
work_item: ORCH-092
|
||||
stage: deploy-staging
|
||||
author_agent: deployer
|
||||
status: success
|
||||
created_at: 2026-06-09
|
||||
model_used: claude-opus-4-8
|
||||
timestamp: 2026-06-09T14:45:26Z
|
||||
base_url: http://localhost:8501
|
||||
---
|
||||
|
||||
# Staging Gate Log
|
||||
|
||||
> Машинный вердикт читается ТОЛЬКО из `staging_status:` во frontmatter. `SUCCESS` → дальше; `FAILED` → откат.
|
||||
|
||||
Staging test suite completed against the live staging environment (`orchestrator-staging`, port 8501).
|
||||
Canonical run **inside** the container via the Docker Engine API exec endpoint
|
||||
(`/repos/orchestrator/scripts/staging_check.py --base-url http://localhost:8501 --mode stub`), so the
|
||||
B6 registry-isolation check reads the running instance's own `.env.staging` process-env.
|
||||
|
||||
**Result: 8/10 checks PASS — exit code 0 → SUCCESS.** All REAL pipeline checks green. The two
|
||||
sandbox-infra checks C9a/C9b are *waived* per ORCH-061 (SANDBOX bot accounts are not project members,
|
||||
so pipeline steps 6+ are unreachable in the sandbox — not a pipeline regression).
|
||||
|
||||
INFRA-WAIVED: C9a Branch appears in orchestrator-sandbox, C9b Analyst job enqueued in staging queue (known sandbox-infra; real checks green)
|
||||
VERDICT: SUCCESS (exit 0) — SUCCESS (infra-waived): ['C9a Branch appears in orchestrator-sandbox', 'C9b Analyst job enqueued in staging queue'] are known sandbox-infra checks; all real checks green
|
||||
|
||||
## Results
|
||||
- **Block A (SMOKE)**: PASS — A1 `/health`→200 (status=ok); A2 `/queue`→200 (counts/max_concurrency/resilience present); A3 `ORCH_STAGING=true`.
|
||||
- **Block B (ACCESS)**: PASS — B4 Plane sandbox project accessible (5 projects, sandbox=YES); B5 Gitea `orchestrator-sandbox` accessible push=true; B6 Registry isolation (sandbox=YES, prod-ET=NO, prod-ORCH=NO).
|
||||
- **Block C (E2E, mode=stub)**: C7 create issue in Plane SANDBOX PASS (HTTP 201); C8 trigger pipeline via `/webhook/plane` PASS (HMAC-signed, HTTP 200); C9a branch-in-sandbox FAIL (waived); C9b analyst-job-enqueued FAIL (waived). CLEANUP: Plane issue deleted (HTTP 204), no branch to delete.
|
||||
|
||||
REAL failed: none.
|
||||
SANDBOX_INFRA failed (waived): C9a, C9b.
|
||||
@@ -679,17 +679,47 @@ class AgentLauncher:
|
||||
if timeout is None:
|
||||
timeout = self._resolve_timeout(agent)
|
||||
time.sleep(timeout)
|
||||
# ORCH-090: the SIGTERM->grace->SIGKILL cascade is now a reusable helper
|
||||
# (stop_process) shared with the STOP-cancellation path. The timeout
|
||||
# watchdog just sleeps the timeout, then drives the cascade.
|
||||
logger.warning(
|
||||
f"Agent run_id={run_id} exceeded {timeout}s timeout (pid={pid})"
|
||||
)
|
||||
self.stop_process(pid, run_id, reason=f"timeout>{timeout}s")
|
||||
|
||||
def stop_process(self, pid: int, run_id: int | None, *, reason: str = "stop") -> bool:
|
||||
"""ORCH-7 / ORCH-090 (ADR-001 D2): graceful SIGTERM->grace->SIGKILL cascade.
|
||||
|
||||
Extracted from ``_watchdog`` so the STOP-cancellation path
|
||||
(``stage_engine.cancel_task``) stops an active agent through the SAME
|
||||
graceful cascade instead of a new "dirty" kill (AC-1). Send SIGTERM, give
|
||||
the process up to ``settings.agent_kill_grace_seconds`` to flush and exit,
|
||||
SIGKILL only if it is still alive after the grace; stamp ``agent_runs``
|
||||
exit_code=-9 via ``_record_kill`` whenever a kill actually happened.
|
||||
|
||||
never-raise; ``ProcessLookupError`` is tolerated at every step (the process
|
||||
may already be gone). Returns True iff a SIGTERM was delivered to a live
|
||||
process; False when the process was already gone (no record — the monitor's
|
||||
``proc.wait()`` owns that exit).
|
||||
"""
|
||||
if pid is None:
|
||||
return False
|
||||
# Phase 1: SIGTERM (graceful). If the process is already gone, we're done.
|
||||
try:
|
||||
os.kill(pid, signal.SIGTERM)
|
||||
logger.warning(
|
||||
f"Agent run_id={run_id} exceeded {timeout}s timeout: sent SIGTERM "
|
||||
f"(pid={pid}), grace={settings.agent_kill_grace_seconds}s"
|
||||
f"stop_process ({reason}): sent SIGTERM to pid={pid} "
|
||||
f"(run_id={run_id}), grace={settings.agent_kill_grace_seconds}s"
|
||||
)
|
||||
except ProcessLookupError:
|
||||
logger.info(f"Agent run_id={run_id} already exited before SIGTERM")
|
||||
return # nothing to record: the monitor's proc.wait() owns the exit
|
||||
logger.info(
|
||||
f"stop_process ({reason}): pid={pid} already exited "
|
||||
f"(run_id={run_id}); nothing to record"
|
||||
)
|
||||
return False
|
||||
except Exception as e: # noqa: BLE001 - never-raise
|
||||
logger.warning(f"stop_process SIGTERM error pid={pid}: {e}")
|
||||
return False
|
||||
|
||||
# Phase 2: poll for graceful exit within the grace window.
|
||||
grace = settings.agent_kill_grace_seconds
|
||||
@@ -702,21 +732,27 @@ class AgentLauncher:
|
||||
os.kill(pid, 0) # signal 0 = liveness probe, does not kill
|
||||
except ProcessLookupError:
|
||||
logger.info(
|
||||
f"Agent run_id={run_id} exited gracefully after SIGTERM "
|
||||
f"({waited:.1f}s); no SIGKILL needed"
|
||||
f"stop_process ({reason}): pid={pid} exited gracefully after "
|
||||
f"SIGTERM ({waited:.1f}s); no SIGKILL needed"
|
||||
)
|
||||
self._record_kill(run_id)
|
||||
return
|
||||
return True
|
||||
except Exception: # noqa: BLE001 - probe error -> escalate to SIGKILL
|
||||
break
|
||||
|
||||
# Phase 3: still alive -> hard SIGKILL.
|
||||
try:
|
||||
os.kill(pid, signal.SIGKILL)
|
||||
logger.warning(
|
||||
f"Agent run_id={run_id} did not exit within {grace}s grace: sent SIGKILL"
|
||||
f"stop_process ({reason}): pid={pid} did not exit within {grace}s "
|
||||
f"grace: sent SIGKILL"
|
||||
)
|
||||
except ProcessLookupError:
|
||||
logger.info(f"Agent run_id={run_id} exited just before SIGKILL")
|
||||
logger.info(f"stop_process ({reason}): pid={pid} exited just before SIGKILL")
|
||||
except Exception as e: # noqa: BLE001 - never-raise
|
||||
logger.warning(f"stop_process SIGKILL error pid={pid}: {e}")
|
||||
self._record_kill(run_id)
|
||||
return True
|
||||
|
||||
@staticmethod
|
||||
def _record_kill(run_id: int):
|
||||
|
||||
351
src/build_cache_pruner.py
Normal file
351
src/build_cache_pruner.py
Normal file
@@ -0,0 +1,351 @@
|
||||
"""ORCH-062: build-cache-pruner — periodic ``docker builder prune`` on the host.
|
||||
|
||||
On 07.06.2026 the mva154 host disk silently grew to 100% and took down the WHOLE
|
||||
self-hosting pipeline of every project. The dominant consumer was the **docker
|
||||
build cache** (~11 GB accumulated by frequent rebuilds: ``docker compose up
|
||||
--build`` on prod deploy, the ``--profile staging`` rebuild, the build-once retag
|
||||
behind ``check_staging_image_fresh``). ORCH-063 added the disk-watchdog, which
|
||||
only **signals** (Telegram alert at >=85%) and explicitly deferred the cleanup to
|
||||
this task. **This module is that cleanup: the watchdog signals — the pruner
|
||||
cleans.**
|
||||
|
||||
It is a background daemon thread modelled **1:1 on** ``src/disk_watchdog.py``
|
||||
(``threading.Thread(daemon=True)`` + ``threading.Event`` for a clean stop, the
|
||||
``start()`` / ``stop(timeout)`` / ``status()`` contract, a ``/queue`` snapshot,
|
||||
per-tick never-raise and a kill-switch ``ORCH_BUILD_CACHE_PRUNE_ENABLED``). Each
|
||||
tick runs **strictly** ``docker builder prune -f --filter until=<until>`` (BuildKit
|
||||
GC) on the **host over ssh** — the prod container ships no docker CLI, only
|
||||
``openssh-client`` (``Dockerfile:11``), so docker operations run over ssh on the
|
||||
host, the same channel ``image_freshness``/``self_deploy`` already use.
|
||||
|
||||
Invariants (TRZ §5/§6 / ADR-001 D2/D6):
|
||||
* The command touches **only** the BuildKit build cache. There is NO
|
||||
``docker image prune``, NO ``docker system prune``, no image/container removal
|
||||
of running services and no container stop/restart. The prod ``orchestrator``
|
||||
container is NEVER restarted (self-hosting blast radius). ``-a/--all`` is only
|
||||
ever added **paired with** the ``until`` age filter — never a bare
|
||||
"nuke everything".
|
||||
* ``STAGE_TRANSITIONS`` / ``QG_CHECKS`` / ``check_*`` / ``_parse_*`` /
|
||||
``src/stage_engine.py`` / the DB schema are UNCHANGED — the pruner is an
|
||||
operational daemon, not a Quality Gate (like ``reconciler`` / ``job_reaper`` /
|
||||
``disk_watchdog``). No new migration (last-run / last-result is in-memory,
|
||||
best-effort, may reset on restart — safe: at worst one extra safe prune).
|
||||
* never-raise on two levels: per-command (non-zero rc / timeout / ``OSError`` /
|
||||
no ssh target / output-parse error -> logged and swallowed, the tick lives)
|
||||
and per-tick (outer ``try/except`` in ``_run``, like ``disk_watchdog._run``).
|
||||
The background loop and the pipeline never fall over.
|
||||
* No ssh target configured (``deploy_ssh_host`` empty) -> the tick is a no-op
|
||||
(logged, reflected in ``status().last_error``). This scopes the feature to the
|
||||
self-hosting prod (where ssh is configured) and makes the default safe in any
|
||||
environment without host access — parallel to how ``self_deploy`` /
|
||||
``image_freshness`` degrade without a target.
|
||||
* Kill-switch ``build_cache_prune_enabled=False`` -> the daemon does not start
|
||||
(``main.lifespan`` guard + ``start()`` guard) and ``/queue`` returns
|
||||
``{"enabled": false, ...}`` — behaviour 1:1 as before the task.
|
||||
|
||||
See docs/work-items/ORCH-062/06-adr/ADR-001-build-cache-pruner.md and the
|
||||
cross-cutting docs/architecture/adr/adr-0025-build-cache-pruner.md.
|
||||
"""
|
||||
|
||||
import logging
|
||||
import re
|
||||
import shlex
|
||||
import subprocess
|
||||
import threading
|
||||
import time
|
||||
|
||||
from .config import settings
|
||||
from .notifications import send_telegram
|
||||
|
||||
logger = logging.getLogger("orchestrator.build_cache_pruner")
|
||||
|
||||
_BYTES_PER_GB = 1024 ** 3
|
||||
|
||||
# Multipliers for the "Total reclaimed space: <n><unit>" line emitted by
|
||||
# `docker builder prune`. Decimal units are base-1000 (docker's HumanSize),
|
||||
# the *i* binary units base-1024. Best-effort — only used for observability /
|
||||
# the optional notify threshold, never for a decision.
|
||||
_SIZE_UNITS = {
|
||||
"B": 1,
|
||||
"KB": 1000, "MB": 1000 ** 2, "GB": 1000 ** 3, "TB": 1000 ** 4,
|
||||
"KIB": 1024, "MIB": 1024 ** 2, "GIB": 1024 ** 3, "TIB": 1024 ** 4,
|
||||
}
|
||||
_RECLAIMED_RE = re.compile(
|
||||
r"Total reclaimed space:\s*([\d.]+)\s*([KMGT]?i?B)", re.IGNORECASE
|
||||
)
|
||||
|
||||
|
||||
def decide_prune(prev_run_ts: float | None, now: float, interval_s: float) -> bool:
|
||||
"""Pure decision (anti-frequency, NFR-4): should this tick prune?
|
||||
|
||||
Returns ``True`` when no prune has run yet (``prev_run_ts is None``) or at
|
||||
least ``interval_s`` seconds have elapsed since the last attempt; ``False``
|
||||
otherwise. Testable without a thread or a real timer (TC-01/TC-02). A
|
||||
non-positive / unusable ``interval_s`` falls open to ``True`` (prune) — the
|
||||
config validator already guards the value, this is belt-and-braces.
|
||||
"""
|
||||
if prev_run_ts is None:
|
||||
return True
|
||||
try:
|
||||
return (now - prev_run_ts) >= interval_s
|
||||
except TypeError: # pragma: no cover - defensive, inputs are numbers
|
||||
return True
|
||||
|
||||
|
||||
def _ssh_target() -> str | None:
|
||||
"""ssh ``user@host`` for the host prune, or ``None`` when no host is
|
||||
configured (tests / non-self contexts). Mirrors ``image_freshness._ssh_target``.
|
||||
"""
|
||||
host = (settings.deploy_ssh_host or "").strip()
|
||||
if not host:
|
||||
return None
|
||||
user = (settings.deploy_ssh_user or "").strip()
|
||||
return f"{user}@{host}" if user else host
|
||||
|
||||
|
||||
def build_prune_command(
|
||||
ssh_target: str, until: str, prune_all: bool = False
|
||||
) -> list[str]:
|
||||
"""Build the ssh command that runs ``docker builder prune`` on the host.
|
||||
|
||||
The remote is **strictly** ``docker builder prune -f`` (BuildKit GC), with the
|
||||
age filter ``--filter until=<until>`` appended whenever ``until`` is set so the
|
||||
warm recent cache is kept (BR-2/AC-2), and ``-a`` added **only** when
|
||||
``prune_all`` is set — always paired with the age filter (D2). It NEVER emits
|
||||
``docker image prune`` / ``docker system prune`` / any image/container removal
|
||||
(BR-3/AC-3). The ``until`` value is ``shlex.quote``-d for the remote shell.
|
||||
"""
|
||||
remote = "docker builder prune -f"
|
||||
if prune_all:
|
||||
remote += " -a"
|
||||
if until:
|
||||
remote += " --filter until=" + shlex.quote(until)
|
||||
return ["ssh", "-o", "StrictHostKeyChecking=no", ssh_target, remote]
|
||||
|
||||
|
||||
def parse_reclaimed(output: str) -> int | None:
|
||||
"""Best-effort parse of ``Total reclaimed space: <n><unit>`` -> bytes.
|
||||
|
||||
Returns the reclaimed size in bytes, or ``None`` when the line is absent /
|
||||
unparseable (FR-4: observability is best-effort, never a decision). Never
|
||||
raises.
|
||||
"""
|
||||
try:
|
||||
m = _RECLAIMED_RE.search(output or "")
|
||||
if not m:
|
||||
return None
|
||||
value = float(m.group(1))
|
||||
unit = m.group(2).upper()
|
||||
mult = _SIZE_UNITS.get(unit)
|
||||
if mult is None:
|
||||
return None
|
||||
return int(value * mult)
|
||||
except Exception as e: # noqa: BLE001 - parsing is best-effort
|
||||
logger.warning("build-cache-pruner: cannot parse reclaimed space: %s", e)
|
||||
return None
|
||||
|
||||
|
||||
class BuildCachePruner:
|
||||
"""Background daemon running ``docker builder prune`` on the host on a period.
|
||||
|
||||
Modelled on ``DiskWatchdog``: a ``threading.Thread(daemon=True)`` + a
|
||||
``threading.Event`` for a clean stop. The only in-memory state is the
|
||||
best-effort ``last_run_ts`` / ``_last_reclaimed`` / ``_last_error`` — all reset
|
||||
on restart, which is safe (at worst one extra safe prune; D6).
|
||||
|
||||
``now_provider`` is injectable so the anti-frequency decision is testable
|
||||
deterministically without a real timer.
|
||||
"""
|
||||
|
||||
def __init__(self, interval_s: float | None = None, now_provider=None):
|
||||
self.interval_s = (
|
||||
interval_s
|
||||
if interval_s is not None
|
||||
else settings.build_cache_prune_interval_s
|
||||
)
|
||||
self._now = now_provider or time.time
|
||||
self._stop = threading.Event()
|
||||
self._thread: threading.Thread | None = None
|
||||
# Best-effort in-memory state (no DB row, no migration).
|
||||
self.last_run_ts: float | None = None
|
||||
self._last_reclaimed: int | None = None
|
||||
self._last_reclaimed_human: str | None = None
|
||||
self._last_error: str | None = None
|
||||
|
||||
# -- config helpers ----------------------------------------------------
|
||||
@property
|
||||
def _until(self) -> str:
|
||||
return settings.build_cache_prune_until
|
||||
|
||||
@property
|
||||
def _all(self) -> bool:
|
||||
return settings.build_cache_prune_all
|
||||
|
||||
@property
|
||||
def _timeout_s(self) -> int:
|
||||
return settings.build_cache_prune_timeout_s
|
||||
|
||||
@property
|
||||
def _notify_min_gb(self) -> float:
|
||||
return settings.build_cache_prune_notify_min_gb
|
||||
|
||||
# -- tick --------------------------------------------------------------
|
||||
def tick(self) -> None:
|
||||
"""One pass: prune if the anti-frequency window has elapsed (never-raise).
|
||||
|
||||
Runs the pure ``decide_prune`` against the injected clock; on a PRUNE
|
||||
decision it performs the host prune (``_prune``), which is itself
|
||||
never-raise. A SKIP decision leaves all state untouched.
|
||||
"""
|
||||
now = self._now()
|
||||
if not decide_prune(self.last_run_ts, now, self.interval_s):
|
||||
return
|
||||
self._prune(now)
|
||||
|
||||
def _prune(self, now: float) -> None:
|
||||
"""Run ``docker builder prune`` on the host over ssh. Never raises (AC-4).
|
||||
|
||||
Records the attempt time (``last_run_ts``) up front so the anti-frequency
|
||||
window advances even when the command fails or there is no ssh target.
|
||||
Every failure mode — no target, timeout, non-zero rc, ``OSError`` — is
|
||||
logged, stored in ``_last_error`` and swallowed; the loop stays alive.
|
||||
"""
|
||||
self.last_run_ts = now
|
||||
target = _ssh_target()
|
||||
if not target:
|
||||
self._last_error = "no ssh host configured (deploy_ssh_host empty)"
|
||||
logger.info("build-cache-pruner: %s — tick is a no-op", self._last_error)
|
||||
return
|
||||
|
||||
cmd = build_prune_command(target, self._until, self._all)
|
||||
try:
|
||||
r = subprocess.run(
|
||||
cmd, capture_output=True, text=True, timeout=self._timeout_s
|
||||
)
|
||||
except subprocess.TimeoutExpired:
|
||||
self._last_error = f"timeout after {self._timeout_s}s"
|
||||
logger.warning("build-cache-pruner: prune %s", self._last_error)
|
||||
return
|
||||
except (subprocess.SubprocessError, OSError) as e:
|
||||
self._last_error = f"ssh/subprocess error: {e}"
|
||||
logger.warning("build-cache-pruner: %s", self._last_error)
|
||||
return
|
||||
|
||||
if r.returncode != 0:
|
||||
self._last_error = (
|
||||
f"rc={r.returncode}: {(r.stderr or '').strip()[:200]}"
|
||||
)
|
||||
logger.warning("build-cache-pruner: prune %s", self._last_error)
|
||||
return
|
||||
|
||||
# Success: parse the best-effort reclaimed size and clear the error.
|
||||
self._last_error = None
|
||||
reclaimed = parse_reclaimed(r.stdout or "")
|
||||
self._last_reclaimed = reclaimed
|
||||
self._last_reclaimed_human = self._format_reclaimed(reclaimed)
|
||||
logger.info(
|
||||
"build-cache-pruner: pruned host build cache (until=%s, all=%s), "
|
||||
"reclaimed=%s",
|
||||
self._until, self._all, self._last_reclaimed_human or "unknown",
|
||||
)
|
||||
self._maybe_notify(reclaimed)
|
||||
|
||||
@staticmethod
|
||||
def _format_reclaimed(reclaimed: int | None) -> str | None:
|
||||
"""Human GB label for a reclaimed byte count (best-effort, never raises)."""
|
||||
if reclaimed is None:
|
||||
return None
|
||||
try:
|
||||
return f"{reclaimed / _BYTES_PER_GB:.2f} GB"
|
||||
except Exception: # noqa: BLE001 - observability only
|
||||
return None
|
||||
|
||||
def _maybe_notify(self, reclaimed: int | None) -> None:
|
||||
"""Telegram when reclaimed >= ``notify_min_gb`` (>0 to enable). Never raises."""
|
||||
try:
|
||||
min_gb = self._notify_min_gb
|
||||
if not min_gb or min_gb <= 0 or reclaimed is None:
|
||||
return
|
||||
gb = reclaimed / _BYTES_PER_GB
|
||||
if gb < min_gb:
|
||||
return
|
||||
self._send(
|
||||
f"\U0001f9f9 build-cache-pruner: освобождено {gb:.2f} ГБ "
|
||||
f"docker build cache на хосте (until={self._until})."
|
||||
)
|
||||
except Exception as e: # noqa: BLE001 - notify is best-effort
|
||||
logger.warning("build-cache-pruner: notify decision failed: %s", e)
|
||||
|
||||
def _send(self, text: str) -> None:
|
||||
"""Send a Telegram message (notifying). Never raises (best-effort)."""
|
||||
try:
|
||||
send_telegram(text)
|
||||
except Exception as e: # noqa: BLE001 - delivery is best-effort
|
||||
logger.warning("build-cache-pruner: telegram send failed: %s", e)
|
||||
|
||||
# -- loop / lifecycle --------------------------------------------------
|
||||
def _tick(self) -> None:
|
||||
try:
|
||||
self.tick()
|
||||
except Exception as e: # noqa: BLE001 - inner never-raise
|
||||
logger.error("build-cache-pruner: tick error: %s", e)
|
||||
|
||||
def _run(self) -> None:
|
||||
logger.info(
|
||||
"BuildCachePruner started (interval=%ss, until=%s, all=%s, "
|
||||
"timeout=%ss, enabled=%s)",
|
||||
self.interval_s, self._until, self._all, self._timeout_s,
|
||||
settings.build_cache_prune_enabled,
|
||||
)
|
||||
while not self._stop.is_set():
|
||||
try:
|
||||
self._tick()
|
||||
except Exception as e: # noqa: BLE001 - outer never-raise
|
||||
logger.error("BuildCachePruner loop error: %s", e)
|
||||
self._stop.wait(self.interval_s)
|
||||
logger.info("BuildCachePruner stopped")
|
||||
|
||||
def start(self) -> None:
|
||||
"""Start the daemon thread (idempotent: a live thread is a no-op).
|
||||
|
||||
Honours the kill-switch: ``build_cache_prune_enabled=False`` -> no-op (the
|
||||
daemon never starts; ``main.lifespan`` also guards, AC-5/TC-07).
|
||||
"""
|
||||
if not settings.build_cache_prune_enabled:
|
||||
return
|
||||
if self._thread and self._thread.is_alive():
|
||||
return
|
||||
self._stop.clear()
|
||||
self._thread = threading.Thread(
|
||||
target=self._run, name="build-cache-pruner", daemon=True
|
||||
)
|
||||
self._thread.start()
|
||||
|
||||
def stop(self, timeout: float = 5.0) -> None:
|
||||
self._stop.set()
|
||||
if self._thread:
|
||||
self._thread.join(timeout=timeout)
|
||||
|
||||
def status(self) -> dict:
|
||||
"""Build-cache-pruner snapshot for /queue observability (FR-4/AC-7).
|
||||
|
||||
Never raises — returns a minimal ``{"enabled": ...}`` on any error.
|
||||
"""
|
||||
try:
|
||||
return {
|
||||
"enabled": settings.build_cache_prune_enabled,
|
||||
"interval_s": self.interval_s,
|
||||
"until": self._until,
|
||||
"all": self._all,
|
||||
"last_run_ts": self.last_run_ts,
|
||||
"last_reclaimed_bytes": self._last_reclaimed,
|
||||
"last_reclaimed": self._last_reclaimed_human,
|
||||
"last_error": self._last_error,
|
||||
}
|
||||
except Exception as e: # noqa: BLE001 - observability must never raise
|
||||
logger.warning("build-cache-pruner: status() failed: %s", e)
|
||||
return {"enabled": settings.build_cache_prune_enabled}
|
||||
|
||||
|
||||
# Module-level singleton used by the FastAPI lifespan.
|
||||
build_cache_pruner = BuildCachePruner()
|
||||
187
src/cancel.py
Normal file
187
src/cancel.py
Normal file
@@ -0,0 +1,187 @@
|
||||
"""ORCH-090 (ADR-001 D9 / adr-0026): STOP-cancellation leaf — pure decision logic.
|
||||
|
||||
Leaf module mirroring ``src/serial_gate.py`` / ``src/labels.py``: pure,
|
||||
unit-testable, never-raise functions over config + the existing DB / deploy-state.
|
||||
Module-level imports are limited to ``config`` (and ``re``); the critical-window
|
||||
probe lazily imports ``self_deploy`` / ``merge_gate`` / ``db`` so a cycle can never
|
||||
form and an import failure degrades safely.
|
||||
|
||||
What it answers:
|
||||
* ``applies(repo)`` — is STOP-cancellation REAL for this repo?
|
||||
* ``in_critical_window(task)``— is the task inside an irreversible merge/deploy
|
||||
step where cancellation must be DEFERRED (ADR-001 D7) instead of applied now?
|
||||
* ``snapshot()`` — read-only summary for ``GET /queue`` (AC-10).
|
||||
|
||||
The ORCHESTRATION of a cancellation (SIGTERM, cancel-jobs, worktree/branch
|
||||
cleanup, key tombstone, notifications) lives in ``stage_engine.cancel_task`` — this
|
||||
leaf only decides, it never mutates.
|
||||
|
||||
never-raise contract (self-hosting safety): every public function degrades
|
||||
conservatively. ``applies`` -> False on error (gate inert, the kill-switch-off
|
||||
default). ``in_critical_window`` -> True on doubt (fail-CLOSED: when we cannot
|
||||
confirm we are OUTSIDE a critical window, DEFER cancellation rather than risk
|
||||
tearing a half-merge / detached prod deploy, NFR-3 / TR-3).
|
||||
"""
|
||||
from __future__ import annotations
|
||||
|
||||
import logging
|
||||
import re
|
||||
|
||||
from .config import settings
|
||||
|
||||
logger = logging.getLogger("orchestrator.cancel")
|
||||
|
||||
# Repo tokens in the CSV scope must match this (mirrors serial_gate._REPO_TOKEN).
|
||||
_REPO_TOKEN = re.compile(r"^[A-Za-z0-9._-]+$")
|
||||
|
||||
|
||||
def _scope_repos() -> set[str]:
|
||||
"""Sanitised set of in-scope repo tokens from ``stop_status_repos`` (CSV).
|
||||
|
||||
Empty/blank CSV -> empty set, meaning "apply to ALL repos" (D9). Invalid tokens
|
||||
(regex miss) are dropped. Never raises.
|
||||
"""
|
||||
try:
|
||||
raw = (settings.stop_status_repos or "").strip()
|
||||
except Exception: # noqa: BLE001
|
||||
return set()
|
||||
if not raw:
|
||||
return set()
|
||||
out: set[str] = set()
|
||||
for tok in raw.split(","):
|
||||
t = tok.strip()
|
||||
if t and _REPO_TOKEN.match(t):
|
||||
out.add(t)
|
||||
elif t:
|
||||
logger.warning("cancel: dropping invalid repo token %r from CSV", t)
|
||||
return out
|
||||
|
||||
|
||||
def applies(repo: str) -> bool:
|
||||
"""Whether STOP-cancellation is REAL for this repo (D9 / AC-8).
|
||||
|
||||
* ``stop_status_enabled=False`` -> always False (kill-switch; STOP handling and
|
||||
the relaunch-hole gate are 1:1 as before ORCH-090).
|
||||
* ``stop_status_repos`` (CSV) non-empty -> real only for listed repos.
|
||||
* empty CSV -> real for ALL repos (cancellation is meaningful for enduro too).
|
||||
Never raises -> False on error (degrade to "inert", matching kill-switch off).
|
||||
"""
|
||||
try:
|
||||
if not getattr(settings, "stop_status_enabled", False):
|
||||
return False
|
||||
scope = _scope_repos()
|
||||
if scope:
|
||||
return (repo or "").strip() in scope
|
||||
return True
|
||||
except Exception as e: # noqa: BLE001 - never-raise
|
||||
logger.warning("cancel.applies error for %s: %s", repo, e)
|
||||
return False
|
||||
|
||||
|
||||
def _task_has_running_actor(task_id) -> bool:
|
||||
"""True iff the task currently has a RUNNING job — an active merge/deploy actor.
|
||||
|
||||
Distinguishes a genuinely in-flight merge/deploy (a running deployer / deploy
|
||||
finalizer job actually executing the irreversible step) from a task merely
|
||||
PARKED on ``deploy`` awaiting the human ``Confirm Deploy`` (the merge-lease is
|
||||
held across that wait, ORCH-036/043, but nothing is executing and nothing has
|
||||
been merged/deployed). Lazily imports ``db``; raises on a db error so the caller
|
||||
fails CLOSED (treat as critical) rather than silently mis-classifying on doubt.
|
||||
"""
|
||||
if not task_id:
|
||||
return False
|
||||
from . import db
|
||||
for job in db.get_active_jobs_for_task(task_id):
|
||||
if job.get("status") == "running":
|
||||
return True
|
||||
return False
|
||||
|
||||
|
||||
def in_critical_window(task: dict) -> bool:
|
||||
"""Is the task inside an irreversible merge/deploy step (ADR-001 D7 / AC-7)?
|
||||
|
||||
A STOP that lands here must NOT tear the step apart (half-merge / detached prod
|
||||
deploy / dead prod container, NFR-3). Markers (existing, no new state):
|
||||
* self-deploy Phase B initiated — the ``INITIATED`` sentinel in
|
||||
``<repos_dir>/.deploy-state-<repo>/<wi>/`` (ORCH-036) — the detached prod
|
||||
deploy + the deterministic ``merge_pr`` (``_handle_merge_verify``, run later
|
||||
under the SAME marker) are both covered here;
|
||||
* the task HOLDS the per-repo merge-lease ``<repos_dir>/.merge-lease-<repo>.json``
|
||||
(ORCH-043), holder branch == task branch, **AND** a merge/deploy actor is
|
||||
actually RUNNING.
|
||||
|
||||
The merge-lease branch is gated on a running actor on purpose (ORCH-090 review
|
||||
P1 fix). For the self-hosting repo the lease is HELD from the merge-gate PASS
|
||||
(``deploy-staging -> deploy`` edge) right through to ``deploy -> done`` — including
|
||||
the whole time the task sits PARKED on ``deploy`` awaiting a human ``Confirm
|
||||
Deploy`` (Phase A). That wait is FULLY REVERSIBLE: nothing is merged or deployed
|
||||
(the irreversible ``merge_pr`` only runs later in ``_handle_merge_verify``, always
|
||||
under an ``INITIATED`` marker already caught above). Classifying that idle parking
|
||||
as "critical" used to DEFER the cancel to a deploy finalizer that the operator —
|
||||
having pressed STOP precisely to NOT confirm — never triggers, so the cancel was
|
||||
never applied and the task wedged while still holding the lease (blocking the
|
||||
repo's serial-gate / merges). Now idle parking (lease held, no running actor) is
|
||||
NOT critical: the full reset runs immediately and itself releases the lease.
|
||||
|
||||
fail-CLOSED (TR-3): any error/uncertainty -> True (DEFER cancellation). Outside
|
||||
the window -> False (apply the full reset immediately).
|
||||
"""
|
||||
if not task:
|
||||
return False
|
||||
repo = task.get("repo")
|
||||
work_item_id = task.get("work_item_id")
|
||||
branch = task.get("branch")
|
||||
try:
|
||||
from . import self_deploy
|
||||
if self_deploy.has_marker(repo, work_item_id, self_deploy.INITIATED):
|
||||
return True
|
||||
except Exception as e: # noqa: BLE001 - fail-CLOSED on doubt
|
||||
logger.warning("cancel.in_critical_window self_deploy probe error: %s", e)
|
||||
return True
|
||||
try:
|
||||
from . import merge_gate
|
||||
holder = merge_gate.current_lease_holder(repo)
|
||||
if holder and branch and holder == branch:
|
||||
# Lease held. Critical ONLY if an actor is actively merging/deploying;
|
||||
# an idle task parked on `deploy` awaiting Confirm Deploy is reversible.
|
||||
if _task_has_running_actor(task.get("id")):
|
||||
return True
|
||||
logger.info(
|
||||
"cancel.in_critical_window: task %s holds the merge-lease but no "
|
||||
"actor is running (idle deploy parking, awaiting Confirm Deploy) -> "
|
||||
"NOT critical; full reset will release the lease", task.get("id"),
|
||||
)
|
||||
return False
|
||||
except Exception as e: # noqa: BLE001 - fail-CLOSED on doubt
|
||||
logger.warning("cancel.in_critical_window merge-lease probe error: %s", e)
|
||||
return True
|
||||
return False
|
||||
|
||||
|
||||
def snapshot() -> dict:
|
||||
"""Read-only STOP-cancellation summary for GET /queue (AC-10).
|
||||
|
||||
Additive block; existing /queue keys are untouched. never-raise -> a minimal
|
||||
dict with the flags on error.
|
||||
"""
|
||||
try:
|
||||
enabled = bool(getattr(settings, "stop_status_enabled", False))
|
||||
except Exception: # noqa: BLE001
|
||||
enabled = False
|
||||
try:
|
||||
repos_cfg = getattr(settings, "stop_status_repos", "") or ""
|
||||
except Exception: # noqa: BLE001
|
||||
repos_cfg = ""
|
||||
try:
|
||||
from . import db
|
||||
stats = db.cancelled_tasks_snapshot(10)
|
||||
except Exception as e: # noqa: BLE001 - never-raise
|
||||
logger.warning("cancel.snapshot error: %s", e)
|
||||
stats = {"count": 0, "pending": 0, "recent": []}
|
||||
return {
|
||||
"enabled": enabled,
|
||||
"repos": repos_cfg,
|
||||
"cancelled_count": stats.get("count", 0),
|
||||
"deferred_pending": stats.get("pending", 0),
|
||||
"recent": stats.get("recent", []),
|
||||
}
|
||||
166
src/config.py
166
src/config.py
@@ -1,3 +1,6 @@
|
||||
import logging
|
||||
import re
|
||||
|
||||
from pydantic import field_validator
|
||||
from pydantic_settings import BaseSettings
|
||||
|
||||
@@ -381,6 +384,150 @@ class Settings(BaseSettings):
|
||||
reaper_finalize_grace_s: int = 300
|
||||
lease_reclaim_enabled: bool = True
|
||||
|
||||
# ORCH-063: disk-watchdog — background heartbeat that measures host-FS fill via
|
||||
# the mounted bind-paths and Telegram-alerts the operator at >= threshold. On
|
||||
# 07.06.2026 the mva154 host disk silently hit 100% and stalled the WHOLE
|
||||
# self-hosting pipeline; the watchdog is the missing proactive signal. Modelled
|
||||
# on reconciler/job_reaper (daemon thread, start/stop in main.lifespan, /queue
|
||||
# snapshot, never-raise). Anti-spam state is in-memory (no DB migration).
|
||||
# disk_monitor_enabled -> kill-switch; False -> the daemon does not start
|
||||
# (zero regression), env ORCH_DISK_MONITOR_ENABLED.
|
||||
# disk_monitor_interval_s -> heartbeat measurement period, seconds (order of
|
||||
# minutes; cheap shutil.disk_usage, no df subprocess).
|
||||
# disk_monitor_threshold_pct -> fill % that triggers the alert (Owner-fixed 85).
|
||||
# disk_monitor_realert_s -> min interval between repeat alerts while still
|
||||
# above threshold (anti-spam cooldown, ~6h).
|
||||
# disk_monitor_paths -> CSV of monitored HOST bind-paths (NOT overlay /);
|
||||
# empty -> the default set (/repos, /app/data).
|
||||
# Defensive validation (ADR-001 D7): threshold out of 1..100 or a non-positive
|
||||
# interval -> default + warning (the process never crashes on a bad env value).
|
||||
disk_monitor_enabled: bool = True
|
||||
disk_monitor_interval_s: int = 300
|
||||
disk_monitor_threshold_pct: int = 85
|
||||
disk_monitor_realert_s: int = 21600
|
||||
disk_monitor_paths: str = "/repos,/app/data"
|
||||
|
||||
@field_validator(
|
||||
"disk_monitor_interval_s", "disk_monitor_realert_s", mode="before"
|
||||
)
|
||||
@classmethod
|
||||
def _disk_positive_int(cls, v, info):
|
||||
# Non-positive / non-numeric interval -> the field default (never crash).
|
||||
_defaults = {"disk_monitor_interval_s": 300, "disk_monitor_realert_s": 21600}
|
||||
fallback = _defaults.get(info.field_name, 1)
|
||||
try:
|
||||
if v is None or (isinstance(v, str) and v.strip() == ""):
|
||||
return fallback
|
||||
iv = int(v)
|
||||
if iv <= 0:
|
||||
logging.getLogger("orchestrator.config").warning(
|
||||
"%s must be > 0, got %s; falling back to %s",
|
||||
info.field_name, v, fallback,
|
||||
)
|
||||
return fallback
|
||||
return iv
|
||||
except (TypeError, ValueError):
|
||||
return fallback
|
||||
|
||||
@field_validator("disk_monitor_threshold_pct", mode="before")
|
||||
@classmethod
|
||||
def _disk_threshold_pct(cls, v):
|
||||
# Threshold must be a percentage in 1..100; otherwise -> default 85.
|
||||
try:
|
||||
if v is None or (isinstance(v, str) and v.strip() == ""):
|
||||
return 85
|
||||
iv = int(v)
|
||||
if 1 <= iv <= 100:
|
||||
return iv
|
||||
logging.getLogger("orchestrator.config").warning(
|
||||
"disk_monitor_threshold_pct must be 1..100, got %s; using 85", v
|
||||
)
|
||||
return 85
|
||||
except (TypeError, ValueError):
|
||||
return 85
|
||||
|
||||
# ORCH-062: build-cache-pruner — the "second half" of the disk-watchdog
|
||||
# (ORCH-063): watchdog SIGNALS, pruner CLEANS. A background daemon thread
|
||||
# modelled 1:1 on disk_watchdog (start/stop in main.lifespan, /queue snapshot,
|
||||
# never-raise, kill-switch) that periodically runs `docker builder prune` on
|
||||
# the HOST over ssh (the container ships no docker CLI — same channel as
|
||||
# image_freshness/self_deploy). Touches ONLY the BuildKit build cache: never
|
||||
# images/containers of running services, never restarts the docker daemon or
|
||||
# the prod container (self-hosting safety). State (last run / result) is
|
||||
# in-memory, best-effort — no DB migration. ADR-001 D1..D7.
|
||||
# build_cache_prune_enabled -> kill-switch; False -> daemon does not
|
||||
# start (1:1 as before), env *_ENABLED.
|
||||
# build_cache_prune_interval_s -> tick period, seconds (order of hours).
|
||||
# build_cache_prune_until -> retention age for warm cache
|
||||
# (`docker builder prune --filter until=`).
|
||||
# build_cache_prune_all -> add `-a` (ALWAYS paired with until).
|
||||
# build_cache_prune_timeout_s -> bound on the ssh command, seconds.
|
||||
# build_cache_prune_notify_min_gb -> Telegram when reclaimed >= N GB; 0 -> silent.
|
||||
# Defensive validation (ADR-001 D4): a non-positive / non-numeric interval or
|
||||
# timeout -> default + warning; an `until` not matching ^\d+[smhdw]?$ -> "24h";
|
||||
# a negative notify threshold -> 0. A bad env value NEVER crashes the start.
|
||||
build_cache_prune_enabled: bool = True
|
||||
build_cache_prune_interval_s: int = 21600
|
||||
build_cache_prune_until: str = "24h"
|
||||
build_cache_prune_all: bool = False
|
||||
build_cache_prune_timeout_s: int = 120
|
||||
build_cache_prune_notify_min_gb: float = 0.0
|
||||
|
||||
@field_validator(
|
||||
"build_cache_prune_interval_s", "build_cache_prune_timeout_s", mode="before"
|
||||
)
|
||||
@classmethod
|
||||
def _bcp_positive_int(cls, v, info):
|
||||
# Non-positive / non-numeric -> the field default (never crash the start).
|
||||
_defaults = {
|
||||
"build_cache_prune_interval_s": 21600,
|
||||
"build_cache_prune_timeout_s": 120,
|
||||
}
|
||||
fallback = _defaults.get(info.field_name, 1)
|
||||
try:
|
||||
if v is None or (isinstance(v, str) and v.strip() == ""):
|
||||
return fallback
|
||||
iv = int(v)
|
||||
if iv <= 0:
|
||||
logging.getLogger("orchestrator.config").warning(
|
||||
"%s must be > 0, got %s; falling back to %s",
|
||||
info.field_name, v, fallback,
|
||||
)
|
||||
return fallback
|
||||
return iv
|
||||
except (TypeError, ValueError):
|
||||
return fallback
|
||||
|
||||
@field_validator("build_cache_prune_until", mode="before")
|
||||
@classmethod
|
||||
def _bcp_until(cls, v):
|
||||
# A docker `until` filter: digits + optional unit (s/m/h/d/w). Anything
|
||||
# else -> the safe default "24h" (keeps warm cache, BR-2).
|
||||
try:
|
||||
if v is None:
|
||||
return "24h"
|
||||
s = str(v).strip()
|
||||
if s and re.match(r"^\d+[smhdw]?$", s):
|
||||
return s
|
||||
logging.getLogger("orchestrator.config").warning(
|
||||
"build_cache_prune_until must match ^\\d+[smhdw]?$, got %r; using 24h", v
|
||||
)
|
||||
return "24h"
|
||||
except (TypeError, ValueError):
|
||||
return "24h"
|
||||
|
||||
@field_validator("build_cache_prune_notify_min_gb", mode="before")
|
||||
@classmethod
|
||||
def _bcp_notify_min_gb(cls, v):
|
||||
# A non-negative GB threshold; negative / non-numeric -> 0 (silent).
|
||||
try:
|
||||
if v is None or (isinstance(v, str) and v.strip() == ""):
|
||||
return 0.0
|
||||
fv = float(v)
|
||||
return fv if fv >= 0 else 0.0
|
||||
except (TypeError, ValueError):
|
||||
return 0.0
|
||||
|
||||
# ORCH-071: merge-verify under-gate on the `deploy -> done` edge. For the
|
||||
# self-hosting repo the `deploy` stage runs the DETERMINISTIC self-deploy path
|
||||
# (Phase A/B/C), where the LLM `deployer` agent — historically the ONLY actor
|
||||
@@ -458,6 +605,25 @@ class Settings(BaseSettings):
|
||||
serial_gate_repos: str = ""
|
||||
serial_gate_freeze_enabled: bool = True
|
||||
|
||||
# ORCH-090: STOP-status task cancellation (stop active agent + full progress
|
||||
# reset) and the relaunch-hole close. A new logical Plane key `stop` (fail-closed,
|
||||
# absent from _DEFAULT_STATES) routes to a cancel handler that drives the task to
|
||||
# the new system-terminal state `cancelled` (stage + durable). Additive,
|
||||
# never-raise, restart-safe; STAGE_TRANSITIONS / QG_CHECKS / check_* / existing
|
||||
# status semantics are NOT touched. See
|
||||
# docs/work-items/ORCH-090/06-adr/ADR-001-stop-cancel-task.md and the cross-cutting
|
||||
# docs/architecture/adr/adr-0026-stop-cancel-task.md.
|
||||
# stop_status_enabled -> kill-switch (env ORCH_STOP_STATUS_ENABLED). False ->
|
||||
# STOP handling AND the relaunch-hole gate are inert
|
||||
# (behaviour strictly as before ORCH-090 — zero
|
||||
# regression, AC-8).
|
||||
# stop_status_repos -> CSV scope (env ORCH_STOP_STATUS_REPOS). Empty -> applies
|
||||
# to ALL repos (cancellation is meaningful for enduro too);
|
||||
# non-empty -> only the listed repos. Tokens are sanitised
|
||||
# (^[A-Za-z0-9._-]+$) by the cancel leaf.
|
||||
stop_status_enabled: bool = True
|
||||
stop_status_repos: str = ""
|
||||
|
||||
# ORCH-073 (ADR-001 Р-4): main-integrity regression guard. After the merge-verify
|
||||
# under-gate confirms the deployed SHA is an ancestor of origin/main (FR-1), a
|
||||
# secondary deterministic (no-LLM) guard checks that a declarative set of markers
|
||||
|
||||
211
src/db.py
211
src/db.py
@@ -59,7 +59,7 @@ def init_db():
|
||||
repo TEXT NOT NULL,
|
||||
task_id INTEGER, -- FK tasks.id (nullable)
|
||||
task_content TEXT, -- written to the agent task_file
|
||||
status TEXT NOT NULL DEFAULT 'queued', -- queued|running|done|failed
|
||||
status TEXT NOT NULL DEFAULT 'queued', -- queued|running|done|failed|cancelled (ORCH-090: cancelled is a terminal outcome, never requeued)
|
||||
attempts INTEGER NOT NULL DEFAULT 0,
|
||||
max_attempts INTEGER NOT NULL DEFAULT 2,
|
||||
run_id INTEGER, -- agent_runs.id once started
|
||||
@@ -129,6 +129,17 @@ def init_db():
|
||||
# tracker can show "твоё время" without recomputing from activity history.
|
||||
_ensure_column(conn, "tasks", "brd_review_started_at", "TEXT")
|
||||
_ensure_column(conn, "tasks", "brd_review_ended_at", "TEXT")
|
||||
# ORCH-090 (08-data-requirements.md): STOP-cancellation durable markers. Both are
|
||||
# additive, idempotent (_ensure_column is a no-op once present) -> safe on the live
|
||||
# shared prod DB (enduro untouched). The durable terminal itself is tasks.stage=
|
||||
# 'cancelled' (already understood by the reconciler terminal-skip); these columns
|
||||
# are audit/observability + the deferred-cancel signal.
|
||||
# cancelled_at -> timestamp the task was cancelled (NULL otherwise).
|
||||
# cancel_requested_at -> STOP arrived inside a critical merge/deploy window
|
||||
# (ADR-001 D7): cancellation is DEFERRED until the
|
||||
# irreversible step finishes honestly, then applied.
|
||||
_ensure_column(conn, "tasks", "cancelled_at", "TEXT")
|
||||
_ensure_column(conn, "tasks", "cancel_requested_at", "TEXT")
|
||||
# ORCH-026 (Level B): declarative task dependencies. job_deps stores the
|
||||
# directed edge "task_id (B) is blocked-by depends_on_task_id (A)". The
|
||||
# scheduler gate in claim_next_job keeps B queued until every A reaches
|
||||
@@ -231,6 +242,13 @@ def get_active_tasks_for_reconcile() -> list[dict]:
|
||||
``age_s`` = seconds since ``tasks.updated_at`` (computed in SQL against UTC
|
||||
'now', matching how ``update_task_stage`` stamps ``updated_at``). The
|
||||
reconciler applies the per-stage grace and active-job guard on top.
|
||||
|
||||
ORCH-090 (adr-0026): a ``cancelled`` task is DELIBERATELY still returned here
|
||||
and skipped by the reconciler's own terminal-skip (``stage in
|
||||
('done','cancelled')``, ORCH-086 D2) — narrowing the query to exclude
|
||||
``cancelled`` would lose the observability skip-counter increment that ORCH-086
|
||||
relies on. The terminal set is harmonised in the *scheduler* predicates
|
||||
(serial_gate / task_deps), not here.
|
||||
"""
|
||||
conn = get_db()
|
||||
try:
|
||||
@@ -605,7 +623,9 @@ def claim_next_job() -> dict | None:
|
||||
dep_gate = (
|
||||
"AND NOT EXISTS ("
|
||||
" SELECT 1 FROM job_deps d JOIN tasks t ON t.id = d.depends_on_task_id "
|
||||
" WHERE d.task_id = jobs.task_id AND t.stage != 'done'"
|
||||
# ORCH-090 (adr-0026): a cancelled predecessor is TERMINAL -> the
|
||||
# dependent must NOT wait on it forever. Terminal set = {done,cancelled}.
|
||||
" WHERE d.task_id = jobs.task_id AND t.stage NOT IN ('done','cancelled')"
|
||||
") "
|
||||
)
|
||||
# ORCH-088 (FR-1, ADR-001 D1): per-repo serial gate. An analyst-job of a NEW
|
||||
@@ -683,11 +703,11 @@ def mark_job(
|
||||
run_id: int | None = None,
|
||||
error: str | None = None,
|
||||
):
|
||||
"""Update a job's status (queued|running|done|failed).
|
||||
"""Update a job's status (queued|running|done|failed|cancelled).
|
||||
|
||||
- run_id (optional): link to the agent_runs row that executed this job.
|
||||
- error (optional): last error message (for failed/retry).
|
||||
- 'done'/'failed' also stamp finished_at.
|
||||
- 'done'/'failed'/'cancelled' (ORCH-090) also stamp finished_at.
|
||||
- 'queued' (requeue for retry) clears started_at/finished_at so the next
|
||||
claim treats it as fresh.
|
||||
"""
|
||||
@@ -700,7 +720,7 @@ def mark_job(
|
||||
if error is not None:
|
||||
sets.append("error = ?")
|
||||
params.append(error)
|
||||
if status in ("done", "failed"):
|
||||
if status in ("done", "failed", "cancelled"):
|
||||
sets.append("finished_at = datetime('now')")
|
||||
elif status == "queued":
|
||||
sets.append("started_at = NULL")
|
||||
@@ -728,6 +748,181 @@ def has_active_job_for_task(task_id: int) -> bool:
|
||||
return row is not None
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# ORCH-090: STOP-cancellation helpers (task + jobs terminal state)
|
||||
# ---------------------------------------------------------------------------
|
||||
|
||||
def get_task(task_id: int) -> dict | None:
|
||||
"""Fetch a single task row by id (None when absent)."""
|
||||
conn = get_db()
|
||||
try:
|
||||
row = conn.execute("SELECT * FROM tasks WHERE id = ?", (task_id,)).fetchone()
|
||||
finally:
|
||||
conn.close()
|
||||
return dict(row) if row else None
|
||||
|
||||
|
||||
def get_active_jobs_for_task(task_id: int) -> list[dict]:
|
||||
"""ORCH-090: queued/running jobs of a task (for STOP — stop agent + cancel).
|
||||
|
||||
Returns the full job rows (incl. ``pid`` / ``run_id`` / ``status``) so the
|
||||
cancel orchestrator can SIGTERM the running agent by ``jobs.pid`` and then flip
|
||||
every job to the terminal ``cancelled`` outcome.
|
||||
"""
|
||||
conn = get_db()
|
||||
try:
|
||||
rows = conn.execute(
|
||||
"SELECT * FROM jobs WHERE task_id = ? AND status IN ('queued','running') "
|
||||
"ORDER BY id",
|
||||
(task_id,),
|
||||
).fetchall()
|
||||
finally:
|
||||
conn.close()
|
||||
return [dict(r) for r in rows]
|
||||
|
||||
|
||||
def cancel_jobs_for_task(task_id: int, only_queued: bool = False) -> int:
|
||||
"""ORCH-090 (ADR-001 D3): flip a task's jobs to the terminal ``cancelled`` outcome.
|
||||
|
||||
Guarded UPDATE over ``status IN ('queued','running')`` (or only ``'queued'`` when
|
||||
``only_queued`` — the deferred-cancel path inside a critical merge/deploy window,
|
||||
D7, which must NOT cancel the still-running deploy/merge actor). ``cancelled`` is
|
||||
never requeued: ``claim_next_job`` only selects ``status='queued'`` and the reaper
|
||||
/ worker check the task's terminal stage before any requeue. Returns the number of
|
||||
jobs cancelled. never-raise -> 0 on error.
|
||||
"""
|
||||
statuses = "('queued')" if only_queued else "('queued','running')"
|
||||
try:
|
||||
conn = get_db()
|
||||
try:
|
||||
cur = conn.execute(
|
||||
f"UPDATE jobs SET status='cancelled', finished_at=datetime('now') "
|
||||
f"WHERE task_id = ? AND status IN {statuses}",
|
||||
(task_id,),
|
||||
)
|
||||
conn.commit()
|
||||
return cur.rowcount or 0
|
||||
finally:
|
||||
conn.close()
|
||||
except Exception:
|
||||
return 0
|
||||
|
||||
|
||||
def mark_task_cancelled(task_id: int) -> bool:
|
||||
"""ORCH-090 (ADR-001 D4): durable terminal + natural-key tombstone for a task.
|
||||
|
||||
Atomically (single UPDATE):
|
||||
* ``stage='cancelled'`` (durable terminal, understood by the reconciler skip);
|
||||
* ``cancelled_at=now``, ``cancel_requested_at=NULL`` (clear any deferred flag);
|
||||
* TOMBSTONE the natural keys so a later "To Analyse" re-creates the task FROM
|
||||
SCRATCH: ``plane_id`` / ``work_item_id`` / ``plane_issue_id`` get a
|
||||
deterministic ``#cancelled-<id>`` suffix -> ``get_task_by_plane_id`` returns
|
||||
None and the anti-dup / uniqueness guards no longer collide. The row is NOT
|
||||
deleted (durable audit).
|
||||
|
||||
ADR-001 D4 refinement (ORCH-090): the ADR proposed keeping ``plane_issue_id``
|
||||
untouched for audit, but ``get_task_by_plane_id`` / ``create_task_atomic`` match
|
||||
on ``plane_id OR plane_issue_id`` — leaving ``plane_issue_id`` matchable would
|
||||
keep the cancelled row "findable" and BLOCK the clean-slate re-create (BR-3 /
|
||||
TR-4). We therefore suffix it too; the ``#cancelled-<id>`` tag is deterministic
|
||||
and parseable, so the original Plane issue UUID (== the original ``plane_id`` in
|
||||
every create path) is still fully recoverable for audit.
|
||||
|
||||
Idempotent-safe: the suffix is only appended when not already present (a repeat
|
||||
STOP on an already-cancelled row does not double-suffix). Returns True iff the
|
||||
row was updated. never-raise -> False on error.
|
||||
"""
|
||||
try:
|
||||
conn = get_db()
|
||||
try:
|
||||
row = conn.execute(
|
||||
"SELECT plane_id, work_item_id, plane_issue_id FROM tasks WHERE id = ?",
|
||||
(task_id,),
|
||||
).fetchone()
|
||||
if not row:
|
||||
return False
|
||||
suffix = f"#cancelled-{task_id}"
|
||||
|
||||
def _tomb(v):
|
||||
v = v or ""
|
||||
return v if suffix in v else f"{v}{suffix}"
|
||||
|
||||
plane_id = _tomb(row["plane_id"])
|
||||
work_item_id = _tomb(row["work_item_id"])
|
||||
plane_issue_id = _tomb(row["plane_issue_id"])
|
||||
conn.execute(
|
||||
"UPDATE tasks SET stage='cancelled', cancelled_at=datetime('now'), "
|
||||
"cancel_requested_at=NULL, plane_id=?, work_item_id=?, plane_issue_id=?, "
|
||||
"updated_at=datetime('now') WHERE id = ?",
|
||||
(plane_id, work_item_id, plane_issue_id, task_id),
|
||||
)
|
||||
conn.commit()
|
||||
return True
|
||||
finally:
|
||||
conn.close()
|
||||
except Exception:
|
||||
return False
|
||||
|
||||
|
||||
def set_task_cancel_requested(task_id: int) -> bool:
|
||||
"""ORCH-090 (ADR-001 D7): mark a deferred cancellation (STOP in critical window).
|
||||
|
||||
Idempotent: only stamps ``cancel_requested_at`` the first time. Returns the
|
||||
**first-stamp fact** — ``True`` iff THIS call actually stamped the column (a
|
||||
repeated STOP while still deferred updates 0 rows -> ``False``), so the caller can
|
||||
suppress duplicate notifications (AC-6). The deterministic deploy/merge finalizer
|
||||
reads the column once the irreversible step completes and then applies the full
|
||||
cancellation. never-raise -> False on error.
|
||||
"""
|
||||
try:
|
||||
conn = get_db()
|
||||
try:
|
||||
cur = conn.execute(
|
||||
"UPDATE tasks SET cancel_requested_at=datetime('now') "
|
||||
"WHERE id = ? AND cancel_requested_at IS NULL",
|
||||
(task_id,),
|
||||
)
|
||||
conn.commit()
|
||||
return cur.rowcount > 0
|
||||
finally:
|
||||
conn.close()
|
||||
except Exception:
|
||||
return False
|
||||
|
||||
|
||||
def cancelled_tasks_snapshot(limit: int = 10) -> dict:
|
||||
"""ORCH-090 (AC-10): read-only cancellation summary for GET /queue.
|
||||
|
||||
Returns ``{count, pending, recent}`` where ``count`` is the number of cancelled
|
||||
tasks, ``pending`` the number with a deferred (not-yet-applied) cancellation, and
|
||||
``recent`` the last ``limit`` cancelled tasks. never-raise -> minimal dict.
|
||||
"""
|
||||
try:
|
||||
conn = get_db()
|
||||
try:
|
||||
count = conn.execute(
|
||||
"SELECT COUNT(*) FROM tasks WHERE stage='cancelled'"
|
||||
).fetchone()[0]
|
||||
pending = conn.execute(
|
||||
"SELECT COUNT(*) FROM tasks WHERE cancel_requested_at IS NOT NULL "
|
||||
"AND stage != 'cancelled'"
|
||||
).fetchone()[0]
|
||||
recent = [
|
||||
{"work_item_id": r["work_item_id"], "repo": r["repo"],
|
||||
"cancelled_at": r["cancelled_at"]}
|
||||
for r in conn.execute(
|
||||
"SELECT work_item_id, repo, cancelled_at FROM tasks "
|
||||
"WHERE stage='cancelled' ORDER BY cancelled_at DESC LIMIT ?",
|
||||
(limit,),
|
||||
).fetchall()
|
||||
]
|
||||
finally:
|
||||
conn.close()
|
||||
return {"count": int(count), "pending": int(pending), "recent": recent}
|
||||
except Exception:
|
||||
return {"count": 0, "pending": 0, "recent": []}
|
||||
|
||||
|
||||
def count_running_jobs() -> int:
|
||||
"""Number of jobs currently in 'running' status (for max_concurrency)."""
|
||||
conn = get_db()
|
||||
@@ -815,7 +1010,7 @@ def reap_running_job(
|
||||
if error is not None:
|
||||
sets.append("error = ?")
|
||||
params.append(error)
|
||||
if status in ("done", "failed"):
|
||||
if status in ("done", "failed", "cancelled"): # ORCH-090: cancelled is terminal
|
||||
sets.append("finished_at = datetime('now')")
|
||||
elif status == "queued":
|
||||
sets.append("started_at = NULL")
|
||||
@@ -948,7 +1143,9 @@ def get_unfinished_dependencies(task_id: int) -> list[dict]:
|
||||
rows = conn.execute(
|
||||
"SELECT t.id AS id, t.work_item_id AS work_item_id, t.stage AS stage "
|
||||
"FROM job_deps d JOIN tasks t ON t.id = d.depends_on_task_id "
|
||||
"WHERE d.task_id = ? AND t.stage != 'done'",
|
||||
# ORCH-090 (adr-0026): {done,cancelled} are both terminal -> a
|
||||
# cancelled predecessor no longer blocks the dependent.
|
||||
"WHERE d.task_id = ? AND t.stage NOT IN ('done','cancelled')",
|
||||
(task_id,),
|
||||
).fetchall()
|
||||
finally:
|
||||
|
||||
358
src/disk_watchdog.py
Normal file
358
src/disk_watchdog.py
Normal file
@@ -0,0 +1,358 @@
|
||||
"""ORCH-063: disk-watchdog — host-FS fill heartbeat + Telegram alert at >=85%.
|
||||
|
||||
On 07.06.2026 the mva154 host disk silently grew to 100% and took down the WHOLE
|
||||
self-hosting pipeline of every project (one prod ``orchestrator`` instance serves
|
||||
all prod projects from a shared DB/queue). The system had no proactive signal —
|
||||
the operator only learned of the problem once the instance was already stuck.
|
||||
|
||||
This module is a background daemon thread modelled 1:1 on ``reconciler``
|
||||
(ORCH-053) and ``job_reaper`` (ORCH-065): a ``threading.Thread(daemon=True)`` +
|
||||
``threading.Event`` for a clean stop, the ``start()`` / ``stop(timeout)`` /
|
||||
``status()`` contract, a ``/queue`` snapshot, per-tick never-raise and a
|
||||
kill-switch (``ORCH_DISK_MONITOR_ENABLED``). Each tick measures the fill of the
|
||||
mounted **host** bind-paths (``/repos``, ``/app/data``) via stdlib
|
||||
``shutil.disk_usage`` — NOT the container overlay ``/``, NOT a ``df`` subprocess —
|
||||
deduplicates paths by physical device (``st_dev``), and through a pure decision
|
||||
function from ``(used_pct, threshold, prev_state, now, realert_s)`` decides to
|
||||
alert (threshold crossed up), re-alert (cooldown elapsed), send recovery (back
|
||||
below threshold) or stay silent.
|
||||
|
||||
Invariants (TRZ §10 / ADR-001):
|
||||
* ``STAGE_TRANSITIONS`` / ``QG_CHECKS`` / ``check_*`` / the DB schema are
|
||||
UNCHANGED — the watchdog is an operational daemon, not a Quality Gate (like
|
||||
``reconciler`` / ``job_reaper``). No new migration (anti-spam state is
|
||||
in-memory, best-effort, may reset on restart — safe: an early signal, not an
|
||||
SLA).
|
||||
* never-raise on three levels: per-path (a broken path is skipped, the rest are
|
||||
measured), per-tick (outer ``try/except`` in ``_run``), per-send
|
||||
(``send_telegram`` wrapped).
|
||||
* Self-hosting safety: the watchdog only READS fill and SENDS Telegram — it
|
||||
never touches the disk/container, never restarts prod. Safe for enduro-trails
|
||||
in the shared instance.
|
||||
* Kill-switch ``disk_monitor_enabled=False`` -> the daemon does not start
|
||||
(``main.lifespan`` guard) and ``/queue`` returns ``{"enabled": false}`` —
|
||||
behaviour 1:1 as before.
|
||||
|
||||
See docs/work-items/ORCH-063/06-adr/ADR-001-disk-watchdog.md and the cross-cutting
|
||||
docs/architecture/adr/adr-0024-disk-watchdog.md.
|
||||
"""
|
||||
|
||||
import logging
|
||||
import os
|
||||
import shutil
|
||||
import socket
|
||||
import threading
|
||||
import time
|
||||
from dataclasses import dataclass
|
||||
from datetime import datetime, timezone
|
||||
|
||||
from .config import settings
|
||||
from .notifications import send_telegram
|
||||
|
||||
logger = logging.getLogger("orchestrator.disk_watchdog")
|
||||
|
||||
_BYTES_PER_GB = 1024 ** 3
|
||||
|
||||
# Decision actions returned by ``decide_action`` (D3).
|
||||
ACTION_NONE = "none"
|
||||
ACTION_ALERT = "alert"
|
||||
ACTION_REALERT = "realert"
|
||||
ACTION_RECOVERY = "recovery"
|
||||
|
||||
|
||||
@dataclass
|
||||
class PathAlertState:
|
||||
"""In-memory anti-spam state for one logical device/path (D3).
|
||||
|
||||
Best-effort: lives only in the daemon (no DB row, no migration). After a
|
||||
process restart ``alerting`` resets to ``False`` -> a still-full disk re-alerts
|
||||
once, which is safe (an early signal, not an SLA; TRZ §5/NFR-5).
|
||||
"""
|
||||
|
||||
alerting: bool = False
|
||||
last_alert_at: float | None = None
|
||||
|
||||
|
||||
def _resolve_host() -> str:
|
||||
"""Best-effort host label for alert text (never raises).
|
||||
|
||||
The prod container runs ``network_mode: host`` so ``gethostname()`` resolves
|
||||
to the real host (``mva154``). Any failure -> the neutral ``"host"``.
|
||||
"""
|
||||
try:
|
||||
name = socket.gethostname()
|
||||
return name or "host"
|
||||
except Exception: # noqa: BLE001 - never break the tick
|
||||
return "host"
|
||||
|
||||
|
||||
def parse_paths(raw: str) -> list[str]:
|
||||
"""Parse the ``disk_monitor_paths`` CSV into a clean path list.
|
||||
|
||||
Empty / blank -> the default host bind-paths (``/repos``, ``/app/data``,
|
||||
TRZ §8). Never raises.
|
||||
"""
|
||||
default = ["/repos", "/app/data"]
|
||||
try:
|
||||
if not raw or not raw.strip():
|
||||
return default
|
||||
paths = [p.strip() for p in raw.split(",") if p.strip()]
|
||||
return paths or default
|
||||
except Exception: # noqa: BLE001 - never break the tick
|
||||
return default
|
||||
|
||||
|
||||
def decide_action(
|
||||
used_pct: float,
|
||||
threshold: float,
|
||||
prev: PathAlertState,
|
||||
now: float,
|
||||
realert_s: float,
|
||||
) -> str:
|
||||
"""Pure alert decision (D3) — testable without a thread or a real timer.
|
||||
|
||||
Returns one of ``ACTION_{NONE,ALERT,REALERT,RECOVERY}`` as a function of the
|
||||
current fill, the threshold, the previous per-path state and the injected
|
||||
clock:
|
||||
|
||||
* not alerting & ``used_pct >= threshold`` -> ALERT (crossed up)
|
||||
* alerting & still ``>= threshold`` & cooldown -> REALERT (re-alert)
|
||||
* alerting & still ``>= threshold`` & in cooldown-> NONE (anti-spam)
|
||||
* alerting & ``used_pct < threshold`` -> RECOVERY (crossed down)
|
||||
* not alerting & ``used_pct < threshold`` -> NONE (normal)
|
||||
|
||||
Threshold is inclusive: ``used_pct == threshold`` counts as exceeding
|
||||
(``>=``, TC-05).
|
||||
"""
|
||||
above = used_pct >= threshold
|
||||
if not prev.alerting:
|
||||
return ACTION_ALERT if above else ACTION_NONE
|
||||
# prev.alerting is True
|
||||
if not above:
|
||||
return ACTION_RECOVERY
|
||||
last = prev.last_alert_at
|
||||
if last is None or (now - last) >= realert_s:
|
||||
return ACTION_REALERT
|
||||
return ACTION_NONE
|
||||
|
||||
|
||||
def _measure_one(path: str) -> dict | None:
|
||||
"""Measure one path via ``shutil.disk_usage`` (D1). Never raises.
|
||||
|
||||
Returns a measurement dict, or ``None`` if the path is missing / unreadable
|
||||
(``FileNotFoundError`` / ``PermissionError`` / ``OSError``) -> the caller skips
|
||||
THIS path and keeps measuring the others (FR-2, AC-6: one broken path never
|
||||
fails the whole tick).
|
||||
"""
|
||||
try:
|
||||
usage = shutil.disk_usage(path)
|
||||
total = int(usage.total)
|
||||
used = int(usage.used)
|
||||
free = int(usage.free)
|
||||
used_pct = round(used / total * 100, 1) if total > 0 else 0.0
|
||||
free_pct = round(free / total * 100, 1) if total > 0 else 0.0
|
||||
return {
|
||||
"path": path,
|
||||
"total_bytes": total,
|
||||
"used_bytes": used,
|
||||
"free_bytes": free,
|
||||
"used_pct": used_pct,
|
||||
"free_pct": free_pct,
|
||||
"free_gb": round(free / _BYTES_PER_GB, 1),
|
||||
}
|
||||
except Exception as e: # noqa: BLE001 - skip this path, keep the tick alive
|
||||
logger.warning("disk-watchdog: cannot measure path %s, skipping: %s", path, e)
|
||||
return None
|
||||
|
||||
|
||||
def _dedup_key(path: str) -> object:
|
||||
"""Physical-device dedup key (D2): ``st_dev`` if resolvable, else the path.
|
||||
|
||||
Paths sharing a device (``/repos`` and ``/app/data`` on the same host
|
||||
partition) collapse to one logical partition -> one alert, not two. Failure to
|
||||
``os.stat`` -> fail-open (the path is its own key, measured independently).
|
||||
"""
|
||||
try:
|
||||
return os.stat(path).st_dev
|
||||
except Exception: # noqa: BLE001 - fail-open, treat as a distinct device
|
||||
return path
|
||||
|
||||
|
||||
def measure_paths(paths: list[str]) -> list[dict]:
|
||||
"""Measure every path, deduplicated by physical device (D1/D2). Never raises.
|
||||
|
||||
For each distinct ``st_dev`` the FIRST successfully-measured path is kept and
|
||||
carries a stable ``dedup_key`` (so anti-spam state is per-device). A path that
|
||||
fails to measure is skipped (AC-6).
|
||||
"""
|
||||
out: list[dict] = []
|
||||
seen: set[object] = set()
|
||||
for path in paths:
|
||||
key = _dedup_key(path)
|
||||
if key in seen:
|
||||
continue
|
||||
m = _measure_one(path)
|
||||
if m is None:
|
||||
continue
|
||||
seen.add(key)
|
||||
m["dedup_key"] = key
|
||||
out.append(m)
|
||||
return out
|
||||
|
||||
|
||||
def format_alert_message(m: dict, threshold: float, host: str) -> str:
|
||||
"""Actionable Telegram alert text (FR-3/AC-2): host, path, used %, free, threshold."""
|
||||
return (
|
||||
f"\U0001f534 Диск {host}: {m['path']} заполнен на {m['used_pct']}% "
|
||||
f"(порог {threshold}%). Свободно {m['free_gb']} ГБ ({m['free_pct']}%). "
|
||||
f"Освободите место — риск остановки конвейера всех проектов."
|
||||
)
|
||||
|
||||
|
||||
def format_recovery_message(m: dict, host: str) -> str:
|
||||
"""Single recovery message when fill returns below threshold (FR-4/AC-4)."""
|
||||
return (
|
||||
f"\U0001f7e2 Диск {host}: {m['path']} вернулся ниже порога — "
|
||||
f"{m['used_pct']}% (свободно {m['free_gb']} ГБ)."
|
||||
)
|
||||
|
||||
|
||||
class DiskWatchdog:
|
||||
"""Background daemon measuring host-FS fill and alerting on >= threshold.
|
||||
|
||||
Modelled on ``Reconciler`` / ``JobReaper``: a ``threading.Thread(daemon=True)``
|
||||
+ a ``threading.Event`` for a clean stop. The only in-memory state is the
|
||||
best-effort anti-spam map (``_states``), the last-measurement snapshot
|
||||
(``_last``) and ``last_run_ts`` — all reset on restart, which is safe (D3).
|
||||
|
||||
``now_provider`` is injectable so the cooldown / recovery logic is testable
|
||||
deterministically without a real timer (AC-3).
|
||||
"""
|
||||
|
||||
def __init__(self, interval_s: float | None = None, now_provider=None):
|
||||
self.interval_s = (
|
||||
interval_s if interval_s is not None else settings.disk_monitor_interval_s
|
||||
)
|
||||
self._now = now_provider or time.time
|
||||
self._stop = threading.Event()
|
||||
self._thread: threading.Thread | None = None
|
||||
self._host = _resolve_host()
|
||||
# Best-effort in-memory state, per dedup_key (device/path).
|
||||
self._states: dict[object, PathAlertState] = {}
|
||||
self._last: dict[object, dict] = {}
|
||||
self.last_run_ts: float | None = None
|
||||
|
||||
# -- config helpers ----------------------------------------------------
|
||||
@property
|
||||
def _threshold(self) -> int:
|
||||
return settings.disk_monitor_threshold_pct
|
||||
|
||||
@property
|
||||
def _realert_s(self) -> int:
|
||||
return settings.disk_monitor_realert_s
|
||||
|
||||
def _paths(self) -> list[str]:
|
||||
return parse_paths(settings.disk_monitor_paths)
|
||||
|
||||
# -- tick --------------------------------------------------------------
|
||||
def tick(self) -> None:
|
||||
"""One measurement pass over all monitored paths (never-raise per send).
|
||||
|
||||
Measures every (deduplicated) path, runs the pure ``decide_action`` per
|
||||
device and dispatches the resulting alert / re-alert / recovery via
|
||||
``send_telegram`` (notifying). Telegram failures are logged and swallowed
|
||||
(best-effort delivery, AC-6).
|
||||
"""
|
||||
threshold = self._threshold
|
||||
realert_s = self._realert_s
|
||||
now = self._now()
|
||||
for m in measure_paths(self._paths()):
|
||||
key = m["dedup_key"]
|
||||
prev = self._states.get(key) or PathAlertState()
|
||||
action = decide_action(m["used_pct"], threshold, prev, now, realert_s)
|
||||
if action in (ACTION_ALERT, ACTION_REALERT):
|
||||
self._send(format_alert_message(m, threshold, self._host), notifying=True)
|
||||
self._states[key] = PathAlertState(alerting=True, last_alert_at=now)
|
||||
elif action == ACTION_RECOVERY:
|
||||
self._send(format_recovery_message(m, self._host), notifying=True)
|
||||
self._states[key] = PathAlertState(alerting=False, last_alert_at=None)
|
||||
# ACTION_NONE: leave prev state untouched (anti-spam / normal).
|
||||
# Record the snapshot for /queue observability.
|
||||
cur = self._states.get(key) or prev
|
||||
self._last[key] = {
|
||||
"path": m["path"],
|
||||
"used_pct": m["used_pct"],
|
||||
"free_gb": m["free_gb"],
|
||||
"free_pct": m["free_pct"],
|
||||
"alerting": cur.alerting,
|
||||
"last_alert_at": cur.last_alert_at,
|
||||
}
|
||||
|
||||
def _send(self, text: str, notifying: bool) -> None:
|
||||
"""Send a Telegram alert (notifying, not silent). Never raises (AC-6)."""
|
||||
try:
|
||||
send_telegram(text, disable_notification=not notifying)
|
||||
except Exception as e: # noqa: BLE001 - delivery is best-effort
|
||||
logger.warning("disk-watchdog: telegram send failed: %s", e)
|
||||
|
||||
# -- loop / lifecycle --------------------------------------------------
|
||||
def _tick(self) -> None:
|
||||
try:
|
||||
self.tick()
|
||||
finally:
|
||||
self.last_run_ts = datetime.now(timezone.utc).timestamp()
|
||||
|
||||
def _run(self) -> None:
|
||||
logger.info(
|
||||
"DiskWatchdog started (interval=%ss, threshold=%s%%, realert=%ss, "
|
||||
"paths=%s, enabled=%s)",
|
||||
self.interval_s, self._threshold, self._realert_s,
|
||||
self._paths(), settings.disk_monitor_enabled,
|
||||
)
|
||||
while not self._stop.is_set():
|
||||
try:
|
||||
self._tick()
|
||||
except Exception as e: # noqa: BLE001 - outer never-raise
|
||||
logger.error("DiskWatchdog loop error: %s", e)
|
||||
self._stop.wait(self.interval_s)
|
||||
logger.info("DiskWatchdog stopped")
|
||||
|
||||
def start(self) -> None:
|
||||
"""Start the daemon thread (idempotent: a live thread is a no-op).
|
||||
|
||||
Honours the kill-switch: ``disk_monitor_enabled=False`` -> no-op (the
|
||||
daemon never starts; ``main.lifespan`` also guards, AC-5/TC-09).
|
||||
"""
|
||||
if not settings.disk_monitor_enabled:
|
||||
return
|
||||
if self._thread and self._thread.is_alive():
|
||||
return
|
||||
self._stop.clear()
|
||||
self._thread = threading.Thread(
|
||||
target=self._run, name="disk-watchdog", daemon=True
|
||||
)
|
||||
self._thread.start()
|
||||
|
||||
def stop(self, timeout: float = 5.0) -> None:
|
||||
self._stop.set()
|
||||
if self._thread:
|
||||
self._thread.join(timeout=timeout)
|
||||
|
||||
def status(self) -> dict:
|
||||
"""Disk-monitor snapshot for /queue observability (FR-6/AC-7). Never raises."""
|
||||
try:
|
||||
return {
|
||||
"enabled": settings.disk_monitor_enabled,
|
||||
"threshold_pct": self._threshold,
|
||||
"interval_s": self.interval_s,
|
||||
"realert_s": self._realert_s,
|
||||
"last_run_ts": self.last_run_ts,
|
||||
"paths": list(self._last.values()),
|
||||
}
|
||||
except Exception as e: # noqa: BLE001 - observability must never raise
|
||||
logger.warning("disk-watchdog: status() failed: %s", e)
|
||||
return {"enabled": settings.disk_monitor_enabled}
|
||||
|
||||
|
||||
# Module-level singleton used by the FastAPI lifespan.
|
||||
disk_watchdog = DiskWatchdog()
|
||||
65
src/gitea.py
Normal file
65
src/gitea.py
Normal file
@@ -0,0 +1,65 @@
|
||||
"""ORCH-090 (ADR-001 D8 / adr-0026): minimal Gitea branch helpers.
|
||||
|
||||
Leaf module — a single never-raise helper used by the STOP-cancellation path to
|
||||
delete a cancelled task's REMOTE feature branch. Deliberately tiny and dependency
|
||||
-light (only ``config`` + ``httpx``) so it can be imported from the stage engine
|
||||
without cycles.
|
||||
|
||||
Self-hosting safety (NFR-3): this helper deletes ONLY the named feature branch
|
||||
via the Gitea API. It NEVER touches ``main`` (a guard rejects it outright) and
|
||||
NEVER force-pushes — there is no push path here at all.
|
||||
"""
|
||||
import logging
|
||||
|
||||
import httpx
|
||||
|
||||
from .config import settings
|
||||
|
||||
logger = logging.getLogger("orchestrator.gitea")
|
||||
|
||||
# Branches that must never be deleted by an automated cancel (self-hosting safety).
|
||||
_PROTECTED_BRANCHES = {"main", "master"}
|
||||
|
||||
|
||||
def delete_remote_branch(repo: str, branch: str) -> bool:
|
||||
"""Delete a remote feature branch in Gitea (never-raise).
|
||||
|
||||
``DELETE /api/v1/repos/{owner}/{repo}/branches/{branch}``. Used by
|
||||
``stage_engine.cancel_task`` to reset a cancelled task's progress (D8). A 404
|
||||
(branch already gone) is treated as success — the goal state (branch absent) is
|
||||
reached. Returns True iff the branch is confirmed absent after the call.
|
||||
|
||||
Guards:
|
||||
* empty repo/branch -> no-op (False);
|
||||
* a protected branch (``main``/``master``) -> refused with an error log
|
||||
(NFR-3: STOP must never delete ``main``).
|
||||
Any network/API error is logged and swallowed (the worktree is cleaned locally
|
||||
regardless); returns False so the caller can note a best-effort miss.
|
||||
"""
|
||||
if not repo or not branch:
|
||||
return False
|
||||
if branch.strip().lower() in _PROTECTED_BRANCHES:
|
||||
logger.error(
|
||||
"delete_remote_branch REFUSED for protected branch %r in %s (self-hosting safety)",
|
||||
branch, repo,
|
||||
)
|
||||
return False
|
||||
owner = settings.gitea_owner
|
||||
url = f"{settings.gitea_url}/api/v1/repos/{owner}/{repo}/branches/{branch}"
|
||||
headers = {"Authorization": f"token {settings.gitea_token}"}
|
||||
try:
|
||||
resp = httpx.delete(url, headers=headers, timeout=10)
|
||||
if resp.status_code in (204, 200):
|
||||
logger.info("Deleted remote branch %s in %s/%s", branch, owner, repo)
|
||||
return True
|
||||
if resp.status_code == 404:
|
||||
logger.info("Remote branch %s already absent in %s/%s", branch, owner, repo)
|
||||
return True
|
||||
logger.warning(
|
||||
"delete_remote_branch %s in %s/%s returned %s: %s",
|
||||
branch, owner, repo, resp.status_code, resp.text[:200],
|
||||
)
|
||||
return False
|
||||
except Exception as e: # noqa: BLE001 - never-raise
|
||||
logger.warning("delete_remote_branch error for %s/%s/%s: %s", owner, repo, branch, e)
|
||||
return False
|
||||
@@ -325,6 +325,16 @@ class JobReaper:
|
||||
attempts = int(job.get("attempts") or 0)
|
||||
max_attempts = int(job.get("max_attempts") or 2)
|
||||
err = f"reaped: {reason} (run_id={run_id})"
|
||||
# ORCH-090 (adr-0026 / TR-2): the source of truth for "do not revive" is the
|
||||
# task's TERMINAL stage, not the job status. If the task is already terminal
|
||||
# ({done,cancelled}) — e.g. STOP flipped it to 'cancelled' while this job was
|
||||
# still 'running' (dead pid) — flip the job to the terminal 'cancelled'
|
||||
# outcome instead of requeueing it (closes the SIGTERM/reaper requeue race).
|
||||
_branch, _stage, _wid = self._task_meta(job)
|
||||
if _stage in ("done", "cancelled"):
|
||||
if reap_running_job(job_id, "cancelled", run_id=run_id, error=err):
|
||||
self._note_reap(job, "cancelled", reason=f"{reason} (task terminal={_stage})")
|
||||
return
|
||||
if attempts < max_attempts:
|
||||
if reap_running_job(job_id, "queued", run_id=run_id, error=err):
|
||||
self._note_reap(job, "queued", reason=reason)
|
||||
|
||||
36
src/main.py
36
src/main.py
@@ -105,9 +105,29 @@ async def lifespan(app: FastAPI):
|
||||
from .job_reaper import reaper
|
||||
reaper.start()
|
||||
|
||||
# ORCH-063: start the disk-watchdog LAST (after the reaper). It is independent
|
||||
# of the queue/DB — it only reads host-FS fill and Telegram-alerts at >=
|
||||
# threshold — so the order is not critical, but we follow the daemon
|
||||
# convention. Honours the kill-switch ORCH_DISK_MONITOR_ENABLED (start() is a
|
||||
# no-op when disabled, so behaviour is 1:1 as before).
|
||||
from .disk_watchdog import disk_watchdog
|
||||
disk_watchdog.start()
|
||||
|
||||
# ORCH-062: start the build-cache-pruner LAST, right after the disk-watchdog
|
||||
# (D7). It is the "second half" of the watchdog (watchdog signals, pruner
|
||||
# cleans): a daemon thread that periodically runs `docker builder prune` on
|
||||
# the host over ssh. Honours the kill-switch ORCH_BUILD_CACHE_PRUNE_ENABLED
|
||||
# (start() is a no-op when disabled, so behaviour is 1:1 as before).
|
||||
from .build_cache_pruner import build_cache_pruner
|
||||
build_cache_pruner.start()
|
||||
|
||||
try:
|
||||
yield
|
||||
finally:
|
||||
# ORCH-062: stop the build-cache-pruner first (reverse of startup, D7).
|
||||
build_cache_pruner.stop()
|
||||
# ORCH-063: stop the disk-watchdog next (reverse of startup).
|
||||
disk_watchdog.stop()
|
||||
# Graceful shutdown order mirrors startup in reverse: stop the reaper
|
||||
# first, then the reconciler (it must not enqueue new work while the
|
||||
# worker is winding down), then the worker. Running agents keep going;
|
||||
@@ -151,6 +171,9 @@ async def queue():
|
||||
from . import task_deps
|
||||
from . import serial_gate
|
||||
from . import labels
|
||||
from . import cancel
|
||||
from .disk_watchdog import disk_watchdog
|
||||
from .build_cache_pruner import build_cache_pruner
|
||||
return {
|
||||
"counts": job_status_counts(),
|
||||
"max_concurrency": worker.max_concurrency,
|
||||
@@ -169,6 +192,19 @@ async def queue():
|
||||
# ORCH-089 (D7): auto-mode-by-label observability (read-only) — kill-switch,
|
||||
# label names, scope. Additive block.
|
||||
"auto_labels": labels.snapshot(),
|
||||
# ORCH-090 (AC-10): STOP-cancellation observability (read-only) — kill-switch,
|
||||
# repo scope, cancelled/deferred counts, recent cancellations. Additive block;
|
||||
# never-raise.
|
||||
"stop": cancel.snapshot(),
|
||||
# ORCH-063 (FR-6 / AC-7): disk-watchdog observability (read-only) —
|
||||
# enabled, threshold, interval, last measurement per host-path. Additive
|
||||
# block; never-raise (status() returns {"enabled": ...} minimum on error).
|
||||
"disk_monitor": disk_watchdog.status(),
|
||||
# ORCH-062 (FR-4 / AC-7): build-cache-pruner observability (read-only) —
|
||||
# enabled, interval, retention (until), last run + best-effort reclaimed /
|
||||
# last error. Additive block; never-raise (status() returns {"enabled":
|
||||
# ...} minimum on error).
|
||||
"build_cache_prune": build_cache_pruner.status(),
|
||||
"recent": recent_jobs(10),
|
||||
}
|
||||
|
||||
|
||||
@@ -340,6 +340,21 @@ def release_merge_lease(repo: str, branch: str | None = None) -> None:
|
||||
logger.warning("merge-lease release error for %s: %s", repo, e)
|
||||
|
||||
|
||||
def current_lease_holder(repo: str) -> str | None:
|
||||
"""ORCH-090: branch currently holding the per-repo merge-lease, or None.
|
||||
|
||||
Read-only helper used by ``cancel.in_critical_window`` to decide whether a STOP
|
||||
must be DEFERRED (the task is mid-merge). Never raises -> None on missing/corrupt
|
||||
lease or any error (the caller treats an error as fail-CLOSED itself).
|
||||
"""
|
||||
try:
|
||||
existing = _read_lease(_lease_path(repo))
|
||||
return existing.get("branch") if existing else None
|
||||
except Exception as e: # noqa: BLE001 - never-raise
|
||||
logger.warning("current_lease_holder error for %s: %s", repo, e)
|
||||
return None
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# ORCH-065: proactive stale/dead merge-lease reclaim (Problem B)
|
||||
# ---------------------------------------------------------------------------
|
||||
|
||||
@@ -148,6 +148,13 @@ _PLANE_NAME_TO_KEY: dict[str, str] = {
|
||||
# this board status (enduro / API fallback) fail-closed — no UUID, no
|
||||
# confirm-deploy branch, no KeyError (accessed via .get).
|
||||
"Confirm Deploy": "confirm_deploy",
|
||||
# ORCH-090: dedicated operator "STOP" status — the cancel trigger. Like
|
||||
# ORCH-059's Confirm Deploy it is INTENTIONALLY ABSENT from _DEFAULT_STATES
|
||||
# (fail-closed): environments without the status (enduro / API fallback)
|
||||
# resolve `stop` to None via .get -> the cancel branch simply never activates
|
||||
# (no UUID, no KeyError, no blind cancel). Create a STOP status with the
|
||||
# `cancelled` group on the board to enable it (07-infra-requirements.md).
|
||||
"STOP": "stop",
|
||||
# ORCH-066: meaningful per-stage / human-input statuses (layer B).
|
||||
"To Analyse": "to_analyse",
|
||||
"Analysis": "analysis",
|
||||
|
||||
@@ -187,12 +187,18 @@ class QueueWorker:
|
||||
# launch error so the job does not wedge as 'running' forever.
|
||||
logger.error(f"Worker failed to launch job {job['id']}: {e}")
|
||||
try:
|
||||
from .db import get_job, mark_job
|
||||
from .db import get_job, mark_job, get_task
|
||||
|
||||
j = get_job(job["id"])
|
||||
attempts = j.get("attempts", 0) if j else 0
|
||||
max_attempts = j.get("max_attempts", 2) if j else 2
|
||||
if attempts < max_attempts:
|
||||
# ORCH-090 (adr-0026 / TR-2): never requeue a job whose task is
|
||||
# already terminal ({done,cancelled}) — a STOP that landed between
|
||||
# claim and launch must win over the retry budget.
|
||||
task = get_task(job.get("task_id")) if job.get("task_id") else None
|
||||
if task and task.get("stage") in ("done", "cancelled"):
|
||||
mark_job(job["id"], "cancelled", error=f"launch error (task terminal): {e}")
|
||||
elif attempts < max_attempts:
|
||||
mark_job(job["id"], "queued", error=f"launch error: {e}")
|
||||
else:
|
||||
mark_job(job["id"], "failed", error=f"launch error: {e}")
|
||||
|
||||
@@ -110,14 +110,19 @@ def repo_has_active_task(repo: str, exclude_task_id: int | None = None) -> bool:
|
||||
try:
|
||||
conn = db.get_db()
|
||||
try:
|
||||
# ORCH-090 (adr-0026): terminal set is {done,cancelled}. A cancelled
|
||||
# task must NOT count as "active" or it would block the repo's serial
|
||||
# gate forever.
|
||||
if exclude_task_id is not None:
|
||||
row = conn.execute(
|
||||
"SELECT 1 FROM tasks WHERE repo=? AND id != ? AND stage != 'done' LIMIT 1",
|
||||
"SELECT 1 FROM tasks WHERE repo=? AND id != ? "
|
||||
"AND stage NOT IN ('done','cancelled') LIMIT 1",
|
||||
(repo, exclude_task_id),
|
||||
).fetchone()
|
||||
else:
|
||||
row = conn.execute(
|
||||
"SELECT 1 FROM tasks WHERE repo=? AND stage != 'done' LIMIT 1",
|
||||
"SELECT 1 FROM tasks WHERE repo=? "
|
||||
"AND stage NOT IN ('done','cancelled') LIMIT 1",
|
||||
(repo,),
|
||||
).fetchone()
|
||||
return row is not None
|
||||
@@ -264,10 +269,12 @@ def build_claim_clause() -> str:
|
||||
repo_scope = f"AND jobs.repo IN ({repo_in}) "
|
||||
else:
|
||||
repo_scope = ""
|
||||
# ORCH-090 (adr-0026): {done,cancelled} are both terminal — an EARLIER
|
||||
# cancelled task no longer holds the FIFO serial gate closed.
|
||||
active_clause = (
|
||||
"EXISTS (SELECT 1 FROM tasks t2 "
|
||||
"WHERE t2.repo = jobs.repo AND t2.id < jobs.task_id "
|
||||
"AND t2.stage != 'done') "
|
||||
"AND t2.stage NOT IN ('done','cancelled')) "
|
||||
)
|
||||
if _freeze_layer_enabled():
|
||||
freeze_clause = (
|
||||
@@ -329,9 +336,10 @@ def _per_repo_snapshot(repo: str) -> dict:
|
||||
try:
|
||||
conn = db.get_db()
|
||||
try:
|
||||
# ORCH-090 (adr-0026): terminal set {done,cancelled}.
|
||||
row = conn.execute(
|
||||
"SELECT work_item_id, stage FROM tasks "
|
||||
"WHERE repo=? AND stage != 'done' ORDER BY id LIMIT 1",
|
||||
"WHERE repo=? AND stage NOT IN ('done','cancelled') ORDER BY id LIMIT 1",
|
||||
(repo,),
|
||||
).fetchone()
|
||||
if row:
|
||||
|
||||
@@ -1656,6 +1656,28 @@ def run_deploy_finalizer(job: dict):
|
||||
finished_agent="deployer",
|
||||
)
|
||||
|
||||
# ORCH-090 (ADR-001 D7 / AC-7): a STOP that arrived during the prod deploy was
|
||||
# DEFERRED (cancel_requested_at). The irreversible step has now finished honestly
|
||||
# above, so apply the deferred cancellation. force=True bypasses ONLY the
|
||||
# critical-window guard (the INITIATED marker may still linger) — a task that
|
||||
# reached terminal 'done' (SUCCESS) is an honest no-op (code is already in prod);
|
||||
# a FAILED deploy rolled back to development is fully reset now.
|
||||
try:
|
||||
from .db import get_task as _get_task
|
||||
t = _get_task(task_id)
|
||||
if t and t.get("cancel_requested_at") and t.get("stage") != "cancelled":
|
||||
logger.warning(
|
||||
"Task %s: applying deferred STOP after deploy finalize", task_id
|
||||
)
|
||||
cancel_task(
|
||||
task_id,
|
||||
reason="deferred STOP applied after deploy finalize",
|
||||
source="deferred",
|
||||
force=True,
|
||||
)
|
||||
except Exception as e: # noqa: BLE001 - never break the finalizer
|
||||
logger.warning("Task %s: deferred-cancel application failed: %s", task_id, e)
|
||||
|
||||
|
||||
def run_post_deploy_monitor(job: dict):
|
||||
"""ORCH-021 — one post-deploy monitor tick (reserved-agent, no LLM).
|
||||
@@ -1825,3 +1847,186 @@ def _notify_post_deploy(work_item_id: str, message: str) -> None:
|
||||
plane_add_comment(work_item_id, message, author="deployer")
|
||||
except Exception as e: # noqa: BLE001 - never break the tick
|
||||
logger.warning(f"post-deploy notify plane failed for {work_item_id}: {e}")
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# ORCH-090 (ADR-001 / adr-0026): STOP-cancellation orchestration
|
||||
# ---------------------------------------------------------------------------
|
||||
|
||||
def cancel_task(
|
||||
task_id: int,
|
||||
*,
|
||||
reason: str = "",
|
||||
source: str = "stop",
|
||||
force: bool = False,
|
||||
) -> dict:
|
||||
"""Cancel a task: stop the active agent + full progress reset (ORCH-090).
|
||||
|
||||
The single orchestration point behind the Plane STOP status (``webhooks/plane.
|
||||
handle_stop``). Drives the task to the system-terminal state ``cancelled``:
|
||||
|
||||
1. **Idempotency (BR-5 / AC-6):** an absent task or one already terminal
|
||||
(``stage in {done,cancelled}``) is a no-op — no re-kill, no re-cleanup, no
|
||||
duplicate notification.
|
||||
2. **Critical window (ADR-001 D7 / AC-7):** if the task is mid merge/deploy
|
||||
(``cancel.in_critical_window``) and not ``force``, the cancellation is
|
||||
DEFERRED: stamp ``cancel_requested_at``, cancel ONLY queued jobs (never the
|
||||
running deploy/merge actor), alert, and return — the deterministic deploy
|
||||
finalizer applies the cancel once the irreversible step finishes honestly.
|
||||
STOP NEVER touches ``main`` / force-pushes / restarts the prod container.
|
||||
3. **Full reset:** SIGTERM the running agent through the graceful cascade
|
||||
(``launcher.stop_process``), cancel all jobs (terminal ``cancelled``),
|
||||
clear deploy-state + release a held merge-lease (best-effort), remove the
|
||||
worktree, delete the remote feature branch, then tombstone the natural keys
|
||||
+ flip ``stage='cancelled'`` (durable). Docs artefacts are NOT touched.
|
||||
4. **Observability (AC-10):** log + Telegram + Plane comment + tracker update.
|
||||
|
||||
``force=True`` bypasses ONLY the critical-window guard (used by the deploy
|
||||
finalizer to apply a deferred cancel after the step completes) — it never
|
||||
overrides the terminal-stage idempotency. Returns a small result dict for
|
||||
tests/observability. never-raise: any error is logged; a notify failure never
|
||||
aborts the cancellation.
|
||||
"""
|
||||
from .db import (
|
||||
get_task, get_active_jobs_for_task, cancel_jobs_for_task,
|
||||
mark_task_cancelled, set_task_cancel_requested,
|
||||
)
|
||||
from . import cancel as cancel_mod
|
||||
|
||||
result = {"ok": False, "task_id": task_id, "deferred": False,
|
||||
"stopped": 0, "cancelled_jobs": 0, "note": None}
|
||||
|
||||
task = get_task(task_id)
|
||||
if not task:
|
||||
result["note"] = "no-task"
|
||||
logger.info("cancel_task: no task row for task_id=%s", task_id)
|
||||
return result
|
||||
|
||||
stage = task.get("stage")
|
||||
repo = task.get("repo")
|
||||
branch = task.get("branch") or ""
|
||||
work_item_id = task.get("work_item_id") or ""
|
||||
|
||||
# (1) Idempotency: already terminal -> no-op.
|
||||
if stage in ("done", "cancelled"):
|
||||
result["ok"] = True
|
||||
result["note"] = f"already-terminal:{stage}"
|
||||
logger.info(
|
||||
"cancel_task: task %s (%s) already terminal (stage=%s) -> no-op",
|
||||
task_id, work_item_id, stage,
|
||||
)
|
||||
return result
|
||||
|
||||
# (2) Critical merge/deploy window -> DEFER (unless forced by the finalizer).
|
||||
if not force and cancel_mod.in_critical_window(task):
|
||||
first = set_task_cancel_requested(task_id)
|
||||
result["cancelled_jobs"] = cancel_jobs_for_task(task_id, only_queued=True)
|
||||
result["deferred"] = True
|
||||
result["ok"] = True
|
||||
result["note"] = "deferred-critical-window" if first else "deferred-already-pending"
|
||||
# AC-6: only alert on the FIRST deferral transition — a repeated STOP while
|
||||
# still deferred must not spam duplicate Telegram/Plane notifications.
|
||||
if first:
|
||||
msg = (
|
||||
f"⏸️ {link_for(work_item_id)}: STOP получен во время "
|
||||
f"критичного шага (merge/deploy) — отмена ОТЛОЖЕНА до честного "
|
||||
f"завершения шага. main/прод не трогаются."
|
||||
)
|
||||
_notify_cancel(work_item_id, task_id, msg)
|
||||
logger.warning(
|
||||
"cancel_task: task %s (%s) in critical window -> deferred cancel "
|
||||
"(first=%s, queued jobs cancelled=%s)", task_id, work_item_id, first,
|
||||
result["cancelled_jobs"],
|
||||
)
|
||||
return result
|
||||
|
||||
# (3) Full reset ----------------------------------------------------------
|
||||
# 3a. Stop the active agent through the graceful cascade (AC-1). Capture the
|
||||
# running jobs BEFORE cancelling them so we still know their pids.
|
||||
stopped = 0
|
||||
try:
|
||||
from .agents.launcher import launcher
|
||||
for job in get_active_jobs_for_task(task_id):
|
||||
if job.get("status") == "running" and job.get("pid"):
|
||||
try:
|
||||
if launcher.stop_process(
|
||||
job["pid"], job.get("run_id"), reason=f"STOP cancel task {task_id}"
|
||||
):
|
||||
stopped += 1
|
||||
except Exception as e: # noqa: BLE001 - never-raise
|
||||
logger.warning("cancel_task: stop_process failed for job %s: %s",
|
||||
job.get("id"), e)
|
||||
except Exception as e: # noqa: BLE001 - never-raise
|
||||
logger.warning("cancel_task: agent-stop step failed for task %s: %s", task_id, e)
|
||||
result["stopped"] = stopped
|
||||
|
||||
# 3b. Cancel ALL jobs (terminal 'cancelled', never requeued).
|
||||
result["cancelled_jobs"] = cancel_jobs_for_task(task_id)
|
||||
|
||||
# 3c. Clear deploy-state sentinels + release a held merge-lease (best-effort).
|
||||
# Outside a critical window the task does not hold the lease / has no
|
||||
# INITIATED marker, but clearing is idempotent and harmless.
|
||||
try:
|
||||
self_deploy.clear_state(repo, work_item_id)
|
||||
except Exception as e: # noqa: BLE001
|
||||
logger.warning("cancel_task: clear deploy-state failed for %s: %s", work_item_id, e)
|
||||
try:
|
||||
merge_gate.release_merge_lease(repo, branch)
|
||||
except Exception as e: # noqa: BLE001
|
||||
logger.warning("cancel_task: merge-lease release failed for %s: %s", branch, e)
|
||||
|
||||
# 3d. Remove the worktree + delete the remote feature branch (never main).
|
||||
if branch:
|
||||
try:
|
||||
from .git_worktree import remove_worktree
|
||||
remove_worktree(repo, branch)
|
||||
except Exception as e: # noqa: BLE001 - never-raise
|
||||
logger.warning("cancel_task: remove_worktree failed for %s/%s: %s",
|
||||
repo, branch, e)
|
||||
try:
|
||||
from . import gitea
|
||||
gitea.delete_remote_branch(repo, branch)
|
||||
except Exception as e: # noqa: BLE001 - never-raise
|
||||
logger.warning("cancel_task: delete_remote_branch failed for %s/%s: %s",
|
||||
repo, branch, e)
|
||||
|
||||
# 3e. Durable terminal + natural-key tombstone (docs artefacts untouched).
|
||||
mark_task_cancelled(task_id)
|
||||
|
||||
# (4) Observability.
|
||||
note = f" ({reason})" if reason else ""
|
||||
msg = (
|
||||
f"\U0001f6d1 {link_for(work_item_id)}: задача ОТМЕНЕНА (STOP){note}. "
|
||||
f"Агент остановлен, job'ы сняты ({result['cancelled_jobs']}), ветка/worktree "
|
||||
f"удалены, прогресс сброшен. Docs сохранены. Перезапуск — только «To Analyse»."
|
||||
)
|
||||
_notify_cancel(work_item_id, task_id, msg)
|
||||
result["ok"] = True
|
||||
result["note"] = "cancelled" if not force else "cancelled-deferred-applied"
|
||||
logger.warning(
|
||||
"cancel_task: task %s (%s, repo=%s) CANCELLED (source=%s, force=%s): "
|
||||
"stopped=%s, cancelled_jobs=%s", task_id, work_item_id, repo, source, force,
|
||||
stopped, result["cancelled_jobs"],
|
||||
)
|
||||
return result
|
||||
|
||||
|
||||
def _notify_cancel(work_item_id: str, task_id: int, message: str) -> None:
|
||||
"""Best-effort Telegram + Plane comment + tracker update for a cancellation.
|
||||
|
||||
Never raises — a notification failure must not abort the cancel (ORCH-090 FR-8).
|
||||
"""
|
||||
try:
|
||||
send_telegram(message)
|
||||
except Exception as e: # noqa: BLE001
|
||||
logger.warning("cancel notify telegram failed for %s: %s", work_item_id, e)
|
||||
if work_item_id:
|
||||
try:
|
||||
plane_add_comment(work_item_id, message, author="deployer")
|
||||
except Exception as e: # noqa: BLE001
|
||||
logger.warning("cancel notify plane failed for %s: %s", work_item_id, e)
|
||||
try:
|
||||
from .notifications import update_task_tracker
|
||||
update_task_tracker(task_id)
|
||||
except Exception as e: # noqa: BLE001
|
||||
logger.warning("cancel notify tracker failed for task %s: %s", task_id, e)
|
||||
|
||||
@@ -19,6 +19,13 @@ STAGE_TRANSITIONS = {
|
||||
"deploy-staging": {"next": "deploy", "agent": "deployer", "qg": "check_staging_status"},
|
||||
"deploy": {"next": "done", "agent": None, "qg": "check_deploy_status"},
|
||||
"done": {"next": None, "agent": None, "qg": None},
|
||||
# ORCH-090 (adr-0026): system-terminal sink for a STOP-cancelled task. This is
|
||||
# NOT a new pipeline edge — no exit-gate of any edge changes — it only makes
|
||||
# get_next_stage('cancelled') correctly return None (parallel to 'done'). The
|
||||
# scheduler terminal predicate is `stage IN ('done','cancelled')`; the points
|
||||
# that recognise it carry the ORCH-090 marker (serial_gate / task_deps /
|
||||
# reconciler / job_reaper).
|
||||
"cancelled": {"next": None, "agent": None, "qg": None},
|
||||
}
|
||||
|
||||
|
||||
|
||||
@@ -37,9 +37,12 @@ def is_task_ready(task_id: int) -> tuple[bool, list[str]]:
|
||||
"""Return ``(ready, waiting_on)`` for a task.
|
||||
|
||||
``ready`` is True when the task has no declared dependency whose predecessor
|
||||
is still un-done (``tasks.stage != 'done'``). ``waiting_on`` is the list of
|
||||
predecessor work-item ids (e.g. ``["ORCH-010"]``) the task is still blocked
|
||||
by — used for the Telegram waiting-line / Plane visibility.
|
||||
is still un-done. ORCH-090 (adr-0026): the terminal set is
|
||||
``{done, cancelled}`` — a CANCELLED predecessor is terminal and no longer
|
||||
blocks the dependent (the actual SQL predicate lives in
|
||||
``db.get_unfinished_dependencies`` / ``db.claim_next_job``). ``waiting_on`` is
|
||||
the list of predecessor work-item ids (e.g. ``["ORCH-010"]``) the task is still
|
||||
blocked by — used for the Telegram waiting-line / Plane visibility.
|
||||
|
||||
never-raise: any error -> ``(True, [])`` (fail OPEN — consistent with the
|
||||
scheduler omitting the gate when the DB read fails; a transient error must
|
||||
|
||||
@@ -160,8 +160,15 @@ async def handle_issue_updated(data: dict, project_id: str = ""):
|
||||
# fallback) resolve to None, so the branch simply never activates (no KeyError,
|
||||
# no blind deploy). Checked before `approved` so the two gestures never alias.
|
||||
confirm_state = proj_states.get("confirm_deploy")
|
||||
# ORCH-090: dedicated operator STOP status -> cancel the task (stop agent + full
|
||||
# reset). fail-closed via .get (no UUID on a board without the status -> None ->
|
||||
# branch never activates, exactly like confirm_deploy). Checked FIRST so a STOP
|
||||
# is never aliased by to_analyse/approved/rejected.
|
||||
stop_state = proj_states.get("stop")
|
||||
# ORCH-066: start/resume trigger is `To Analyse` (human entry-point).
|
||||
if new_state == proj_states["to_analyse"]:
|
||||
if stop_state and new_state == stop_state:
|
||||
await handle_stop(data, project_id)
|
||||
elif new_state == proj_states["to_analyse"]:
|
||||
await handle_status_start(data, project_id)
|
||||
elif confirm_state and new_state == confirm_state:
|
||||
await handle_confirm_deploy(data, project_id)
|
||||
@@ -212,6 +219,44 @@ async def handle_confirm_deploy(data: dict, project_id: str = ""):
|
||||
)
|
||||
|
||||
|
||||
async def handle_stop(data: dict, project_id: str = ""):
|
||||
"""ORCH-090: a human flipped the issue to the dedicated STOP status — cancel
|
||||
the task (stop the active agent + full progress reset).
|
||||
|
||||
Resolves the task by plane_id and delegates to the unified
|
||||
``stage_engine.cancel_task`` (run off the event loop via asyncio.to_thread — it
|
||||
is synchronous and may sleep during the graceful SIGTERM cascade). Guards:
|
||||
* kill-switch / repo-scope via ``cancel.applies(repo)`` (False -> no-op-log);
|
||||
* idempotent — an absent / already-terminal task is a no-op inside cancel_task.
|
||||
Contract is never-raise (NFR-5): any error is logged, the webhook flow never
|
||||
crashes.
|
||||
"""
|
||||
import asyncio
|
||||
from .. import cancel
|
||||
from ..stage_engine import cancel_task
|
||||
|
||||
plane_id = str(data.get("id") or "")
|
||||
task = get_task_by_plane_id(plane_id)
|
||||
if not task:
|
||||
logger.info(f"STOP for {plane_id} but no task found, ignoring (no-op)")
|
||||
return
|
||||
|
||||
task_id = task["id"]
|
||||
repo = task.get("repo", "")
|
||||
if not cancel.applies(repo):
|
||||
logger.info(
|
||||
f"STOP for {plane_id} (task {task_id}, repo={repo}) but cancellation is "
|
||||
f"not applicable (kill-switch off / out of scope); no-op"
|
||||
)
|
||||
return
|
||||
|
||||
logger.info(f"Task {task_id}: STOP status -> cancelling (stop agent + full reset)")
|
||||
try:
|
||||
await asyncio.to_thread(cancel_task, task_id, reason="Plane STOP status", source="stop")
|
||||
except Exception as e: # never-raise: the webhook flow must not crash
|
||||
logger.error(f"STOP handling failed for task {task_id}: {e}")
|
||||
|
||||
|
||||
async def handle_status_start(data: dict, project_id: str = ""):
|
||||
"""An issue moved into In Progress.
|
||||
|
||||
@@ -279,6 +324,36 @@ async def handle_status_start(data: dict, project_id: str = ""):
|
||||
)
|
||||
return
|
||||
|
||||
# ORCH-090 (ADR-001 D6 / AC-5): close the relaunch hole. The legitimate "answer
|
||||
# to Needs Input" resume is owned ONLY by the analyst (ORCH-066 — the sole
|
||||
# Needs-Input setter). A manual move of an EXISTING task at any OTHER stage to
|
||||
# "To Analyse" must NOT silently relaunch the mid-pipeline agent on the old
|
||||
# branch (the incident pattern). Gate the relaunch to `analysis`; any other
|
||||
# stage -> no-op-with-log + a best-effort Plane hint to use STOP -> To Analyse
|
||||
# for a clean-slate restart. Under the kill-switch off this gate is inert
|
||||
# (behaviour 1:1 as before ORCH-090).
|
||||
from ..config import settings as _settings
|
||||
if getattr(_settings, "stop_status_enabled", False) and current_stage != "analysis":
|
||||
logger.info(
|
||||
f"Status->To Analyse for {plane_id}: existing task on stage "
|
||||
f"'{current_stage}' — NOT relaunching {stage_agent} (relaunch-hole closed, "
|
||||
f"ORCH-090). Use STOP then To Analyse to restart from scratch."
|
||||
)
|
||||
try:
|
||||
_add_comment(
|
||||
work_item_id,
|
||||
"ℹ️ Перезапуск "
|
||||
"агента сменой "
|
||||
"рабочего статуса "
|
||||
"отключён (ORCH-090). Для "
|
||||
"перезапуска с нуля: "
|
||||
"STOP → To Analyse.",
|
||||
author=stage_agent,
|
||||
)
|
||||
except Exception as e:
|
||||
logger.error(f"Failed to post relaunch-hole comment for {work_item_id}: {e}")
|
||||
return
|
||||
|
||||
task_desc = (
|
||||
f"Work item: {work_item_id}\nRepo: {repo}\nBranch: {branch}\n"
|
||||
f"Stage: {current_stage}\nNote: Stakeholder returned the issue to In "
|
||||
|
||||
@@ -11,6 +11,7 @@ Covers test-plan TC-01..TC-07. TC-08 lives in
|
||||
regression (TC-10) is the rest of `tests/`.
|
||||
"""
|
||||
import os
|
||||
import re
|
||||
|
||||
import pytest
|
||||
|
||||
@@ -258,3 +259,177 @@ def test_claude_md_and_readme_reference_traceability_standard():
|
||||
assert "TRACEABILITY.md" in _read_repo("docs", "architecture", "README.md"), (
|
||||
"architecture README does not reference docs/_standards/TRACEABILITY.md"
|
||||
)
|
||||
|
||||
|
||||
# --------------------------------------------------------------------------- #
|
||||
# ORCH-079 (ORCH-52f): reviewer overview-docs axis (layer 5 of epic ORCH-52).
|
||||
# Pure-text anti-drift check (TRZ §FR-6 / AC-5), NO `src/` import.
|
||||
# --------------------------------------------------------------------------- #
|
||||
|
||||
def test_reviewer_carries_overview_docs_axis():
|
||||
"""ORCH-079 TC-01 (AC-5): reviewer.md covers the README overview-docs axis.
|
||||
|
||||
The reviewer must require README ("Известные ограничения") to be updated when
|
||||
a PR closes a documented limitation. This guards the rule against silent drift
|
||||
in a future prompt refactor, exactly like the traceability control axis.
|
||||
"""
|
||||
text = _read("reviewer")
|
||||
assert "Известные ограничения" in text, (
|
||||
"reviewer.md does not mention the README 'Известные ограничения' overview-docs axis"
|
||||
)
|
||||
assert "ORCH-079" in text, (
|
||||
"reviewer.md does not anchor the overview-docs axis to ORCH-079"
|
||||
)
|
||||
|
||||
|
||||
# --------------------------------------------------------------------------- #
|
||||
# ORCH-092 (epilogue of epic ORCH-52): prompt audit of the 6 agents —
|
||||
# de-hardcode date/model, gate-name parity, escalation sections, dead-line
|
||||
# removal, tester enrichment, deployer ban-frame. Pure-text checks; only
|
||||
# TC-03 imports `src/` (the QG_CHECKS registry parity check).
|
||||
# Covers test-plan TC-01..TC-08 (TC-09/TC-10/TC-11 = existing canon + full regression).
|
||||
# --------------------------------------------------------------------------- #
|
||||
|
||||
|
||||
def _fenced_blocks(text: str) -> list[str]:
|
||||
"""Return the body of every ``` fenced code block (the *copyable* examples)."""
|
||||
blocks: list[str] = []
|
||||
inside = False
|
||||
buf: list[str] = []
|
||||
for line in text.splitlines():
|
||||
if line.lstrip().startswith("```"):
|
||||
if inside:
|
||||
blocks.append("\n".join(buf))
|
||||
buf = []
|
||||
inside = not inside
|
||||
continue
|
||||
if inside:
|
||||
buf.append(line)
|
||||
return blocks
|
||||
|
||||
|
||||
@pytest.mark.parametrize("agent", _AGENTS)
|
||||
def test_orch092_created_at_is_placeholder_not_literal(agent):
|
||||
"""TC-01 (AC-1): copyable example uses a date placeholder + a substitution note.
|
||||
|
||||
The field name `created_at` stays; only its value becomes a placeholder. No
|
||||
literal date may survive inside a ``` fenced (copyable) block, else an agent
|
||||
would copy a stale date verbatim.
|
||||
"""
|
||||
text = _read(agent)
|
||||
assert "created_at: <YYYY-MM-DD>" in text, (
|
||||
f"{agent}.md does not use the created_at: <YYYY-MM-DD> placeholder"
|
||||
)
|
||||
for block in _fenced_blocks(text):
|
||||
assert re.search(r"created_at:\s*\d", block) is None, (
|
||||
f"{agent}.md still hardcodes a literal created_at date in a copyable block"
|
||||
)
|
||||
assert "date +%F" in text, (
|
||||
f"{agent}.md does not instruct to substitute the actual date (date +%F)"
|
||||
)
|
||||
|
||||
|
||||
@pytest.mark.parametrize("agent", _AGENTS)
|
||||
def test_orch092_model_used_is_placeholder_not_literal(agent):
|
||||
"""TC-02 (AC-2): copyable example uses a model placeholder, not the literal model.
|
||||
|
||||
`model_used: claude-opus-4-8` is allowed as a reference in the field table
|
||||
(outside the fenced block) but must NOT appear in a copyable example.
|
||||
"""
|
||||
text = _read(agent)
|
||||
assert "model_used: <resolve ORCH-41>" in text, (
|
||||
f"{agent}.md does not use the model_used: <resolve ORCH-41> placeholder"
|
||||
)
|
||||
for block in _fenced_blocks(text):
|
||||
assert "model_used: claude-opus-4-8" not in block, (
|
||||
f"{agent}.md still hardcodes model_used: claude-opus-4-8 in a copyable block"
|
||||
)
|
||||
|
||||
|
||||
def test_orch092_gate_names_match_qg_registry():
|
||||
"""TC-03 (AC-3): every check_* named in the 6 prompts is a real QG_CHECKS key.
|
||||
|
||||
The only test in this module that imports `src/` (integration). Guards against
|
||||
a prompt naming a non-existent gate; confirms check_tests_passed is valid.
|
||||
"""
|
||||
from src.qg.checks import QG_CHECKS
|
||||
|
||||
pattern = re.compile(r"check_[a-z_]+")
|
||||
for agent in _AGENTS:
|
||||
for name in sorted(set(pattern.findall(_read(agent)))):
|
||||
assert name in QG_CHECKS, (
|
||||
f"{agent}.md references gate {name!r} which is absent from QG_CHECKS"
|
||||
)
|
||||
assert "check_tests_passed" in QG_CHECKS, "check_tests_passed must remain a real gate"
|
||||
|
||||
|
||||
def test_orch092_developer_pr_oversize_is_escalation_not_split():
|
||||
"""TC-04 (AC-4): the 'split into smaller PRs' instruction became an escalation."""
|
||||
text = _read("developer")
|
||||
assert "разбивай на меньшие PR" not in text, (
|
||||
"developer.md still carries the unrealisable 'split into smaller PRs' instruction"
|
||||
)
|
||||
assert "на уровне задач" in text and "декомпозиц" in text, (
|
||||
"developer.md does not reframe an oversize PR as task-level decomposition"
|
||||
)
|
||||
assert "свой PR" in text, "developer.md lost the 'свой PR' marker"
|
||||
|
||||
|
||||
@pytest.mark.parametrize("agent", ("developer", "reviewer", "tester"))
|
||||
def test_orch092_escalation_section_present_after_success(agent):
|
||||
"""TC-05 (AC-5): dev/reviewer/tester carry <escalation> after </success_criteria>."""
|
||||
text = _read(agent)
|
||||
# The real section tags sit on their own line (an inline `<escalation>` mention
|
||||
# in <constraints> uses backticks and must not be mistaken for the section).
|
||||
open_m = re.search(r"(?m)^<escalation>\s*$", text)
|
||||
close_m = re.search(r"(?m)^</escalation>\s*$", text)
|
||||
assert open_m and close_m, f"{agent}.md is missing the <escalation> section"
|
||||
success_m = re.search(r"(?m)^</success_criteria>\s*$", text)
|
||||
assert success_m and open_m.start() > success_m.start(), (
|
||||
f"{agent}.md places <escalation> before </success_criteria> (breaks section order)"
|
||||
)
|
||||
|
||||
|
||||
def test_orch092_escalation_routes_are_role_specific():
|
||||
"""TC-05 (AC-5): escalation routes match each role."""
|
||||
assert "back-to:analysis" in _read("developer"), "developer lacks back-to:analysis route"
|
||||
assert "back-to:dev" in _read("tester"), "tester lacks back-to:dev route"
|
||||
assert "REQUEST_CHANGES" in _read("reviewer"), "reviewer lacks REQUEST_CHANGES route"
|
||||
|
||||
|
||||
def test_orch092_tester_enriched():
|
||||
"""TC-06 (AC-7): tester gains worktree path, serial_gate smoke and TRZ coverage."""
|
||||
text = _read("tester")
|
||||
assert "worktree" in text, "tester.md does not mention the task-branch worktree path"
|
||||
assert "serial_gate" in text, "tester.md /queue smoke omits the serial_gate block check"
|
||||
assert "04-test-plan.yaml" in text, "tester.md does not require coverage of every TRZ TC"
|
||||
for marker in _ANTI_REGRESS["tester"]:
|
||||
assert marker in text, f"tester.md lost anti-regress marker {marker!r}"
|
||||
|
||||
|
||||
def test_orch092_deployer_prominent_ban_frame():
|
||||
"""TC-07 (AC-6): deployer carries a prominent prod-8500 ban frame inside <context>."""
|
||||
text = _read("deployer")
|
||||
context = text[text.index("<context>"):text.index("</context>")]
|
||||
assert "8500" in context, "deployer.md <context> frame does not name the prod 8500"
|
||||
assert "NEVER restart the prod" in context, (
|
||||
"deployer.md does not raise the 'NEVER restart prod 8500' ban into the context frame"
|
||||
)
|
||||
for marker in _ANTI_REGRESS["deployer"]:
|
||||
assert marker in text, f"deployer.md lost anti-regress marker {marker!r}"
|
||||
|
||||
|
||||
def test_orch092_reviewer_dead_line_removed():
|
||||
"""TC-08 (AC-8): the dead 'same Developer instance' line is gone; live markers stay."""
|
||||
text = _read("reviewer")
|
||||
assert "того же экземпляра" not in text, (
|
||||
"reviewer.md still carries the dead 'same Developer instance' instruction"
|
||||
)
|
||||
for marker in (
|
||||
"REQUEST_CHANGES",
|
||||
"НЕ обновлена",
|
||||
"TRACEABILITY.md",
|
||||
"Известные ограничения",
|
||||
"ORCH-079",
|
||||
):
|
||||
assert marker in text, f"reviewer.md lost live invariant marker {marker!r}"
|
||||
|
||||
@@ -13,9 +13,10 @@ os.environ.setdefault("ORCH_PLANE_API_TOKEN", "test-token")
|
||||
|
||||
def test_tc26_stage_transitions_unchanged():
|
||||
from src.stages import STAGE_TRANSITIONS
|
||||
# ORCH-090 (adr-0026): `cancelled` terminal sink added (parallel to `done`).
|
||||
assert set(STAGE_TRANSITIONS) == {
|
||||
"created", "analysis", "architecture", "development", "review",
|
||||
"testing", "deploy-staging", "deploy", "done",
|
||||
"testing", "deploy-staging", "deploy", "done", "cancelled",
|
||||
}
|
||||
# The two human gates still use their existing QG names (unchanged).
|
||||
assert STAGE_TRANSITIONS["analysis"]["qg"] == "check_analysis_approved"
|
||||
|
||||
378
tests/test_build_cache_pruner.py
Normal file
378
tests/test_build_cache_pruner.py
Normal file
@@ -0,0 +1,378 @@
|
||||
"""ORCH-062: build-cache-pruner tests (TC-01..TC-12).
|
||||
|
||||
The pruner never runs a real ``docker builder prune``: ``subprocess.run`` is
|
||||
monkeypatched, ``send_telegram`` is captured, and the anti-frequency clock is
|
||||
injected through ``now_provider`` so time-dependent decisions are tested without a
|
||||
real timer (same convention as ``test_disk_watchdog.py``). No test touches the
|
||||
real docker daemon or frees real disk.
|
||||
"""
|
||||
import os
|
||||
import tempfile
|
||||
|
||||
import pytest
|
||||
|
||||
# Override env before importing app modules (same convention as test_disk_watchdog.py).
|
||||
os.environ.setdefault("ORCH_DB_PATH", os.path.join(tempfile.gettempdir(), "test_orch_bcp.db"))
|
||||
os.environ.setdefault("ORCH_GITEA_TOKEN", "test-token")
|
||||
os.environ.setdefault("ORCH_PLANE_API_TOKEN", "test-token")
|
||||
|
||||
import src.build_cache_pruner as bcp # noqa: E402
|
||||
from src.build_cache_pruner import ( # noqa: E402
|
||||
BuildCachePruner,
|
||||
build_prune_command,
|
||||
decide_prune,
|
||||
parse_reclaimed,
|
||||
)
|
||||
|
||||
|
||||
# --------------------------------------------------------------------------- #
|
||||
# Helpers
|
||||
# --------------------------------------------------------------------------- #
|
||||
class _Completed:
|
||||
"""Minimal stand-in for ``subprocess.CompletedProcess``."""
|
||||
|
||||
def __init__(self, returncode=0, stdout="", stderr=""):
|
||||
self.returncode = returncode
|
||||
self.stdout = stdout
|
||||
self.stderr = stderr
|
||||
|
||||
|
||||
@pytest.fixture
|
||||
def ssh_configured(monkeypatch):
|
||||
"""Configure an ssh target so ``_ssh_target()`` is not None."""
|
||||
monkeypatch.setattr(bcp.settings, "deploy_ssh_host", "mva154", raising=False)
|
||||
monkeypatch.setattr(bcp.settings, "deploy_ssh_user", "slin", raising=False)
|
||||
|
||||
|
||||
@pytest.fixture
|
||||
def prune_defaults(monkeypatch):
|
||||
"""Default prune policy (until=24h, all=False, timeout=120, silent)."""
|
||||
monkeypatch.setattr(bcp.settings, "build_cache_prune_enabled", True, raising=False)
|
||||
monkeypatch.setattr(bcp.settings, "build_cache_prune_until", "24h", raising=False)
|
||||
monkeypatch.setattr(bcp.settings, "build_cache_prune_all", False, raising=False)
|
||||
monkeypatch.setattr(bcp.settings, "build_cache_prune_timeout_s", 120, raising=False)
|
||||
monkeypatch.setattr(bcp.settings, "build_cache_prune_notify_min_gb", 0.0, raising=False)
|
||||
|
||||
|
||||
# --------------------------------------------------------------------------- #
|
||||
# TC-01 / TC-02: pure anti-frequency decision
|
||||
# --------------------------------------------------------------------------- #
|
||||
def test_tc01_decide_prune_when_interval_elapsed():
|
||||
"""TC-01: never pruned yet -> PRUNE; interval elapsed since last -> PRUNE."""
|
||||
assert decide_prune(None, now=1000.0, interval_s=21600) is True
|
||||
assert decide_prune(1000.0, now=1000.0 + 21600, interval_s=21600) is True
|
||||
assert decide_prune(1000.0, now=1000.0 + 30000, interval_s=21600) is True
|
||||
|
||||
|
||||
def test_tc02_decide_skip_within_interval():
|
||||
"""TC-02: interval not yet elapsed -> SKIP (anti-frequency, NFR-4)."""
|
||||
assert decide_prune(1000.0, now=1000.0 + 10, interval_s=21600) is False
|
||||
assert decide_prune(1000.0, now=1000.0 + 21599, interval_s=21600) is False
|
||||
|
||||
|
||||
# --------------------------------------------------------------------------- #
|
||||
# TC-03: safe command construction (retention filter, no image/system prune)
|
||||
# --------------------------------------------------------------------------- #
|
||||
def test_tc03_command_carries_until_and_is_builder_only():
|
||||
"""TC-03: command is `docker builder prune` with until=<retention>, never
|
||||
image/system prune (FR-2/FR-3/AC-2/AC-3)."""
|
||||
cmd = build_prune_command("slin@mva154", "24h", prune_all=False)
|
||||
assert cmd[0] == "ssh"
|
||||
assert "slin@mva154" in cmd
|
||||
remote = cmd[-1]
|
||||
assert "docker builder prune" in remote
|
||||
assert "--filter until=24h" in remote
|
||||
# Strictly build cache — never images/system/containers.
|
||||
assert "image prune" not in remote
|
||||
assert "system prune" not in remote
|
||||
assert "-a" not in remote.split() # all-flag not set by default
|
||||
|
||||
|
||||
def test_tc03_all_flag_only_paired_with_until():
|
||||
"""TC-03: -a is added ONLY together with the age filter (D2/AC-2)."""
|
||||
cmd = build_prune_command("slin@mva154", "24h", prune_all=True)
|
||||
remote = cmd[-1]
|
||||
assert "docker builder prune" in remote
|
||||
assert "-a" in remote.split()
|
||||
assert "--filter until=24h" in remote # never a bare nuke
|
||||
|
||||
|
||||
# --------------------------------------------------------------------------- #
|
||||
# TC-04: never-raise on subprocess exception / non-zero rc
|
||||
# --------------------------------------------------------------------------- #
|
||||
def test_tc04_subprocess_exception_does_not_raise(monkeypatch, ssh_configured, prune_defaults):
|
||||
"""TC-04: a raising subprocess is swallowed; the tick survives, error logged."""
|
||||
def _boom(*a, **k):
|
||||
raise OSError("ssh exploded")
|
||||
|
||||
monkeypatch.setattr(bcp.subprocess, "run", _boom)
|
||||
pruner = BuildCachePruner(now_provider=lambda: 1000.0)
|
||||
pruner.tick() # must not raise
|
||||
assert pruner._last_error is not None
|
||||
assert pruner.status()["last_error"] is not None
|
||||
|
||||
|
||||
def test_tc04_nonzero_rc_recorded(monkeypatch, ssh_configured, prune_defaults):
|
||||
"""TC-04: a non-zero rc is recorded as an error, never raised."""
|
||||
monkeypatch.setattr(
|
||||
bcp.subprocess, "run",
|
||||
lambda *a, **k: _Completed(returncode=1, stderr="permission denied"),
|
||||
)
|
||||
pruner = BuildCachePruner(now_provider=lambda: 1000.0)
|
||||
pruner.tick()
|
||||
assert "rc=1" in pruner._last_error
|
||||
|
||||
|
||||
# --------------------------------------------------------------------------- #
|
||||
# TC-05: never-raise on docker.sock / ssh unavailability
|
||||
# --------------------------------------------------------------------------- #
|
||||
def test_tc05_socket_unavailable_skips_tick(monkeypatch, ssh_configured, prune_defaults):
|
||||
"""TC-05: FileNotFoundError / PermissionError -> tick skipped, loop alive."""
|
||||
def _enoent(*a, **k):
|
||||
raise FileNotFoundError("docker.sock missing")
|
||||
|
||||
monkeypatch.setattr(bcp.subprocess, "run", _enoent)
|
||||
pruner = BuildCachePruner(now_provider=lambda: 1000.0)
|
||||
pruner.tick() # must not raise
|
||||
assert pruner._last_error is not None
|
||||
|
||||
|
||||
def test_tc05_no_ssh_target_is_noop(monkeypatch, prune_defaults):
|
||||
"""TC-05: no ssh host configured -> tick is a no-op (no subprocess call)."""
|
||||
monkeypatch.setattr(bcp.settings, "deploy_ssh_host", "", raising=False)
|
||||
called = {"n": 0}
|
||||
monkeypatch.setattr(bcp.subprocess, "run", lambda *a, **k: called.__setitem__("n", called["n"] + 1))
|
||||
pruner = BuildCachePruner(now_provider=lambda: 1000.0)
|
||||
pruner.tick()
|
||||
assert called["n"] == 0
|
||||
assert "no ssh host" in pruner._last_error
|
||||
|
||||
|
||||
# --------------------------------------------------------------------------- #
|
||||
# TC-06: never-raise on timeout
|
||||
# --------------------------------------------------------------------------- #
|
||||
def test_tc06_timeout_swallowed(monkeypatch, ssh_configured, prune_defaults):
|
||||
"""TC-06: TimeoutExpired is swallowed; the background loop continues (FR-6/AC-4)."""
|
||||
def _timeout(*a, **k):
|
||||
raise bcp.subprocess.TimeoutExpired(cmd="ssh ... docker builder prune", timeout=120)
|
||||
|
||||
monkeypatch.setattr(bcp.subprocess, "run", _timeout)
|
||||
pruner = BuildCachePruner(now_provider=lambda: 1000.0)
|
||||
pruner.tick() # must not raise
|
||||
assert "timeout" in pruner._last_error
|
||||
|
||||
|
||||
# --------------------------------------------------------------------------- #
|
||||
# TC-07: kill-switch
|
||||
# --------------------------------------------------------------------------- #
|
||||
def test_tc07_killswitch_does_not_start(monkeypatch):
|
||||
"""TC-07: build_cache_prune_enabled=False -> start() is a no-op (no thread)."""
|
||||
monkeypatch.setattr(bcp.settings, "build_cache_prune_enabled", False, raising=False)
|
||||
pruner = BuildCachePruner()
|
||||
pruner.start()
|
||||
assert pruner._thread is None
|
||||
|
||||
|
||||
def test_tc07_killswitch_status_block(monkeypatch):
|
||||
"""TC-07: status() reports enabled=False under the kill-switch."""
|
||||
monkeypatch.setattr(bcp.settings, "build_cache_prune_enabled", False, raising=False)
|
||||
pruner = BuildCachePruner()
|
||||
assert pruner.status()["enabled"] is False
|
||||
|
||||
|
||||
# --------------------------------------------------------------------------- #
|
||||
# TC-08: config validation -> safe defaults
|
||||
# --------------------------------------------------------------------------- #
|
||||
def test_tc08_invalid_interval_falls_back_to_default():
|
||||
"""TC-08: a non-positive / non-numeric interval -> the safe default (no crash)."""
|
||||
from src.config import Settings
|
||||
s = Settings(build_cache_prune_interval_s=0, build_cache_prune_timeout_s=-5)
|
||||
assert s.build_cache_prune_interval_s == 21600
|
||||
assert s.build_cache_prune_timeout_s == 120
|
||||
s2 = Settings(build_cache_prune_interval_s="not-a-number")
|
||||
assert s2.build_cache_prune_interval_s == 21600
|
||||
|
||||
|
||||
def test_tc08_invalid_until_falls_back_to_24h():
|
||||
"""TC-08: an `until` not matching ^\\d+[smhdw]?$ -> the safe default 24h."""
|
||||
from src.config import Settings
|
||||
assert Settings(build_cache_prune_until="garbage").build_cache_prune_until == "24h"
|
||||
assert Settings(build_cache_prune_until="").build_cache_prune_until == "24h"
|
||||
# Valid values are preserved.
|
||||
assert Settings(build_cache_prune_until="48h").build_cache_prune_until == "48h"
|
||||
assert Settings(build_cache_prune_until="30m").build_cache_prune_until == "30m"
|
||||
assert Settings(build_cache_prune_until="7d").build_cache_prune_until == "7d"
|
||||
|
||||
|
||||
def test_tc08_negative_notify_min_gb_falls_back_to_zero():
|
||||
"""TC-08: a negative notify threshold -> 0 (silent), never a crash."""
|
||||
from src.config import Settings
|
||||
assert Settings(build_cache_prune_notify_min_gb=-3).build_cache_prune_notify_min_gb == 0.0
|
||||
assert Settings(build_cache_prune_notify_min_gb=2.5).build_cache_prune_notify_min_gb == 2.5
|
||||
|
||||
|
||||
# --------------------------------------------------------------------------- #
|
||||
# TC-09: status() never-raise + best-effort last result
|
||||
# --------------------------------------------------------------------------- #
|
||||
def test_tc09_status_shape(monkeypatch, prune_defaults):
|
||||
"""TC-09: status() carries enabled/interval_s/until/last_run_ts + reclaimed."""
|
||||
monkeypatch.setattr(bcp.settings, "build_cache_prune_enabled", True, raising=False)
|
||||
pruner = BuildCachePruner()
|
||||
st = pruner.status()
|
||||
for key in (
|
||||
"enabled", "interval_s", "until", "all", "last_run_ts",
|
||||
"last_reclaimed", "last_reclaimed_bytes", "last_error",
|
||||
):
|
||||
assert key in st
|
||||
assert st["last_run_ts"] is None # no tick yet
|
||||
|
||||
|
||||
def test_tc09_status_reflects_last_prune(monkeypatch, ssh_configured, prune_defaults):
|
||||
"""TC-09: after a successful tick status() carries last_run_ts + reclaimed."""
|
||||
monkeypatch.setattr(
|
||||
bcp.subprocess, "run",
|
||||
lambda *a, **k: _Completed(returncode=0, stdout="Total reclaimed space: 11.05GB"),
|
||||
)
|
||||
pruner = BuildCachePruner(now_provider=lambda: 1234.0)
|
||||
pruner.tick()
|
||||
st = pruner.status()
|
||||
assert st["last_run_ts"] == 1234.0
|
||||
assert st["last_error"] is None
|
||||
assert st["last_reclaimed_bytes"] == int(11.05 * (1000 ** 3))
|
||||
assert "GB" in st["last_reclaimed"]
|
||||
|
||||
|
||||
def test_parse_reclaimed_variants():
|
||||
"""parse_reclaimed: decimal/binary units + absent line (best-effort, never raises)."""
|
||||
assert parse_reclaimed("Total reclaimed space: 0B") == 0
|
||||
assert parse_reclaimed("Total reclaimed space: 500MB") == 500 * 1000 ** 2
|
||||
assert parse_reclaimed("Total reclaimed space: 1.5GiB") == int(1.5 * 1024 ** 3)
|
||||
assert parse_reclaimed("no such line here") is None
|
||||
assert parse_reclaimed("") is None
|
||||
|
||||
|
||||
def test_notify_on_significant_reclaim(monkeypatch, ssh_configured, prune_defaults):
|
||||
"""Optional Telegram when reclaimed >= notify_min_gb; below threshold stays silent."""
|
||||
sends = []
|
||||
monkeypatch.setattr(bcp, "send_telegram", lambda text, **k: sends.append(text))
|
||||
monkeypatch.setattr(bcp.settings, "build_cache_prune_notify_min_gb", 1.0, raising=False)
|
||||
monkeypatch.setattr(
|
||||
bcp.subprocess, "run",
|
||||
lambda *a, **k: _Completed(returncode=0, stdout="Total reclaimed space: 5.0GB"),
|
||||
)
|
||||
pruner = BuildCachePruner(now_provider=lambda: 1.0)
|
||||
pruner.tick()
|
||||
assert len(sends) == 1 and "build-cache-pruner" in sends[0]
|
||||
|
||||
# A small reclaim below the threshold stays silent.
|
||||
sends.clear()
|
||||
monkeypatch.setattr(
|
||||
bcp.subprocess, "run",
|
||||
lambda *a, **k: _Completed(returncode=0, stdout="Total reclaimed space: 100MB"),
|
||||
)
|
||||
pruner2 = BuildCachePruner(now_provider=lambda: 1.0)
|
||||
pruner2.tick()
|
||||
assert sends == []
|
||||
|
||||
|
||||
# --------------------------------------------------------------------------- #
|
||||
# TC-10: leaf isolation from the Quality Gate / stage machine
|
||||
# --------------------------------------------------------------------------- #
|
||||
def test_tc10_module_is_leaf_no_pipeline_imports():
|
||||
"""TC-10: the pruner is a leaf — it does not import stage_engine/stages/qg.
|
||||
|
||||
Inspects the actual import statements (via AST), not the docstring text — the
|
||||
module legitimately *mentions* those names in prose explaining what it does NOT
|
||||
touch.
|
||||
"""
|
||||
import ast
|
||||
import inspect
|
||||
tree = ast.parse(inspect.getsource(bcp))
|
||||
imported = set()
|
||||
for node in ast.walk(tree):
|
||||
if isinstance(node, ast.Import):
|
||||
imported.update(a.name for a in node.names)
|
||||
elif isinstance(node, ast.ImportFrom):
|
||||
base = ("." * (node.level or 0)) + (node.module or "")
|
||||
imported.add(base)
|
||||
imported.update(f"{base}.{a.name}" for a in node.names)
|
||||
forbidden = ("stage_engine", "stages", "qg")
|
||||
for imp in imported:
|
||||
tail = imp.lstrip(".")
|
||||
assert not any(
|
||||
tail == f or tail.endswith("." + f) or tail.startswith(f + ".")
|
||||
for f in forbidden
|
||||
), f"pruner must not import a pipeline module, found: {imp}"
|
||||
|
||||
|
||||
def test_tc10_stage_transitions_and_qg_unchanged():
|
||||
"""TC-10: STAGE_TRANSITIONS / QG_CHECKS carry no build-cache-prune element (AC-8)."""
|
||||
from src.stages import STAGE_TRANSITIONS
|
||||
from src.qg.checks import QG_CHECKS
|
||||
blob = repr(STAGE_TRANSITIONS) + repr(list(QG_CHECKS.keys()))
|
||||
assert "build_cache" not in blob
|
||||
assert "builder prune" not in blob
|
||||
|
||||
|
||||
# --------------------------------------------------------------------------- #
|
||||
# TC-11: lifespan integration
|
||||
# --------------------------------------------------------------------------- #
|
||||
def test_tc11_lifespan_starts_and_stops(monkeypatch):
|
||||
"""TC-11: with the flag on the daemon starts in lifespan and stops cleanly,
|
||||
docker mocked (FR-1/AC-1)."""
|
||||
monkeypatch.setattr(bcp.settings, "build_cache_prune_enabled", True, raising=False)
|
||||
# A very long interval so the loop sleeps immediately after the first tick;
|
||||
# subprocess is mocked so no real docker call happens.
|
||||
monkeypatch.setattr(bcp.settings, "build_cache_prune_interval_s", 3600, raising=False)
|
||||
monkeypatch.setattr(bcp.settings, "deploy_ssh_host", "", raising=False) # no-op tick
|
||||
pruner = BuildCachePruner(interval_s=3600)
|
||||
pruner.start()
|
||||
assert pruner._thread is not None and pruner._thread.is_alive()
|
||||
pruner.stop(timeout=5.0)
|
||||
assert not pruner._thread.is_alive()
|
||||
|
||||
|
||||
# --------------------------------------------------------------------------- #
|
||||
# TC-12: GET /queue integration
|
||||
# --------------------------------------------------------------------------- #
|
||||
def test_tc12_queue_has_build_cache_block(monkeypatch):
|
||||
"""TC-12: GET /queue carries an additive build_cache_prune block; existing keys kept."""
|
||||
import asyncio
|
||||
import src.db as db
|
||||
from src.db import init_db
|
||||
from src import main
|
||||
|
||||
dbfile = os.path.join(tempfile.gettempdir(), "test_bcp_queue.db")
|
||||
monkeypatch.setattr(db.settings, "db_path", dbfile, raising=False)
|
||||
init_db()
|
||||
|
||||
payload = asyncio.run(main.queue())
|
||||
|
||||
for key in (
|
||||
"counts", "max_concurrency", "poll_interval", "resilience", "reconcile",
|
||||
"reaper", "post_deploy", "merge_verify", "task_deps", "serial_gate",
|
||||
"auto_labels", "disk_monitor", "recent",
|
||||
):
|
||||
assert key in payload, f"existing /queue key '{key}' must be preserved"
|
||||
|
||||
assert "build_cache_prune" in payload
|
||||
block = payload["build_cache_prune"]
|
||||
assert "enabled" in block and "interval_s" in block and "until" in block
|
||||
assert "last_run_ts" in block
|
||||
|
||||
|
||||
def test_tc12_queue_disabled_block(monkeypatch):
|
||||
"""TC-12: with the kill-switch off, /queue reports build_cache_prune.enabled=false."""
|
||||
import asyncio
|
||||
import src.db as db
|
||||
from src.db import init_db
|
||||
from src import main
|
||||
from src import build_cache_pruner as bcpmod
|
||||
|
||||
dbfile = os.path.join(tempfile.gettempdir(), "test_bcp_queue2.db")
|
||||
monkeypatch.setattr(db.settings, "db_path", dbfile, raising=False)
|
||||
monkeypatch.setattr(bcpmod.settings, "build_cache_prune_enabled", False, raising=False)
|
||||
init_db()
|
||||
|
||||
payload = asyncio.run(main.queue())
|
||||
assert payload["build_cache_prune"]["enabled"] is False
|
||||
@@ -219,11 +219,15 @@ def test_reaper_settings_env_override(monkeypatch):
|
||||
# check_branch_mergeable signature is intact (AC-13).
|
||||
# ---------------------------------------------------------------------------
|
||||
def test_tc19_stage_transitions_unchanged():
|
||||
"""No new pipeline stage was introduced by ORCH-065."""
|
||||
"""No new pipeline EDGE was introduced by ORCH-065.
|
||||
|
||||
ORCH-090 (adr-0026) adds `cancelled` as a terminal SINK (parallel to `done`),
|
||||
which is not a new edge — no exit-gate of any edge changed.
|
||||
"""
|
||||
from src.stages import STAGE_TRANSITIONS
|
||||
assert set(STAGE_TRANSITIONS) == {
|
||||
"created", "analysis", "architecture", "development", "review",
|
||||
"testing", "deploy-staging", "deploy", "done",
|
||||
"testing", "deploy-staging", "deploy", "done", "cancelled",
|
||||
}
|
||||
|
||||
|
||||
|
||||
Some files were not shown because too many files have changed in this diff Show More
Reference in New Issue
Block a user