Compare commits
52 Commits
6e17f33be4
...
docs/lesso
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
56ee993233 | ||
| b6c9d27e9c | |||
|
|
da599e8736 | ||
| 2d0d654022 | |||
| d1e8346605 | |||
| 3f16b77d2b | |||
| 521a72e702 | |||
|
|
007a9ad47d | ||
| 27b85144c2 | |||
| 4311720c39 | |||
| 1fbfb941a9 | |||
| 96701a1a2d | |||
| 2e73ccf090 | |||
| 7298f11064 | |||
| 44adcba389 | |||
| a0526e1def | |||
| 6a04d0a336 | |||
| afc4e641c0 | |||
| fc1d3db505 | |||
|
|
f5c93aa3cc | ||
| 2028b6cb14 | |||
| 8628e609d9 | |||
| 834d8d78b0 | |||
| bc96977eb7 | |||
| b81de1536c | |||
| bbcaa93cff | |||
| 6bd7f9ba84 | |||
| b025e1bdf4 | |||
| 0bb27b7627 | |||
| aa40d530c5 | |||
| f52790004e | |||
| adebb997e6 | |||
|
|
25ce5a22a9 | ||
| c04dba0c0a | |||
| 95df7278e3 | |||
| d016ac9b4c | |||
| 95a09b16b0 | |||
| be5e4e647f | |||
| 05d26a8f3e | |||
| 3f44d51176 | |||
| a8ca4db550 | |||
| 4d5e4613e5 | |||
|
|
a6bf5d1b25 | ||
| 7191b8dca2 | |||
| eb92cc6c2c | |||
| 6d798c01ef | |||
| c455931ae7 | |||
| 47479a9b75 | |||
| 6d1230bcc5 | |||
| 9b7bdc0c6c | |||
| 2c72a889b6 | |||
|
|
cf94fb813f |
38
.env.example
38
.env.example
@@ -107,6 +107,30 @@ ORCH_AGENT_EFFORT_DEPLOYER=medium
|
||||
# (G4 NOT enabled, ADR-001 ORCH-74: determinism — all agents stay on opus-4-8). A
|
||||
# non-empty value is validated by the SAME predicate as the model; a typo is dropped.
|
||||
ORCH_AGENT_FALLBACK_MODEL=
|
||||
|
||||
# ── Agent timeout / wall-clock budgets (ORCH-7, raised per-role ORCH-109) ─────
|
||||
# The in-process watchdog kills a run that exceeds its wall-clock budget
|
||||
# (SIGTERM -> grace -> SIGKILL, exit_code=-9). _resolve_timeout ladder (highest
|
||||
# first): OVERRIDES_JSON[agent] > dedicated role key > SECONDS (global default).
|
||||
# SECONDS -> global default budget for every role WITHOUT a raised
|
||||
# key (analyst/architect/tester/deployer).
|
||||
# KILL_GRACE_SECONDS -> pause between SIGTERM and SIGKILL so claude can flush
|
||||
# artifacts before the hard kill.
|
||||
# OVERRIDES_JSON -> optional per-agent override object, e.g.
|
||||
# {"reviewer":3600,"architect":2700}; wins for ANY role.
|
||||
# Malformed JSON -> ignored + WARNING (never-break).
|
||||
# ORCH-109: the two HEAVY roles get raised dedicated budgets (defaults = prod, so an
|
||||
# empty .env reproduces prod — ORCH-101 canon). A non-positive value falls back to
|
||||
# SECONDS + WARNING.
|
||||
# DEVELOPER_S -> developer budget (xhigh, coding/agentic bottleneck), 60m.
|
||||
# REVIEWER_S -> reviewer budget (large diff + high reasoning), 50m.
|
||||
# CROSS-INVARIANT (ORCH-065): ORCH_REAPER_MAX_RUNNING_S MUST stay > max(budget)+grace;
|
||||
# it is raised to 5400 in lockstep below (5400 > 3600 + 20 = 3620).
|
||||
ORCH_AGENT_TIMEOUT_SECONDS=1800
|
||||
ORCH_AGENT_KILL_GRACE_SECONDS=20
|
||||
ORCH_AGENT_TIMEOUT_OVERRIDES_JSON=
|
||||
ORCH_AGENT_TIMEOUT_DEVELOPER_S=3600
|
||||
ORCH_AGENT_TIMEOUT_REVIEWER_S=3000
|
||||
# ORCH-042/ORCH-067: live-tracker mode. bump (DEFAULT since ORCH-067) -> on every
|
||||
# update the old card is deleted and a fresh one is sent silently to the BOTTOM of
|
||||
# the chat (deleteMessage + sendMessage + repoint), so the current status is always
|
||||
@@ -365,6 +389,8 @@ ORCH_PLANE_STATES_TTL_S=300
|
||||
# REAPER_INTERVAL_S -> background scan period (seconds).
|
||||
# REAPER_DEAD_TICKS -> consecutive dead-pid ticks before reaping (Tier-1, >=2).
|
||||
# REAPER_MAX_RUNNING_S -> Tier-3 backstop ceiling; must exceed max agent_timeout+grace.
|
||||
# ORCH-109: raised 3600 -> 5400 in lockstep with the developer
|
||||
# budget (5400 > 3600 + 20 = 3620).
|
||||
# REAPER_FINALIZE_GRACE_S -> Tier-2 grace: how long agent_runs.exit_code must have been
|
||||
# recorded before a still-'running' job is reaped; MUST exceed
|
||||
# the max finalization window (git push + PR + Plane comments).
|
||||
@@ -374,7 +400,7 @@ ORCH_PLANE_STATES_TTL_S=300
|
||||
ORCH_REAPER_ENABLED=true
|
||||
ORCH_REAPER_INTERVAL_S=60
|
||||
ORCH_REAPER_DEAD_TICKS=2
|
||||
ORCH_REAPER_MAX_RUNNING_S=3600
|
||||
ORCH_REAPER_MAX_RUNNING_S=5400
|
||||
ORCH_REAPER_FINALIZE_GRACE_S=300
|
||||
ORCH_LEASE_RECLAIM_ENABLED=true
|
||||
|
||||
@@ -543,6 +569,12 @@ ORCH_QG0_TITLE_MAX=200
|
||||
# CONTAINERS -> CSV of container names to watch (status != running/healthy).
|
||||
# DOCKER_SOCK -> path to the read-only docker.sock inside the container.
|
||||
# DEPS -> CSV of name=url dependency pings (empty -> no pings).
|
||||
# PROC_ENABLED -> ORCH-111 opt-in: alert on a long-lived test process (pytest)
|
||||
# orphaned on the host (needs `pid: host`, default OFF).
|
||||
# PROC_AGE_MIN -> minutes a test process may live before alerting; MUST exceed
|
||||
# max(merge_retest_timeout_s, coverage_run_timeout_s)/60.
|
||||
# PROC_PATTERNS -> CSV of cmdline substrings that mark the test-class (pytest).
|
||||
# PROC_COOLDOWN_S-> per-signal re-alert throttle for proc_blocking.
|
||||
# TG_BOT_TOKEN / TG_CHAT_ID -> the sidecar's OWN Telegram bot/chat (independent
|
||||
# of the orchestrator's; absent -> logs, does not send).
|
||||
WATCHDOG_ENABLED=true
|
||||
@@ -562,5 +594,9 @@ WATCHDOG_QUEUE_DEPTH=20
|
||||
WATCHDOG_CONTAINERS=orchestrator
|
||||
WATCHDOG_DOCKER_SOCK=/var/run/docker.sock
|
||||
WATCHDOG_DEPS=
|
||||
WATCHDOG_PROC_ENABLED=false
|
||||
WATCHDOG_PROC_AGE_MIN=60
|
||||
WATCHDOG_PROC_PATTERNS=pytest
|
||||
WATCHDOG_PROC_COOLDOWN_S=1800
|
||||
WATCHDOG_TG_BOT_TOKEN=
|
||||
WATCHDOG_TG_CHAT_ID=
|
||||
|
||||
@@ -38,5 +38,15 @@ WATCHDOG_QUEUE_DEPTH=20
|
||||
WATCHDOG_CONTAINERS=orchestrator
|
||||
WATCHDOG_DOCKER_SOCK=/var/run/docker.sock
|
||||
WATCHDOG_DEPS=
|
||||
# proc_blocking (ORCH-111): opt-in алерт на долго живущий осиротевший тест-процесс
|
||||
# (pytest), репарентированный на хост. Требует `pid: host` на сервисе
|
||||
# orchestrator-watchdog (compose) — привилегия только у наблюдателя, read-only.
|
||||
# Дефолт-off → нулевая регрессия. PROC_AGE_MIN ОБЯЗАН превышать
|
||||
# max(merge_retest_timeout_s=600, coverage_run_timeout_s=900)/60 = 15 мин, иначе
|
||||
# легитимный прогон даст ложный алерт. 60 мин = 4× запас.
|
||||
WATCHDOG_PROC_ENABLED=false
|
||||
WATCHDOG_PROC_AGE_MIN=60
|
||||
WATCHDOG_PROC_PATTERNS=pytest
|
||||
WATCHDOG_PROC_COOLDOWN_S=1800
|
||||
WATCHDOG_TG_BOT_TOKEN=
|
||||
WATCHDOG_TG_CHAT_ID=
|
||||
|
||||
3
.gitignore
vendored
3
.gitignore
vendored
@@ -14,3 +14,6 @@ data/staging/
|
||||
# ORCH-103: Bundled-тираж — локальные клоны репо bundle-инсталляции (целевой хост);
|
||||
# deploy/bundled/.env и deploy/bundled/data покрыты неякорными `.env` / `data/` выше
|
||||
deploy/bundled/repos/
|
||||
# ORCH-011 (D5): собранная презентация (scripts/build_presentation.py) — бинарь .pptx
|
||||
# в git не коммитится, источник истины — docs/overview/presentation.md
|
||||
build/
|
||||
|
||||
@@ -57,7 +57,10 @@ tools:
|
||||
ограничения» (обзорная витрина проекта), README ДОЛЖЕН быть обновлён в том же PR — пункт снят
|
||||
или помечен закрытым с ORCH-ссылкой. Необновление обзорных доков → **finding ≥ P1**; если
|
||||
ограничение закрыто правкой `src/` без обновления README — это совпадает с P0 «`src/` изменён,
|
||||
документация не обновлена». Это усиление трактовки оси, а не отдельная ось.
|
||||
документация не обновлена». Это усиление трактовки оси, а не отдельная ось. Та же ось
|
||||
покрывает **витрину системы** (ORCH-011): PR меняет функциональность, описанную в витрине
|
||||
`docs/overview/` (стадии, гейты, агенты, интеграции, способности из `business.md`), а витрина
|
||||
не обновлена → **finding ≥ P1** — расширение трактовки той же оси, не новая ось.
|
||||
</task>
|
||||
|
||||
<deliverables>
|
||||
@@ -77,6 +80,9 @@ frontmatter-вердиктом, см. `<output_format>`).
|
||||
- ❌ PR закрыл пункт из `README.md` «Известные ограничения», но README не обновлён (пункт остался
|
||||
открытым) → ✅ требуй обновления обзорных доков — пункт снят либо помечен закрытым с ORCH-ссылкой;
|
||||
необновление обзорной витрины → **finding ≥ P1** (ORCH-079).
|
||||
- ❌ PR меняет функциональность, описанную в витрине `docs/overview/` (стадии, гейты, агенты,
|
||||
интеграции, способности из `business.md`), но витрина не обновлена → ✅ требуй обновления витрины
|
||||
в том же PR; необновление → **finding ≥ P1** (расширение оси обзорных доков ORCH-079 — ORCH-011).
|
||||
|
||||
**Severity:**
|
||||
- **P0 (blocker):** не реализовано требование ТЗ; нарушен ADR; критическая уязвимость;
|
||||
|
||||
@@ -1,4 +1,4 @@
|
||||
Work item: ORCH-103
|
||||
Work item: ORCH-111
|
||||
Repo: orchestrator
|
||||
Branch: feature/ORCH-103-orch-10b-bundled-bootstrap
|
||||
Branch: feature/ORCH-111-bug-watchdog-must-alert-on-lon
|
||||
Stage: development
|
||||
16
CHANGELOG.md
16
CHANGELOG.md
@@ -3,6 +3,22 @@
|
||||
Формат: [Keep a Changelog](https://keepachangelog.com/). Записи — на смысловой PR/задачу.
|
||||
|
||||
## [Unreleased]
|
||||
- **Watchdog-сигнал `proc_blocking`: алерт на долго живущий осиротевший тест-процесс** (ORCH-111, `feat`): закрыта слепая зона наблюдаемости между `agent_hung` (видит только треканые джобы по `jobs.pid`) и осиротевшими субпроцессами `pytest`, которые орк запускает сам (`merge_gate.retest_branch`/`coverage_gate.measure_coverage`) и которые при timeout-kill агента (`-9`, ORCH-109) репарентируются на tini и живут сутками, грузя CPU и валя merge-gate re-test (инцидент: процессы `test_install_lite_script.py` жили >2 суток без единого алерта). Изменения **строго внутри наблюдателя** (`watchdog/**` + сервис watchdog в compose); `src/**`/`/metrics`/`schema_version`/`STAGE_TRANSITIONS`/`QG_CHECKS`/`check_*`/machine-verdict/схема БД — **байт-в-байт не тронуты**; выкат пересобирает **только** `orchestrator-watchdog`, прод `orchestrator` не рестартится (NFR-3). ADR: `docs/work-items/ORCH-111/06-adr/ADR-001-watchdog-orphan-test-process-alert.md`, сквозной `docs/architecture/adr/adr-0041-watchdog-orphan-test-process-alert.md`.
|
||||
- **Коллектор `watchdog/collectors/proc.py` (D3):** новый stdlib-only `/proc`-скан (под `pid: host` контейнерный `/proc` отражает хост-namespace) — читает `/proc/stat` (`btime`) + `os.sysconf("SC_CLK_TCK")`, итерирует числовые `/proc/<pid>`, матчит `/proc/<pid>/cmdline` по паттерну тест-класса, парсит `/proc/<pid>/stat` (поле 22 `starttime` → `age_s`, поля 14+15 `utime+stime` → `cpu_s` информационно). Строго **read-only** (никаких `os.kill`/сигналов/`subprocess`; **никогда** не читает `/proc/<pid>/environ` — секреты); **never-raise** (per-pid гонка «процесс умер между listdir и read» пропускается, top-level → `[]`); чистый разбор отделён от I/O (тестируется на фейковом `/proc`-дереве).
|
||||
- **Чистый builder `proc_signals` + синтез RECOVERY (D4):** per-entity `Signal("proc_blocking", pid)` active ⇔ `age_s > cfg.proc_age_s` (cmdline уже отфильтрована коллектором); действенный RU-`detail` (PID + возраст + усечённый фрагмент cmdline + CPU-время). Исчезновение процесса не оставляет «висящего» алерта: в `core.tick()` для каждого alerting-ключа без свежего сигнала **синтезируется** `Signal(active=False)` → существующая `decision.decide()`/`AlertState` даёт **однократный** RECOVERY и чистит состояние (никакой новой анти-спам-логики — FR-5).
|
||||
- **Анти-false-positive и отсутствие дубля с `agent_hung` — по построению (D2):** cmdline-скоуп (`claude`-агент ≠ `pytest` → нулевое пересечение, NFR-4/AC-5) + дефолтный порог возраста (60 мин) **превышает** макс. легитимный бюджет тест-прогона `max(merge_retest_timeout_s=600, coverage_run_timeout_s=900)` → in-flight прогон физически не перерастает порог (BR-4/AC-4). Без хрупкого кросс-namespace матчинга PID.
|
||||
- **Конфиг + kill-switch (D5):** ключи `WATCHDOG_PROC_ENABLED` (дефолт **false** — opt-in) / `WATCHDOG_PROC_AGE_MIN` (60) / `WATCHDOG_PROC_PATTERNS` (`pytest`) / `WATCHDOG_PROC_COOLDOWN_S` (1800), never-raise парсеры. При выключенном флаге коллектор в `tick()` **не вызывается** → нулевой оверхед и байт-в-байт прежний тик (AC-7). Топология (D6): аддитивный `pid: host` **только** на сервисе `orchestrator-watchdog` (привилегия read-only, меньше уже-смонтированного `docker.sock`; не volume → инвариант read-only-маунтов цел).
|
||||
- **Канон тиража (NFR-5):** новые `WATCHDOG_PROC_*` синхронизированы в `.env.watchdog.example` ↔ блок `WATCHDOG_*` `.env.example` (key-sync тест зелёный), описаны в `docs/deployment/LITE_SETUP.md` §4 и `docs/architecture/README.md` (§ proc_blocking). Покрытие — `tests/watchdog/test_proc_blocking_signal.py` (TC-01…TC-06), `test_proc_collector.py` (парсинг `/proc`), `test_tick_proc_blocking_integration.py` (TC-07 tick→dispatch + flag-off), позитивный `pid: host` в `test_compose_service.py`, proc-конфиг в `test_config_killswitch.py`. Полный `pytest tests/` зелёный (1930).
|
||||
- **Timeout-бюджеты developer/reviewer + launch-стамп модели в телеметрии** (ORCH-109, `fix`): две аддитивные изолированные правки подсистемы запуска агентов (инцидент ORCH-104, runs 658/659/660), **без** касания `STAGE_TRANSITIONS`/`QG_CHECKS`/`check_*`/machine-verdict/схемы БД. ADR: `docs/work-items/ORCH-109/06-adr/ADR-001-agent-timeout-budgets-and-launch-model-stamp.md`, сквозной `docs/architecture/adr/adr-0040-agent-timeout-budgets-and-launch-model-stamp.md`.
|
||||
- **Launch-стамп модели (D1, FR-1):** резолвенная `resolve_agent_model(...)` пишется в `agent_runs.model` в **момент launch** объединённым `UPDATE agent_runs SET model=?, effort=? WHERE id=?` рядом со стампом эффорта (ORCH-087) в `launcher._spawn`. Раньше модель писалась только постфактум из финального usage-JSON (`record_usage`, `model=COALESCE(?, model)`), а убитый по тайм-ауту прогон этот JSON не эмитит → модель оставалась `NULL` ровно тогда, когда нужна для разбора инцидента. Теперь модель присутствует с launch, **переживает timeout-kill (`exit_code=-9`)**, видна in-flight в `GET /metrics`/`GET /queue` (`get_running_agents` уже отдаёт `model`) и в строке Telegram-карточки. Пустой резолв (CLI-дефолт без `--model`) → `NULL` (симметрично `effort or None`). Постфактум `record_usage` остаётся **обогащением** (COALESCE сохраняет launch-стамп при `model=None`). never-raise: сбой стампа изолирован `try/except` + WARNING, launch продолжается.
|
||||
- **Поднятые per-role wall-clock бюджеты (D3/D4, FR-3):** выделенные типизированные ключи `agent_timeout_developer_s=3600` (60м) / `agent_timeout_reviewer_s=3000` (50м) (env `ORCH_AGENT_TIMEOUT_DEVELOPER_S`/`_REVIEWER_S`). `_resolve_timeout(agent)` получил детерминированную лестницу: `agent_timeout_overrides_json[agent]` (операторский escape-hatch, высший приоритет, BC) → выделенный ключ роли → `agent_timeout_seconds=1800` (прочие роли — байт-в-байт). Малформный JSON / непозитивный/нечисловой выделенный ключ → откат на глобальный дефолт + WARNING (never-break). Дефолты = боевым значениям (канон ORCH-101): пустой `.env` воспроизводит поднятые бюджеты. **Кросс-инвариант reaper ORCH-065** сохранён синхронным поднятием `reaper_max_running_s` 3600 → **5400** (`5400 > max(timeout)3600 + grace20 = 3620`).
|
||||
- **FR-4/NFR-6 (видимость при kill / in-flight) и FR-5 (анти-salvage) — структурно уже выполнены** существующим кодом (продвижение гейтится `if exit_code == 0`, timeout-kill → `_finalize_job` retry/fail, не advance); ORCH-109 фиксирует их **регресс-тестами**, новых ветвей не вводит. Покрытие — новый `tests/test_orch109_timeout_model.py` (TC-01…TC-12, детерминированный, без сети/CLI). Обновлены `tests/test_config.py` (reaper-дефолт 5400) и `tests/test_launcher.py` (ладдер `_resolve_timeout`). Документация — `.env.example` (блок agent-timeout + reaper), `config.py`-паспорт, `docs/architecture/README.md`/`internals.md` + front-page `README.md` (раздел «Watchdog») (per-role бюджеты).
|
||||
- **Презентация: слайды Lite-установки и использования через Plane** (ORCH-105, `docs`): слайдо-источник `docs/overview/presentation.md` расширен тремя слайдами в каноне ORCH-011 (16 → 19, сквозная нумерация сохранена): один слайд про **Lite-установку скриптами** (два контейнера платформы — оркестратор + сторож на инфре заказчика; развёртывание без правки кода, только конфиг; помощники `gen_secrets.py`/`onboard_project.py` + `docker compose up -d`; runbook `LITE_SETUP.md` с проверкой каждого шага; одношаговый bootstrap — это смежный Bundled, не Lite) и два слайда оператор-инструкции **«как пользоваться орком через Plane»** (запуск через статус «To Analyse»; статусы Plane — индикация, не управление; оба человеческих гейта «Approved»/«Confirm Deploy»; авто-лейблы `autoApprove`/`autoDeploy`/`Bug` — снимают только человеческие решения, ни одна техническая проверка не пропускается; отмена через «STOP»; наблюдение — статусы доски + живая Telegram-карточка + комментарии со ссылками на ветку/PR). Факты сверены с golden sources (`docs/deployment/LITE_SETUP.md`, `docs/overview/tech-pipeline.md`, `tech-integrations.md`, `CLAUDE.md`). **Docs+tests only:** `src/**`/`STAGE_TRANSITIONS`/`QG_CHECKS`/`check_*`/схема БД — байт-в-байт; новый QG не вводится; `python-pptx` не добавлен в прод-образ; собранный `.pptx` в git не коммитится. Анти-дрейф — новая функция `test_presentation_covers_lite_and_plane_usage_bits` в `tests/test_system_docs.py` (существующие проверки без послаблений). ADR: `docs/work-items/ORCH-105/06-adr/ADR-001-presentation-lite-and-plane-usage-slides.md` (канон витрины не меняется — `adr-0039-system-overview-docs-canon.md`).
|
||||
- **Витрина системы `docs/overview/`: бизнес + тех, маршруты трёх аудиторий, презентация** (ORCH-011, `docs`): единая точка входа в документацию платформы — новый docs-раздел `docs/overview/` (плоский каталог, 10 файлов, ADR-001 D1): индекс `README.md` (маршруты «Я заказчик / Я менеджер / Я разработчик» + норматив сопровождения «изменил функциональность → обнови витрину в том же PR»), бизнес-часть `business.md` (проблема → решение → что умеет фактически → ценность → 6 сценариев; без жаргона, цифры только с атрибуцией), 7 тех-блоков `tech-*.md` (архитектура со схемой потока, конвейер/гейты, агенты, модель объектов, интеграции, качество/безопасность, наблюдаемость; link-first — за деталями ссылки в golden sources, разрешённый дубль только машинно-сверяемый). **Docs+tests+dev-скрипт** (паттерн ORCH-102/103): `src/**`/`docker-compose.yml`/`Dockerfile`/`requirements*`/`STAGE_TRANSITIONS`/`QG_CHECKS`/machine-verdict/схема БД — ноль изменений. ADR: `docs/work-items/ORCH-011/06-adr/ADR-001-system-overview-canon.md`, сквозной `adr-0039-system-overview-docs-canon.md`.
|
||||
- **Презентация (D4/D5):** слайдо-источник `docs/overview/presentation.md` (16 слайдов в машинно-парсимой структуре «## Слайд N: …» + процедура сборки «команда + Проверка:») + dev-скрипт `scripts/build_presentation.py` (python-pptx, тёмный дизайн, редактируемый текст с точной кириллицей; чистый stdlib-парсер `parse_slides` + ленивый импорт pptx). Запуск только вне рантайма; `python-pptx` НЕ в прод-образе (машинный гард); собранный `.pptx` в git не коммитится — `build/` в `.gitignore`.
|
||||
- **Анти-дрейф (D6):** новый структурный `tests/test_system_docs.py` (без сети/LLM/subprocess, паттерн `test_lite_setup_doc.py`) — 10 файлов витрины; маршруты/норматив; derive-сверки с кодом: стадии импортом `src.stages.STAGE_TRANSITIONS` (вкл. `deploy-staging`/`cancelled`, порядок цепочки), exit-гейты и под-гейты именами реестра `QG_CHECKS` в нормативном порядке security → merge → coverage → image-freshness (+ маркер «не стадии»), 6 агентов glob'ом промптов, таблица эффортов class-default'ами config (ORCH-41/81); валидность относительных ссылок + обязательные golden-source ссылки; полнотекстовый FORBIDDEN-скан (импорт из `test_no_host_hardcodes.py`) + секрет-эвристика + запрет вне-репозиторных путей; слайды каноническим парсером; `pptx` отсутствует в `requirements*`/`Dockerfile`; указатели README/CLAUDE/CHANGELOG.
|
||||
- **Reviewer-ось (D7):** ось обзорных доков ORCH-079 в `.openclaw/agents/reviewer.md` точечно расширена на витрину (необновлённая витрина при изменении описанной в ней функциональности → finding ≥ P1; канон 52d байт-в-байт, только добавление внутрь существующих секций) + анти-регресс ассерт в `tests/test_agent_prompts_canon.py`; зеркальные правки правил №2/№6 `CLAUDE.md`.
|
||||
- **Указатели (D8):** `README.md` — ссылка на витрину; `CLAUDE.md` — указатель в правиле №2 и строке «Структура»; `docs/PRODUCT_VISION.md` — врезка-ссылка «фактическое состояние — витрина» (vision не переписывается; расхождения vision↔код в витрину не переносятся — она строится от кода).
|
||||
- **ORCH-10b Bundled-тираж: весь стек одним комплектом + bootstrap-скрипт** (ORCH-103, `feat`): закрыт Type B эпика ORCH-10 — заказчик **без собственной инфраструктуры** получает конвейер «под ключ»: одна команда `docker compose -f deploy/bundled/docker-compose.yml up -d` поднимает весь стек (орк + watchdog + Gitea + зеркало upstream Plane CE ≈14 контейнеров), один прогон `scripts/bootstrap_bundle.py apply` доводит его до рабочего состояния. Рантайм байт-в-байт: `src/**`/корневой compose/`Dockerfile`/`STAGE_TRANSITIONS`/`QG_CHECKS`/схема БД — ноль изменений (паттерн ORCH-009/102, kill-switch не нужен — активация только явным запуском оператора на целевом хосте). ADR: `docs/work-items/ORCH-103/06-adr/ADR-001-bundled-stack-compose-and-bootstrap.md`, сквозной `adr-0038-bundled-replication-canon.md`.
|
||||
- **Bundle-compose (D1–D4):** новый top-level каталог `deploy/` (дистрибутивы развёртывания); `deploy/bundled/docker-compose.yml` — один самодостаточный файл, project name `orchestrator-bundle` (узнаваемый префикс томов/контейнеров, по нему preflight детектирует «грязный хост»); `container_name` не пиннится (bundle и Lite не сталкиваются на одном хосте); staging-контура орка нет вовсе (self-hosting у заказчика = маршрут Lite). Все сторонние образы пиннованы неподвижными тегами (Plane CE v0.23.1 upstream-имена сервисов, Gitea 1.22.6, postgres/valkey/rabbitmq/minio). Сеть — одна bridge: машинный трафик строго сервис-DNS (`http://orchestrator:8500/webhook/plane|gitea`, `ORCH_GITEA_URL=http://gitea:3000`), наружу — только человеческие порты `BUNDLE_ORCH_PORT`/`BUNDLE_PLANE_PORT`/`BUNDLE_GITEA_HTTP_PORT`; postgres/redis/mq/minio не публикуются; мина Gitea закрыта `GITEA__webhook__ALLOWED_HOST_LIST=orchestrator`. Конфиг-канон — `deploy/bundled/.env.example` (только плейсхолдеры, ни одного дефолтного пароля; key-set-sync интерполяций держит тест); runtime-конфиг орка/watchdog — корневые `.env`/`.env.watchdog` (канон Lite 1:1, `env_file required: false` — первый `up` живёт до сборки конфига).
|
||||
- **Bootstrap (D5–D8):** `scripts/bootstrap_bundle.py` — python stdlib-only (модули платформы не импортируются, держится ast-сканом), режимы `plan` (дефолт, ноль мутаций) / `apply` / `verify`, step-движок check→ensure (повторный запуск = каскад skip, resume после manual-step = повторный запуск), exit-контракт 0/2/1. Шаги: preflight (fail-fast ДО мутаций: docker/compose, порты, RAM/диск, чистота хоста по префиксу) → секреты (webhook — **строго** субпроцессом `gen_secrets.py`; bundle-креды — stdlib `secrets`; существующие не перетираются без `--force-secrets`; значения не печатаются) → up+готовность (healthchecks + poll, migrator exit 0) → init Gitea полностью автоматом (`gitea admin user create`/`generate-access-token`; branch protection НЕ настраивается — норматив D10 ORCH-009/INV-4) → init Plane (честные manual-step c API-верификацией результата; workspace-webhook — ensure с fallback на manual-step) → онбординг sandbox-проекта **строго** `onboard_project.py apply+verify` (нулевой дрейф канона статусов/лейблов) → git-доступ агентов HTTP token-remote (ssh-контур не вводится) → сборка корневых `.env`/`.env.watchdog` (bootstrap — единственный писатель, права 600) → health/итоговая сводка PASS/FAIL. Delete-операций НЕТ вообще (D9): teardown — только документированная процедура.
|
||||
|
||||
@@ -1,6 +1,9 @@
|
||||
# Multi-Agent Orchestrator
|
||||
|
||||
> См. [CLAUDE.md](CLAUDE.md) (паспорт проекта) и [docs/architecture/README.md](docs/architecture/README.md) (архитектура).
|
||||
>
|
||||
> **Витрина системы — [docs/overview/](docs/overview/README.md)**: единая точка входа в документацию
|
||||
> (бизнес + тех, 7 блоков, маршруты для заказчика / менеджера / разработчика, презентация). ORCH-011.
|
||||
|
||||
FastAPI-сервис для оркестрации мульти-агентного пайплайна разработки. Принимает webhooks от Plane и Gitea, управляет жизненным циклом задач через Quality Gates, запускает Claude CLI агентов на каждой стадии.
|
||||
|
||||
@@ -289,7 +292,7 @@ Task-файлы `.task-*.md` пишутся **прямой записью в с
|
||||
stdout/stderr агента перенаправляются СРАЗУ в `/app/data/runs/{id}.log` на уровне ОС (без PIPE). monitor-поток делает `proc.wait()` → реальный exit_code, нет зомби.
|
||||
|
||||
### Watchdog
|
||||
Каждый агент имеет timeout 30 минут. При превышении — SIGKILL + запись exit_code=-9.
|
||||
Каждый агент имеет per-role wall-clock бюджет (ORCH-109): developer 60 мин / reviewer 50 мин / прочие 30 мин дефолт (`_resolve_timeout`). При превышении — SIGTERM→grace→SIGKILL + запись exit_code=-9. Tier-3 backstop `reaper_max_running_s`=90 мин > max(timeout)+grace (ORCH-065).
|
||||
|
||||
### Event routing
|
||||
Gitea events роутятся по типу:
|
||||
|
||||
@@ -79,6 +79,12 @@ services:
|
||||
restart: unless-stopped
|
||||
init: true
|
||||
network_mode: host
|
||||
# ORCH-111 (adr-0041 D6): share the host PID-namespace so the sidecar's /proc
|
||||
# reflects the host and the proc_blocking collector can see orphaned pytest
|
||||
# subprocesses. Privilege is read-only and ONLY on the observer; the signal
|
||||
# is default-off (WATCHDOG_PROC_ENABLED=false) -> no behaviour change unless
|
||||
# opted in. NOT a volume, so the host-paths-read-only compose test is unaffected.
|
||||
pid: host
|
||||
mem_limit: 128m
|
||||
mem_reservation: 32m
|
||||
volumes:
|
||||
|
||||
@@ -4,6 +4,9 @@
|
||||
|
||||
**Версия:** 1.0 · **Дата:** 2026-06-04 · **Статус:** концепция развития
|
||||
|
||||
> **Фактическое текущее состояние платформы** (что уже умеет, как устроена) — витрина системы
|
||||
> [docs/overview/](overview/README.md) (ORCH-011). Этот документ — vision: «куда идём».
|
||||
|
||||
---
|
||||
|
||||
## 1. Зачем это (бизнес-взгляд)
|
||||
|
||||
@@ -9,7 +9,7 @@
|
||||
- **Stage Engine** (`src/stage_engine.py`) — исполнение переходов, диспетчеризация QG (`_run_qg`), откаты, синхронизация с Plane.
|
||||
- **Review/Test Parsers** (`src/review_parse.py`, ORCH-046) — defensive-извлечение дословного must-fix текста из артефактов для встраивания в `task_desc` заворота: `extract_review_findings` (P0/P1 из `12-review.md`), `extract_test_failures` (фрагмент тела `13-test-report.md`). Контракт «never raise»: любая ошибка → `""`.
|
||||
- **Quality Gates** (`src/qg/checks.py`) — проверки выхода со стадии, реестр `QG_CHECKS`.
|
||||
- **Agent Launcher** (`src/agents/launcher.py`) — запуск Claude CLI агентов в изолированном git worktree, мониторинг, auto-advance. Модель/эффорт каждого агента резолвятся из config (`resolve_agent_model`/`resolve_agent_effort`, ORCH-41), а не из frontmatter промпта. **ORCH-74:** имя модели валидируется форматом `^claude-…$` (`is_valid_model`) перед `--model`; невалидное → лог + откат на следующий уровень/CLI-дефолт (never-break, как `VALID_EFFORTS` для эффорта). Тот же предикат гардит inline-чтение `--fallback-model`.
|
||||
- **Agent Launcher** (`src/agents/launcher.py`) — запуск Claude CLI агентов в изолированном git worktree, мониторинг, auto-advance. Модель/эффорт каждого агента резолвятся из config (`resolve_agent_model`/`resolve_agent_effort`, ORCH-41), а не из frontmatter промпта. **ORCH-74:** имя модели валидируется форматом `^claude-…$` (`is_valid_model`) перед `--model`; невалидное → лог + откат на следующий уровень/CLI-дефолт (never-break, как `VALID_EFFORTS` для эффорта). Тот же предикат гардит inline-чтение `--fallback-model`. **ORCH-109 ([adr-0040](adr/adr-0040-agent-timeout-budgets-and-launch-model-stamp.md)):** (1) резолвенная **модель стампится в `agent_runs.model` в момент launch** (`_spawn`, объединённый `UPDATE … SET model=?, effort=?` рядом со стампом эффорта ORCH-087; пустой резолв → `NULL`; never-raise) → модель видна не-`null` при любом исходе прогона, включая timeout-kill (`exit_code=-9`), и in-flight в `GET /metrics`/`GET /queue` (`get_running_agents` уже отдаёт `model`); постфактум `record_usage` (`model=COALESCE(?, model)`) остаётся **обогащением**, не единственным источником истины. (2) **Per-role wall-clock бюджеты** через выделенные ключи `agent_timeout_developer_s=3600`/`agent_timeout_reviewer_s=3000` (лестница `_resolve_timeout`: `agent_timeout_overrides_json` → выделенный ключ роли → `agent_timeout_seconds=1800`; прочие роли — байт-в-байт; малформный/вне-диапазонный конфиг → дефолт + WARNING). Инвариант reaper ORCH-065 сохранён синхронным поднятием `reaper_max_running_s` 3600→**5400** (`5400 > max(timeout)3600 + grace20`). FR-5 анти-salvage — структурно: продвижение гейтится `if exit_code==0`, timeout-kill → `_finalize_job` (retry/fail), не advance. `STAGE_TRANSITIONS`/`QG_CHECKS`/схема БД не тронуты.
|
||||
- **Queue** (`src/queue_worker.py`, ORCH-1) — персистентная очередь задач (SQLite `jobs`), atomic claim, max_concurrency, ретраи, restart-safe. **ORCH-026:** `claim_next_job` гейтит задачи с незавершёнными зависимостями (`job_deps`, `NOT EXISTS`) без занятия слота; декларации/циклы — leaf `src/task_deps.py`.
|
||||
- **Job-reaper** (`src/job_reaper.py`, ORCH-065 — [adr-0011](adr/adr-0011-job-reaper-lease-reclaim.md)) — фоновый daemon-поток (каркас `reconciler`), стартует/останавливается в `main.lifespan` (после `reconciler.start()` / перед `worker.stop()`). Детектирует «мёртвый» `running`-job **без рестарта** процесса (Tier-1 мёртвый `jobs.pid` после `reaper_dead_ticks` тиков; Tier-2 `agent_runs.exit_code` записан, а job ещё `running`; Tier-3 backstop `reaper_max_running_s`) и приводит строку к корректному статусу через те же контракты (`_try_advance_stage`/`_finalize_job`, gate-driven; exit≠0/неизвестно → `attempts<max`→`queued`, иначе `failed`+Telegram). Атомарный reap-claim (guard `status='running'`) совместим со стартовым `requeue_running_jobs`. Тот же поток периодически делает проактивный реклейм stale/dead merge-lease (см. ниже). never-raise; kill-switch `ORCH_REAPER_ENABLED`; снимок в `GET /queue` (блок `reaper`).
|
||||
- **Reconciler** (`src/reconciler.py`, ORCH-053 — реализовано, [adr-0007](adr/adr-0007-reconciler.md)) — фоновый daemon-поток (паттерн `queue_worker`), стартует/останавливается в `main.lifespan` (после `worker.start()` / перед `worker.stop()`). Реконсилирует рассинхрон «источник истины ≠ стадия задачи» при потерянном webhook. F-1 gate-side (продвигает застрявшую стадию по локальной БД через штатный `advance_stage(..., finished_agent=None)`), F-2 plane-side (опрос Plane API → `handle_*` из `plane.py`), F-3 (БД-fallback `sha→branch` в `handle_ci_status`). Источник истины — гейт/Plane, не событие; идемпотентность (active-job guard + atomic-claim + grace); kill-switch `ORCH_RECONCILE_ENABLED`. `analysis` F-1 не трогает (человеческий гейт). F-1 также пропускает escalated (retry≥лимита) и Blocked/Needs-Input задачи (ORCH-060). Наблюдаемость — блок `reconcile` в `GET /queue`.
|
||||
@@ -108,6 +108,24 @@ F1b (рамка C-1: наблюдатель отделён от наблюдае
|
||||
`disk_watchdog` (ORCH-063, канал орка) ⇒ **нулевой дубль по построению**; sidecar покрывает провал
|
||||
«орк+disk_watchdog мертвы» через `orch_down`, плюс **opt-in** независимый критический потолок
|
||||
`host_disk_crit` (97%, `WATCHDOG_DISK_CRIT_ENABLED=false` по умолчанию) — другое событие/канал.
|
||||
- **`proc_blocking` — алерт на долго живущий осиротевший тест-процесс (ORCH-111, opt-in,
|
||||
[adr-0041](adr/adr-0041-watchdog-orphan-test-process-alert.md)):** закрывает слепую зону между
|
||||
`agent_hung` (видит только треканые джобы по `jobs.pid`) и осиротевшими субпроцессами pytest,
|
||||
которые орк запускает сам (`merge_gate.retest_branch`/`coverage_gate.measure_coverage`) и которые
|
||||
при timeout-kill агента (`-9`, ORCH-109) репарентируются на tini и живут сутками, грузя CPU и валя
|
||||
merge-gate re-test. Sidecar **сам** сканирует `/proc` хоста (новый коллектор
|
||||
`watchdog/collectors/proc.py`, stdlib-only, read-only, never-raise→`[]`); per-entity сигнал
|
||||
`("proc_blocking", pid)` active ⇔ возраст > порога **И** cmdline матчит тест-класс (дефолт `pytest`).
|
||||
Анти-false-positive и отсутствие дубля с `agent_hung` — **по построению**: cmdline-скоуп
|
||||
(`claude`-агент ≠ `pytest`) + порог возраста > макс. бюджета тест-прогона
|
||||
(`max(merge_retest_timeout_s, coverage_run_timeout_s)`), а не хрупким кросс-namespace матчингом PID.
|
||||
Алерт/recovery — через ту же `decide()`/`AlertState` (RECOVERY синтезируется для исчезнувшего
|
||||
процесса). Watchdog процесс **не трогает** (только наблюдение, C-1/BR-3). **Топология:** сервису
|
||||
`orchestrator-watchdog` добавлен `pid: host` (видимость хост-namespace; привилегия только у
|
||||
наблюдателя, read-only, меньше уже-смонтированного `docker.sock`). Ключи `WATCHDOG_PROC_*`
|
||||
(`ENABLED` дефолт **false** / `AGE_MIN`=60 / `PATTERNS`=`pytest` / `COOLDOWN_S`); дефолт-off →
|
||||
нулевая регрессия. Деплой пересобирает **только** sidecar — прод `orchestrator` не рестартится.
|
||||
Детали — `docs/work-items/ORCH-111/06-adr/ADR-001-watchdog-orphan-test-process-alert.md`.
|
||||
- **Гарантии:** never-raise (per-source/per-tick/per-send); kill-switch `WATCHDOG_ENABLED=false` →
|
||||
демон инертен (idle-loop, нулевой эффект на орк); строго read-only к наблюдаемому (нет
|
||||
start/stop/restart/exec/записи в `docker.sock`/БД/`main`) ⇒ self-hosting-безопасно (enduro не
|
||||
@@ -245,6 +263,27 @@ Type B). Анти-дрейф — `tests/test_bundle_compose.py` / `test_bundled_
|
||||
[adr-0038](adr/adr-0038-bundled-replication-canon.md), детально —
|
||||
`docs/work-items/ORCH-103/06-adr/ADR-001-bundled-stack-compose-and-bootstrap.md`.
|
||||
|
||||
## Витрина системы `docs/overview/` (ORCH-011 — design)
|
||||
|
||||
Единая точка входа «бизнес + тех» для трёх аудиторий (заказчик / менеджер / разработчик) —
|
||||
новый docs-раздел **`docs/overview/`** (семантика разделов: `overview/` — «что это за система
|
||||
и как устроена», `architecture/` — инженерный справочник, `deployment/` — «как развернуть у
|
||||
себя», `operations/` — «как эксплуатировать наш прод»). Состав — плоский каталог, 10 файлов:
|
||||
индекс `README.md` (маршруты 3 аудиторий + норматив сопровождения), `business.md`
|
||||
(бизнес-уровень без жаргона), 7 × `tech-*.md` (= 7 блоков: архитектура / конвейер / агенты /
|
||||
модель объектов / интеграции / качество-безопасность / наблюдаемость), `presentation.md`
|
||||
(слайдо-источник). **Link-first:** витрина ссылается на golden sources (этот README, internals,
|
||||
стандарты, ADR), не форкает их; разрешённый дубль — только машинно-сверяемый тестом факт
|
||||
(стадии/гейты/агенты — derive-тестами из `STAGE_TRANSITIONS`/`QG_CHECKS`/glob промптов).
|
||||
**Канон презентации:** `.pptx` (тёмный дизайн) собирается из `presentation.md` dev-скриптом
|
||||
`scripts/build_presentation.py` (python-pptx, запуск только вне рантайма; зависимость в
|
||||
прод-образ не попадает — машинный гард); **собранный бинарь в git не коммитится**. **Норматив
|
||||
сопровождения (кросс-каттинг):** «изменил функциональность → обнови витрину в том же PR»;
|
||||
reviewer-ось обзорных доков (ORCH-079) расширена на витрину (finding ≥ P1). Анти-дрейф —
|
||||
структурный `tests/test_system_docs.py` (паттерн `test_lite_setup_doc.py`); новый QG не
|
||||
вводится, рантайм байт-в-байт. Подробнее: [adr-0039](adr/adr-0039-system-overview-docs-canon.md),
|
||||
детально — `docs/work-items/ORCH-011/06-adr/ADR-001-system-overview-canon.md`.
|
||||
|
||||
## Конвейер и Quality Gates
|
||||
|
||||
```
|
||||
|
||||
95
docs/architecture/adr/adr-0039-system-overview-docs-canon.md
Normal file
95
docs/architecture/adr/adr-0039-system-overview-docs-canon.md
Normal file
@@ -0,0 +1,95 @@
|
||||
---
|
||||
work_item: ORCH-011
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-11
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# adr-0039: Витрина системы `docs/overview/` — единая точка входа (бизнес + тех) и канон презентации (ORCH-011)
|
||||
|
||||
## Статус
|
||||
Proposed
|
||||
|
||||
## Контекст
|
||||
|
||||
Документация платформы богатая, но фрагментированная: паспорт `CLAUDE.md` (реестр доработок),
|
||||
тех-витрина `README.md`, vision `docs/PRODUCT_VISION.md`, инженерный справочник
|
||||
`docs/architecture/` (~1246 строк + internals), 38 сквозных ADR, стандарты, операционные и
|
||||
deployment-доки. Единой точки входа «бизнес + тех» для трёх аудиторий (заказчик / менеджер /
|
||||
разработчик) нет; презентацию о возможностях собирать не из чего. С тиражируемостью
|
||||
(ORCH-101/102/103) появился внешний читатель. Решения Владельца: слайды PowerPoint в тёмном
|
||||
дизайне; единое место — `docs/`; витрина поддерживается актуальной.
|
||||
|
||||
Живые доказательства проблемы в самом репо: схема конвейера в `PRODUCT_VISION.md` §2 устарела
|
||||
(нет `deploy-staging`/`cancelled`); `docs/PRODUCT_VISION.pptx` закоммичен **без пути генерации**
|
||||
(невоспроизводим). Reviewer-ось обзорных доков (ORCH-079, adr-0023) по букве привязана к
|
||||
`README.md` «Известные ограничения» — новую витрину не покрывает.
|
||||
|
||||
Сквозной характер: вводится новый docs-раздел с нормативом сопровождения, обязательным для
|
||||
**всех будущих функциональных PR**, расширяется reviewer-ось и фиксируется канон
|
||||
презентационных артефактов. Детальный пакет решений (D1…D9, исходы OQ-1…OQ-5) — work-item ADR:
|
||||
`docs/work-items/ORCH-011/06-adr/ADR-001-system-overview-canon.md`.
|
||||
|
||||
## Решение
|
||||
|
||||
1. **Новый docs-раздел `docs/overview/` — витрина системы.** Семантика разделов после ORCH-011:
|
||||
`overview/` — «что это за система и как устроена» (вход для любой аудитории), `architecture/`
|
||||
— инженерный справочник, `deployment/` — «как развернуть у себя», `operations/` — «как
|
||||
эксплуатировать наш прод», `_standards/` — нормативы агентов. Состав — плоский каталог,
|
||||
10 файлов: индекс `README.md` (точка входа, 3 маршрута аудиторий, норматив сопровождения),
|
||||
`business.md` (бизнес-уровень: проблема → решение → способности → ценность → сценарии; без
|
||||
жаргона; числа только с подтверждением), 7 файлов `tech-*.md` = 7 блоков контент-карты
|
||||
(архитектура / конвейер / агенты / модель объектов / интеграции / качество-безопасность /
|
||||
наблюдаемость), `presentation.md` (слайдо-источник).
|
||||
2. **Link-first, канон не форкается:** витрина даёт цельную картину и ссылается на golden
|
||||
sources за деталями; запрещён дубль живых таблиц (компоненты, env, статусы). Разрешённый
|
||||
дубль — только машинно-сверяемый тестом факт: стадии/гейты/агенты derive-тестами из
|
||||
`STAGE_TRANSITIONS`/`QG_CHECKS`/glob промптов (прецедент key-sync ORCH-102).
|
||||
3. **Канон презентации:** источник — `presentation.md` (машинно-парсимая слайдо-структура
|
||||
`## Слайд N:` + тезисы, 14–18 слайдов); генератор — `scripts/build_presentation.py` на
|
||||
python-pptx (тёмная тема, редактируемый текст, кириллица), запуск **только вне рантайма**
|
||||
(dev-venv, явный запуск человеком — паттерн ORCH-009); зависимость в
|
||||
`requirements*`/`Dockerfile` НЕ попадает (машинный гард в тестах). **Собранный `.pptx` в git
|
||||
не коммитится** (источник истины — markdown + скрипт; существующий `PRODUCT_VISION.pptx` не
|
||||
трогается, но прецедентом не является).
|
||||
4. **Норматив сопровождения (кросс-каттинг):** «изменил функциональность платформы → обнови
|
||||
витрину `docs/overview/` в том же PR» — в индексе витрины и `CLAUDE.md` (правило агентов №2);
|
||||
**reviewer-ось обзорных доков ORCH-079 расширяется** точечной врезкой в
|
||||
`.openclaw/agents/reviewer.md`: функциональность из витрины изменена, витрина не обновлена →
|
||||
finding ≥ P1 (расширение трактовки той же оси; канон 52d и verdict-ключи — байт-в-байт;
|
||||
анти-регресс `test_agent_prompts_canon.py`).
|
||||
5. **Анти-дрейф — `tests/test_system_docs.py`** (структурный, без сети/LLM/subprocess, паттерн
|
||||
`test_lite_setup_doc.py`): наличие/непустота 10 файлов; маршруты и норматив в индексе;
|
||||
сверка стадий и имён гейтов импортом из кода; полнота 6 агентов glob'ом промптов; валидность
|
||||
относительных ссылок; полнотекстовый FORBIDDEN-скан (импорт из `test_no_host_hardcodes.py`)
|
||||
+ секрет-эвристика; парс слайдо-источника функцией самого генератора; чистота
|
||||
`requirements*`/`Dockerfile` от pptx; указатели README/CLAUDE/CHANGELOG. Новый QG НЕ
|
||||
регистрируется — тесты исполняются существующими гейтами.
|
||||
|
||||
Рантайм байт-в-байт: `src/**`, compose, Dockerfile, `STAGE_TRANSITIONS`/`QG_CHECKS`/`check_*`/
|
||||
machine-verdict/схема БД — не тронуты; kill-switch не нужен (доки и dev-скрипт конвейером не
|
||||
исполняются).
|
||||
|
||||
## Последствия
|
||||
|
||||
- **+** Закрывается корневая фрагментация: одна точка входа для трёх аудиторий; презентация
|
||||
собирается за одну команду из версионируемого источника; машинно-проверяемые факты витрины —
|
||||
CI-гарантии.
|
||||
- **+** Нулевой риск рантайма; для enduro-trails инертно.
|
||||
- **−** Новый golden source = обязанность каждого функционального PR (в этом смысл задачи);
|
||||
митигировано link-first + derive-тестами + reviewer-осью.
|
||||
- **−** Точечная правка промпта reviewer — поверхность канона 52d; держится анти-регресс
|
||||
тестами.
|
||||
- **Откат:** удалить `docs/overview/`, тест-модуль, скрипт, вернуть точечные правки указателей
|
||||
и промпта — 1:1, без миграций и состояния.
|
||||
|
||||
## Ссылки
|
||||
|
||||
- Детально: `docs/work-items/ORCH-011/06-adr/ADR-001-system-overview-canon.md` (D1…D9),
|
||||
`docs/work-items/ORCH-011/10-tech-risks.md`
|
||||
- BRD/TRZ/AC: `docs/work-items/ORCH-011/01-brd.md` / `02-trz.md` / `03-acceptance-criteria.md`
|
||||
- Соседние каноны: adr-0019 (стандарт доков), adr-0021 (канон промптов 52d), adr-0023
|
||||
(ось обзорных доков ORCH-079 — расширяется), adr-0029 (порядок под-гейтов), adr-0037/0038
|
||||
(deployment-каноны)
|
||||
@@ -0,0 +1,85 @@
|
||||
---
|
||||
work_item: ORCH-109
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-14
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# adr-0040: Per-role wall-clock бюджеты (developer/reviewer) + launch-time стамп модели
|
||||
|
||||
- **Статус:** proposed
|
||||
- **Дата:** 2026-06-14
|
||||
- **Задача:** ORCH-109
|
||||
- **Детальный ADR:** `docs/work-items/ORCH-109/06-adr/ADR-001-agent-timeout-budgets-and-launch-model-stamp.md`
|
||||
|
||||
## Контекст
|
||||
Инцидент **ORCH-104** вскрыл два глобальных дефекта подсистемы запуска агентов (`src/agents/launcher.py`),
|
||||
затрагивающих **все** репо общего self-hosting-инстанса (orchestrator + enduro-trails):
|
||||
(A) единый wall-clock тайм-аут `agent_timeout_seconds=1800` убивает здоровые тяжёлые роли
|
||||
(`developer` xhigh, `reviewer`), т.к. в проде `agent_timeout_overrides_json` пуст; (B)
|
||||
`agent_runs.model` пишется только постфактум из usage-JSON (`record_usage`, `COALESCE`), а
|
||||
timeout-killed прогон финальный JSON не эмитит → модель остаётся `NULL` именно в момент инцидента,
|
||||
хотя эффорт уже стампится на launch (ORCH-087). Решение меняет два **глобальных per-agent
|
||||
инварианта** (бюджеты тайм-аутов + потолок Tier-3 reaper'а ORCH-065), поэтому регистрируется сквозным
|
||||
ADR, а не только work-item ADR.
|
||||
|
||||
## Решение
|
||||
Две аддитивные правки launcher'а, **без** касания `STAGE_TRANSITIONS`/`QG_CHECKS`/`check_*`/
|
||||
machine-verdict-ключей/схемы БД (колонка `agent_runs.model TEXT` уже существует — миграции нет):
|
||||
|
||||
- **Launch-time стамп модели.** В `_spawn` резолвенная `resolve_agent_model(...)` пишется в
|
||||
`agent_runs.model` рядом со стампом эффорта (объединённый `UPDATE … SET model=?, effort=?`),
|
||||
пустой резолв → `NULL`. Постфактум `record_usage` (`model=COALESCE(?, model)`) остаётся
|
||||
**обогащением**, перестаёт быть единственным источником истины — launch-стамп переживает kill и
|
||||
виден in-flight (`db.get_running_agents` уже отдаёт `model`). never-raise: сбой стампа изолирован,
|
||||
launch не падает.
|
||||
- **Per-role бюджеты через выделенные типизированные config-ключи** (по образцу
|
||||
`agent_model_<role>`/`agent_effort_<role>`): `agent_timeout_developer_s=3600`,
|
||||
`agent_timeout_reviewer_s=3000`. Лестница `_resolve_timeout`: `agent_timeout_overrides_json[agent]`
|
||||
(escape-hatch, высший) → выделенный ключ роли → `agent_timeout_seconds=1800` (прочие роли —
|
||||
байт-в-байт). never-break: малформный JSON / вне-диапазонный ключ → откат на глобальный дефолт +
|
||||
WARNING.
|
||||
- **Синхронное поднятие reaper (инвариант ORCH-065).** `reaper_max_running_s`: **3600 → 5400**.
|
||||
Проверка `reaper_max_running_s > max(timeout) + agent_kill_grace_seconds`: `5400 > 3600 + 20 = 3620`
|
||||
✓ (запас 1780s, покрывает окно финализации монитора). `5400 < ` sidecar `stage_stuck_s`=7200 →
|
||||
легитимный длинный developer-прогон не порождает ложный `stage_stuck`-алерт.
|
||||
- **Канон дефолтов (ORCH-101).** Дефолт каждого ключа = боевому значению → пустой `.env`
|
||||
воспроизводит прод-поведение (в т.ч. поднятые бюджеты). «Байт-в-байт прежнее» (NFR-1) строго
|
||||
применяется к ролям вне `{developer, reviewer}`.
|
||||
- **FR-5 анти-salvage — структурно, без нового кода.** Продвижение стадии гейтится
|
||||
`if exit_code == 0: _try_advance_stage(...)`; timeout-kill (-9) → `_finalize_job` → retry/fail,
|
||||
никогда не advance. Добавляется регресс-тест, не новая ветвь.
|
||||
|
||||
## Альтернативы
|
||||
- **Дефолт `agent_timeout_overrides_json={"developer":…}`** — отвергнуто: ломает канон ORCH-101
|
||||
непустым JSON-дефолтом, хрупкая строка против типизированного int, нельзя override одной env-роли.
|
||||
- **Бюджеты ≤ 3580 без поднятия reaper** — рассмотрено (меньший blast-radius), отвергнуто как
|
||||
доминирующее: урезает самую тяжёлую роль ради статичности backstop-числа; NFR-4 явно делегирует
|
||||
reaper-поднятие архитектору. Остаётся операторским запасным путём (всё env-override'имо).
|
||||
- **Repo-scoped бюджеты (`*_repos`)** — отвергнуто: тайм-аут — свойство launch, не гейт-решение;
|
||||
глобальность благоприятна enduro.
|
||||
- **Новый guard-leaf анти-salvage** — отвергнуто: продвижение уже гейтится exit-кодом; новый код =
|
||||
лишняя ветвь риска.
|
||||
|
||||
## Последствия
|
||||
- Модель видна (не `null`) при любом исходе прогона (трекер / status-комментарии / `/metrics` /
|
||||
`/queue`) — ключевой контекст инцидента доступен в момент сбоя; тяжёлые роли получают реальный
|
||||
бюджет (developer ×2, reviewer +67%) → меньше ложных timeout-kill при автономном прогоне (ORCH-088).
|
||||
- Аддитивно/обратимо/never-raise; гейты/схема/machine-verdict/деплой-путь не тронуты; прод-контейнер
|
||||
не рестартится (self-hosting безопасность, NFR-5).
|
||||
- Плата: Tier-3 backstop 60→90м (реально зависший прогон держится дольше — митигейшн Tier-1/Tier-2 +
|
||||
watchdog ≤ бюджета); глобальность поднимает enduro-роли (благоприятно; reaper-страховка цела);
|
||||
sidecar `agent_hung` (alert-only) может чаще срабатывать на здоровых длинных прогонах с low-CPU
|
||||
фазами (не влияет на конвейер).
|
||||
- **Откат:** занизить `ORCH_AGENT_TIMEOUT_DEVELOPER_S`/`_REVIEWER_S` (= 1800) и вернуть
|
||||
`ORCH_REAPER_MAX_RUNNING_S=3600`; launch-стамп модели отката не требует. Kill-switch не вводится
|
||||
(нет рисковых ветвей: стамп безопасен, тайм-аут fail-safe на дефолт).
|
||||
|
||||
## Связи
|
||||
adr-0011 (job-reaper — Tier-3 backstop `reaper_max_running_s`, инвариант ORCH-065 правится здесь
|
||||
синхронно), adr-0030 (metrics-endpoint — `get_running_agents().model` начинает заполняться для
|
||||
running-job), adr-0033 (sidecar-watchdog — `agent_hung`/`stage_stuck` пороги, alert-only),
|
||||
adr-0036 (replication foundation — канон «дефолт = боевое значение»). Маркер-инварианты: ORCH-065,
|
||||
ORCH-087, ORCH-101.
|
||||
@@ -0,0 +1,95 @@
|
||||
---
|
||||
work_item: ORCH-111
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-15
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# adr-0041: Watchdog-сигнал `proc_blocking` — алерт на долго живущий осиротевший тест-процесс
|
||||
|
||||
- **Статус:** proposed
|
||||
- **Дата:** 2026-06-15
|
||||
- **Задача:** ORCH-111 (bug → escalate full-cycle)
|
||||
- **Детальный ADR:** `docs/work-items/ORCH-111/06-adr/ADR-001-watchdog-orphan-test-process-alert.md`
|
||||
- **Парные ADR:** `adr-0033` (sidecar-watchdog F1b), `adr-0030` (`/metrics` — не трогаем),
|
||||
`adr-0024` (disk-watchdog — образец), `adr-0040` (timeout-kill `-9` — источник осиротения)
|
||||
|
||||
## Контекст
|
||||
Sidecar-watchdog (ORCH-100, adr-0033) алертит `agent_hung`/`stage_stuck`/`container_down`/`orch_down`/
|
||||
`host_mem`/`queue_depth`/`job_failed`/`dep_down`. `agent_hung` покрывает **только** running-агент-джобы
|
||||
(по `jobs.pid` из `/metrics agents[]`). Но виновные процессы инцидента ORCH-109 — это субпроцессы
|
||||
pytest, которые орк запускает своим кодом (`merge_gate.retest_branch`, `coverage_gate.measure_coverage`);
|
||||
при timeout-kill агента (`-9`, adr-0040) или `TimeoutExpired` внук-pytest репарентируется на PID 1
|
||||
orchestrator-контейнера (tini жнёт зомби, но **не убивает живых осиротевших**) и живёт сутками, грузя
|
||||
CPU и валя merge-gate re-test. Контейнер `orchestrator-watchdog` сейчас **не видит таблицу процессов
|
||||
хоста** (`network_mode: host`, но **без** `pid: host` и mount `/proc`). Между `agent_hung` (треканые
|
||||
джобы) и осиротевшим процессом — слепая зона: блокирующий pytest **не порождает сигнала**.
|
||||
|
||||
## Решение
|
||||
Новый per-entity сигнал **`proc_blocking`** **внутри наблюдателя** (`watchdog/**`): на каждом тике
|
||||
sidecar **сам** сканирует `/proc` хоста (stdlib), отбирает процессы тест-класса (cmdline матчит
|
||||
паттерн, дефолт `pytest`) и при возрасте > порога (заведомо > макс. легитимного бюджета тест-прогона)
|
||||
поднимает алерт через **существующую** `decision.decide()`/`AlertState` в собственный Telegram-канал
|
||||
sidecar. Watchdog процесс **не трогает** (только наблюдение, C-1). Изменения строго в наблюдателе;
|
||||
`src/**` / `/metrics`+`schema_version` / `STAGE_TRANSITIONS` / `QG_CHECKS` / `check_*` /
|
||||
machine-verdict / схема БД — **не тронуты**.
|
||||
|
||||
- **Механизм — watchdog-side `pid: host`, НЕ orch-side `/metrics`.** Решающее: orch-side путь правит
|
||||
`src/metrics.py` → рестарт прод-`orchestrator` (запрет NFR-3); и слеп именно когда орк деградировал
|
||||
(CPU-голодание), что противоречит C-1 (наблюдатель переживает падение наблюдаемого). Watchdog-side
|
||||
читает `/proc` независимо от живости орка и не трогает контракт `/metrics`.
|
||||
- **Коллектор** `watchdog/collectors/proc.py` (новый, по образцу `collectors/host.py`): stdlib-only
|
||||
(`/proc/stat` btime + `SC_CLK_TCK`; `/proc/<pid>/{cmdline,stat}`; возраст из starttime, CPU-время
|
||||
из utime+stime — информационно); **read-only** (никогда `os.kill`/`Popen`/`/proc/<pid>/environ`);
|
||||
**never-raise** (per-pid skip; top → `[]`).
|
||||
- **Builder** `proc_signals` (чистый, в `signals.py`): ключ `("proc_blocking", pid)`; `active` ⇔
|
||||
`age_s > proc_age_s`; detail = усечённый cmdline-фрагмент + PID + возраст + CPU-время (BR-2).
|
||||
- **RECOVERY для исчезнувшего процесса (AC-6):** в `core.tick()` синтезируется `Signal(active=False)`
|
||||
для `proc_blocking`-ключей, которые `alerting=True`, но исчезли из наблюдаемых → `decide()` даёт
|
||||
один RECOVERY (переиспользование машины, без отдельной анти-спам-логики, FR-5).
|
||||
- **Анти-false-positive и отсутствие дубля с `agent_hung` — по построению:** (1) cmdline-скоуп —
|
||||
`claude`-агенты не матчат `pytest` ⇒ нулевое пересечение с `agent_hung` (NFR-4); (2) порог возраста
|
||||
> макс. бюджета (`max(merge_retest_timeout_s=600, coverage_run_timeout_s=900)=900s`) ⇒ легитимный
|
||||
in-budget прогон всегда ниже порога (BR-4). Кросс-namespace матчинг PID не нужен (ненадёжен).
|
||||
- **Конфиг (новые `WATCHDOG_PROC_*`):** `WATCHDOG_PROC_ENABLED` (дефолт **false** — opt-in/kill-switch,
|
||||
зеркало `WATCHDOG_DISK_CRIT_ENABLED`), `WATCHDOG_PROC_AGE_MIN` (дефолт `60` мин; **инвариант:** >
|
||||
макс. бюджета), `WATCHDOG_PROC_PATTERNS` (CSV, дефолт `pytest`), `WATCHDOG_PROC_COOLDOWN_S`
|
||||
(дефолт `1800`). Дефолт-off ⇒ коллектор не вызывается ⇒ нулевая регрессия (AC-7).
|
||||
- **Топология:** `pid: host` **только** на сервисе `orchestrator-watchdog` (НЕ volume → существующий
|
||||
`:ro`-тест compose зелёный; `/proc` отражает хост автоматически, отдельный mount не нужен).
|
||||
Привилегия — только у наблюдателя.
|
||||
|
||||
## Альтернативы
|
||||
- **Orch-side `/metrics`-обогащение** — отвергнуто: рестарт прод-орка (NFR-3) + слепота при
|
||||
деградации орка (C-1) + новая поверхность контракта.
|
||||
- **Bind-mount `/proc:ro` вместо `pid: host`** — эквивалентная видимость/привилегия; `pid: host`
|
||||
идиоматичнее (согласован с уже-`network_mode: host`). Валидная замена при предпочтении не делить
|
||||
PID-namespace.
|
||||
- **Расширить `agent_hung` на нетреканые процессы** — отвергнуто: дубль/смешение классов (NFR-4).
|
||||
- **Реакция (kill/reap)** — вне объёма (BR-3, жёсткое ограничение): только мониторинг.
|
||||
- **Дефолт-on** — отвергнуто: привилегия + риск false-positive требуют осознанного opt-in.
|
||||
|
||||
## Последствия
|
||||
- Закрыта слепая зона: ранний адресный алерт о CPU-голодании до того, как оно завалит merge-gate
|
||||
re-test очередной задачи; работает даже при лёгшем орке.
|
||||
- Строго read-only + never-raise + дефолт-off + только наблюдатель ⇒ self-hosting-безопасно (enduro не
|
||||
затронут); конвейер byte-for-byte; deploy без рестарта прод-`orchestrator` (только sidecar).
|
||||
- Анти-FP и no-dup — структурно (cmdline-скоуп + порог возраста), не хрупким PID-матчингом.
|
||||
- Плата: расширение привилегии наблюдателя (`pid: host`, read-only, **меньше** уже-смонтированного
|
||||
`docker.sock`; код читает только `/stat`+`/cmdline`, никогда `/environ`; cmdline в алерте усечена);
|
||||
Linux-специфичность `/proc` (не-Linux → `[]`); новые `WATCHDOG_PROC_*` ключи в каноне тиража.
|
||||
- **Топология** меняется (`pid: host`) → `07-infra-requirements.md`; **схема БД** не меняется → 08 =
|
||||
N/A. Новый компонентный сигнал + привилегия → `arch:major-change`; прод-выкат через staging-гейт
|
||||
sidecar, без рестарта прод-контейнера.
|
||||
- **Откат:** `WATCHDOG_PROC_ENABLED=false` (мгновенный) или удаление коллектора/builder/врезок/ключей
|
||||
+ `pid: host` — без следов в БД/схеме/контракте `/metrics`.
|
||||
|
||||
## Связи
|
||||
adr-0033 (sidecar-watchdog F1b — рантайм/машина решения/независимый канал/never-raise — прямой
|
||||
родитель), adr-0030 (контракт `/metrics`/`schema_version` — изолирован, не тронут), adr-0024
|
||||
(disk-watchdog — образец pure-`decide_action`/dedup/recovery + «только читает и уведомляет»), adr-0040
|
||||
(timeout-бюджеты + `-9` timeout-kill — механизм осиротения внука-pytest), adr-0037/0038
|
||||
(Lite/Bundled тираж — канон `WATCHDOG_*` + compose sidecar, NFR-5).
|
||||
</content>
|
||||
@@ -93,7 +93,7 @@ claude.exe --print --system-prompt --allowedTools Read,Write,Edit,Bash
|
||||
Каждый запуск:
|
||||
1. Записывает run в DB (agent_runs)
|
||||
2. Запускает subprocess. **stdout/stderr перенаправляются СРАЗУ в файл `/app/data/runs/{id}.log` на уровне ОС** (Popen `stdout=log_fh`). Никакого PIPE в памяти оркестратора → нет PIPE-deadlock, нет потока-читателя, нет зомби (B-2).
|
||||
3. Стартует **watchdog thread** (timeout 30 мин → SIGKILL по pid)
|
||||
3. Стартует **watchdog thread** (per-role wall-clock бюджет → SIGTERM→grace→SIGKILL по pid; ORCH-109: developer 60 мин / reviewer 50 мин / прочие 30 мин дефолт, `_resolve_timeout`)
|
||||
4. Стартует **monitor thread**: `proc.wait()` (гарантированный reap → реальный exit_code в БД) → закрывает log_fh → git commit/push → auto-advance
|
||||
|
||||
### 5. Auto-advance (`launcher._try_advance_stage`)
|
||||
@@ -259,7 +259,7 @@ services:
|
||||
|
||||
| Механизм | Описание |
|
||||
|----------|----------|
|
||||
| Watchdog | Каждый агент: timeout 30 мин → SIGKILL + exit_code=-9 |
|
||||
| Watchdog | Per-role wall-clock бюджет (ORCH-109): developer 60 мин / reviewer 50 мин / прочие 30 мин (`_resolve_timeout`) → SIGTERM→grace→SIGKILL + exit_code=-9. Tier-3 backstop `reaper_max_running_s`=90 мин > max(timeout)+grace (ORCH-065) |
|
||||
| safe.directory | git операции работают в любой директории |
|
||||
| Max retries | Developer: max 3 попытки, затем эскалация |
|
||||
| Zombie-free | stdout идёт сразу в файл + monitor `proc.wait()` → процесс всегда reap'нут (B-2) |
|
||||
|
||||
@@ -163,6 +163,18 @@ cp .env.watchdog.example .env.watchdog
|
||||
# заполнить два ключа: WATCHDOG_TG_BOT_TOKEN / WATCHDOG_TG_CHAT_ID (бота создадим в §8)
|
||||
```
|
||||
|
||||
**Опционально (ORCH-111): алерт на осиротевший тест-процесс.** Watchdog умеет
|
||||
поднимать сигнал `proc_blocking` на долго живущий процесс тест-класса (по умолчанию
|
||||
`pytest`), репарентированный на хост и грузящий CPU. По умолчанию **выключен**
|
||||
(`WATCHDOG_PROC_ENABLED=false`) — нулевая регрессия. Чтобы включить, в `.env.watchdog`:
|
||||
`WATCHDOG_PROC_ENABLED=true`, при необходимости подстройте `WATCHDOG_PROC_AGE_MIN`
|
||||
(минуты; **обязан** превышать `max(merge_retest_timeout_s, coverage_run_timeout_s)/60`,
|
||||
дефолт 60), `WATCHDOG_PROC_PATTERNS` (CSV cmdline-подстрок), `WATCHDOG_PROC_COOLDOWN_S`.
|
||||
Для видимости процессов хоста сервису `orchestrator-watchdog` в `docker-compose.yml`
|
||||
задан `pid: host` (привилегия только у наблюдателя, read-only). **Проверка:**
|
||||
`grep -E '^WATCHDOG_PROC_ENABLED=' .env.watchdog` — если `true`, после рестарта только
|
||||
sidecar (`docker compose up -d orchestrator-watchdog`) в его логах виден тик без ошибок.
|
||||
|
||||
**Проверка (резолв всей конфигурации):**
|
||||
|
||||
```bash
|
||||
|
||||
@@ -0,0 +1,49 @@
|
||||
# Lessons Learned — 2026-06-15: reaper race during deploy-staging finalization (ORCH-111)
|
||||
|
||||
## Контекст
|
||||
ORCH-111 добавляла мониторинг долгоживущих pytest/child-процессов в sidecar-watchdog. Задача прошла полный цикл до `deploy-staging`: review, testing, staging, security и первый merge-gate были зелёными.
|
||||
|
||||
## Инцидент
|
||||
На ребре `deploy-staging → deploy` произошла гонка между штатной финализацией deployer job и job-reaper.
|
||||
|
||||
Факты:
|
||||
- Work item: `ORCH-111`.
|
||||
- Deployer job: `1914`, run_id `683`.
|
||||
- Deployer успешно записал `15-staging-log.md` со `staging_status: SUCCESS`.
|
||||
- После выхода агента `agent_runs.exit_code=0`, но job ещё оставалась `running`, потому что monitor продолжал послеагентную финализацию.
|
||||
- Финализация `deploy-staging` включает тяжёлые edge-гейты: security, merge-gate, локальный full re-test, coverage/image-freshness.
|
||||
- Первый merge-gate re-test был зелёным: `rebased onto main, re-test green`.
|
||||
- После `reaper_finalize_grace_s=300` reaper решил, что monitor умер, и повторно вызвал gate-driven advance для той же job/stage.
|
||||
- В результате `deploy-staging` edge-гейты запустились повторно: security-gate, merge-gate, rebase, full re-test.
|
||||
- Повторный re-test стал красным: `3 failed, 1916 passed, 1 warning, 14 errors in 444.79s`.
|
||||
- Орк откатил задачу `deploy-staging → development` и запустил developer retry.
|
||||
- Параллельно prod-deploy/finalizer завершился успешно: hook exit `0`, PR #130 был смержен, merge-verify прошёл, задача дошла `deploy → done`.
|
||||
|
||||
## Root Cause
|
||||
Reaper использовал слишком грубый сигнал: `exit_code=0` уже записан, job всё ещё `running` дольше grace-периода. Для обычных стадий это похоже на умерший monitor, но для `deploy-staging` это может быть нормальная долгая финализация.
|
||||
|
||||
`deploy-staging` — не короткая стадия. После выхода LLM-agent там ещё выполняются дорогие детерминированные гейты. Поэтому `running + exit_code=0 + age>300s` не доказывает смерть monitor.
|
||||
|
||||
## Почему это опасно
|
||||
Система получила две конкурирующие ветки истины:
|
||||
- reaper повторно обработал `deploy-staging` и откатил задачу в `development`;
|
||||
- штатный deploy/finalizer параллельно довёл prod-deploy до `SUCCESS` и задачу до `done`.
|
||||
|
||||
Это ломает доверие к автономности: одна часть системы уже успешно внедряет, другая в это же время считает задачу неуспешной.
|
||||
|
||||
## Уроки
|
||||
1. **Reaper не должен повторно запускать тяжёлые edge-гейты без строгого владения состоянием.** `deploy-staging → deploy` содержит дорогие операции: rebase, локальный re-test, coverage, merge-lease.
|
||||
2. **`exit_code=0` агента ≠ финализация стадии завершена.** Для action-стадий после выхода агента есть отдельная длинная фаза: git/Plane comments/QG/merge/deploy/finalizer.
|
||||
3. **Grace-период 300s недостаточен как универсальный критерий смерти monitor.** Полный re-test/coverage может занимать больше 5 минут даже в штатном режиме.
|
||||
4. **Нужна явная модель состояния `finalizing` или эквивалентный lock/idempotency guard.** Reaper должен отличать «monitor умер» от «monitor жив и делает долгие deterministic gates».
|
||||
5. **Deploy-gates должны быть safely re-drivable.** Повторный запуск не должен создавать второй re-test/rollback, если первый проход уже владеет stage/job или уже дошёл до deploy result.
|
||||
6. **Успешный prod-deploy и rollback одной задачи не должны сосуществовать.** Это признак рассинхронизации stage ownership.
|
||||
|
||||
## Follow-up
|
||||
- `ORCH-113` — `BUG: job-reaper must not re-run deploy-staging finalization while original finalizer is alive`.
|
||||
|
||||
## Related
|
||||
- `ORCH-111` — watchdog proc-blocking alert.
|
||||
- `ORCH-110` — merge-gate local re-test timeout/false rollback.
|
||||
- `ORCH-112` — cleanup failed/cancelled task artifacts from shared checkout.
|
||||
- ADR: `docs/architecture/adr/adr-0011-job-reaper-lease-reclaim.md`.
|
||||
89
docs/overview/README.md
Normal file
89
docs/overview/README.md
Normal file
@@ -0,0 +1,89 @@
|
||||
# Витрина системы — Orchestrator
|
||||
|
||||
**Что это за система.** Orchestrator — автономная фабрика разработки: конвейер из шести
|
||||
ИИ-агентов (аналитик → архитектор → разработчик → ревьюер → тестировщик → деплойер), который
|
||||
проводит задачу от бизнес-постановки до выкладки на прод. Человек ставит задачу и принимает
|
||||
результат; всё между — автономно, под защитой машинных гейтов качества. Платформа ведёт
|
||||
несколько проектов из одного инстанса, дорабатывает сама себя (self-hosting) и тиражируется
|
||||
на новые хосты.
|
||||
|
||||
**Зачем эта витрина.** Это единая точка входа в документацию системы: связное описание на двух
|
||||
уровнях — бизнес (для нетехнического читателя) и технический (7 блоков), с маршрутами чтения
|
||||
для трёх аудиторий и слайдо-готовой основой для презентации. Витрина — обзор; за деталями она
|
||||
ведёт ссылками в инженерные golden sources, не подменяя их.
|
||||
|
||||
---
|
||||
|
||||
## Состав витрины
|
||||
|
||||
| Файл | О чём |
|
||||
|------|-------|
|
||||
| [business.md](business.md) | Бизнес-уровень: проблема, решение, что умеет, ценность, сценарии |
|
||||
| [tech-architecture.md](tech-architecture.md) | Блок 1: компоненты и связи, схема потока |
|
||||
| [tech-pipeline.md](tech-pipeline.md) | Блок 2: конвейер, стадии, гейты, откаты, человеческие гейты |
|
||||
| [tech-agents.md](tech-agents.md) | Блок 3: 6 ролей агентов, артефакты, модель/эффорт |
|
||||
| [tech-data-model.md](tech-data-model.md) | Блок 4: каноническая модель объектов, словарь терминов |
|
||||
| [tech-integrations.md](tech-integrations.md) | Блок 5: Plane, Gitea, LLM, Telegram |
|
||||
| [tech-quality-security.md](tech-quality-security.md) | Блок 6: гейты качества, безопасность, секреты |
|
||||
| [tech-observability.md](tech-observability.md) | Блок 7: наблюдаемость, аналитика, журнал уроков |
|
||||
| [presentation.md](presentation.md) | Слайдо-источник презентации + сборка `.pptx` |
|
||||
|
||||
---
|
||||
|
||||
## Маршруты чтения
|
||||
|
||||
### Я заказчик
|
||||
1. [business.md](business.md) — проблема, решение, ценность.
|
||||
2. [business.md → Сценарии использования](business.md#сценарии-использования) — как это выглядит в работе.
|
||||
3. [presentation.md](presentation.md) — слайдовая версия рассказа (собирается в PowerPoint).
|
||||
4. Развернуть у себя: [LITE_SETUP](../deployment/LITE_SETUP.md) (своя инфраструктура) или
|
||||
[BUNDLED_SETUP](../deployment/BUNDLED_SETUP.md) (весь стек одним комплектом).
|
||||
|
||||
### Я менеджер проекта
|
||||
1. [business.md](business.md) — что платформа делает и где в процессе человек.
|
||||
2. [tech-pipeline.md](tech-pipeline.md) — конвейер, статусная модель Plane, человеческие гейты
|
||||
(одобрение постановки, подтверждение прод-деплоя).
|
||||
3. [tech-observability.md](tech-observability.md) — как следить за ходом: живая Telegram-карточка,
|
||||
статусы, стоимость.
|
||||
|
||||
### Я разработчик
|
||||
1. Тех-блоки 1→7: [архитектура](tech-architecture.md) → [конвейер](tech-pipeline.md) →
|
||||
[агенты](tech-agents.md) → [модель объектов](tech-data-model.md) →
|
||||
[интеграции](tech-integrations.md) → [качество/безопасность](tech-quality-security.md) →
|
||||
[наблюдаемость](tech-observability.md).
|
||||
2. [Инженерный справочник архитектуры](../architecture/README.md) и
|
||||
[internals](../architecture/internals.md) — детали реализации.
|
||||
3. [Стандарты](../_standards/PIPELINE_DOCS.md) (структура доков конвейера),
|
||||
[HANDOFF_PROTOCOL](../_standards/HANDOFF_PROTOCOL.md) (машинный контракт стадий),
|
||||
[TRACEABILITY](../_standards/TRACEABILITY.md) (маркеры решений).
|
||||
4. [Реестр сквозных ADR](../architecture/adr/) — история архитектурных решений.
|
||||
5. [CLAUDE.md](../../CLAUDE.md) — паспорт проекта и правила для агентов.
|
||||
|
||||
---
|
||||
|
||||
## Норматив сопровождения
|
||||
|
||||
> **Изменил функциональность платформы → обнови витрину `docs/overview/` в том же PR.**
|
||||
|
||||
Какой файл правится при каком классе изменений:
|
||||
|
||||
| Класс изменения | Файл витрины |
|
||||
|-----------------|--------------|
|
||||
| Новый компонент / демон / поток данных | [tech-architecture.md](tech-architecture.md) |
|
||||
| Стадии, гейты, под-гейты, маршруты задач | [tech-pipeline.md](tech-pipeline.md) |
|
||||
| Роли агентов, промпты, модель/эффорт | [tech-agents.md](tech-agents.md) |
|
||||
| Таблицы БД, объекты, термины | [tech-data-model.md](tech-data-model.md) |
|
||||
| Plane / Gitea / LLM / Telegram | [tech-integrations.md](tech-integrations.md) |
|
||||
| Гейты качества, секреты, self-hosting-страховки | [tech-quality-security.md](tech-quality-security.md) |
|
||||
| Эндпоинты наблюдаемости, метрики, уроки | [tech-observability.md](tech-observability.md) |
|
||||
| Новая способность уровня продукта | [business.md](business.md) + при необходимости [presentation.md](presentation.md) |
|
||||
|
||||
Каркас и машинно-проверяемые факты витрины (перечень стадий, имена гейтов, полнота агентов,
|
||||
валидность ссылок) защищены структурными тестами `tests/test_system_docs.py` — дрейф рвёт CI.
|
||||
Прозу проверяет reviewer: необновлённая витрина при изменении описанной в ней функциональности —
|
||||
finding ≥ P1 (расширение оси обзорных доков).
|
||||
|
||||
---
|
||||
|
||||
*Витрина — обзорный слой документации. Текущее состояние и реестр доработок — [CLAUDE.md](../../CLAUDE.md);
|
||||
концепция развития — [Product Vision](../PRODUCT_VISION.md).*
|
||||
105
docs/overview/business.md
Normal file
105
docs/overview/business.md
Normal file
@@ -0,0 +1,105 @@
|
||||
# Бизнес-уровень: что это и зачем
|
||||
|
||||
> Читатель этого документа — нетехнический: заказчик, руководитель, менеджер. Технические
|
||||
> детали вынесены в [тех-часть витрины](README.md) и даются здесь только ссылками.
|
||||
|
||||
## Проблема
|
||||
|
||||
Классическая разработка — это люди-бутылочное-горлышко на каждом шаге: аналитик, архитектор,
|
||||
разработчик, ревьюер, тестировщик, деплой-инженер. Каждая передача задачи между ними — потеря
|
||||
времени, контекста и денег. Мелкая фича или баг едут до прода днями: не потому, что работа
|
||||
сложная, а потому, что задача ждёт людей в очередях между ролями.
|
||||
|
||||
## Решение
|
||||
|
||||
**Orchestrator** — конвейер из ИИ-агентов, который проводит задачу через все стадии разработки
|
||||
сам: анализ требований → проектирование → код → ревью → тестирование → репетиция выкладки →
|
||||
выкладка на прод. Человек в этой схеме — **постановщик и приёмщик**: он формулирует задачу,
|
||||
одобряет постановку и подтверждает выкладку на прод. Всё между — автономно.
|
||||
|
||||
Честность конвейера держат **гейты качества**: автоматические проверки на каждом переходе,
|
||||
которые не пускают задачу дальше, пока стадия не выполнена по-настоящему (тесты зелёные,
|
||||
ревью одобрено, репетиция выкладки успешна). Агент не может «уговорить» гейт — вердикты
|
||||
машинные, не прозой.
|
||||
|
||||
## Что умеет платформа сегодня
|
||||
|
||||
Ниже — фактическое состояние, не планы (концепция развития — отдельный документ,
|
||||
[Product Vision](../PRODUCT_VISION.md)).
|
||||
|
||||
- **Автономный конвейер «задача → прод».** Задача, поставленная в трекере, проходит весь путь
|
||||
до выкладки без ручных пинков; человек участвует ровно в двух точках — одобрение постановки
|
||||
и подтверждение прод-выкладки.
|
||||
- **Мультипроектность.** Один инстанс платформы ведёт несколько проектов (репозиториев)
|
||||
одновременно, с общей очередью и честным разделением работы.
|
||||
- **Самовосстановление.** Фоновые механизмы находят и чинят зависшие задачи: упавший агент
|
||||
перезапускается, осиротевшая задача возвращается в очередь, переполненный диск чистится,
|
||||
а независимый сторож следит за самой платформой снаружи.
|
||||
- **Пакетный авто-режим.** Задачи одного проекта выстраиваются в очередь и едут друг за другом
|
||||
без столкновений; специальными метками на задаче можно снять оба человеческих одобрения —
|
||||
и пакет задач уедет «за ночь» полностью автономно.
|
||||
- **Дешёвый багфикс-маршрут.** Задача с меткой «баг» едет коротким путём — без тяжёлой
|
||||
аналитики и отдельной стадии проектирования, но через все те же гейты качества.
|
||||
- **Отмена задачи одной кнопкой.** Перевод задачи в статус «STOP» в трекере останавливает
|
||||
работу, снимает её с очереди и прибирает за собой — безопасно даже посреди конвейера.
|
||||
- **Наблюдаемость.** У каждой задачи — живая карточка в Telegram (стадия, время, стоимость);
|
||||
у платформы — служебные страницы состояния и машинные метрики; история отклонений пишется
|
||||
в журнал уроков.
|
||||
- **Самообслуживание (self-hosting).** Платформа дорабатывает сама себя тем же конвейером,
|
||||
с обязательной репетицией на песочнице и ручным подтверждением выкладки.
|
||||
- **Тиражируемость.** Платформа разворачивается на новой инфраструктуре без правки кода:
|
||||
вариант Lite (у заказчика своя инфраструктура) и вариант Bundled (весь стек одним
|
||||
комплектом) — по пошаговым инструкциям.
|
||||
|
||||
## Ценность
|
||||
|
||||
- ⚡ **Скорость.** Полный цикл «постановка → прод» без очередей между ролями; по оценке из
|
||||
[Product Vision](../PRODUCT_VISION.md) — порядка 35 минут на типовую фичу без ручных
|
||||
вмешательств.
|
||||
- 💰 **Стоимость.** Работа агентов в разы дешевле команды специалистов; стоимость каждой
|
||||
задачи видна в её карточке — расходы прозрачны.
|
||||
- 🎯 **Автономность.** Ноль ручных пинков в штатном прогоне: человек принимает решения,
|
||||
а не двигает задачу.
|
||||
- 🛡️ **Надёжность.** Многоуровневые гейты качества и репетиция выкладки на песочнице не
|
||||
пускают недоделку на прод; сломавшаяся выкладка откатывается, проект замораживается до
|
||||
разбора.
|
||||
- 🔁 **Масштаб.** Одна платформа — несколько проектов; сама платформа тиражируется на новые
|
||||
хосты за часы по инструкции.
|
||||
|
||||
## Сценарии использования
|
||||
|
||||
### Сценарий 1: фича за вечер
|
||||
Заказчик формулирует задачу в трекере и переводит её в работу. Конвейер собирает требования,
|
||||
проектирует, пишет код и тесты, проходит ревью и тестирование, репетирует выкладку. Человек
|
||||
дважды нажимает «одобрить» — на постановке и перед продом. Вечером фича на проде.
|
||||
|
||||
### Сценарий 2: багфикс по короткому маршруту
|
||||
На задачу ставится метка «баг» — конвейер пропускает тяжёлую аналитику и отдельное
|
||||
проектирование, сразу чинит и фиксирует дефект регресс-тестом. Все гейты качества — без
|
||||
исключений.
|
||||
|
||||
### Сценарий 3: пакет задач на ночь
|
||||
Несколько задач проекта получают метки авто-одобрения. Очередь проводит их друг за другом:
|
||||
каждая следующая стартует от свежей версии кода с результатом предыдущей. Утром — пакет
|
||||
изменений на проде и полный след по каждой задаче.
|
||||
|
||||
### Сценарий 4: несколько проектов параллельно
|
||||
Один инстанс платформы обслуживает несколько репозиториев: задачи разных проектов едут
|
||||
одновременно, не мешая друг другу; внутри одного проекта порядок строго последовательный.
|
||||
|
||||
### Сценарий 5: развернуть платформу у себя
|
||||
Заказчик получает платформу на своей инфраструктуре по инструкции
|
||||
[Lite](../deployment/LITE_SETUP.md) (есть свои трекер и git) или
|
||||
[Bundled](../deployment/BUNDLED_SETUP.md) (весь стек одним комплектом, ~14 контейнеров),
|
||||
со свежими секретами и проверкой каждого шага.
|
||||
|
||||
### Сценарий 6: остановить задачу
|
||||
Передумали — переводите задачу в статус «STOP»: работа агента останавливается, ветка и
|
||||
рабочие материалы прибираются, задача помечается отменённой. Если задача в этот момент в
|
||||
необратимой фазе выкладки — отмена аккуратно откладывается до её честного завершения.
|
||||
|
||||
---
|
||||
|
||||
*Технические детали каждой способности — в [тех-части витрины](README.md): как устроен
|
||||
[конвейер](tech-pipeline.md), кто такие [агенты](tech-agents.md), как работает
|
||||
[наблюдаемость](tech-observability.md).*
|
||||
220
docs/overview/presentation.md
Normal file
220
docs/overview/presentation.md
Normal file
@@ -0,0 +1,220 @@
|
||||
# Презентация системы: слайдо-источник
|
||||
|
||||
> Источник истины презентации. Каждый слайд — блок `## Слайд N: Заголовок` с тезисами
|
||||
> (3–6 на слайд) и опциональной подписью визуала. Из этого файла собирается редактируемый
|
||||
> PowerPoint в тёмном дизайне — процедура в конце файла («Как собрать .pptx»). Собранный
|
||||
> бинарь в git не коммитится: меняешь рассказ — правишь этот файл и пересобираешь.
|
||||
|
||||
## Слайд 1: Orchestrator — автономная фабрика разработки
|
||||
|
||||
- Конвейер из ИИ-агентов: от постановки задачи до выкладки на прод
|
||||
- Человек ставит задачу и принимает результат — всё между автономно
|
||||
- Платформа уже работает: ведёт несколько проектов и дорабатывает сама себя
|
||||
|
||||
> Визуал: тёмный титул, логотип-конвейер из шести звеньев
|
||||
|
||||
## Слайд 2: Проблема
|
||||
|
||||
- Классическая разработка — люди-бутылочное-горлышко на каждом шаге
|
||||
- Каждая передача между ролями — потеря времени, контекста и денег
|
||||
- Мелкая фича или баг едут до прода днями — из-за очередей, не сложности
|
||||
|
||||
> Визуал: цепочка из шести человек с песочными часами между ними
|
||||
|
||||
## Слайд 3: Решение
|
||||
|
||||
- Шесть ИИ-агентов проводят задачу через все стадии разработки сами
|
||||
- Аналитик → архитектор → разработчик → ревьюер → тестировщик → деплойер
|
||||
- Человек принимает два решения: одобрить постановку и подтвердить прод
|
||||
- Честность держат машинные гейты качества — их нельзя «уговорить»
|
||||
|
||||
> Визуал: та же цепочка, но из агентов; человек над ней с двумя кнопками
|
||||
|
||||
## Слайд 4: Как это работает — конвейер
|
||||
|
||||
- Задача из трекера едет по стадиям: анализ → проектирование → код → ревью → тесты → репетиция → прод
|
||||
- На каждом переходе — гейт: машинная проверка честности стадии
|
||||
- Не прошёл гейт — задача возвращается на доработку с замечаниями
|
||||
- Каждая задача — своя ветка и изолированная рабочая копия кода
|
||||
|
||||
> Визуал: горизонтальная схема стадий со шлагбаумами-гейтами
|
||||
|
||||
## Слайд 5: Гейты качества
|
||||
|
||||
- Вердикты машинные: зелёный CI, одобрение ревью, отчёт тестов — только структурированные ключи
|
||||
- Перед продом — четыре дополнительных проверки: безопасность, слияние, покрытие тестами, свежесть сборки
|
||||
- Покрытие тестами не может деградировать: базовая линия растёт только вверх
|
||||
- Слияние в основную ветку — только через PR; прямой push запрещён всем
|
||||
|
||||
> Визуал: четыре шлагбаума подряд перед воротами «прод»
|
||||
|
||||
## Слайд 6: Роли агентов
|
||||
|
||||
- Аналитик: требования, критерии приёмки, тест-план
|
||||
- Архитектор: проектные решения с фиксацией в ADR
|
||||
- Разработчик: код + тесты + документация одним PR
|
||||
- Ревьюер и тестировщик: независимые машинные вердикты
|
||||
- Деплойер: репетиция на песочнице, затем прод
|
||||
|
||||
> Визуал: шесть карточек-ролей с артефактами на выходе
|
||||
|
||||
## Слайд 7: Человек в контуре
|
||||
|
||||
- Постановщик и приёмщик, а не оператор: ноль ручных пинков в штатном прогоне
|
||||
- Решение 1: одобрить постановку после аналитики
|
||||
- Решение 2: подтвердить выкладку на прод отдельным статусом
|
||||
- Живая карточка задачи в Telegram показывает, когда конвейер ждёт вас
|
||||
|
||||
> Визуал: человек с двумя кнопками и карточка задачи в телефоне
|
||||
|
||||
## Слайд 8: Запуск и ведение задачи через Plane
|
||||
|
||||
- Запуск: перевод задачи в статус «To Analyse» — единственная точка входа в конвейер
|
||||
- Статусы Plane — индикация, а не управление: платформа выставляет их сама (Backlog → … → Done)
|
||||
- Управляющих статусов ровно три: запуск, человеческие гейты и отмена
|
||||
- Ход задачи виден сразу: статусы доски, живая карточка в Telegram, комментарии в задаче со ссылками на ветку и PR
|
||||
|
||||
> Визуал: доска Plane с движущейся карточкой и зеркальное уведомление в Telegram
|
||||
|
||||
## Слайд 9: Что решает человек: гейты, авто-режим, отмена
|
||||
|
||||
- Гейт 1 — статус «Approved» на анализе: одобрить постановку задачи
|
||||
- Гейт 2 — статус «Confirm Deploy» на деплое: подтвердить прод отдельным статусом, чтобы привычный approve не выкатил прод случайным кликом
|
||||
- Лейблы «autoApprove» / «autoDeploy» снимают эти два решения для пакетного авто-режима
|
||||
- Авто-режим убирает только ожидание человека — ни одна техническая проверка не пропускается
|
||||
- Лейбл «Bug» — короткий багфикс-маршрут; статус «STOP» — безопасная отмена с уборкой ветки и worktree, не трогает прод
|
||||
|
||||
> Визуал: две кнопки человека, переключатели авто-лейблов и стоп-кран STOP
|
||||
|
||||
## Слайд 10: Пакетный автономный режим
|
||||
|
||||
- Задачи одного проекта едут строго друг за другом — без столкновений
|
||||
- Каждая следующая стартует от свежего кода с результатом предыдущей
|
||||
- Метки авто-одобрения снимают оба человеческих гейта — пакет уезжает «за ночь»
|
||||
- Технические проверки при этом не ослабляются ни на одну
|
||||
|
||||
> Визуал: ночная очередь задач, утром — стопка готовых
|
||||
|
||||
## Слайд 11: Багфикс за полцены
|
||||
|
||||
- Метка «баг» — и задача едет коротким маршрутом
|
||||
- Пропускаются тяжёлая аналитика и отдельное проектирование
|
||||
- Обязателен регресс-тест, фиксирующий дефект
|
||||
- Все гейты качества — без исключений
|
||||
|
||||
> Визуал: развилка маршрутов — длинный и короткий путь к одному финишу
|
||||
|
||||
## Слайд 12: Самовосстановление
|
||||
|
||||
- Упавший агент перезапускается, осиротевшая задача возвращается в очередь
|
||||
- Зависшие состояния находит и чинит фоновый сверщик
|
||||
- Независимый сторож следит за платформой снаружи и шлёт алерты отдельным каналом
|
||||
- Деградация прода после выкладки замораживает проект до разбора человеком
|
||||
|
||||
> Визуал: платформа с автоподзаводом и внешним сторожем
|
||||
|
||||
## Слайд 13: Наблюдаемость
|
||||
|
||||
- Одна задача — одна живая карточка: стадия, агент, стоимость, время
|
||||
- Служебные страницы: снимок очереди и машинные метрики для мониторинга
|
||||
- Журнал уроков копит отклонения конвейера — фундамент самообучения
|
||||
- Стоимость каждой задачи и каждой роли видна по фактам
|
||||
|
||||
> Визуал: дашборд из карточки, очереди и графика стоимости
|
||||
|
||||
## Слайд 14: Одна платформа — много проектов
|
||||
|
||||
- Несколько репозиториев из одного инстанса с общей очередью
|
||||
- Внутри проекта — строгий порядок, между проектами — параллельность
|
||||
- Платформа дорабатывает сама себя тем же конвейером (self-hosting)
|
||||
- Своя доработка репетируется на песочнице и требует явного подтверждения
|
||||
|
||||
> Визуал: один конвейер, несколько лент с разными проектами
|
||||
|
||||
## Слайд 15: Сценарии использования
|
||||
|
||||
- Фича за вечер: постановка → прод с двумя кликами человека
|
||||
- Пакет задач на ночь: метки авто-одобрения, утром всё на проде
|
||||
- Багфикс по короткому маршруту с обязательным регресс-тестом
|
||||
- Остановить задачу: статус STOP — безопасная отмена с уборкой
|
||||
- Несколько проектов параллельно без пересечений
|
||||
|
||||
> Визуал: пять пиктограмм-сценариев
|
||||
|
||||
## Слайд 16: Тираж платформы
|
||||
|
||||
- Разворачивается на новой инфраструктуре без правки кода — только конфиг
|
||||
- Lite: у заказчика свои трекер и git — ставятся только оркестратор и сторож
|
||||
- Bundled: весь стек одним комплектом (~14 контейнеров) и бутстрап-скрипт
|
||||
- Свежие секреты, пошаговые инструкции с проверкой каждого шага
|
||||
|
||||
> Визуал: коробка-дистрибутив в двух размерах
|
||||
|
||||
## Слайд 17: Lite-установка скриптами
|
||||
|
||||
- Lite — два контейнера платформы: оркестратор и сторож (watchdog) на инфраструктуре заказчика
|
||||
- Свои Plane, Gitea, Telegram и LLM заказчик подключает — в Lite они не входят
|
||||
- Разворачивается без правки кода — только конфигом (принцип «дефолт = боевое значение»)
|
||||
- Скрипты-помощники: gen_secrets.py (свежие секреты), onboard_project.py (регистрация проекта: plan / apply / verify); подъём — docker compose up -d
|
||||
- Маршрут — пошаговый runbook LITE_SETUP.md с проверкой каждого шага (PASS/FAIL)
|
||||
- Весь стек одним комплектом и одношаговым бутстрапом — это смежный вариант Bundled, не Lite
|
||||
|
||||
> Визуал: два контейнера-кубика и чек-лист шагов с галочками
|
||||
|
||||
## Слайд 18: Статус платформы сегодня
|
||||
|
||||
- В проде: автономный конвейер, мультипроектность, самовосстановление
|
||||
- В проде: пакетный авто-режим, багфикс-маршрут, отмена задач, журнал уроков
|
||||
- Тираж Lite и Bundled — готовые инструкции и инструменты
|
||||
- Платформа развивает сама себя: документация и гейты растут с каждой задачей
|
||||
|
||||
> Визуал: чек-лист способностей с отметками «в проде»
|
||||
|
||||
## Слайд 19: Итог
|
||||
|
||||
- Разработка без очередей между ролями: задача → прод за один проход
|
||||
- Человек принимает решения — конвейер делает работу
|
||||
- Качество держат машинные гейты, прозрачность — живая карточка и метрики
|
||||
- Следующий шаг: поставить первую задачу или развернуть платформу у себя
|
||||
|
||||
> Визуал: тёмный финальный слайд с одной фразой-приглашением
|
||||
|
||||
---
|
||||
|
||||
## Как собрать .pptx
|
||||
|
||||
Сборка выполняется **вне рантайма платформы** — в одноразовом dev-окружении на хосте
|
||||
разработчика (зависимость генерации не входит в прод-образ). Скрипт —
|
||||
`scripts/build_presentation.py`; формат слайдов выше парсится им же (один парсер — один
|
||||
источник истины).
|
||||
|
||||
**Шаг 1. Создать venv и поставить python-pptx:**
|
||||
|
||||
```bash
|
||||
python3 -m venv .venv-pptx
|
||||
.venv-pptx/bin/pip install python-pptx
|
||||
```
|
||||
|
||||
Проверка: `.venv-pptx/bin/pip show python-pptx` печатает версию пакета — PASS; ошибка
|
||||
установки — FAIL (проверьте доступ к PyPI).
|
||||
|
||||
**Шаг 2. Собрать презентацию (из корня репозитория):**
|
||||
|
||||
```bash
|
||||
.venv-pptx/bin/python scripts/build_presentation.py
|
||||
```
|
||||
|
||||
Проверка: скрипт печатает `Собрано слайдов: <N> → build/orchestrator-overview.pptx`, где
|
||||
`<N>` равно числу слайдов в этом файле — PASS; `ОШИБКА: …` — FAIL (текст подскажет причину).
|
||||
|
||||
**Шаг 3. Открыть и проверить результат:**
|
||||
|
||||
Откройте `build/orchestrator-overview.pptx` в PowerPoint/LibreOffice. Проверка: тема тёмная
|
||||
(тёмный фон, светлый текст, акцентные заголовки), кириллица отображается точно, текст слайдов
|
||||
выделяется и редактируется — PASS. Каталог `build/` в `.gitignore`: собранный бинарь в git
|
||||
не попадает.
|
||||
|
||||
---
|
||||
|
||||
*Нарратив слайдов опирается на [business.md](business.md); технические утверждения — на
|
||||
тех-блоки витрины ([конвейер](tech-pipeline.md), [агенты](tech-agents.md)).*
|
||||
60
docs/overview/tech-agents.md
Normal file
60
docs/overview/tech-agents.md
Normal file
@@ -0,0 +1,60 @@
|
||||
# Блок 3. Агенты: 6 ролей конвейера
|
||||
|
||||
> Промпты ролей лежат в `.openclaw/agents/*.md` (по одному файлу на роль). Канон манифеста
|
||||
> «документ → агент → стадия → гейт → machine-key» — [PIPELINE_DOCS §2](../_standards/PIPELINE_DOCS.md);
|
||||
> машинный контракт передачи между стадиями — [HANDOFF_PROTOCOL](../_standards/HANDOFF_PROTOCOL.md).
|
||||
|
||||
## Паспорта ролей
|
||||
|
||||
| Роль | Стадия | Вход | Выходные артефакты | Machine-verdict ключ |
|
||||
|------|--------|------|--------------------|----------------------|
|
||||
| `analyst` | analysis | бизнес-запрос (`00-business-request.md`) | `01-brd.md`, `02-trz.md`, `03-acceptance-criteria.md`, `04-test-plan.yaml` | — (гейт проверяет полноту пакета + одобрение человека) |
|
||||
| `architect` | architecture | пакет аналитики | `06-adr/ADR-NNN-*.md`, when-applicable `07-infra-requirements.md` / `08-data-requirements.md`, `10-tech-risks.md` | — (гейт проверяет наличие ADR) |
|
||||
| `developer` | development | ТЗ + ADR | код в `src/`, тесты в `tests/`, обновлённые доки, `CHANGELOG.md`, PR в Gitea | — (гейт — зелёный CI ветки) |
|
||||
| `reviewer` | review | PR diff + ТЗ/ADR | `12-review.md` | `verdict:` (`APPROVED` \| `REQUEST_CHANGES`) |
|
||||
| `tester` | testing | ветка задачи + тест-план | `13-test-report.md` | `result:` (`PASS` \| `FAIL` \| `BLOCKED`) |
|
||||
| `deployer` | deploy-staging / deploy | прошедшая гейты ветка | `15-staging-log.md`, `14-deploy-log.md` | `staging_status:` / `deploy_status:` (`SUCCESS` \| `FAILED`) |
|
||||
|
||||
Machine-verdict ключи читаются гейтами **только из YAML-frontmatter** артефакта (никогда из
|
||||
прозы) и неизменны байт-в-байт — подробнее в [блоке качества](tech-quality-security.md).
|
||||
|
||||
## Модель и эффорт
|
||||
|
||||
Модель и эффорт каждой роли резолвятся **только из конфига** (не из промпта); текущие
|
||||
дефолты конфига:
|
||||
|
||||
| Роль | Модель | Эффорт |
|
||||
|------|--------|--------|
|
||||
| `analyst` | `claude-opus-4-8` | `high` |
|
||||
| `architect` | `claude-opus-4-8` | `high` |
|
||||
| `developer` | `claude-opus-4-8` | `xhigh` |
|
||||
| `reviewer` | `claude-opus-4-8` | `high` |
|
||||
| `tester` | `claude-opus-4-8` | `medium` |
|
||||
| `deployer` | `claude-opus-4-8` | `medium` |
|
||||
|
||||
Разработчику — максимальный эффорт (он пишет код); тестировщику и деплойеру хватает среднего
|
||||
(их работа процедурная). Таблица сверяется с class-default'ами `src/config.py` структурным
|
||||
тестом — дрейф рвёт CI.
|
||||
|
||||
## Канон промптов
|
||||
|
||||
Все промпты следуют единому канону (Anthropic XML, эпик 52): пять обязательных секций в
|
||||
нормативном порядке `<context>` → `<task>` → `<deliverables>` → `<constraints>` →
|
||||
`<output_format>`, запреты в формате «❌ X → ✅ Y», секция эскалации у решающих ролей. Каждый
|
||||
агент эмитит единую frontmatter-схему в своих документах (work item, стадия, автор, статус,
|
||||
дата, модель). Промпт читается из worktree в момент запуска — обновление промптов вступает в
|
||||
силу со следующей задачи, без рестарта прода.
|
||||
|
||||
Особенность: промпт `deployer` сознательно на английском (самый safety-critical — несёт
|
||||
запреты self-hosting в видной рамке); остальные пять — на русском.
|
||||
|
||||
## Человек как седьмая роль
|
||||
|
||||
Человек не пишет артефакты конвейера, но принимает два решения, которые не делегированы
|
||||
агентам: одобрение постановки (после `analyst`) и подтверждение прод-выкладки (перед финалом
|
||||
работы `deployer`). Подробнее — [человеческие гейты](tech-pipeline.md).
|
||||
|
||||
---
|
||||
|
||||
*Структуры документов, которые сдаёт каждая роль, — [PIPELINE_DOCS](../_standards/PIPELINE_DOCS.md);
|
||||
скелеты — `docs/_templates/`.*
|
||||
63
docs/overview/tech-architecture.md
Normal file
63
docs/overview/tech-architecture.md
Normal file
@@ -0,0 +1,63 @@
|
||||
# Блок 1. Архитектура: компоненты и связи
|
||||
|
||||
> Обзорный уровень. Полная таблица компонентов с деталями и историей решений — в
|
||||
> [инженерном справочнике](../architecture/README.md) («Компоненты») и
|
||||
> [internals](../architecture/internals.md); здесь — цельная картина, как части складываются
|
||||
> в конвейер.
|
||||
|
||||
## Поток одной задачи
|
||||
|
||||
```
|
||||
Plane (трекер) Gitea (git/CI)
|
||||
│ вебхук │ вебхук
|
||||
▼ ▼
|
||||
┌────────────────────────────────────────┐
|
||||
│ FastAPI-приём (HMAC-подпись, дедуп) │
|
||||
└───────────────────┬────────────────────┘
|
||||
▼
|
||||
вебхук → очередь (jobs) → агент (Claude CLI в worktree) → гейт (QG) → переход стадии
|
||||
▲ │
|
||||
└────────── следующая стадия / откат ◄─────────┘
|
||||
```
|
||||
|
||||
Каждое продвижение задачи — один и тот же цикл: событие принято → в очередь поставлен job →
|
||||
worker запустил агента стадии → результат проверен гейтом качества → state machine перевела
|
||||
задачу на следующую стадию (или откатила назад).
|
||||
|
||||
## Компоненты
|
||||
|
||||
| Компонент | Роль |
|
||||
|-----------|------|
|
||||
| **Webhook-приёмники** (`src/webhooks/`) | Принимают события Plane (статусы задач) и Gitea (push, PR, CI). Проверяют HMAC-подпись, дедуплицируют повторные доставки. |
|
||||
| **Очередь задач** (`jobs` + worker) | Собственная очередь на SQLite: атомарный захват job'а, ретраи с backoff, зависимости между job'ами, ограничение параллелизма. |
|
||||
| **State machine** (`src/stages.py`) | Карта стадий `STAGE_TRANSITIONS`: для каждой стадии — следующая, агент и гейт выхода. Единственный источник истины о конвейере. |
|
||||
| **Stage engine** (`src/stage_engine.py`) | Исполняет переходы: диспетчеризация гейтов, откаты, под-гейты деплойного ребра, синхронизация статусов с Plane. |
|
||||
| **Agent launcher** (`src/agents/launcher.py`) | Запускает Claude CLI агента в изолированном git worktree ветки задачи, следит за процессом (watchdog), авто-продвигает стадию по завершении. |
|
||||
| **Реестр гейтов** (`src/qg/checks.py`) | `QG_CHECKS` — машинные проверки выхода со стадий; вердикты читаются только из YAML-frontmatter артефактов. |
|
||||
| **Plane-sync** (`src/plane_sync.py`) | Индикация статусов в Plane (слой «показать человеку», никогда не управление конвейером). |
|
||||
| **Notifications** (`src/notifications.py`) | Живая Telegram-карточка задачи и алерты. |
|
||||
|
||||
## Фоновые демоны (самовосстановление)
|
||||
|
||||
Поднимаются в lifespan FastAPI-приложения (`src/main.py`) и работают рядом с конвейером:
|
||||
|
||||
- **reconciler** — находит расхождения «БД говорит одно, реальность другое» (зависшие стадии,
|
||||
потерянные ветки) и возвращает задачи в консистентное состояние;
|
||||
- **job-reaper** — возвращает в очередь job'ы, чей исполнитель умер (упавший процесс, рестарт);
|
||||
- **disk-watchdog** — следит за местом на диске, чистит устаревшие worktree;
|
||||
- **build-cache-pruner** — прибирает докер-кэш сборок.
|
||||
|
||||
Отдельно от приложения живёт **sidecar-watchdog** — независимый контейнер-наблюдатель: следит
|
||||
за самим оркестратором снаружи (health, метрики) и шлёт алерты в собственный Telegram-канал.
|
||||
Наблюдатель сознательно отделён от наблюдаемого: падение оркестратора не валит сторожа.
|
||||
|
||||
## Изоляция работы агентов
|
||||
|
||||
Каждая задача живёт в собственной git-ветке (`feature/<ID>-slug`) и собственном **worktree** —
|
||||
изолированной рабочей копии репозитория. Агенты разных задач не видят незакоммиченную работу
|
||||
друг друга; слияние в `main` происходит только через PR в Gitea после всех гейтов.
|
||||
|
||||
---
|
||||
|
||||
*Подробнее: [компоненты и API](../architecture/README.md) · [внутренности и схема БД](../architecture/internals.md) ·
|
||||
следующий блок — [конвейер и стадии](tech-pipeline.md).*
|
||||
70
docs/overview/tech-data-model.md
Normal file
70
docs/overview/tech-data-model.md
Normal file
@@ -0,0 +1,70 @@
|
||||
# Блок 4. Структура объектов: каноническая модель
|
||||
|
||||
> Источник истины — фактическая схема SQLite в `src/db.py` и реестр проектов в
|
||||
> `src/projects.py`; подробное описание таблиц — [internals, «Database Schema»](../architecture/internals.md).
|
||||
|
||||
## Каноническая модель
|
||||
|
||||
```
|
||||
Project ──1:N──► Work-Item / Task ──1:N──► Job ──1:N──► Agent-run
|
||||
│ │
|
||||
│ └── артефакты задачи (docs/work-items/<ID>/)
|
||||
└── Plane-проект ↔ git-репозиторий ↔ префикс задач
|
||||
```
|
||||
|
||||
### Project — проект в реестре
|
||||
Связка «Plane-проект ↔ git-репозиторий ↔ префикс задач» (например, `ORCH-`). Реестр живёт в
|
||||
конфиге (`src/projects.py`): один инстанс платформы обслуживает несколько проектов; по
|
||||
префиксу задачи платформа находит репозиторий и настройки.
|
||||
|
||||
### Work-Item / Task — задача конвейера
|
||||
Строка таблицы `tasks`: текущая **стадия** (`stage`), **маршрут** (`track`: полный или
|
||||
багфикс), рабочая **ветка**, счётчики откатов, отметки отмены. Натуральные ключи — ID задачи
|
||||
в Plane и человекочитаемый номер (`ORCH-NNN`). На каждой стадии задача накапливает
|
||||
**артефакты** — номерные документы в `docs/work-items/<ID>/` (от бизнес-запроса до
|
||||
deploy-лога; манифест — [PIPELINE_DOCS](../_standards/PIPELINE_DOCS.md)).
|
||||
|
||||
### Job — единица работы в очереди
|
||||
Строка таблицы `jobs`: что запустить (агент какой стадии), для какой задачи, в каком статусе
|
||||
(`queued` → `running` → терминал). Очередь даёт: **атомарный захват** (два worker'а не возьмут
|
||||
один job), **зависимости** между job'ами, **ретраи** с экспоненциальным backoff и breaker
|
||||
после исчерпания бюджета, ограничение параллелизма.
|
||||
|
||||
### Agent-run — один запуск агента
|
||||
Строка таблицы `agent_runs`: какой агент, какой моделью и эффортом, сколько длился, сколько
|
||||
стоил (токены/доллары). Из этих строк складывается честная стоимость задачи в живой карточке
|
||||
и аналитика по ролям.
|
||||
|
||||
### События вебхуков и дедуп
|
||||
Входящие события Plane/Gitea фиксируются с ключом дедупликации: повторная доставка того же
|
||||
события (ретраи источника, сетевые икоты) не порождает повторной работы.
|
||||
|
||||
## Вспомогательные таблицы
|
||||
|
||||
| Таблица | Зачем |
|
||||
|---------|-------|
|
||||
| `repo_freeze` | durable-заморозка репозитория после деградации прода (serial gate) |
|
||||
| `coverage_baseline` | базовая линия покрытия тестами; растёт только вверх (ratchet) |
|
||||
| `tracker_messages` | леджер всех Telegram-карточек задачи (зачистка сирот) |
|
||||
| `lessons` | машинный журнал уроков — структурированные отклонения конвейера |
|
||||
|
||||
Все изменения схемы — аддитивные и идемпотентные (`CREATE TABLE IF NOT EXISTS`, ensure-column
|
||||
при старте): обновление платформы не требует ручных миграций.
|
||||
|
||||
## Словарь терминов
|
||||
|
||||
| Термин | Значение |
|
||||
|--------|----------|
|
||||
| **Стадия** | Позиция задачи в конвейере; карта стадий — `STAGE_TRANSITIONS` ([блок 2](tech-pipeline.md)) |
|
||||
| **Гейт (exit-гейт)** | Машинная проверка выхода со стадии; реестр — `QG_CHECKS` |
|
||||
| **Под-гейт** | Проверка-врезка внутри перехода (не стадия); см. деплойное ребро в [блоке 2](tech-pipeline.md) |
|
||||
| **Job** | Единица работы в очереди; задача порождает job'ы по мере продвижения |
|
||||
| **Worktree** | Изолированная рабочая копия репозитория для ветки задачи |
|
||||
| **Lease (merge-lease)** | Эксклюзивная блокировка «кто сейчас мержит этот репозиторий» — сериализация слияний |
|
||||
| **Track (маршрут)** | Вариант пути задачи: полный цикл или багфикс с пропуском проектирования |
|
||||
| **Freeze** | Заморозка очереди репозитория после инцидента до ручного разбора |
|
||||
|
||||
---
|
||||
|
||||
*Как объекты двигаются по конвейеру — [блок 2](tech-pipeline.md); кто их создаёт —
|
||||
[агенты](tech-agents.md); как за ними наблюдать — [блок 7](tech-observability.md).*
|
||||
54
docs/overview/tech-integrations.md
Normal file
54
docs/overview/tech-integrations.md
Normal file
@@ -0,0 +1,54 @@
|
||||
# Блок 5. Интеграции: Plane, Gitea, LLM, Telegram
|
||||
|
||||
> Обзорный уровень; детали API, эндпоинтов и вебхуков — в
|
||||
> [инженерном справочнике](../architecture/README.md) и [internals](../architecture/internals.md).
|
||||
|
||||
## Plane — управление задачами
|
||||
|
||||
- **Вход конвейера:** перевод задачи в статус «To Analyse» — единственная точка запуска
|
||||
пайплайна. Вебхуки Plane (HMAC-подписанные) доставляют изменения задач.
|
||||
- **Статусы = индикация, не управление** ([блок 2](tech-pipeline.md)): платформа сама
|
||||
выставляет статусы доски, чтобы человек видел осмысленную картину; управляют конвейером
|
||||
только машина стадий и три управляющих статуса (запуск, человеческие гейты, STOP).
|
||||
- **Лейблы** — декларативные переключатели на задаче: `autoApprove` / `autoDeploy` (снятие
|
||||
человеческих гейтов), `Bug` (багфикс-маршрут). Источник истины — Plane API: ошибка чтения
|
||||
лейблов трактуется как «лейбла нет» (fail-safe — никогда не «авто» по ошибке).
|
||||
- Платформа пишет в задачу комментарии о ходе работ (под ботами ролей) с кликабельными
|
||||
ссылками на ветку/PR.
|
||||
|
||||
## Gitea — git, PR, CI
|
||||
|
||||
- **Каждая задача = одна ветка = один PR.** Ветка срезается от свежего `main`, работа идёт в
|
||||
изолированном worktree, слияние — только после всех гейтов.
|
||||
- **Слияние строго через PR-merge API** — платформенный инвариант: прямой push или
|
||||
force-push в `main` запрещён всем акторам, включая агентов и сам движок.
|
||||
- **Merge-актор устойчив к икотам:** транзиентные ошибки Gitea (таймаут, «try again later»)
|
||||
ретраятся с backoff; необратимые — честный отказ без ложных повторов. Ветка, уже целиком
|
||||
попавшая в `main`, распознаётся и не порождает мусорных PR.
|
||||
- **CI (Gitea Actions)** гонит полный тест-сьют на каждый push ветки; зелёный CI — гейт
|
||||
выхода из разработки (`check_ci_green`).
|
||||
- Вебхуки Gitea (push, PR, статус CI) — второй источник событий конвейера.
|
||||
|
||||
## LLM — Claude CLI
|
||||
|
||||
- Агенты запускаются через **Claude CLI**: launcher собирает команду с промптом роли,
|
||||
`--model` и эффортом, резолвленными **только из конфига** (таблица — в
|
||||
[блоке агентов](tech-agents.md)); имя модели валидируется перед запуском.
|
||||
- Запуск — в worktree ветки задачи: агент видит код своей задачи и ничего лишнего.
|
||||
- Каждый запуск пишет в учёт стоимость и токены ([блок 7](tech-observability.md)).
|
||||
|
||||
## Telegram — живой трекер и алерты
|
||||
|
||||
- **Одна задача = одна живая карточка**: стадия, статус, модель/эффорт агента, стоимость,
|
||||
честные метрики времени. Карточка обновляется «переездом вниз» чата (старая удаляется,
|
||||
свежая приходит тихо); леджер карточек зачищает осиротевшие дубли.
|
||||
- **Алерты** (упавший гейт, ожидание человека, инциденты) приходят отдельными сообщениями
|
||||
с пингом.
|
||||
- **Sidecar-watchdog шлёт в собственный канал** со своим ботом: наблюдатель за платформой
|
||||
не зависит от её Telegram-стека.
|
||||
|
||||
---
|
||||
|
||||
*Развёртывание интеграций с нуля — [LITE_SETUP](../deployment/LITE_SETUP.md) /
|
||||
[BUNDLED_SETUP](../deployment/BUNDLED_SETUP.md); безопасность стыков —
|
||||
[блок 6](tech-quality-security.md).*
|
||||
54
docs/overview/tech-observability.md
Normal file
54
docs/overview/tech-observability.md
Normal file
@@ -0,0 +1,54 @@
|
||||
# Блок 7. Наблюдаемость и аналитика
|
||||
|
||||
> Машинный контракт метрик и устройство sidecar-наблюдателя — в
|
||||
> [инженерном справочнике](../architecture/README.md) (разделы `/metrics` и sidecar-watchdog).
|
||||
|
||||
## Живая Telegram-карточка задачи
|
||||
|
||||
Каждая задача — одна карточка в Telegram, обновляемая на каждом событии:
|
||||
|
||||
- текущая стадия и Plane-статус (включая человеческие гейты — видно, когда задача ждёт вас);
|
||||
- строка работающего агента: роль · модель · эффорт;
|
||||
- стоимость задачи нарастающим итогом (токены/доллары по каждому запуску агента);
|
||||
- честные метрики времени на финише: время агентов / время ожидания человека / общее
|
||||
календарное — три независимые цифры, а не одна вводящая в заблуждение сумма;
|
||||
- кликабельный номер задачи (ведёт в Plane), отметка багфикс-маршрута.
|
||||
|
||||
Карточка тихая (без пингов); пингуют только алерты: красный гейт, ожидание решения человека,
|
||||
инциденты.
|
||||
|
||||
## Служебные страницы платформы
|
||||
|
||||
- **`GET /queue`** — человекочитаемый снимок всего конвейера: очередь и job'ы, состояние
|
||||
serial gate и заморозок, авто-лейблы, багфикс-трек, coverage, журнал уроков, фоновые
|
||||
демоны. Первая точка диагностики «что сейчас происходит».
|
||||
- **`GET /metrics`** — машинный контракт для внешнего наблюдателя (версионированная схема):
|
||||
health, возраст последних событий, счётчики сбоев.
|
||||
- **`GET /health`** — живость процесса.
|
||||
|
||||
## Sidecar-watchdog: наблюдатель отделён от наблюдаемого
|
||||
|
||||
Отдельный контейнер-сторож опрашивает `/metrics` платформы и шлёт алерты в **собственный**
|
||||
Telegram-канал со **своим** ботом. Падение платформы, зависание очереди или протухание
|
||||
событий видно даже тогда, когда сама платформа уже не может пожаловаться.
|
||||
|
||||
## Журнал уроков
|
||||
|
||||
Машинная таблица отклонений конвейера: красные гейты, ложные блокировки слияния, исчерпание
|
||||
ретраев, деградации после выкладки. Каждая запись — контекст (задача, стадия, агент, репо),
|
||||
первопричина и предложение. Журнал — наблюдатель (никогда не влияет на продвижение задач) и
|
||||
фундамент петли самообучения платформы: уроки доступны через API и копятся для будущего
|
||||
ретроспективного анализа.
|
||||
|
||||
## Стоимость и аналитика по агентам
|
||||
|
||||
Каждый запуск агента фиксирует модель, эффорт, длительность и стоимость
|
||||
([модель объектов](tech-data-model.md)). Это даёт ответы на вопросы «сколько стоит задача»,
|
||||
«какая роль ест бюджет», «как изменилась экономика после смены модели» — по фактам, не по
|
||||
ощущениям.
|
||||
|
||||
---
|
||||
|
||||
*Что делать при инцидентах и как устроен прод — `docs/operations/` (через
|
||||
[инженерный справочник](../architecture/README.md)); бизнес-взгляд на наблюдаемость —
|
||||
[business.md](business.md).*
|
||||
103
docs/overview/tech-pipeline.md
Normal file
103
docs/overview/tech-pipeline.md
Normal file
@@ -0,0 +1,103 @@
|
||||
# Блок 2. Конвейер: стадии, гейты, маршруты
|
||||
|
||||
> Источник истины — карта переходов `STAGE_TRANSITIONS` в `src/stages.py` и реестр гейтов
|
||||
> `QG_CHECKS` в `src/qg/checks.py`; перечень ниже сверяется с кодом структурным тестом
|
||||
> (`tests/test_system_docs.py`). Норматив структуры доков конвейера —
|
||||
> [PIPELINE_DOCS](../_standards/PIPELINE_DOCS.md).
|
||||
|
||||
## Схема конвейера
|
||||
|
||||
```
|
||||
created → analysis → architecture → development → review → testing → deploy-staging → deploy → done
|
||||
↑ │
|
||||
└──── REQUEST_CHANGES ─────┘ (откат на доработку, max 3)
|
||||
```
|
||||
|
||||
Плюс системный сток **`cancelled`** — терминальное состояние отменённой задачи (кнопка STOP,
|
||||
см. ниже). Это не ребро конвейера, а равноправный `done` сток: попасть в него можно с любой
|
||||
стадии, выйти — нельзя.
|
||||
|
||||
## Стадии и гейты выхода
|
||||
|
||||
Гейт выхода (exit-гейт) — машинная проверка, без которой задача не покидает стадию:
|
||||
|
||||
| Стадия | Кто работает | Гейт выхода (имя в реестре) | Что проверяет |
|
||||
|--------|--------------|------------------------------|----------------|
|
||||
| `created` | — | — | вход конвейера (вебхук Plane) |
|
||||
| `analysis` | analyst | `check_analysis_approved` | пакет аналитики полон И постановка одобрена человеком |
|
||||
| `architecture` | architect | `check_architecture_done` | ADR / инфра-требования зафиксированы |
|
||||
| `development` | developer | `check_ci_green` | CI на ветке задачи зелёный |
|
||||
| `review` | reviewer | `check_reviewer_verdict` | машинный вердикт ревью: APPROVED |
|
||||
| `testing` | tester | `check_tests_passed` | машинный вердикт тестера: PASS |
|
||||
| `deploy-staging` | deployer | `check_staging_status` | репетиция выкладки на песочнице успешна |
|
||||
| `deploy` | deployer / finalizer | `check_deploy_status` | прод-выкладка реально успешна |
|
||||
| `done` | — | — | терминал |
|
||||
| `cancelled` | — | — | терминал (сток отмены) |
|
||||
|
||||
## Под-гейты деплойного ребра — врезки, не стадии
|
||||
|
||||
На переходе `deploy-staging → deploy` исполняются четыре под-гейта в нормативном порядке
|
||||
(security → merge → coverage → image-freshness):
|
||||
|
||||
1. `check_security_gate` — секреты/зависимости, вердикт из security-отчёта;
|
||||
2. `check_branch_mergeable` — merge-gate: ветка догнана до свежего `main` (под merge-lease)
|
||||
и мержабельна;
|
||||
3. `check_coverage_gate` — покрытие тестами не ниже базовой линии/порога (baseline-ratchet);
|
||||
4. `check_staging_image_fresh` — staging-образ собран из актуального кода.
|
||||
|
||||
Это **врезки в переход, а не стадии**: они не появляются в карте `STAGE_TRANSITIONS`, а
|
||||
исполняются stage engine'ом внутри ребра. Провал любого из них — откат на доработку. На ребре
|
||||
`deploy → done` аналогичная врезка merge-verify подтверждает, что код задачи реально слит в
|
||||
`main` (слияние — только через PR-API Gitea, см. [интеграции](tech-integrations.md)).
|
||||
|
||||
## Откаты
|
||||
|
||||
`REQUEST_CHANGES` от ревьюера, проваленные тесты или красный под-гейт возвращают задачу на
|
||||
стадию разработки с дословным перечнем замечаний. Лимит — 3 попытки подряд, дальше задача
|
||||
останавливается и требует человека (анти-петля).
|
||||
|
||||
## Человеческие гейты и их снятие авто-лейблами
|
||||
|
||||
В штатном прогоне человек принимает ровно два решения:
|
||||
|
||||
- **Одобрение постановки** (на `analysis`): перевод задачи в статус Approved пропускает её
|
||||
дальше;
|
||||
- **Подтверждение прод-выкладки** (на `deploy`): отдельный статус **Confirm Deploy** — чтобы
|
||||
привычный «approve» не выкатывал прод случайным кликом.
|
||||
|
||||
Оба решения можно снять декларативно — лейблами **autoApprove** / **autoDeploy** на задаче
|
||||
(пакетный авто-режим). Снимается только ожидание человеческого сигнала: ни одна техническая
|
||||
проверка не пропускается, autoDeploy физически не может выкатить непрошедшее под-гейты.
|
||||
|
||||
## Багфикс-маршрут
|
||||
|
||||
Задача с меткой **Bug** едет коротким путём: облегчённая аналитика (но полный пакет
|
||||
документов) и пропуск стадии `architecture` — из аналитики сразу в разработку. Срезается
|
||||
только аналитика/проектирование: **все гейты исполняются без изменений**. Сложный баг
|
||||
эскалируется обратно в полный цикл.
|
||||
|
||||
## Последовательность внутри репозитория (serial gate)
|
||||
|
||||
Новая задача репозитория не входит в работу, пока не завершена более ранняя (FIFO): ветка
|
||||
каждой задачи срезается от свежего `main`, уже содержащего код предшественника. Деградация
|
||||
прода после выкладки замораживает репозиторий (freeze) до ручного разбора — следующие задачи
|
||||
ждут.
|
||||
|
||||
## Отмена: STOP → `cancelled`
|
||||
|
||||
Перевод задачи в статус **STOP** останавливает агента, снимает job'ы с очереди, удаляет
|
||||
рабочую ветку и worktree и переводит задачу в `cancelled`. Если задача в необратимой фазе
|
||||
(идёт слияние/выкладка) — отмена откладывается и применяется после честного завершения шага.
|
||||
STOP никогда не трогает `main` и прод-контейнер.
|
||||
|
||||
## Статусная модель Plane: индикация ≠ управление
|
||||
|
||||
Статусы в Plane — слой **индикации**: они показывают человеку осмысленную картину хода задачи,
|
||||
но никогда не управляют конвейером (машина стадий — только `STAGE_TRANSITIONS`). Управляющих
|
||||
статусов ровно три: запуск в работу, Approved/Confirm Deploy (человеческие гейты) и STOP
|
||||
(отмена). Полная карта статусов — в [инженерном справочнике](../architecture/README.md).
|
||||
|
||||
---
|
||||
|
||||
*Кто работает на каждой стадии и что сдаёт — [агенты](tech-agents.md); как гейты читают
|
||||
вердикты — [качество и безопасность](tech-quality-security.md).*
|
||||
63
docs/overview/tech-quality-security.md
Normal file
63
docs/overview/tech-quality-security.md
Normal file
@@ -0,0 +1,63 @@
|
||||
# Блок 6. Качество и безопасность
|
||||
|
||||
> Реестр гейтов и их распределение по стадиям — [блок 2](tech-pipeline.md); механизм
|
||||
> machine-verdict доков — [PIPELINE_DOCS §3](../_standards/PIPELINE_DOCS.md); машинный
|
||||
> контракт стадий — [HANDOFF_PROTOCOL](../_standards/HANDOFF_PROTOCOL.md).
|
||||
|
||||
## Философия Quality Gates
|
||||
|
||||
**Вердикты — машинные, никогда проза.** Гейт читает вердикт ТОЛЬКО из YAML-frontmatter
|
||||
артефакта (ключи вида `verdict:`, `result:`, `staging_status:`, `deploy_status:`,
|
||||
`security_status:` — имена и регистр неизменны байт-в-байт). Агент не может «уговорить» гейт
|
||||
красивым отчётом: нет ключа — нет прохода. Парсинг frontmatter сведён к единому контракту
|
||||
`src/frontmatter.py` — одна точка чтения для всех гейтов.
|
||||
|
||||
**Гейт ≠ маршрутизация.** Маршруты задач (багфикс-трек, авто-лейблы, serial gate) — свойство
|
||||
планировщика; ни один из них не ослабляет ни одного гейта. Любая новая способность платформы
|
||||
проектируется так, чтобы реестр гейтов и карта стадий не трогались.
|
||||
|
||||
**Анти-петля.** Откаты на доработку ограничены (max 3 подряд); инструментальные сбои
|
||||
вспомогательных проверок по умолчанию fail-open с предупреждением (не запирают конвейер),
|
||||
критичные проверки — fail-closed.
|
||||
|
||||
## Специальные гейты деплойного ребра
|
||||
|
||||
- **Security-гейт** (`check_security_gate`) — детерминированная (без LLM) проверка секретов и
|
||||
зависимостей перед продом; вердикт — `security_status:` в отчёте задачи.
|
||||
- **Coverage-гейт** (`check_coverage_gate`) — покрытие тестами измеряется на финальном коде
|
||||
ветки; базовая линия по репозиторию растёт только вверх (ratchet при подтверждённом
|
||||
слиянии) — покрытие не может деградировать молча.
|
||||
|
||||
Оба — врезки в переход ([блок 2](tech-pipeline.md)), включаются по конфигу и скоупятся по
|
||||
репозиториям.
|
||||
|
||||
## Канон секретов
|
||||
|
||||
- Секреты живут **только в `.env`-файлах на хосте** и никогда не коммитятся; в git — только
|
||||
канон-примеры с пустыми плейсхолдерами.
|
||||
- Для нового хоста секреты **выпускаются свежими** (`scripts/gen_secrets.py`), боевые не
|
||||
копируются.
|
||||
- Анти-регресс машинный: структурные тесты сканируют исполняемый код на боевые хост-литералы,
|
||||
а документацию — на секретоподобные значения; находка рвёт CI.
|
||||
|
||||
## Self-hosting-страховки
|
||||
|
||||
Платформа дорабатывает сама себя тем же конвейером — прод-инстанс при этом обслуживает и
|
||||
другие проекты. Страховки:
|
||||
|
||||
- **Песочница обязательна:** перед прод-выкладкой платформы изменение репетируется на
|
||||
staging-инстансе (отдельный порт/БД); guard не даёт staging-операциям коснуться прод-порта.
|
||||
- **Прод-выкладка — только по явному человеческому статусу Confirm Deploy** (обычный approve
|
||||
прод не выкатывает); деплой идёт детачнутым процессом с финализатором — честный исход
|
||||
фиксируется даже при рестарте.
|
||||
- **`main` неприкосновенен:** слияние только через PR-API, force-push запрещён всем.
|
||||
- **Прод-контейнер никогда не роняется задачей**: агенты проверяют изменения локально и на
|
||||
песочнице; рестарт прода — только штатным деплой-маршрутом.
|
||||
- **Пост-деплой наблюдение:** после выкладки платформа следит за своим здоровьем; деградация
|
||||
замораживает репозиторий и зовёт человека.
|
||||
|
||||
---
|
||||
|
||||
*Операционные детали и топология прода — `docs/operations/` (см.
|
||||
[инженерный справочник](../architecture/README.md)); наблюдение за здоровьем —
|
||||
[блок 7](tech-observability.md).*
|
||||
7
docs/work-items/ORCH-011/00-business-request.md
Normal file
7
docs/work-items/ORCH-011/00-business-request.md
Normal file
@@ -0,0 +1,7 @@
|
||||
# Business Request: Полная документация системы мультиагентов оркестратора (бизнес + тех, для людей и презентаций)
|
||||
|
||||
Work Item ID: ORCH-011
|
||||
|
||||
## Description
|
||||
|
||||
TBD
|
||||
199
docs/work-items/ORCH-011/01-brd.md
Normal file
199
docs/work-items/ORCH-011/01-brd.md
Normal file
@@ -0,0 +1,199 @@
|
||||
---
|
||||
work_item: ORCH-011
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-11
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 01 — BRD: ORCH-011 — Полная документация системы мультиагентов оркестратора (бизнес + тех, для людей и презентаций)
|
||||
|
||||
Work Item: **ORCH-011** · Repo: **orchestrator** (self-hosting) · Стадия: analysis
|
||||
Заказчик: Владелец (Слава)
|
||||
Тип: docs+tests (паттерн ORCH-102/103 — golden-source-документ + структурные анти-дрейф тесты; рантайм не трогается)
|
||||
|
||||
---
|
||||
|
||||
## 1. Бизнес-контекст и проблема
|
||||
|
||||
### 1.1. Цель
|
||||
Описать работу **всей** мультиагентной системы оркестратора в **одном месте** — от бизнес-смысла
|
||||
(зачем, какую проблему решает, что умеет) до технического устройства (архитектура, конвейер,
|
||||
агенты, модель объектов, интеграции, качество, наблюдаемость). Документация нужна, чтобы:
|
||||
1. **другие люди** (разработчики, заказчики, менеджеры проектов) могли разобраться, как работает
|
||||
оркестратор, не раскапывая 60+ work-item пакетов и 40 ADR;
|
||||
2. на её основе **генерировать презентационные материалы** по использованию и возможностям
|
||||
(решение Владельца: слайды PowerPoint, стильный тёмный дизайн, точный рендеринг).
|
||||
|
||||
### 1.2. Корневая проблема — документация богатая, но фрагментированная
|
||||
Установленные факты (проверено по дереву репо, не изобретать):
|
||||
|
||||
| Что есть | Где | Ограничение как «единого места» |
|
||||
|----------|-----|---------------------------------|
|
||||
| Паспорт проекта | `CLAUDE.md` | для агентов/разработчиков; плотный реестр доработок, не вводный текст |
|
||||
| Тех-витрина | `README.md` | только технический уровень; обзор без бизнес-слоя |
|
||||
| Бизнес-видение | `docs/PRODUCT_VISION.md` (v1.0, 2026-06-04) | «концепция развития» (vision), не описание текущего состояния; не покрывает тех-уровень |
|
||||
| Детальная архитектура | `docs/architecture/README.md` (~1246 строк), `internals.md` | глубокий справочник для инженеров; нечитаем «с нуля» нетехническим читателем |
|
||||
| Решения | `docs/architecture/adr/` (40 сквозных ADR) + per-work-item ADR | точечные решения, не цельная картина |
|
||||
| Стандарты | `docs/_standards/` (PIPELINE_DOCS, HANDOFF_PROTOCOL, TRACEABILITY) | нормативы для агентов |
|
||||
| Эксплуатация/тираж | `docs/operations/` (8 runbook'ов), `docs/deployment/` (LITE_SETUP, BUNDLED_SETUP) | операторские инструкции |
|
||||
| История/уроки | `docs/history/`, `docs/epics/self-evolution.md` | сырьё, не витрина |
|
||||
|
||||
**Ни один** из этих документов не является единой точкой входа «бизнес + тех» для трёх целевых
|
||||
аудиторий. Новому человеку (заказчику, менеджеру, новому разработчику) сегодня нужно собирать
|
||||
картину из 5–8 разных мест с разной степенью детализации и разным языком. Презентацию о
|
||||
возможностях системы собирать не из чего — нет слайдо-готового источника.
|
||||
|
||||
### 1.3. Почему сейчас
|
||||
- Платформа достигла тиражируемости (ORCH-101/102/103: Lite- и Bundled-развёртывание у заказчика)
|
||||
— появился **внешний читатель** (заказчики-тестеры), которому нужно объяснять систему.
|
||||
- Самовоспроизводящийся темп доработок (self-hosting) без единой витрины делает порог входа всё
|
||||
выше с каждой задачей.
|
||||
|
||||
### 1.4. Решения Владельца (из бизнес-запроса) — приняты как требования
|
||||
| # | Решение |
|
||||
|---|---------|
|
||||
| D-1 | Формат презентационных материалов — **слайды PowerPoint**, стильный **тёмный дизайн**, точный рендеринг. |
|
||||
| D-2 | Аудитория документации — **разработчики, заказчики, менеджеры проектов** (три явных маршрута чтения). |
|
||||
| D-3 | Единое место — репозиторий orchestrator: `docs/` (+ возможно compiled-wiki — как опция, см. §2.2). |
|
||||
| D-4 | Поддерживать в актуальном состоянии: документация обновляется **сразу после изменения функционала** (правило CLAUDE.md §2 распространяется на новую витрину). |
|
||||
|
||||
---
|
||||
|
||||
## 2. Объём (scope)
|
||||
|
||||
### 2.1. В объёме
|
||||
- **Единая витрина системы** — новый связный раздел в `docs/` с одной точкой входа (индексом),
|
||||
покрывающий **два уровня**:
|
||||
- **Бизнес-уровень** (для нетехнических читателей и презентаций): зачем нужен оркестратор и
|
||||
какую проблему решает; что умеет (автономный конвейер «задача → прод», мультипроектность,
|
||||
самовосстановление, пакетный авто-режим, багфикс-трек, тиражируемость); ценность и
|
||||
возможности простым языком; сценарии использования.
|
||||
- **Технический уровень** (7 блоков, контент-карта — TRZ §3):
|
||||
1) архитектура — компоненты и их связи; 2) конвейер/стадии и гейты на переходах;
|
||||
3) агенты — 6 ролей, входы/выходы, артефакты, шаблоны; 4) структура объектов —
|
||||
Project/Work-Item, реестр проектов, jobs-очередь, события/дедуп, каноническая модель БД;
|
||||
5) интеграции — Plane, Gitea, LLM-модели, Telegram; 6) качество/безопасность;
|
||||
7) аналитика/наблюдаемость.
|
||||
- **Маршруты чтения** для трёх аудиторий (D-2): «я заказчик / я менеджер / я разработчик —
|
||||
с чего начать и что читать дальше».
|
||||
- **Презентационная основа** (D-1): слайдо-структурированный источник (последовательность
|
||||
слайдов: заголовок/тезисы/визуальный мотив) + воспроизводимый путь получения `.pptx` в тёмном
|
||||
дизайне. Выбор инструмента генерации — за архитектором (TRZ §3.4, OQ-2).
|
||||
- **Норматив сопровождения**: правило «изменил функционал → обнови витрину в том же PR»
|
||||
зафиксировано в витрине и в правилах агентов (D-4; ось reviewer'а по обзорным докам уже
|
||||
существует — ORCH-079).
|
||||
- **Анти-дрейф**: структурные pytest-тесты каркаса витрины (по образцу
|
||||
`tests/test_lite_setup_doc.py` / `test_bundled_setup_doc.py`): обязательные разделы, сверка
|
||||
карты стадий импортом `src/stages.py::STAGE_TRANSITIONS`, полнота 6 агентов, валидность
|
||||
внутренних ссылок, запрет секретов/хост-хардкодов.
|
||||
- Обновление указателей: `README.md`, `CLAUDE.md` (ссылка на витрину), `CHANGELOG.md`.
|
||||
|
||||
### 2.2. Вне объёма (явно, не делать)
|
||||
- **Любые изменения рантайма:** `src/**`, `STAGE_TRANSITIONS`, `QG_CHECKS`, `check_*`,
|
||||
machine-verdict ключи, схема БД, compose/Dockerfile — байт-в-байт.
|
||||
- **Compiled-wiki / внешняя вики-платформа** — вне объёма v1: репозиторий остаётся единственным
|
||||
источником истины («канон не форкается», паттерн ORCH-009 BR-2); экспорт в wiki — возможное
|
||||
развитие, фиксируется как открытый вопрос (TRZ §9 OQ-4), не реализуется.
|
||||
- **Перенос вне-репозиторных источников в репо**: `tasks/orchestrator/STATUS.md`, `BACKLOG.md`,
|
||||
PROGRESS-журналы, дневники `memory/` физически в репозитории отсутствуют — они служат лишь
|
||||
затравками для содержания; сами файлы в гит не переносятся (внутренняя кухня, риск утечки
|
||||
контекста/секретов).
|
||||
- **Переписывание/замена существующих golden sources** (`docs/architecture/README.md`,
|
||||
`internals.md`, стандарты `docs/_standards/`, deployment-доки): витрина ссылается на них,
|
||||
а не дублирует и не подменяет (анти-«второй источник истины», BR-4).
|
||||
- **Автогенерация документации из кода** (doc-from-code, autodoc) — вне объёма.
|
||||
- **Маркетинговые материалы за пределами PPTX-основы** (видео, лендинги, демо-стенды).
|
||||
- Новые runtime-зависимости прод-образа (включая библиотеки генерации презентаций) — запрещено
|
||||
(NFR-2).
|
||||
|
||||
---
|
||||
|
||||
## 3. Заинтересованные стороны
|
||||
- **Владелец/оператор (Слава)** — заказчик задачи; принимает витрину и презентационную основу;
|
||||
использует слайды для показа возможностей платформы.
|
||||
- **Заказчики платформы** (внешние, включая тестеров Lite/Bundled-тиража ORCH-102/103) — читают
|
||||
бизнес-уровень и сценарии; смотрят презентацию.
|
||||
- **Менеджеры проектов** — читают бизнес-уровень + конвейер/статусную модель (что видно в Plane,
|
||||
какие человеческие гейты есть).
|
||||
- **Разработчики** (люди и агенты самого оркестратора) — входят через витрину в технический
|
||||
уровень и далее по ссылкам в golden sources.
|
||||
- **Reviewer-агент конвейера** — контролирует соблюдение норматива сопровождения витрины
|
||||
(расширение оси «обзорные доки» ORCH-079).
|
||||
|
||||
---
|
||||
|
||||
## 4. Бизнес-требования (BR)
|
||||
|
||||
| ID | Требование | Связь |
|
||||
|----|------------|-------|
|
||||
| BR-1 | В `docs/` существует **единая точка входа** (индекс витрины), из которой достижимы оба уровня (бизнес/тех) и все 7 тех-блоков; любой из трёх читателей начинает с одного места. | D-3, AC-1 |
|
||||
| BR-2 | **Бизнес-уровень** читается нетехническим человеком: проблема → решение → ценность → возможности → сценарии использования; термины конвейера объяснены по-человечески; без необъяснённого жаргона и кодовых идентификаторов в основном тексте. | D-2, AC-2 |
|
||||
| BR-3 | **Технический уровень** покрывает все 7 заявленных блоков (§2.1) и соответствует фактическому коду/канону репо: карта стадий = `STAGE_TRANSITIONS`, реестр гейтов = `QG_CHECKS` + под-гейты, агенты = 6 промптов `.openclaw/agents/` + таблица модель/эффорт (ORCH-41), модель данных = фактические таблицы `src/db.py`. | AC-3, AC-4, AC-5 |
|
||||
| BR-4 | **Link-first / не форкается канон:** витрина даёт цельную картину и ссылается на golden sources за деталями (architecture/README, internals, стандарты, ADR, deployment-доки); не создаёт второй источник истины и не противоречит коду. | §2.2, AC-6 |
|
||||
| BR-5 | **Презентационная основа:** в репо есть слайдо-структурированный источник (бизнес-нарратив → слайды) и воспроизводимый, документированный путь получения `.pptx` в тёмном дизайне (D-1). Инструмент — выбор архитектора; запуск — вне рантайма конвейера. | D-1, AC-7 |
|
||||
| BR-6 | **Маршруты аудиторий:** витрина содержит явные маршруты чтения для заказчика / менеджера / разработчика (D-2). | D-2, AC-8 |
|
||||
| BR-7 | **Норматив сопровождения:** правило «изменил функционал → обнови витрину в том же PR» зафиксировано в витрине и видимо агентам (CLAUDE.md-указатель); reviewer-ось обзорных доков покрывает витрину. | D-4, AC-9 |
|
||||
| BR-8 | **Анти-дрейф:** каркас витрины и её ключевые машинно-проверяемые факты (стадии, агенты, ссылки, отсутствие секретов) защищены структурными pytest-тестами; их падение ловит расхождение витрины с кодом. | AC-10 |
|
||||
| BR-9 | Существующие указатели актуализированы: `README.md` и `CLAUDE.md` ссылаются на витрину; `CHANGELOG.md` несёт запись. | AC-11 |
|
||||
|
||||
---
|
||||
|
||||
## 5. Нефункциональные требования (NFR)
|
||||
|
||||
| ID | Требование |
|
||||
|----|------------|
|
||||
| NFR-1 | **docs+tests only:** `src/**` байт-в-байт; `STAGE_TRANSITIONS` / `QG_CHECKS` / `check_*` / machine-verdict ключи / схема БД / compose / Dockerfile — не тронуты. Kill-switch не нужен: документация не исполняется (паттерн ORCH-102/103). |
|
||||
| NFR-2 | **Прод-образ без новых зависимостей:** генерация презентации (если скриптом) исполняется вне рантайма (host/dev-окружение, явный запуск человеком — паттерн ORCH-009); зависимости генерации НЕ попадают в `requirements`/образ оркестратора. |
|
||||
| NFR-3 | **Без секретов и хост-специфики** в новых доках/источниках презентации: токены, внутренние URL/имена хостов — только плейсхолдерами (паттерн `tests/test_no_host_hardcodes.py` / fenced-скан `test_lite_setup_doc.py`). |
|
||||
| NFR-4 | **Язык:** русский (канон репо; языковое исключение deployer.md не затрагивается). Терминология единая со статусной моделью Plane (ORCH-066) и PIPELINE_DOCS. |
|
||||
| NFR-5 | **Self-hosting safety:** задача не рестартит/не роняет прод-контейнер; прод-деплой — только штатным маршрутом конвейера (staging-гейт + Confirm Deploy). |
|
||||
| NFR-6 | **Поддерживаемость:** витрина модульная (отдельные файлы по блокам, связанные индексом), чтобы будущие правки были точечными; объём основного текста разумен за счёт link-first (BR-4). |
|
||||
|
||||
---
|
||||
|
||||
## 6. Допущения и ограничения
|
||||
- **Вне-репозиторные затравки** (`tasks/orchestrator/STATUS.md`, `BACKLOG.md`, PROGRESS-журналы,
|
||||
`memory/`) в worktree недоступны — содержание витрины строится из **внутрирепозиторных** golden
|
||||
sources (CLAUDE.md, README, PRODUCT_VISION, architecture/, _standards/, ADR, deployment/,
|
||||
history/). Этого достаточно: репо самодостаточен по фактам (проверено §1.2).
|
||||
- `docs/PRODUCT_VISION.md` остаётся самостоятельным vision-документом; витрина переиспользует его
|
||||
бизнес-нарратив со сверкой с фактическим состоянием (что из vision уже реализовано — например,
|
||||
тираж ORCH-101/102/103) и ссылается на него.
|
||||
- Точное имя/структура каталога витрины — решение архитектора (рекомендация TRZ §2: новый каталог
|
||||
в `docs/`, например `docs/overview/`); анти-дрейф тесты пишутся под выбранные пути.
|
||||
- Бинарный артефакт `.pptx`: коммит бинаря в git спорен — решает архитектор (OQ-3); требование
|
||||
BR-5 — воспроизводимость пути генерации, не обязательность бинаря в репо.
|
||||
- Задача объёмная по контенту: допускается реализация витрины «вглубь по блокам» в одном PR
|
||||
(один прогон developer); если объём не помещается — эскалация на уровне задач (разбиение)
|
||||
по штатному маршруту, не молчаливое сокращение объёма.
|
||||
|
||||
---
|
||||
|
||||
## 7. Критерии успеха (резюме; детали — 03-acceptance-criteria.md)
|
||||
- AC-1 единая точка входа существует и связывает оба уровня и маршруты аудиторий.
|
||||
- AC-2 бизнес-уровень самодостаточен для нетехнического читателя.
|
||||
- AC-3…AC-5 тех-уровень покрывает 7 блоков и сходится с кодом (стадии/гейты/агенты/модель данных).
|
||||
- AC-6 link-first: ссылки на golden sources валидны, дублирования-противоречий нет.
|
||||
- AC-7 презентационная основа есть; путь к `.pptx` (тёмный дизайн) воспроизводим и документирован.
|
||||
- AC-8 маршруты трёх аудиторий присутствуют.
|
||||
- AC-9 норматив сопровождения зафиксирован.
|
||||
- AC-10 структурные анти-дрейф тесты существуют и зелёные; полный pytest зелёный.
|
||||
- AC-11 README/CLAUDE.md/CHANGELOG обновлены; `src/**` не тронут.
|
||||
|
||||
---
|
||||
|
||||
## 8. Риски (кратко; детали — 10-tech-risks.md, заполняет архитектор)
|
||||
- **R-1 — гниение витрины.** Self-hosting темп (несколько задач в неделю) быстро устаревает любой
|
||||
снапшот. Митигция: link-first (BR-4) + норматив сопровождения (BR-7) + структурные тесты на
|
||||
машинно-проверяемые факты (BR-8) — дрейф ловится CI, а не глазами.
|
||||
- **R-2 — второй источник истины.** Дублирование деталей architecture/README в витрине приведёт к
|
||||
противоречиям. Митигция: витрина = картина + ссылки; детали живут в существующих golden sources.
|
||||
- **R-3 — объём одного прогона.** Полная витрина + презентация + тесты могут не поместиться в один
|
||||
PR разумного размера. Митигция: модульность (NFR-6), приоритет блоков, при необходимости —
|
||||
эскалация/разбиение (допущение §6).
|
||||
- **R-4 — зависимость генерации презентации.** Библиотека генерации PPTX в прод-образе — лишний
|
||||
attack-surface/вес. Митигция: NFR-2 (вне рантайма), решение по инструменту — ADR архитектора.
|
||||
- **R-5 — расползание скопа в маркетинг.** Слайды → «а давайте ещё видео/лендинг». Митигция:
|
||||
жёсткая граница §2.2.
|
||||
191
docs/work-items/ORCH-011/02-trz.md
Normal file
191
docs/work-items/ORCH-011/02-trz.md
Normal file
@@ -0,0 +1,191 @@
|
||||
---
|
||||
work_item: ORCH-011
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-11
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 02 — ТЗ (TRZ): ORCH-011 — Полная документация системы мультиагентов оркестратора
|
||||
|
||||
Work Item: **ORCH-011** · Repo: **orchestrator** · Стадия: analysis
|
||||
|
||||
> ТЗ описывает **что** должно появиться/измениться и **где** (файлы, структура, контент-карта,
|
||||
> источники истины). **Как** (точное имя каталога витрины, инструмент генерации PPTX, разбиение
|
||||
> на файлы) — решает архитектор в `06-adr/`. Тип изменения — **docs+tests** (паттерн
|
||||
> ORCH-102/103): рантайм не трогается.
|
||||
|
||||
---
|
||||
|
||||
## 1. Сводка изменения
|
||||
Создать в `docs/` **единую витрину системы** — связный набор документов с одной точкой входа,
|
||||
описывающий мультиагентный оркестратор на двух уровнях (бизнес + технический, 7 блоков),
|
||||
с маршрутами чтения для трёх аудиторий (разработчики / заказчики / менеджеры), слайдо-готовой
|
||||
презентационной основой (PowerPoint, тёмный дизайн) и нормативом сопровождения. Каркас и
|
||||
машинно-проверяемые факты витрины защитить структурными pytest-тестами (анти-дрейф). Обновить
|
||||
указатели (`README.md`, `CLAUDE.md`, `CHANGELOG.md`). `src/**` — байт-в-байт.
|
||||
|
||||
---
|
||||
|
||||
## 2. Задействованные модули / пути
|
||||
|
||||
| Путь | Действие |
|
||||
|------|----------|
|
||||
| `docs/<витрина>/` (рекомендация: `docs/overview/`; финальное имя — ADR архитектора) | **создать**: индекс + бизнес-часть + тех-часть (7 блоков) + маршруты аудиторий + презентационная основа |
|
||||
| `docs/<витрина>/README.md` (или `index.md` — по ADR) | **создать**: единая точка входа (BR-1) |
|
||||
| `tests/test_system_docs.py` (имя — по паттерну `test_lite_setup_doc.py`; финал — ADR) | **создать**: структурный анти-дрейф витрины (FR-7) |
|
||||
| `scripts/` (опционально, по ADR — например `scripts/build_presentation.py`) | **создать (опц.)**: генерация `.pptx` из презентационной основы (FR-4) |
|
||||
| `README.md` | изменить: ссылка на витрину (раздел-указатель) |
|
||||
| `CLAUDE.md` | изменить: указатель на витрину + норматив сопровождения (FR-6) |
|
||||
| `CHANGELOG.md` | изменить: запись `docs:` |
|
||||
| `docs/PRODUCT_VISION.md` | НЕ переписывать; допустима врезка-ссылка на витрину |
|
||||
| `src/**`, `docker-compose.yml`, `Dockerfile`, `requirements*` | **НЕ трогать** (NFR-1, NFR-2) |
|
||||
|
||||
Чтение (источники истины для контента, без изменения): `src/stages.py`, `src/qg/checks.py`,
|
||||
`src/db.py`, `src/projects.py`, `src/plane_sync.py`, `src/notifications.py`, `src/queue_worker.py`,
|
||||
`src/agents/launcher.py`, `.openclaw/agents/*.md`, `docs/architecture/README.md`, `internals.md`,
|
||||
`docs/_standards/*`, `docs/architecture/adr/*`, `docs/deployment/*`, `docs/operations/*`,
|
||||
`docs/PRODUCT_VISION.md`.
|
||||
|
||||
---
|
||||
|
||||
## 3. Функциональные требования
|
||||
|
||||
### FR-1 — Единая точка входа и каркас витрины (BR-1, NFR-6)
|
||||
- Новый каталог в `docs/` с индекс-документом, который: (а) в 1–2 абзацах отвечает «что это за
|
||||
система»; (б) ведёт на бизнес-часть и тех-часть; (в) несёт маршруты чтения трёх аудиторий
|
||||
(FR-5); (г) несёт норматив сопровождения (FR-6).
|
||||
- Витрина модульная: отдельные файлы по частям/блокам, связанные индексом (а не один монолит) —
|
||||
точечные правки в будущем дешевле. Точная разбивка — ADR.
|
||||
- Все внутренние ссылки — относительные, валидные (проверяется тестом FR-7).
|
||||
|
||||
### FR-2 — Бизнес-уровень (BR-2)
|
||||
Содержание (для нетехнического читателя; источники: `docs/PRODUCT_VISION.md` §1–2, `README.md`,
|
||||
`CLAUDE.md` TL;DR — со сверкой с фактическим состоянием кода):
|
||||
- **Проблема и решение:** люди-бутылочное-горлышко в передачах между ролями → конвейер ИИ-агентов
|
||||
«постановка → прод», человек = постановщик и приёмщик.
|
||||
- **Что умеет (фактическое состояние, не vision):** автономный конвейер задача→прод с гейтами
|
||||
качества; мультипроектность (несколько репо из одного инстанса); самовосстановление
|
||||
(reconciler / job-reaper / watchdog'и / sidecar); пакетный авто-режим (serial gate ORCH-088 +
|
||||
autoApprove/autoDeploy ORCH-089); дешёвый багфикс-трек (ORCH-019); отмена задач (STOP,
|
||||
ORCH-090); наблюдаемость (живая Telegram-карточка, `/queue`, `/metrics`, журнал уроков);
|
||||
самообслуживание (self-hosting — платформа дорабатывает себя); тиражируемость (Lite/Bundled,
|
||||
ORCH-101/102/103).
|
||||
- **Ценность простым языком:** скорость / стоимость / автономность / надёжность / масштаб
|
||||
(переиспользовать формулировки PRODUCT_VISION, сверив цифры с реальностью; цифры без
|
||||
подтверждения в репо не изобретать).
|
||||
- **Сценарии использования** (минимум): «фича за вечер» (полный цикл с человеческими гейтами
|
||||
Approved / Confirm Deploy); «багфикс по короткому маршруту» (метка Bug); «пакет задач на ночь»
|
||||
(serial gate + авто-лейблы); «несколько проектов параллельно»; «развернуть платформу у себя»
|
||||
(Lite/Bundled); «остановить задачу» (STOP).
|
||||
- Кодовые идентификаторы (`ORCH-NNN`, имена функций) в основном бизнес-тексте не используются;
|
||||
допустимы сноски/ссылки.
|
||||
|
||||
### FR-3 — Технический уровень: 7 блоков с контент-картой (BR-3, BR-4)
|
||||
Каждый блок: цельное изложение + ссылки на golden source за деталями. Обязательная привязка
|
||||
к фактам кода (источники указаны; не дублировать детали сверх необходимого — link-first):
|
||||
|
||||
| # | Блок | Обязательное содержание | Источник истины (ссылаться) |
|
||||
|---|------|------------------------|------------------------------|
|
||||
| 1 | Архитектура | компоненты и связи: FastAPI-приём вебхуков (Plane/Gitea, HMAC, дедуп), очередь jobs + worker, stage-engine, agent launcher (Claude CLI, git worktree), QG-реестр, plane-sync, notifications, фоновые демоны (reconciler, job-reaper, disk-watchdog, build-cache-pruner), sidecar-watchdog; одна диаграмма потока «вебхук → очередь → агент → гейт → переход» | `docs/architecture/README.md` «Компоненты», `internals.md`, `src/main.py` lifespan |
|
||||
| 2 | Конвейер/стадии | схема `created → analysis → architecture → development → review → testing → deploy-staging → deploy → done` (+ `cancelled`-сток); exit-гейты рёбер; под-гейты ребра `deploy-staging→deploy` (security → merge → coverage → image-freshness) и `deploy→done` (merge-verify) как врезки, не стадии; откаты REQUEST_CHANGES (max 3); человеческие гейты (Approved BRD, Confirm Deploy) и их снятие авто-лейблами; багфикс-маршрут (пропуск architecture); serial gate / freeze; статусная модель Plane = индикация ≠ управление | `src/stages.py::STAGE_TRANSITIONS`, `src/qg/checks.py::QG_CHECKS`, `docs/_standards/PIPELINE_DOCS.md` §1–3, CLAUDE.md (ORCH-059/066/088/089/019/090) |
|
||||
| 3 | Агенты | 6 ролей (analyst/architect/developer/reviewer/tester/deployer): задача роли, вход/выход, артефакты по стадиям, machine-verdict ключи; таблица модель/эффорт (резолв из config, ORCH-41/74/81); канон промптов (5 XML-секций, 52d) и где лежат промпты; handoff-протокол | `.openclaw/agents/*.md`, `docs/_standards/PIPELINE_DOCS.md` §2, `HANDOFF_PROTOCOL.md`, таблица моделей `docs/architecture/README.md` |
|
||||
| 4 | Структура объектов | каноническая модель: Project (реестр `projects.py`: plane-project → repo+prefix) → Work-Item/Task (`tasks`: stage, track, ветка) → Jobs (очередь: статусы, atomic claim, deps, ретраи/backoff/breaker) → Agent-runs (стоимость/токены/effort) → события вебхуков и дедуп → вспомогательные таблицы (`repo_freeze`, `coverage_baseline`, `tracker_messages`, `lessons`); словарь терминов (стадия/гейт/под-гейт/job/worktree/lease) | `src/db.py` (фактические таблицы), `src/projects.py`, `internals.md` «Database Schema», ADR соответствующих задач |
|
||||
| 5 | Интеграции | Plane (issues/states/labels/webhooks; статусная модель ORCH-066; вход конвейера «To Analyse»); Gitea (репо/ветки/PR; merge строго через PR-API — INV-4; merge-актор с retry ORCH-093; CI `check_ci_green`); LLM (Claude CLI, `--model`/`--effort` из config); Telegram (live-карточка bump-режима, алерты; sidecar-канал отдельно) | `src/plane_sync.py`, `src/webhooks/*`, `src/merge_gate.py`, `src/agents/launcher.py`, `src/notifications.py`, CLAUDE.md (ORCH-042/067/087/093) |
|
||||
| 6 | Качество/безопасность | философия Quality Gates: машинные вердикты только из YAML-frontmatter (никогда проза), единый контракт `src/frontmatter.py`; реестр гейтов и что каждый ловит; security-гейт (ORCH-022) и coverage-гейт с baseline-ratchet (ORCH-027); канон секретов (.env, не в гит; `gen_secrets.py`); self-hosting-страховки (staging 8501, Confirm Deploy, запрет force-push в main, никогда не ронять прод) | `src/qg/checks.py`, `src/frontmatter.py`, `docs/_standards/PIPELINE_DOCS.md` §3, CLAUDE.md «Self-hosting», `docs/operations/INFRA.md` |
|
||||
| 7 | Аналитика/наблюдаемость | живая Telegram-карточка задачи (стадии, модель/эффорт, стоимость/токены, честные метрики времени); `GET /queue` (снимки всех подсистем: serial_gate, auto_labels, bug_fast_track, coverage, lessons, reaper, reconcile, …); `GET /metrics` (машинный контракт для sidecar, schema_version); sidecar-watchdog (наблюдатель отделён от наблюдаемого); журнал уроков `lessons` (фундамент петли самообучения); стоимость по агентам (`agent_runs`) | `src/metrics.py`, `src/notifications.py`, `src/lessons.py`, `docs/architecture/README.md` (§ /metrics, § sidecar), CLAUDE.md (ORCH-098/099/100) |
|
||||
|
||||
- **Согласованность с кодом обязательна:** перечень стадий, имена гейтов, имена агентов, имена
|
||||
таблиц в витрине должны совпадать с фактическими (`src/stages.py`, `src/qg/checks.py`,
|
||||
`src/db.py`); расхождение — дефект (ловится FR-7 и reviewer'ом).
|
||||
|
||||
### FR-4 — Презентационная основа и путь к PPTX (BR-5, D-1)
|
||||
- В витрине есть **презентационный источник**: упорядоченная последовательность слайдов
|
||||
(рекомендация: markdown с явной слайдо-структурой — «слайд N: заголовок / 3–5 тезисов /
|
||||
подпись-визуал»), покрывающая бизнес-нарратив (проблема → решение → как работает → возможности →
|
||||
сценарии → тираж → статус платформы). Объём — ориентир 12–20 слайдов (финал — у архитектора).
|
||||
- Зафиксирован **воспроизводимый путь** получения `.pptx` в тёмном дизайне: либо скрипт в
|
||||
`scripts/` (запуск вне рантайма, host/dev-окружение), либо документированная ручная процедура
|
||||
поверх источника. Выбор инструмента (python-pptx / Marp→pptx / иное) и факт коммита бинаря —
|
||||
решение архитектора (OQ-2, OQ-3). Требования к пути: тёмная тема, кириллица рендерится точно,
|
||||
процедура описана пошагово с проверкой результата (паттерн «команда + Проверка:» из
|
||||
LITE_SETUP).
|
||||
- Зависимости генерации **не** попадают в прод-образ/`requirements` оркестратора (NFR-2).
|
||||
|
||||
### FR-5 — Маршруты аудиторий (BR-6, D-2)
|
||||
- Индекс несёт три явных маршрута: **заказчик** (бизнес-часть → сценарии → презентация →
|
||||
Lite/Bundled-доки), **менеджер** (бизнес-часть → конвейер и статусная модель Plane →
|
||||
человеческие гейты → наблюдаемость), **разработчик** (тех-часть → architecture/README →
|
||||
internals → стандарты → ADR-реестр → CLAUDE.md).
|
||||
|
||||
### FR-6 — Норматив сопровождения (BR-7, D-4)
|
||||
- В витрине (индексе) — явная норма: «изменил функционал → обнови витрину в том же PR»
|
||||
(формулировка по образцу NFR-5 ORCH-102/103).
|
||||
- `CLAUDE.md` — краткий указатель на витрину в существующем правиле документации (§2 правил
|
||||
агентов); reviewer-ось «обзорные доки» (ORCH-079) распространяется на витрину — фиксируется
|
||||
формулировкой в витрине/ADR (изменение промпта reviewer'а НЕ требуется, если ось уже
|
||||
сформулирована обобщённо — проверить при реализации; если требуется правка промпта, она
|
||||
следует канону 52d и анти-регресс тестам `test_agent_prompts_canon.py`).
|
||||
|
||||
### FR-7 — Структурный анти-дрейф (BR-8)
|
||||
Новый тест-модуль (паттерн `tests/test_lite_setup_doc.py` / `test_bundled_setup_doc.py` /
|
||||
`test_orch_52b_docs_standard.py`; без сети/LLM/subprocess):
|
||||
- наличие файлов витрины и обязательных разделов индекса (вкл. маршруты 3 аудиторий и норматив
|
||||
сопровождения);
|
||||
- **сверка карты стадий** в витрине импортом `src.stages.STAGE_TRANSITIONS` (полнота и порядок —
|
||||
как тест полноты `_STAGE_STATUS_LABEL` ORCH-091: derive из кода, не статичный список);
|
||||
- **полнота 6 агентов** (analyst/architect/developer/reviewer/tester/deployer) в блоке агентов;
|
||||
- валидность относительных внутренних ссылок витрины (целевые файлы существуют);
|
||||
- FORBIDDEN-скан новых доков/презент-источника: запрещённые хост-литералы (импорт списка из
|
||||
`tests/test_no_host_hardcodes.py`, как делает `test_lite_setup_doc.py`) + секрет-эвристика;
|
||||
- наличие ссылки на витрину в `README.md`.
|
||||
|
||||
---
|
||||
|
||||
## 4. Изменения API
|
||||
**Нет.** Эндпоинты/вебхуки не добавляются и не меняются.
|
||||
|
||||
## 5. Изменения схемы БД
|
||||
**Нет.** Таблицы/миграции не вводятся.
|
||||
|
||||
## 6. Требования к новым/изменённым QG checks
|
||||
**Нет.** Реестр `QG_CHECKS`/`check_*` не меняется. Анти-дрейф витрины — обычные pytest-тесты в
|
||||
`tests/` (исполняются существующими гейтами `check_ci_green`/`check_tests_passed`/coverage-гейтом
|
||||
штатно), **не** новый Quality Gate.
|
||||
|
||||
## 7. Совместимость / регресс
|
||||
- **Нулевая регрессия рантайма по построению:** меняются только `docs/**`, `tests/**`,
|
||||
`README.md`, `CLAUDE.md`, `CHANGELOG.md` (+ опц. `scripts/`); `src/**` байт-в-байт. Kill-switch
|
||||
не нужен — документация и dev-скрипт не исполняются конвейером (паттерн ORCH-009/102/103).
|
||||
- Существующие тесты остаются зелёными; новые тесты аддитивны.
|
||||
- enduro-trails не затрагивается (общих артефактов нет).
|
||||
- Откат = revert PR (доки/тесты), без операционных последствий.
|
||||
- Self-hosting: прод-контейнер не рестартится в рамках задачи; выкат — штатным маршрутом.
|
||||
|
||||
---
|
||||
|
||||
## 8. Артефакты pipeline (создать/обновить в ТОМ ЖЕ PR разработки)
|
||||
- Витрина `docs/<…>/` (FR-1…FR-5) + презентационный источник.
|
||||
- `tests/test_system_docs.py` (FR-7).
|
||||
- `README.md` (ссылка), `CLAUDE.md` (указатель + норматив), `CHANGELOG.md` (`docs:`-запись).
|
||||
- ADR архитектора: `docs/work-items/ORCH-011/06-adr/ADR-001-<slug>.md` (структура витрины,
|
||||
инструмент PPTX, политика бинаря, состав тестов); при сквозной значимости — зеркало в
|
||||
`docs/architecture/adr/`.
|
||||
|
||||
---
|
||||
|
||||
## 9. Открытые вопросы для архитектора (не блокируют анализ)
|
||||
- **OQ-1:** Имя и внутренняя структура каталога витрины (`docs/overview/` vs `docs/system/`;
|
||||
один индекс + N файлов блоков vs два файла «business/tech»). Рекомендация аналитика —
|
||||
`docs/overview/` с индексом и помодульными файлами (NFR-6).
|
||||
- **OQ-2:** Инструмент генерации PPTX: скрипт `scripts/` (python-pptx; host/dev-venv, вне
|
||||
прод-образа) vs конвертация из markdown (Marp и т.п.) vs документированная ручная процедура.
|
||||
Критерии: тёмная тема, точный рендеринг кириллицы, воспроизводимость, NFR-2.
|
||||
- **OQ-3:** Коммитить ли собранный `.pptx` в репо (бинарь в git) или хранить только источник +
|
||||
процедуру сборки.
|
||||
- **OQ-4:** Compiled-wiki/экспорт (упомянут в бизнес-запросе как «возможно»): фиксируем вне
|
||||
объёма v1; нужно ли заводить follow-up work item.
|
||||
- **OQ-5:** Достаточна ли текущая формулировка reviewer-оси обзорных доков (ORCH-079) для
|
||||
покрытия витрины, или нужна точечная правка промпта reviewer (тогда — по канону 52d, с
|
||||
обновлением `test_agent_prompts_canon.py`).
|
||||
187
docs/work-items/ORCH-011/03-acceptance-criteria.md
Normal file
187
docs/work-items/ORCH-011/03-acceptance-criteria.md
Normal file
@@ -0,0 +1,187 @@
|
||||
---
|
||||
work_item: ORCH-011
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-11
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 03 — Критерии приёмки: ORCH-011 — Полная документация системы мультиагентов
|
||||
|
||||
Work Item: **ORCH-011** · Repo: **orchestrator** · Стадия: analysis
|
||||
|
||||
Каждый критерий — однозначный PASS/FAIL. Reviewer/Tester проверяют буквально по файлам
|
||||
репозитория (пути витрины — те, что зафиксирует ADR архитектора; ниже «витрина» = выбранный
|
||||
каталог в `docs/`).
|
||||
|
||||
---
|
||||
|
||||
## AC-1 — Единая точка входа существует (BR-1)
|
||||
|
||||
**Условие:** в `docs/` создан каталог витрины с индекс-документом.
|
||||
- **PASS:** индекс существует; из него по относительным ссылкам достижимы: бизнес-часть,
|
||||
тех-часть (все 7 блоков FR-3), презентационная основа, маршруты трёх аудиторий, норматив
|
||||
сопровождения. Каталог и индекс совпадают с зафиксированными в ADR-001 путями.
|
||||
- **FAIL:** индекса нет, ИЛИ хотя бы одна из перечисленных частей недостижима из индекса.
|
||||
|
||||
---
|
||||
|
||||
## AC-2 — Бизнес-уровень самодостаточен для нетехнического читателя (BR-2)
|
||||
|
||||
**Условие:** бизнес-часть содержит все 5 обязательных смысловых разделов.
|
||||
- **PASS:** присутствуют разделы: (1) проблема, которую решает оркестратор; (2) суть решения
|
||||
(конвейер агентов, человек = постановщик/приёмщик); (3) что умеет — фактические способности
|
||||
(минимум: автономный конвейер задача→прод, мультипроектность, самовосстановление, пакетный
|
||||
авто-режим, багфикс-трек, отмена STOP, наблюдаемость, self-hosting, тиражируемость
|
||||
Lite/Bundled); (4) ценность (скорость/стоимость/автономность/надёжность/масштаб);
|
||||
(5) сценарии использования (минимум 5 из перечня FR-2). В основном тексте нет необъяснённых
|
||||
кодовых идентификаторов/имён функций.
|
||||
- **FAIL:** отсутствует любой из 5 разделов, ИЛИ способности из обязательного минимума
|
||||
пропущены, ИЛИ текст оперирует жаргоном без объяснения.
|
||||
|
||||
---
|
||||
|
||||
## AC-3 — Тех-уровень покрывает 7 блоков (BR-3)
|
||||
|
||||
**Условие:** тех-часть содержит все блоки контент-карты TRZ §3 FR-3.
|
||||
- **PASS:** присутствуют и непусты блоки: 1) архитектура/компоненты (включая фоновые демоны и
|
||||
sidecar), 2) конвейер/стадии/гейты (включая под-гейты и человеческие гейты), 3) агенты,
|
||||
4) структура объектов/каноническая модель, 5) интеграции (Plane/Gitea/LLM/Telegram),
|
||||
6) качество/безопасность, 7) аналитика/наблюдаемость. Блок 1 содержит хотя бы одну
|
||||
диаграмму/схему потока (текстовую ASCII или mermaid).
|
||||
- **FAIL:** любой блок отсутствует/пуст, ИЛИ схема потока отсутствует.
|
||||
|
||||
---
|
||||
|
||||
## AC-4 — Карта стадий и гейтов сходится с кодом (BR-3, FR-7)
|
||||
|
||||
**Условие:** конвейер в витрине = `src/stages.py::STAGE_TRANSITIONS` + реестр `QG_CHECKS`.
|
||||
- **PASS:** все стадии из `STAGE_TRANSITIONS` (включая `deploy-staging` и сток `cancelled`)
|
||||
присутствуют в витрине в правильном порядке; exit-гейты рёбер названы фактическими именами
|
||||
(`check_analysis_approved` … `check_deploy_status`); под-гейты ребра
|
||||
`deploy-staging→deploy` описаны в фактическом порядке (security → merge → coverage →
|
||||
image-freshness) и явно помечены как врезки, не стадии. Структурный тест сверяет перечень
|
||||
стадий импортом `src.stages.STAGE_TRANSITIONS` и зелёный.
|
||||
- **FAIL:** стадия/гейт пропущены или названы несуществующим именем, ИЛИ порядок противоречит
|
||||
коду, ИЛИ тест-сверка отсутствует/красная.
|
||||
|
||||
---
|
||||
|
||||
## AC-5 — Агенты: 6 ролей с полным паспортом (BR-3)
|
||||
|
||||
**Условие:** блок агентов описывает все 6 ролей.
|
||||
- **PASS:** для каждой роли (analyst, architect, developer, reviewer, tester, deployer) указаны:
|
||||
назначение, стадия работы, вход, выходные артефакты (по `PIPELINE_DOCS.md` §2) и
|
||||
machine-verdict ключ (где есть: `verdict:`/`result:`/`staging_status:`/`deploy_status:`);
|
||||
присутствует таблица модель/эффорт, совпадающая с фактическим резолвом config (ORCH-41/81:
|
||||
developer=`xhigh`, tester/deployer=`medium`, прочие=`high`). Структурный тест полноты 6 ролей
|
||||
зелёный.
|
||||
- **FAIL:** роль пропущена, ИЛИ артефакты/ключи противоречат `PIPELINE_DOCS.md`, ИЛИ таблица
|
||||
модель/эффорт расходится с config.
|
||||
|
||||
---
|
||||
|
||||
## AC-6 — Link-first: ссылки валидны, канон не форкается (BR-4)
|
||||
|
||||
**Условие:** витрина ссылается на golden sources, не подменяя их.
|
||||
- **PASS:** витрина содержит работающие относительные ссылки минимум на:
|
||||
`docs/architecture/README.md`, `docs/architecture/internals.md`,
|
||||
`docs/_standards/PIPELINE_DOCS.md`, `docs/_standards/HANDOFF_PROTOCOL.md`, реестр
|
||||
`docs/architecture/adr/`, `docs/deployment/LITE_SETUP.md`, `docs/deployment/BUNDLED_SETUP.md`,
|
||||
`docs/PRODUCT_VISION.md`, `CLAUDE.md`. Все относительные ссылки витрины резолвятся в
|
||||
существующие файлы (структурный тест зелёный). Существующие golden sources не удалены и не
|
||||
переписаны (допустимы только врезки-ссылки).
|
||||
- **FAIL:** битая ссылка, ИЛИ обязательная ссылка отсутствует, ИЛИ витрина дублирует-подменяет
|
||||
существующий golden source (например, копия таблицы компонентов architecture/README вместо
|
||||
ссылки с кратким резюме).
|
||||
|
||||
---
|
||||
|
||||
## AC-7 — Презентационная основа и путь к PPTX (BR-5)
|
||||
|
||||
**Условие:** слайдовый источник существует; путь к `.pptx` воспроизводим.
|
||||
- **PASS:** в витрине есть презентационный источник с явной слайдо-структурой (нумерованные
|
||||
слайды: заголовок + тезисы), покрывающий бизнес-нарратив FR-4 (проблема → решение → как
|
||||
работает → возможности → сценарии → тираж → статус); зафиксирована пошаговая воспроизводимая
|
||||
процедура получения `.pptx` в тёмном дизайне (скрипт `scripts/` ИЛИ документированная
|
||||
процедура — по ADR-001), каждая команда — с проверкой результата; зависимости генерации
|
||||
отсутствуют в `requirements*` и `Dockerfile` оркестратора (NFR-2).
|
||||
- **FAIL:** источника нет, ИЛИ слайдо-структура не выражена, ИЛИ путь к `.pptx` не описан /
|
||||
невоспроизводим, ИЛИ зависимость генерации попала в прод-образ.
|
||||
|
||||
---
|
||||
|
||||
## AC-8 — Маршруты трёх аудиторий (BR-6)
|
||||
|
||||
**Условие:** индекс несёт маршруты чтения.
|
||||
- **PASS:** в индексе явно выделены 3 маршрута — заказчик, менеджер проекта, разработчик — каждый
|
||||
с упорядоченным списком «что читать» (состав по FR-5).
|
||||
- **FAIL:** хотя бы один маршрут отсутствует или пуст.
|
||||
|
||||
---
|
||||
|
||||
## AC-9 — Норматив сопровождения зафиксирован (BR-7)
|
||||
|
||||
**Условие:** правило актуальности витрины закреплено.
|
||||
- **PASS:** индекс витрины несёт норму «изменил функционал → обнови витрину в том же PR»;
|
||||
`CLAUDE.md` содержит указатель на витрину; в ADR-001 зафиксировано, как reviewer-ось обзорных
|
||||
доков (ORCH-079) покрывает витрину (с правкой промпта reviewer или обоснованием, что правка
|
||||
не нужна; при правке промпта — канон 52d сохранён и `tests/test_agent_prompts_canon.py`
|
||||
зелёный).
|
||||
- **FAIL:** норматив отсутствует в витрине, ИЛИ CLAUDE.md не обновлён, ИЛИ вопрос reviewer-оси
|
||||
не разрешён в ADR.
|
||||
|
||||
---
|
||||
|
||||
## AC-10 — Анти-дрейф тесты существуют и зелёные (BR-8)
|
||||
|
||||
**Условие:** структурный тест-модуль витрины создан и проходит.
|
||||
- **PASS:** новый тест-модуль (паттерн `test_lite_setup_doc.py`) покрывает: наличие
|
||||
файлов/разделов витрины, сверку стадий импортом `STAGE_TRANSITIONS`, полноту 6 агентов,
|
||||
валидность относительных ссылок, FORBIDDEN-скан (импорт запрещённых литералов из
|
||||
`tests/test_no_host_hardcodes.py` + секрет-эвристика) по новым докам и презентационному
|
||||
источнику, наличие ссылки на витрину в `README.md`. `pytest tests/ -q` полностью зелёный.
|
||||
- **FAIL:** тест-модуль отсутствует, ИЛИ любая из перечисленных проверок не реализована, ИЛИ
|
||||
pytest красный.
|
||||
|
||||
---
|
||||
|
||||
## AC-11 — Рантайм не тронут; указатели обновлены (NFR-1, BR-9)
|
||||
|
||||
**Условие:** изменение строго docs+tests(+опц. scripts).
|
||||
- **PASS:** diff PR не содержит изменений `src/**`, `docker-compose.yml`, `Dockerfile`,
|
||||
`requirements*`, схемы БД; `README.md` ссылается на витрину; `CHANGELOG.md` несёт
|
||||
`docs:`-запись по ORCH-011; в новых файлах нет секретов/боевых токенов/хост-хардкодов
|
||||
(FORBIDDEN-скан AC-10 зелёный).
|
||||
- **FAIL:** любой файл рантайма изменён, ИЛИ указатели не обновлены, ИЛИ найден
|
||||
секрет/хост-хардкод.
|
||||
|
||||
---
|
||||
|
||||
## AC-12 — Самодостаточность против вне-репозиторных источников (допущение BRD §6)
|
||||
|
||||
**Условие:** витрина не зависит от файлов вне репо.
|
||||
- **PASS:** витрина не содержит ссылок на вне-репозиторные пути (`tasks/…`, `memory/…`,
|
||||
локальные пути хоста); всё содержание подтверждается внутрирепозиторными источниками.
|
||||
- **FAIL:** есть ссылка на файл, отсутствующий в репозитории, или цитата «по памяти» без
|
||||
внутрирепозиторного источника.
|
||||
|
||||
---
|
||||
|
||||
## Сводная матрица AC ↔ BR/FR
|
||||
|
||||
| AC | Покрывает |
|
||||
|----|-----------|
|
||||
| AC-1 | BR-1 / FR-1 |
|
||||
| AC-2 | BR-2 / FR-2 |
|
||||
| AC-3 | BR-3 / FR-3 |
|
||||
| AC-4 | BR-3, BR-8 / FR-3, FR-7 |
|
||||
| AC-5 | BR-3 / FR-3 |
|
||||
| AC-6 | BR-4 / FR-1, FR-3 |
|
||||
| AC-7 | BR-5 / FR-4, NFR-2 |
|
||||
| AC-8 | BR-6 / FR-5 |
|
||||
| AC-9 | BR-7 / FR-6 |
|
||||
| AC-10 | BR-8 / FR-7 |
|
||||
| AC-11 | BR-9, NFR-1, NFR-3 |
|
||||
| AC-12 | BRD §6 (допущения), NFR-3 |
|
||||
117
docs/work-items/ORCH-011/04-test-plan.yaml
Normal file
117
docs/work-items/ORCH-011/04-test-plan.yaml
Normal file
@@ -0,0 +1,117 @@
|
||||
work_item: ORCH-011
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-11
|
||||
model_used: claude-opus-4-8
|
||||
title: "Полная документация системы мультиагентов: структурный анти-дрейф витрины"
|
||||
framework: pytest
|
||||
scope: >
|
||||
Покрывается: каркас витрины (файлы/разделы/маршруты/норматив), сходимость
|
||||
машинно-проверяемых фактов с кодом (стадии из STAGE_TRANSITIONS, 6 агентов),
|
||||
валидность внутренних ссылок, отсутствие секретов/хост-хардкодов, обновление
|
||||
указателей README/CLAUDE.md, неизменность рантайма (полный регресс).
|
||||
Вне покрытия: качество прозы/дизайна слайдов (проверяет reviewer/человек),
|
||||
фактический рендеринг .pptx (ручная проверка по процедуре AC-7).
|
||||
notes: >
|
||||
Все тесты — структурные, без сети/LLM/subprocess (паттерн tests/test_lite_setup_doc.py,
|
||||
test_bundled_setup_doc.py, test_orch_52b_docs_standard.py). Точные пути витрины фиксирует
|
||||
ADR-001 архитектора (рекомендация TRZ: docs/overview/); имя тест-модуля ниже —
|
||||
tests/test_system_docs.py — может быть уточнено в ADR, состав проверок обязателен.
|
||||
Сверки derive-из-кода (стадии) обязаны импортировать src.stages, а не дублировать
|
||||
статичный список (анти-дрейф, образец — тест полноты ORCH-091). FORBIDDEN-скан
|
||||
импортирует список запрещённых литералов из tests/test_no_host_hardcodes.py.
|
||||
Полный регресс tests/ должен оставаться зелёным.
|
||||
|
||||
tests:
|
||||
# ---- FR-1: каркас витрины и единая точка входа ----
|
||||
- id: TC-01
|
||||
type: unit
|
||||
description: "Каталог витрины и индекс существуют; индекс содержит обязательные разделы: вход «что это», ссылки на бизнес-часть и тех-часть, маршруты аудиторий, норматив сопровождения (AC-1)."
|
||||
module: tests/test_system_docs.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-02
|
||||
type: unit
|
||||
description: "Из индекса по относительным ссылкам достижимы все файлы витрины: бизнес-часть, тех-блоки 1–7, презентационный источник (AC-1/AC-3)."
|
||||
module: tests/test_system_docs.py
|
||||
expected: PASS
|
||||
|
||||
# ---- FR-2: бизнес-уровень ----
|
||||
- id: TC-03
|
||||
type: unit
|
||||
description: "Бизнес-часть содержит 5 обязательных смысловых разделов (проблема, решение, что умеет, ценность, сценарии) и минимум 5 сценариев использования (AC-2)."
|
||||
module: tests/test_system_docs.py
|
||||
expected: PASS
|
||||
|
||||
# ---- FR-3: тех-уровень, сходимость с кодом ----
|
||||
- id: TC-04
|
||||
type: unit
|
||||
description: "Тех-часть содержит все 7 блоков контент-карты (архитектура, конвейер, агенты, объекты, интеграции, качество/безопасность, наблюдаемость); блок архитектуры несёт схему потока (AC-3)."
|
||||
module: tests/test_system_docs.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-05
|
||||
type: unit
|
||||
description: "Карта стадий витрины сверена импортом src.stages.STAGE_TRANSITIONS: каждая стадия (включая deploy-staging и cancelled) упомянута; derive из кода, не статичный список (AC-4)."
|
||||
module: tests/test_system_docs.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-06
|
||||
type: unit
|
||||
description: "Имена exit-гейтов рёбер в витрине существуют в реестре qg.checks.QG_CHECKS (нет выдуманных имён гейтов) (AC-4)."
|
||||
module: tests/test_system_docs.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-07
|
||||
type: unit
|
||||
description: "Блок агентов покрывает все 6 ролей (analyst/architect/developer/reviewer/tester/deployer); каждой роли сопоставлены артефакты; таблица модель/эффорт присутствует (AC-5)."
|
||||
module: tests/test_system_docs.py
|
||||
expected: PASS
|
||||
|
||||
# ---- FR-1/FR-3: link-first ----
|
||||
- id: TC-08
|
||||
type: unit
|
||||
description: "Все относительные ссылки витрины резолвятся в существующие файлы; обязательные ссылки на golden sources (architecture/README, internals, PIPELINE_DOCS, HANDOFF_PROTOCOL, adr/, LITE_SETUP, BUNDLED_SETUP, PRODUCT_VISION, CLAUDE.md) присутствуют (AC-6)."
|
||||
module: tests/test_system_docs.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-09
|
||||
type: unit
|
||||
description: "Витрина не ссылается на вне-репозиторные пути (tasks/, memory/, абсолютные пути хоста) (AC-12)."
|
||||
module: tests/test_system_docs.py
|
||||
expected: PASS
|
||||
|
||||
# ---- FR-4: презентационная основа ----
|
||||
- id: TC-10
|
||||
type: unit
|
||||
description: "Презентационный источник существует, несёт явную слайдо-структуру (нумерованные слайды с заголовками, не менее 12) и покрывает обязательный нарратив (проблема/решение/как работает/возможности/сценарии/тираж) (AC-7)."
|
||||
module: tests/test_system_docs.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-11
|
||||
type: unit
|
||||
description: "Зависимости генерации презентации не попали в прод-образ: requirements*/Dockerfile не содержат библиотек генерации (например python-pptx) (AC-7/NFR-2)."
|
||||
module: tests/test_system_docs.py
|
||||
expected: PASS
|
||||
|
||||
# ---- FR-6: норматив и указатели ----
|
||||
- id: TC-12
|
||||
type: unit
|
||||
description: "Индекс витрины несёт норматив сопровождения («в том же PR»); README.md содержит ссылку на витрину; CLAUDE.md содержит указатель (AC-9/AC-11)."
|
||||
module: tests/test_system_docs.py
|
||||
expected: PASS
|
||||
|
||||
# ---- NFR-3: секреты/хост-хардкоды ----
|
||||
- id: TC-13
|
||||
type: unit
|
||||
description: "FORBIDDEN-скан новых доков и презентационного источника: запрещённые хост-литералы (импорт из tests/test_no_host_hardcodes.py) и секрет-эвристика не находят совпадений (AC-10/AC-11)."
|
||||
module: tests/test_system_docs.py
|
||||
expected: PASS
|
||||
|
||||
# ---- Регресс ----
|
||||
- id: TC-14
|
||||
type: integration
|
||||
description: "Полный регресс: pytest tests/ -q зелёный; существующие структурные док-тесты (test_lite_setup_doc, test_bundled_setup_doc, test_orch_52b_docs_standard, test_agent_prompts_canon) не сломаны (AC-10/AC-11)."
|
||||
module: tests/
|
||||
expected: PASS
|
||||
388
docs/work-items/ORCH-011/06-adr/ADR-001-system-overview-canon.md
Normal file
388
docs/work-items/ORCH-011/06-adr/ADR-001-system-overview-canon.md
Normal file
@@ -0,0 +1,388 @@
|
||||
---
|
||||
work_item: ORCH-011
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-11
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# ADR-001: Витрина системы `docs/overview/` — структура, путь к PPTX, анти-дрейф контур
|
||||
|
||||
Work Item: **ORCH-011** — Полная документация системы мультиагентов оркестратора (бизнес + тех, для людей и презентаций)
|
||||
Стадия: **architecture**
|
||||
Сквозная регистрация: **`docs/architecture/adr/adr-0039-system-overview-docs-canon.md`**
|
||||
(новый docs-раздел `docs/overview/` с нормативом сопровождения, обязательным для всех будущих
|
||||
функциональных PR, + расширение reviewer-оси обзорных доков ORCH-079 — кросс-каттинг).
|
||||
|
||||
## Статус
|
||||
Proposed
|
||||
|
||||
## Контекст
|
||||
|
||||
Решения Владельца (BRD §1.4): D-1 презентация = PowerPoint, тёмный дизайн, точный рендеринг;
|
||||
D-2 три аудитории (разработчики/заказчики/менеджеры); D-3 единое место — `docs/` репозитория;
|
||||
D-4 витрина поддерживается актуальной сразу после изменения функционала.
|
||||
|
||||
Факты, сверенные с кодом/репо на ветке задачи:
|
||||
|
||||
- **Документация богатая, но фрагментированная** (BRD §1.2, проверено): паспорт `CLAUDE.md`
|
||||
(реестр доработок, не вводный текст), тех-витрина `README.md`, vision
|
||||
`docs/PRODUCT_VISION.md` (v1.0, «концепция развития»), инженерный справочник
|
||||
`docs/architecture/README.md` (~1246 строк) + `internals.md`, 38 сквозных ADR, стандарты
|
||||
`docs/_standards/`, операционные/деплойные доки. Единой точки входа «бизнес + тех» нет.
|
||||
- **Живое доказательство риска гниения (R-1):** схема конвейера в `docs/PRODUCT_VISION.md` §2
|
||||
уже устарела — в ней нет стадии `deploy-staging` и стока `cancelled`, фактически
|
||||
присутствующих в `src/stages.py::STAGE_TRANSITIONS` (9 ключей + `cancelled`). Снапшот без
|
||||
машинной сверки расходится с кодом за недели.
|
||||
- **Прецедент бинаря без воспроизводимости:** `docs/PRODUCT_VISION.pptx` закоммичен, но пути
|
||||
его генерации в репо нет (`grep pptx scripts/ docs/` — пусто) — ровно тот паттерн
|
||||
«невоспроизводимый артефакт», который BR-5 требует исключить.
|
||||
- **Reviewer-ось обзорных доков (ORCH-079) по букве привязана к README:**
|
||||
`.openclaw/agents/reviewer.md` формулирует ось через «пункт из `README.md` „Известные
|
||||
ограничения“»; новая витрина под букву оси не подпадает (релевантно OQ-5). История ORCH-079
|
||||
показывает: общего правила «документация = golden source» недостаточно — обзорные доки гниют,
|
||||
пока ось не названа явно.
|
||||
- **Тестовая механика готова:** паттерны структурных доков-тестов —
|
||||
`tests/test_lite_setup_doc.py` / `test_bundled_setup_doc.py` (разделы по порядку, кирпичи,
|
||||
скан FORBIDDEN импортом из `tests/test_no_host_hardcodes.py` (`FORBIDDEN`,
|
||||
`find_violations`), секрет-эвристика, кросс-рефы); импорт `STAGE_TRANSITIONS` в тестах —
|
||||
норма (ORCH-091: полнота derive из кода, не статичный список); импорт `QG_CHECKS` —
|
||||
`tests/test_qg_registry_snapshot.py`; импорт чистых функций из `scripts/` —
|
||||
`tests/test_bootstrap_script.py`.
|
||||
- **Источники контента самодостаточны внутри репо** (BRD §6): вне-репозиторные затравки
|
||||
(`tasks/…`, `memory/…`) недоступны и не нужны; таблица модель/эффорт — ORCH-41/81
|
||||
(developer=`xhigh`, tester/deployer=`medium`, прочие=`high`, все на `claude-opus-4-8`).
|
||||
- `docs/overview/` свободен (коллизий имён нет).
|
||||
|
||||
Задача — **docs+tests (+dev-скрипт)** (паттерн ORCH-102/103): `src/**`,
|
||||
`docker-compose.yml`, `Dockerfile`, `requirements*` читаются как источник истины и НЕ меняются;
|
||||
конвейер (`STAGE_TRANSITIONS`/`QG_CHECKS`/`check_*`/machine-verdict/схема БД) — байт-в-байт.
|
||||
Kill-switch не нужен: документация и dev-скрипт конвейером не исполняются (активация генерации —
|
||||
только явный запуск человеком, паттерн ORCH-009).
|
||||
|
||||
## Решение
|
||||
|
||||
### Сводка
|
||||
|
||||
Создаётся новый docs-раздел **`docs/overview/`** — витрина системы: индекс `README.md`
|
||||
(точка входа, маршруты трёх аудиторий, норматив сопровождения), бизнес-часть `business.md`,
|
||||
семь тех-файлов `tech-*.md` (= 7 блоков контент-карты TRZ FR-3, link-first), слайдо-источник
|
||||
`presentation.md` + dev-скрипт `scripts/build_presentation.py` (python-pptx, вне прод-образа;
|
||||
бинарь `.pptx` НЕ коммитится — D5). Машинно-проверяемые факты витрины (стадии, гейты, агенты,
|
||||
ссылки, гигиена секретов, слайдо-структура, чистота prod-зависимостей) защищаются структурным
|
||||
`tests/test_system_docs.py` (D6). Reviewer-ось обзорных доков точечно расширяется на витрину
|
||||
(D7). Исходы всех открытых вопросов ТЗ §9 (OQ-1…OQ-5) — в D1/D4/D5/D9/D7 соответственно.
|
||||
|
||||
### D1 (исход OQ-1) — Размещение и состав: `docs/overview/`, плоский каталог, 10 файлов
|
||||
|
||||
**Решение: каталог `docs/overview/`** (рекомендация аналитика подтверждена). Семантика
|
||||
docs-разделов после ORCH-011: `overview/` — «что это за система и как она устроена» (читатель —
|
||||
любой из трёх аудиторий, входит впервые); `architecture/` — инженерный справочник (детали);
|
||||
`deployment/` — «как развернуть у себя» (ORCH-102/103); `operations/` — «как эксплуатировать
|
||||
наш прод»; `_standards/` — нормативы для агентов.
|
||||
|
||||
**Состав — плоский каталог, 10 файлов** (модульность NFR-6: будущие правки точечные; плоскость —
|
||||
одна глубина относительных ссылок и простые globs в тестах; индекс — `README.md`, а не
|
||||
`index.md`: авто-рендер в web-UI Gitea, симметрия `docs/architecture/README.md`):
|
||||
|
||||
| Файл | Содержание | Покрывает |
|
||||
|------|-----------|-----------|
|
||||
| `README.md` | индекс: «что это» в 1–2 абзацах; навигация на все части; 3 маршрута аудиторий (D8); норматив сопровождения (D8) | FR-1, FR-5, FR-6, AC-1, AC-8, AC-9 |
|
||||
| `business.md` | бизнес-уровень (D2) | FR-2, AC-2 |
|
||||
| `tech-architecture.md` | блок 1: компоненты и связи + диаграмма потока | FR-3.1, AC-3 |
|
||||
| `tech-pipeline.md` | блок 2: конвейер/стадии/гейты/под-гейты/откаты/человеческие гейты/авто-лейблы/багфикс-трек/serial gate/статусная модель Plane | FR-3.2, AC-4 |
|
||||
| `tech-agents.md` | блок 3: 6 ролей, входы/выходы/артефакты/verdict-ключи, таблица модель/эффорт, канон промптов | FR-3.3, AC-5 |
|
||||
| `tech-data-model.md` | блок 4: Project → Work-Item/Task → Jobs → Agent-runs → события/дедуп → вспомогательные таблицы; словарь терминов | FR-3.4 |
|
||||
| `tech-integrations.md` | блок 5: Plane / Gitea / LLM / Telegram | FR-3.5 |
|
||||
| `tech-quality-security.md` | блок 6: философия QG, frontmatter-контракт, security/coverage-гейты, канон секретов, self-hosting-страховки | FR-3.6 |
|
||||
| `tech-observability.md` | блок 7: live-карточка, `/queue`, `/metrics`, sidecar, журнал уроков, стоимость | FR-3.7 |
|
||||
| `presentation.md` | слайдо-источник + процедура сборки `.pptx` (D4) | FR-4, AC-7 |
|
||||
|
||||
Один тех-блок = один файл (а не монолит `tech.md` и не два файла «business/tech»): блоки
|
||||
независимы по темпу устаревания (pipeline меняется чаще, чем интеграции), точечный PR правит
|
||||
один файл; тесту проще ассертить присутствие и непустоту каждого блока пофайлово.
|
||||
|
||||
Привязка: BR-1, NFR-6, AC-1, AC-3.
|
||||
|
||||
### D2 — Бизнес-уровень: текущее состояние, не vision; числа только с подтверждением
|
||||
|
||||
**Решение: `business.md` описывает фактическое состояние платформы** (контент-минимум FR-2:
|
||||
проблема → решение → что умеет → ценность → ≥5 сценариев), переиспользуя нарратив
|
||||
`docs/PRODUCT_VISION.md` §1–2 со сверкой с кодом. Нормативные правила:
|
||||
|
||||
- **Разделение ролей документов:** PRODUCT_VISION остаётся vision («куда идём», не трогается;
|
||||
допустима врезка-ссылка на витрину — на усмотрение developer); `business.md` — «что есть
|
||||
сейчас». Расхождение vision ↔ код (пример: устаревшая схема конвейера в vision §2) в витрину
|
||||
не переносится — витрина строится от `STAGE_TRANSITIONS`.
|
||||
- **Числовые метрики** (скорость/стоимость) — только с внутрирепозиторным подтверждением либо
|
||||
с явной атрибуцией «оценка из PRODUCT_VISION»; новые цифры не изобретать (FR-2, AC-12).
|
||||
- **Без жаргона:** кодовые идентификаторы (`ORCH-NNN`, имена функций/модулей) в основном тексте
|
||||
не используются; термины конвейера (стадия, гейт, ревью) объясняются по-человечески; детали —
|
||||
сносками/ссылками в тех-часть (AC-2).
|
||||
- Обязательный минимум способностей — список AC-2 (конвейер задача→прод, мультипроектность,
|
||||
самовосстановление, пакетный авто-режим, багфикс-трек, STOP, наблюдаемость, self-hosting,
|
||||
тираж Lite/Bundled) — каждый пункт сводится к одному абзацу простым языком.
|
||||
|
||||
Привязка: BR-2, FR-2, AC-2, AC-12.
|
||||
|
||||
### D3 — Тех-уровень: 7 файлов по контент-карте TRZ, link-first, согласованность с кодом
|
||||
|
||||
**Решение: контент-карта TRZ §3 FR-3 принимается как нормативная** (обязательное содержание и
|
||||
источники истины каждого блока — таблица FR-3, в ADR не дублируется). Архитектурные уточнения:
|
||||
|
||||
- **Link-first (BR-4, анти-«вторая правда»):** каждый файл даёт цельную картину уровня
|
||||
«понять устройство» и ведёт ссылкой в golden source за деталями
|
||||
(`docs/architecture/README.md`, `internals.md`, `_standards/*`, ADR-реестр, deployment-доки).
|
||||
Запрещено копировать в витрину таблицы/списки, которые живут в golden source и меняются с
|
||||
кодом (таблица компонентов, карта env, 22 статуса Plane). Разрешённый дубль — только
|
||||
машинно-сверяемый тестом факт (перечень стадий, имена гейтов, 6 агентов, таблица
|
||||
модель/эффорт) — ровно потому, что тест D6 рвёт CI при дрейфе (прецедент — key-sync TC-02b
|
||||
ORCH-102).
|
||||
- **`tech-architecture.md` несёт одну диаграмму потока** «вебхук → очередь → агент → гейт →
|
||||
переход» (mermaid или ASCII — на выбор developer; AC-3 требует хотя бы одну).
|
||||
- **`tech-pipeline.md`:** схема стадий включает `deploy-staging` и сток `cancelled`; под-гейты
|
||||
ребра `deploy-staging→deploy` перечисляются в фактическом порядке **security → merge →
|
||||
coverage → image-freshness** (нормативный порядок — adr-0029/ORCH-027) и явно помечаются как
|
||||
**врезки в переход, а не стадии** (AC-4); под-гейт `deploy→done` (merge-verify) — аналогично;
|
||||
человеческие гейты (Approved, Confirm Deploy) и их снятие авто-лейблами (ORCH-089), STOP
|
||||
(ORCH-090), багфикс-маршрут (ORCH-019), serial gate/freeze (ORCH-088); «статусы Plane =
|
||||
индикация ≠ управление» (ORCH-066).
|
||||
- **`tech-agents.md`:** паспорт каждой из 6 ролей по `PIPELINE_DOCS.md` §2 (назначение, стадия,
|
||||
вход, артефакты, machine-verdict ключ — имена байт-в-байт: `verdict:`/`result:`/
|
||||
`staging_status:`/`deploy_status:`/`security_status:`); таблица модель/эффорт = фактический
|
||||
резолв config (ORCH-41/74/81).
|
||||
- **Терминология** едина со статусной моделью Plane (ORCH-066) и PIPELINE_DOCS (NFR-4); язык —
|
||||
русский.
|
||||
|
||||
Привязка: BR-3, BR-4, FR-3, AC-3…AC-6.
|
||||
|
||||
### D4 (исход OQ-2) — Презентация: `presentation.md` (машинно-парсимый источник) + `scripts/build_presentation.py` на python-pptx
|
||||
|
||||
**Решение: слайдо-источник — `docs/overview/presentation.md`** с жёсткой машинно-парсимой
|
||||
структурой:
|
||||
|
||||
```markdown
|
||||
## Слайд N: <Заголовок>
|
||||
- <тезис 1> (3–6 тезисов на слайд)
|
||||
- <тезис 2>
|
||||
> Визуал: <подпись визуального мотива слайда> (опционально)
|
||||
```
|
||||
|
||||
Нумерация сквозная с 1; объём — **14–18 слайдов** (в коридоре ориентира FR-4 12–20);
|
||||
нормативные смысловые биты нарратива (порядок FR-4): проблема → решение → как работает
|
||||
(конвейер+гейты) → роли агентов → человек в контуре → возможности (автономный пакетный режим,
|
||||
багфикс-трек, самовосстановление, наблюдаемость) → сценарии → тираж → статус платформы.
|
||||
Точная нарезка по слайдам — за developer; тест D6 ассертит структуру и биты, не прозу.
|
||||
|
||||
**Генератор — `scripts/build_presentation.py` на `python-pptx`:**
|
||||
|
||||
- **Запуск только вне рантайма** (host/dev venv, явный запуск человеком — паттерн ORCH-009);
|
||||
`python-pptx` НЕ добавляется в `requirements*`/`Dockerfile` (NFR-2; машинный гард — D6 TC-09).
|
||||
- **Архитектура скрипта:** чистая функция-парсер `parse_slides(text) -> list[Slide]`
|
||||
(stdlib-only, без импорта pptx) + рендерер с **ленивым** `import pptx` внутри функции сборки.
|
||||
Один парсер = один источник истины о формате: `tests/test_system_docs.py` импортирует
|
||||
`parse_slides` (механика импорта из `scripts/` — прецедент `test_bootstrap_script.py`) и
|
||||
валидирует слайдо-источник без установленного python-pptx.
|
||||
- **Тёмный дизайн (D-1):** константы темы в скрипте — тёмный фон (≈`#1F1F2E`), светлый текст,
|
||||
один акцентный цвет; шрифты — стандартные системные с полной кириллицей (Calibri/Arial).
|
||||
python-pptx пишет **настоящий редактируемый текст** в slide-объекты → «точный рендеринг»
|
||||
гарантирован самим PowerPoint (а не headless-браузером), кириллица не растрируется, Владелец
|
||||
может править слайды руками.
|
||||
- **Процедура — в `presentation.md`**, раздел «Как собрать .pptx», форма «fenced-команда +
|
||||
Проверка:» (канон LITE_SETUP): создать venv → `pip install python-pptx` → запуск скрипта →
|
||||
проверка (скрипт печатает число собранных слайдов; файл открывается, тема тёмная). Дефолтный
|
||||
выход — `build/orchestrator-overview.pptx` (D5).
|
||||
|
||||
**Почему python-pptx, а не альтернативы:** Marp → pptx требует Node+Chromium и экспортирует
|
||||
слайды растровыми картинками (нередактируемо, текст не выделяется — против «точного
|
||||
рендеринга» как редактируемого артефакта); pandoc → pptx ограниченно управляет тёмной темой
|
||||
(reference-doc с мастер-слайдами — отдельный бинарный артефакт в репо); «только ручная
|
||||
процедура» — слабейшая воспроизводимость (человек = источник дрейфа). python-pptx: один
|
||||
pip-пакет в одноразовом dev-venv, детерминированный код-как-дизайн, тестируемый парсер.
|
||||
|
||||
Привязка: BR-5, FR-4, AC-7, NFR-2.
|
||||
|
||||
### D5 (исход OQ-3) — Бинарь `.pptx` НЕ коммитится; источник истины — markdown + скрипт
|
||||
|
||||
**Решение: собранный `.pptx` в git НЕ коммитится.** Канон: источник истины —
|
||||
`presentation.md` + `build_presentation.py`; артефакт собирается по требованию за одну команду.
|
||||
Обоснование: бинарь не диффуем, анти-дрейф тесты его содержимое не проверяют → закоммиченный
|
||||
deck молча устаревает относительно источника (живой пример — `docs/PRODUCT_VISION.pptx`:
|
||||
закоммичен, пути генерации нет, контент vision уже разошёлся с кодом); BR-5 требует
|
||||
воспроизводимость пути, не бинарь (BRD §6).
|
||||
|
||||
- Дефолтный выход генератора — `build/orchestrator-overview.pptx`; в `.gitignore` добавляется
|
||||
строка `build/` (разрешённое отклонение диффа, не рантайм).
|
||||
- **Существующий `docs/PRODUCT_VISION.pptx` не трогается** (артефакт другого work item;
|
||||
ретроактивная чистка — вне объёма §2.2). Новый канон действует на витрину и вперёд.
|
||||
|
||||
Привязка: BR-5, AC-7, BRD §6.
|
||||
|
||||
### D6 (FR-7) — Анти-дрейф контур: `tests/test_system_docs.py`
|
||||
|
||||
**Решение: один структурный модуль, детерминированный, без сети/LLM/subprocess** (образец —
|
||||
`test_lite_setup_doc.py`/`test_bundled_setup_doc.py`). Нормативные семейства проверок (точная
|
||||
нарезка по тест-функциям — за developer, `04-test-plan.yaml` дополняется на development):
|
||||
|
||||
| TC | Проверка | Механика |
|
||||
|----|----------|----------|
|
||||
| TC-01 | Все 10 файлов витрины D1 существуют и непусты | `Path.exists()` + размер |
|
||||
| TC-02 | Индекс: 3 маршрута аудиторий («Я заказчик» / «Я менеджер» / «Я разработчик») и норматив сопровождения присутствуют; из индекса по относительным ссылкам достижимы business / все 7 tech / presentation (AC-1) | regex-извлечение ссылок + подстроки |
|
||||
| TC-03 | **Карта стадий = код:** каждый ключ `src.stages.STAGE_TRANSITIONS` (вкл. `deploy-staging`, `cancelled`) упомянут в `tech-pipeline.md`; порядок основной цепочки created→…→done — по возрастанию позиций вхождений; derive из импорта, не статичный список (паттерн ORCH-091) | `import src.stages` + поиск позиций |
|
||||
| TC-04 | **Гейты = код:** имя exit-гейта каждого ребра (`qg` из `STAGE_TRANSITIONS`) упомянуто в `tech-pipeline.md`; под-гейты названы фактическими именами реестра `QG_CHECKS` (`check_security_gate`, `check_branch_mergeable`, `check_coverage_gate`, `check_staging_image_fresh`) и идут в нормативном порядке security → merge → coverage → image-freshness (порядок — фикс adr-0029, позиционный ассерт); рядом с под-гейтами есть маркер «не стадии» (врезки) | импорт `STAGE_TRANSITIONS` + `QG_CHECKS`, позиции подстрок |
|
||||
| TC-05 | **Полнота 6 агентов:** derive из glob `.openclaw/agents/*.md` (не статичный список) — стем каждого файла упомянут в `tech-agents.md`; таблица эффортов сходится с config-дефолтами (поля class-default `agent_effort_<role>`, ORCH-81) | glob + `import src.config` |
|
||||
| TC-06 | **Валидность ссылок:** все относительные md-ссылки всех файлов витрины резолвятся в существующие файлы; обязательный список ссылок AC-6 (architecture/README, internals, PIPELINE_DOCS, HANDOFF_PROTOCOL, adr-реестр, LITE_SETUP, BUNDLED_SETUP, PRODUCT_VISION, CLAUDE.md) присутствует | regex `\[..\]\((..)\)` + `Path.exists()` относительно файла |
|
||||
| TC-07 | **Гигиена:** полнотекстовый скан всех 10 файлов витрины — нет литералов центрального списка `FORBIDDEN` (импорт из `tests/test_no_host_hardcodes.py`, не копия) и секретоподобных значений (эвристика hex/base64 ≥ 32 симв., не плейсхолдер); нет ссылок на вне-репозиторные пути (`tasks/`, `memory/`) (AC-12) | `find_violations` + эвристика |
|
||||
| TC-08 | **Слайдо-источник:** парс через `parse_slides` из `scripts/build_presentation.py` (один парсер — D4): ≥ 12 слайдов, нумерация сквозная с 1, на каждом ≥ 1 тезис; нормативные биты нарратива FR-4 присутствуют (подстроки: проблема/решение/сценарии/тираж/статус) | импорт чистой функции (прецедент `test_bootstrap_script.py`) |
|
||||
| TC-09 | **NFR-2 машинно:** подстрока `pptx` отсутствует в `requirements*` и `Dockerfile` | чтение файлов |
|
||||
| TC-10 | **Указатели:** `README.md` ссылается на `docs/overview/`; `CLAUDE.md` несёт указатель на витрину; `CHANGELOG.md` несёт `ORCH-011` | подстроки |
|
||||
|
||||
Скоуп FORBIDDEN-скана — **полнотекстовый** (не только fenced, в отличие от ORCH-102 TC-05):
|
||||
витрина по построению не дублирует дефолты/хост-специфику даже в прозе (NFR-3), упоминать
|
||||
боевые литералы ей незачем → ложно-красных нет, а защита шире. Существующие тесты не
|
||||
ослабляются; новые попадают в существующие гейты (`check_ci_green`/`check_tests_passed`/
|
||||
merge-gate re-test/coverage ORCH-027) автоматически — **новый QG НЕ регистрируется** (ТЗ §6).
|
||||
|
||||
Привязка: BR-8, FR-7, AC-4, AC-5, AC-10, AC-11, AC-12.
|
||||
|
||||
### D7 (исход OQ-5) — Reviewer-ось обзорных доков: точечная правка промпта НУЖНА
|
||||
|
||||
**Решение: расширить существующую ось ORCH-079 в `.openclaw/agents/reviewer.md` точечной
|
||||
врезкой, называющей витрину явно.** Обоснование: по букве ось привязана к `README.md`
|
||||
«Известные ограничения» («если PR закрывает/меняет пункт из README…»); витрина под букву не
|
||||
подпадает, а история ORCH-079 показала, что общего правила «документация = golden source»
|
||||
для обзорных доков недостаточно — ось работает, когда названа явно (❌→✅-паттерн). Норматив
|
||||
правки:
|
||||
|
||||
- В оси 4 «Документация» и в соответствующем ❌→✅-пункте `<constraints>` существующая
|
||||
формулировка ORCH-079 дополняется: *PR меняет функциональность, описанную в витрине
|
||||
`docs/overview/` (стадии, гейты, агенты, интеграции, способности из business.md), а витрина
|
||||
не обновлена → finding ≥ P1* — **расширение трактовки той же оси, не новая ось**.
|
||||
- Канон 52d сохраняется байт-в-байт: 5 XML-секций и их порядок не меняются, verdict-ключ
|
||||
`verdict: APPROVED|REQUEST_CHANGES` не трогается; правка — добавление текста внутрь
|
||||
существующих секций (паттерн самой ORCH-079).
|
||||
- `tests/test_agent_prompts_canon.py` расширяется ассертом на упоминание витрины в оси
|
||||
обзорных доков (анти-регресс; существующие ассерты остаются зелёными).
|
||||
- Зеркальная правка правила №6 `CLAUDE.md` («Reviewer проверяет…») — упоминание витрины.
|
||||
|
||||
Привязка: BR-7, FR-6, AC-9.
|
||||
|
||||
### D8 — Индекс: маршруты аудиторий и норматив сопровождения; указатели репо
|
||||
|
||||
**Маршруты (FR-5, нормативный состав):** индекс несёт три явных маршрута с упорядоченными
|
||||
списками «что читать»:
|
||||
- **«Я заказчик»:** `business.md` → сценарии → `presentation.md` →
|
||||
`docs/deployment/LITE_SETUP.md`/`BUNDLED_SETUP.md`;
|
||||
- **«Я менеджер проекта»:** `business.md` → `tech-pipeline.md` (конвейер, статусная модель
|
||||
Plane, человеческие гейты) → `tech-observability.md`;
|
||||
- **«Я разработчик»:** `tech-*` (1→7) → `docs/architecture/README.md` → `internals.md` →
|
||||
`docs/_standards/` → реестр ADR → `CLAUDE.md`.
|
||||
|
||||
**Норматив сопровождения (FR-6, формулировка по образцу NFR-5 ORCH-102/103):** в индексе —
|
||||
явная норма «**изменил функциональность платформы → обнови витрину `docs/overview/` в том же
|
||||
PR**» (+ указание, какой файл какому классу изменений соответствует). Указатели:
|
||||
- `CLAUDE.md`: в правило №2 («Документация = golden source») добавляется указатель на витрину
|
||||
и норматив; правка правила №6 — D7; строка о витрине в разделе «Структура» (`docs/`).
|
||||
- `README.md`: ссылка на витрину в начале (рядом с «Архитектура») — «единая точка входа в
|
||||
документацию системы».
|
||||
- `CHANGELOG.md`: запись `docs:` по ORCH-011.
|
||||
|
||||
Привязка: BR-6, BR-7, BR-9, FR-5, FR-6, AC-8, AC-9, AC-11.
|
||||
|
||||
### D9 — Границы изменения; 07/08 — N/A; исход OQ-4; эскалация не требуется
|
||||
|
||||
- **Дифф задачи:** `docs/overview/` (10 файлов, D1), `tests/test_system_docs.py` (D6),
|
||||
`scripts/build_presentation.py` (D4), правки `.openclaw/agents/reviewer.md` +
|
||||
`tests/test_agent_prompts_canon.py` (D7), `README.md`/`CLAUDE.md`/`CHANGELOG.md` (D8),
|
||||
`.gitignore` (+`build/`, D5), ADR-пакет work item + сквозной adr-0039 + секция в
|
||||
`docs/architecture/README.md`. **`src/**`, `docker-compose.yml`, `Dockerfile`,
|
||||
`requirements*` — ноль изменений** (NFR-1; машинный гард — TC-09); любое отклонение — только
|
||||
новым ADR.
|
||||
- `STAGE_TRANSITIONS`/`QG_CHECKS`/`check_*`/machine-verdict ключи/схема БД — байт-в-байт; новых
|
||||
эндпоинтов/флагов/kill-switch нет (выключать нечего: доки и dev-скрипт не исполняются
|
||||
конвейером).
|
||||
- **`07-infra-requirements.md` / `08-data-requirements.md` — N/A** (прецедент ORCH-102 D9):
|
||||
топология не меняется (ни контейнера, ни порта, ни маунта), схема БД не меняется (ТЗ §5).
|
||||
Dev-venv для генерации `.pptx` — не инфра-предусловие конвейера: создаётся ad-hoc человеком
|
||||
при сборке презентации (процедура — `presentation.md`).
|
||||
- **Исход OQ-4 (compiled-wiki/экспорт):** вне объёма v1 — зафиксировано; репозиторий —
|
||||
единственный источник истины («канон не форкается», ORCH-009 BR-2). Follow-up work item не
|
||||
заводится автоматически: потребность в wiki-экспорте — решение Владельца после приёмки
|
||||
витрины (если витрина в репо закрывает D-2/D-3, экспорт не нужен вовсе).
|
||||
- **Объём одного прогона (R-3):** допущение BRD §6 принимается; приоритет при дефиците объёма:
|
||||
каркас+индекс → tech-pipeline/tech-agents (машинно-сверяемые) → business → остальные tech →
|
||||
presentation+скрипт. Молчаливое сокращение запрещено — недоезд = эскалация разбиением.
|
||||
- **Self-hosting (NFR-5):** прод-контейнер не рестартится; выкат — штатный конвейер
|
||||
(deploy-staging 8501 → Confirm Deploy). Для enduro-trails изменение инертно (общих
|
||||
артефактов нет).
|
||||
- **Эскалация:** `arch:major-change` не требуется (нет новой стадии/компонента/смены БД —
|
||||
docs-канон); ТЗ удовлетворимо без нарушения принципов — возврат в анализ не нужен.
|
||||
|
||||
## Альтернативы
|
||||
|
||||
- **Расширить `README.md` вместо нового раздела** — отвергнуто: README — тех-витрина с
|
||||
собственной ролью (и осью ORCH-079); бизнес-уровень + 7 блоков + маршруты раздули бы его в
|
||||
монолит против NFR-6; D-3 предполагает выделенное «единое место».
|
||||
- **`docs/system/` как имя каталога** — отвергнуто: «overview» точнее передаёт роль (обзор для
|
||||
входа), рекомендация аналитика, прецедентов коллизии нет.
|
||||
- **Монолит `tech.md` (или пара business/tech)** — отвергнуто: блоки устаревают с разным
|
||||
темпом; точечные правки и пофайловые ассерты тестов дешевле на 7 файлах (NFR-6).
|
||||
- **Marp / pandoc для PPTX** — отвергнуто (D4): Node+Chromium-тулчейн и растровые слайды
|
||||
(Marp) / ограниченная тёмная тема через бинарный reference-doc (pandoc); python-pptx даёт
|
||||
редактируемый текст и код-как-дизайн с одним pip-пакетом вне прод-образа.
|
||||
- **Коммитить собранный `.pptx`** — отвергнуто (D5): недиффуемый, тестами не проверяемый,
|
||||
молча устаревает (живой пример — `PRODUCT_VISION.pptx` без пути генерации); BR-5 требует
|
||||
воспроизводимость, не бинарь.
|
||||
- **Жёсткий снапшот-тест контента витрины (хэши/полные списки компонентов)** — отвергнуто:
|
||||
превратил бы каждую docs-правку в красный CI (ложная жёсткость); тесты держат только
|
||||
машинно-проверяемые факты, derive из кода (стадии/гейты/агенты), остальное — за reviewer.
|
||||
- **Не править промпт reviewer (положиться на общее правило)** — отвергнуто (D7): по букве ось
|
||||
ORCH-079 привязана к README; сам ORCH-079 существует потому, что общего правила для обзорных
|
||||
доков не хватило; одна строка расширения дешевле гниющей витрины.
|
||||
- **Автогенерация витрины из кода (autodoc)** — отвергнуто: явно вне объёма (BRD §2.2);
|
||||
derive-from-code остаётся в тестах (сверка), не в генерации текста.
|
||||
|
||||
## Последствия
|
||||
|
||||
- **+** Единая точка входа для трёх аудиторий закрывает корневую проблему фрагментации
|
||||
(BRD §1.2); презентация собирается за одну команду из версионируемого источника.
|
||||
- **+** Машинно-проверяемые факты витрины (стадии/гейты/агенты/ссылки/гигиена/чистота
|
||||
prod-зависимостей) — CI-гарантии (TC-01…TC-10), а не обещания: дрейф ловится тестом, гниение
|
||||
прозы — расширенной reviewer-осью (D7).
|
||||
- **+** Нулевой риск рантайма: docs+tests+dev-скрипт, конвейер байт-в-байт, kill-switch не
|
||||
нужен; для enduro-trails инертно.
|
||||
- **−** Новый golden source = новая обязанность сопровождения каждого функционального PR —
|
||||
принято осознанно (в этом смысл задачи), митигировано link-first (правится одна строка-резюме,
|
||||
не трактат), нормативом в индексе/CLAUDE.md и осью reviewer.
|
||||
- **−** Разрешённый машинно-сверяемый дубль (стадии/гейты/агенты в `tech-pipeline.md`/
|
||||
`tech-agents.md`) — двойная запись фактов кода; защищён derive-тестами TC-03…TC-05
|
||||
(прецедент TC-02b ORCH-102).
|
||||
- **−** Правка промпта reviewer — расширение поверхности канона 52d; митигировано: только
|
||||
добавление внутрь существующих секций, анти-регресс `test_agent_prompts_canon.py`.
|
||||
- **−** `.pptx` не в репо — показ «здесь и сейчас» требует одной команды сборки; принято
|
||||
(Владелец собирает deck при необходимости; альтернатива — гниющий бинарь — хуже).
|
||||
- **Откат:** удалить `docs/overview/`, `tests/test_system_docs.py`,
|
||||
`scripts/build_presentation.py`, вернуть точечные правки README/CLAUDE/CHANGELOG/.gitignore/
|
||||
reviewer.md — состояние 1:1, ни миграций, ни состояния (ТЗ §7).
|
||||
|
||||
## Ссылки
|
||||
|
||||
- BRD: `docs/work-items/ORCH-011/01-brd.md` (решения Владельца D-1…D-4, факты §1.2)
|
||||
- TRZ: `docs/work-items/ORCH-011/02-trz.md` (FR-1…FR-7, OQ-1…OQ-5)
|
||||
- Acceptance: `docs/work-items/ORCH-011/03-acceptance-criteria.md` (AC-1…AC-12)
|
||||
- Риски: `docs/work-items/ORCH-011/10-tech-risks.md`
|
||||
- Сквозной ADR: `docs/architecture/adr/adr-0039-system-overview-docs-canon.md`
|
||||
- Сверено по коду/репо: `src/stages.py::STAGE_TRANSITIONS` (9 стадий + `cancelled`),
|
||||
`src/qg/checks.py::QG_CHECKS` (14 проверок), `.openclaw/agents/*.md` (6 промптов; ось
|
||||
ORCH-079 в `reviewer.md`), `docs/PRODUCT_VISION.md` §1–2 (+ устаревшая схема конвейера §2),
|
||||
`docs/PRODUCT_VISION.pptx` (бинарь без пути генерации), `tests/test_lite_setup_doc.py` /
|
||||
`test_bundled_setup_doc.py` (паттерн структурных доков-тестов),
|
||||
`tests/test_no_host_hardcodes.py` (`FORBIDDEN`, `find_violations`),
|
||||
`tests/test_qg_registry_snapshot.py` (импорт QG_CHECKS), `tests/test_bootstrap_script.py`
|
||||
(импорт чистых функций из `scripts/`), `.gitignore`
|
||||
- Инварианты соседних решений: adr-0019 (стандарт доков), adr-0021/ORCH-092 (канон промптов
|
||||
52d), adr-0023 (ось обзорных доков ORCH-079), adr-0029 (порядок под-гейтов), adr-0037/0038
|
||||
(deployment-каноны — ссылаемся, не форкаем), ORCH-041/074/081 (модель/эффорт),
|
||||
ORCH-066 (статусная модель), `docs/_standards/PIPELINE_DOCS.md` §4 (ADR-naming),
|
||||
`docs/_standards/TRACEABILITY.md` (маркеры)
|
||||
40
docs/work-items/ORCH-011/10-tech-risks.md
Normal file
40
docs/work-items/ORCH-011/10-tech-risks.md
Normal file
@@ -0,0 +1,40 @@
|
||||
---
|
||||
work_item: ORCH-011
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-11
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 10 — Технические риски: ORCH-011 — Полная документация системы мультиагентов (витрина + PPTX)
|
||||
|
||||
Work Item: **ORCH-011** · Repo: **orchestrator** · Стадия: architecture
|
||||
|
||||
> Информационный (гейтом не парсится). Перечисляет риски реализации и их митигейшн.
|
||||
> Базовые бизнес-риски R-1…R-5 — BRD §8; здесь — их техническая детализация + новые.
|
||||
|
||||
## Реестр рисков
|
||||
|
||||
| ID | Риск | Вер. | Влия. | Митигейшн |
|
||||
|----|------|------|-------|-----------|
|
||||
| TR-1 | **Гниение витрины** (R-1): self-hosting темп быстро устаревает снапшот; живой пример уже в репо — схема конвейера в `PRODUCT_VISION.md` §2 потеряла `deploy-staging`/`cancelled` | Выс. | Сред. | Машинно-проверяемые факты держат derive-тесты (ADR-001 D6 TC-03…TC-05: стадии/гейты/агенты импортом из кода); проза — норматив сопровождения в индексе + расширенная reviewer-ось (D7); link-first сводит правку к одной строке-резюме |
|
||||
| TR-2 | **Второй источник истины** (R-2): дубль деталей architecture/README в витрине → противоречия | Сред. | Сред. | Норматив D3: запрещён дубль живых таблиц golden sources; разрешённый дубль — только машинно-сверяемый тестом факт (прецедент key-sync ORCH-102 TC-02b); контроль — AC-6 + reviewer |
|
||||
| TR-3 | **Объём одного прогона** (R-3): 10 файлов + скрипт + тесты + правка промпта могут не поместиться в разумный PR | Сред. | Сред. | Модульность D1 (правки независимы); нормативный приоритет блоков при дефиците (D9); молчаливое сокращение запрещено — эскалация разбиением по штатному маршруту |
|
||||
| TR-4 | **Утечка зависимости генерации в прод-образ** (R-4): `python-pptx` случайно попадает в `requirements*`/`Dockerfile` | Низ. | Выс. | Архитектура скрипта D4 (lazy import, запуск только вне рантайма); **машинный гард TC-09** (скан `requirements*`/`Dockerfile` на `pptx`) — попадание рвёт CI |
|
||||
| TR-5 | **Ложная жёсткость анти-дрейф тестов:** слишком буквальные ассерты (точные фразы прозы) делают каждую будущую docs-правку красной → тесты начнут ослаблять | Сред. | Сред. | D6: ассерты только на стабильное (заголовки, имена из кода через импорт, относительные ссылки, биты-подстроки); снапшот-контента отвергнут явно (ADR-001 «Альтернативы») |
|
||||
| TR-6 | **Регресс канона 52d при правке промпта reviewer** (D7): нарушение порядка секций / verdict-ключа | Низ. | Выс. | Правка — только добавление текста внутрь существующих секций (паттерн ORCH-079); анти-регресс `tests/test_agent_prompts_canon.py` (существующие ассерты + новый на упоминание витрины) |
|
||||
| TR-7 | **Кириллица/тема в PPTX:** артефакт собирается, но рендеринг не «точный» (D-1): шрифт без кириллицы, контраст темы | Низ. | Сред. | python-pptx пишет редактируемый текст (не растр); шрифты — системные с полной кириллицей (Calibri/Arial); процедура в `presentation.md` несёт явную «Проверка:» (открыть файл, тема тёмная, кириллица читается); приёмка — AC-7 |
|
||||
| TR-8 | **Парсер слайдо-источника расходится с тестом:** свой regex в тесте ≠ парсер скрипта → источник валиден для теста, но не собирается | Низ. | Сред. | Один парсер: тест импортирует `parse_slides` из `scripts/build_presentation.py` (D4/D6 TC-08; прецедент импорта из scripts — `test_bootstrap_script.py`) |
|
||||
| TR-9 | **Цифры в бизнес-части не подтверждаются репо** (метрики скорости/стоимости из vision) → витрина теряет доверие / выдаёт желаемое за действительное | Сред. | Низ. | Норматив D2: числа только с внутрирепозиторным подтверждением или явной атрибуцией «оценка из PRODUCT_VISION»; новые цифры не изобретать (AC-12; reviewer проверяет) |
|
||||
| TR-10 | **Путаница канона бинарей:** в репо остаётся `docs/PRODUCT_VISION.pptx` (старый паттерн), новый канон — «бинарь не коммитим» (D5) → будущий агент скопирует старый паттерн | Низ. | Низ. | Канон зафиксирован сквозным adr-0039 + нормативом в `presentation.md`; PRODUCT_VISION.pptx не трогается (чужой артефакт), но прецедентом не является — явная оговорка в ADR-001 D5 |
|
||||
|
||||
## Сводный вывод
|
||||
|
||||
Доминирующий класс — **риски сопровождения документации** (TR-1/TR-2/TR-5): изменение не несёт
|
||||
рантайм-риска вовсе (docs+tests+dev-скрипт, `src/**` байт-в-байт, машинный гард TC-09), но
|
||||
создаёт новый golden source, который без машинной сверки и явной reviewer-оси начал бы гнить с
|
||||
первой же задачи. Митигация встроена в само решение (derive-тесты + link-first + норматив +
|
||||
ось D7). Эскалация `arch:major-change` не требуется (нет новой стадии/компонента/смены БД);
|
||||
возврат в анализ не нужен. Остаточный риск для прод-конвейера (self-hosting): **низкий** —
|
||||
прод-контейнер не затрагивается, деплой штатным маршрутом, для enduro-trails изменение инертно.
|
||||
106
docs/work-items/ORCH-011/12-review.md
Normal file
106
docs/work-items/ORCH-011/12-review.md
Normal file
@@ -0,0 +1,106 @@
|
||||
---
|
||||
verdict: APPROVED
|
||||
work_item: ORCH-011
|
||||
stage: review
|
||||
author_agent: reviewer
|
||||
status: approved
|
||||
created_at: 2026-06-11
|
||||
model_used: claude-opus-4-8
|
||||
type: review
|
||||
work_item_id: ORCH-011
|
||||
version: 1
|
||||
---
|
||||
|
||||
# Review ORCH-011
|
||||
|
||||
## Summary
|
||||
|
||||
PR (`7f0298b`, ветка `feature/ORCH-011-`) создаёт витрину системы `docs/overview/` строго по
|
||||
ADR-001 (D1–D9): 10 файлов плоского каталога (индекс + business + 7×tech-* + presentation),
|
||||
dev-скрипт `scripts/build_presentation.py` (stdlib-парсер `parse_slides` + ленивый `import pptx`),
|
||||
структурный анти-дрейф `tests/test_system_docs.py`, точечное расширение reviewer-оси ORCH-079 на
|
||||
витрину (D7) + анти-регресс ассерт, указатели README/CLAUDE.md/PRODUCT_VISION/CHANGELOG,
|
||||
сквозной `adr-0039` + секция в `docs/architecture/README.md`, `build/` в `.gitignore` (D5).
|
||||
|
||||
Проверено по 4 осям:
|
||||
|
||||
1. **Соответствие ТЗ (FR-1…FR-7, AC-1…AC-12)** — выполнено, детальная сверка ниже. Все 12 AC — PASS.
|
||||
2. **Соответствие ADR** — реализация 1:1 с ADR-001 D1–D9 и adr-0039; исходы OQ-1…OQ-5 воплощены
|
||||
(каталог `docs/overview/`, python-pptx вне прод-образа, бинарь не закоммичен, OQ-4 вне объёма,
|
||||
правка промпта reviewer по канону 52d). Глобальные ADR не нарушены: канон 52d (adr-0021) —
|
||||
5 секций/порядок/verdict-ключ целы (зелёный `test_agent_prompts_canon.py`); ось ORCH-079
|
||||
(adr-0023) — расширена аддитивно, не ослаблена; порядок под-гейтов (adr-0029) в витрине —
|
||||
фактический security → merge → coverage → image-freshness (позиционный тест).
|
||||
**Трассировка (TRACEABILITY):** правка блока с чужим маркером ORCH-079 в `reviewer.md` сверена
|
||||
с его ADR — инвариант не сломан, расширение зафиксировано собственным D7 + тестом.
|
||||
3. **Качество кода** — `tests/test_system_docs.py`: 20 содержательных тест-функций, derive-сверки
|
||||
импортом `STAGE_TRANSITIONS`/`QG_CHECKS`/glob промптов/class-default'ов config (не статика),
|
||||
границы токенов стадий (`deploy` не матчится в `deploy-staging`), негативный самочек
|
||||
секрет-эвристики, анти-выдумка имён гейтов по всем 10 файлам. `build_presentation.py` —
|
||||
докстринги на всех публичных функциях, честные коды возврата, ImportError-подсказка.
|
||||
**Полный регресс: `pytest tests/ -q` → 1873 passed, 0 failed.**
|
||||
4. **Документация** — обновлена в том же PR (см. раздел ниже). `src/**` НЕ изменён
|
||||
(docs+tests+dev-скрипт), P0-правило «src без доки» неприменимо и не нарушено.
|
||||
|
||||
Сверка машинных фактов витрины с кодом (независимо от тестов):
|
||||
- стадии/exit-гейты таблицы `tech-pipeline.md` = `src/stages.py::STAGE_TRANSITIONS` байт-в-байт
|
||||
(`check_analysis_approved` … `check_deploy_status`, `done`/`cancelled` — терминалы);
|
||||
- таблица модель/эффорт `tech-agents.md` = `src/config.py` (default `claude-opus-4-8`;
|
||||
developer=`xhigh`, tester/deployer=`medium`, прочие=`high`);
|
||||
- verdict-ключи ролей (`verdict:`/`result:`/`staging_status:`/`deploy_status:`) = канон AC-5;
|
||||
- бинарь `.pptx` в diff отсутствует; `pptx` в `requirements*`/`Dockerfile` отсутствует (NFR-2);
|
||||
- `docker-compose.yml`/`Dockerfile`/`requirements*`/схема БД/`QG_CHECKS` — ноль изменений (AC-11).
|
||||
|
||||
## Findings
|
||||
|
||||
### P0 — Blocker
|
||||
Нет.
|
||||
|
||||
### P1 — Must fix
|
||||
Нет.
|
||||
|
||||
### P2 — Should fix
|
||||
Нет.
|
||||
|
||||
### P3 — Nice to have
|
||||
- [ ] `docs/overview/tech-pipeline.md`, раздел «Статусная модель Plane»: «Управляющих статусов
|
||||
ровно три: запуск в работу, Approved/Confirm Deploy … и STOP» — фактически перечислены четыре
|
||||
статуса в трёх группах; формулировка «три управляющих воздействия (запуск, человеческие гейты,
|
||||
отмена)» была бы точнее. Косметика прозы, машинных фактов не искажает (привязка: AC-4/FR-3.2 —
|
||||
согласованность трактовок; не блокирует).
|
||||
- [ ] `04-test-plan.yaml` не дополнен на development (норматив ADR-001 D6 «точная нарезка по
|
||||
тест-функциям — за developer, 04-test-plan.yaml дополняется на development»). Решение developer
|
||||
консервативно-корректное: правило №3 CLAUDE.md запрещает править артефакты других этапов, а все
|
||||
TC-01…TC-14 плана реализованы 1:1 (маппинг «план TC-NN» зафиксирован в докстрингах
|
||||
`test_system_docs.py`, TC-14 = полный зелёный регресс) — tester может работать по плану как есть.
|
||||
Фиксирую как observation для будущего уточнения норматива, не как дефект.
|
||||
|
||||
## Сверка по критериям приёмки
|
||||
|
||||
| AC | Вердикт | Основание |
|
||||
|----|---------|-----------|
|
||||
| AC-1 точка входа | PASS | индекс `docs/overview/README.md`; все части достижимы (тест `test_index_links_reach_every_showcase_part`) |
|
||||
| AC-2 бизнес-уровень | PASS | 5 разделов + 6 сценариев (≥5); без необъяснённого жаргона; цифра «35 минут» с атрибуцией Product Vision (D2) |
|
||||
| AC-3 7 тех-блоков | PASS | 7 файлов `tech-*`; ASCII-схема потока «вебхук → очередь → агент → гейт → переход» в блоке 1 |
|
||||
| AC-4 стадии/гейты = код | PASS | сверено с `src/stages.py` напрямую + derive-тесты (стадии, порядок цепочки, имена гейтов, порядок под-гейтов, маркер «не стадии») |
|
||||
| AC-5 6 агентов | PASS | паспорта ролей + verdict-ключи + таблица модель/эффорт = config (сверено с `src/config.py`) |
|
||||
| AC-6 link-first | PASS | все 9 обязательных golden-source ссылок присутствуют и резолвятся (тесты); живые таблицы не форкнуты |
|
||||
| AC-7 презентация | PASS | 16 слайдов «## Слайд N:», нарратив полный; процедура «команда + Проверка:» ×3 шага; `pptx` вне прод-образа; бинарь не закоммичен |
|
||||
| AC-8 3 маршрута | PASS | «Я заказчик / Я менеджер / Я разработчик» с упорядоченными списками по FR-5/D8 |
|
||||
| AC-9 норматив | PASS | норма «в том же PR» + таблица «класс изменения → файл» в индексе; CLAUDE.md правила №2/№6; D7 разрешён правкой промпта + тест |
|
||||
| AC-10 анти-дрейф | PASS | `tests/test_system_docs.py` покрывает все семейства D6; `pytest tests/ -q` → 1873 passed |
|
||||
| AC-11 рантайм не тронут | PASS | diff: ноль изменений `src/**`/compose/Dockerfile/requirements; указатели обновлены; FORBIDDEN-скан зелёный |
|
||||
| AC-12 самодостаточность | PASS | запрет `tasks/`/`memory/` — тест зелёный; источники внутрирепозиторные |
|
||||
|
||||
## Документация
|
||||
|
||||
Изменение само является документационным; все сопутствующие обязательства выполнены в том же PR:
|
||||
|
||||
- **Обновлено:** `CHANGELOG.md` (детальная `docs:`-запись ORCH-011), `README.md` (ссылка на
|
||||
витрину), `CLAUDE.md` (строка «Структура», правила №2 и №6), `docs/PRODUCT_VISION.md`
|
||||
(врезка-ссылка «фактическое состояние — витрина», vision не переписан — по ТЗ §2),
|
||||
`docs/architecture/README.md` (секция витрины), ADR-пакет: work-item
|
||||
`06-adr/ADR-001-system-overview-canon.md` + сквозной `adr-0039-system-overview-docs-canon.md`.
|
||||
- **Обзорные доки (ORCH-079):** «Известные ограничения» README данный PR не закрывает —
|
||||
обновления не требуется. Сама ось расширена на новую витрину (D7) с анти-регресс тестом.
|
||||
- **Дополнительно обновлять нечего:** API/env/конфигурация/QG/схема БД не менялись (ТЗ §4–§6).
|
||||
79
docs/work-items/ORCH-011/13-test-report.md
Normal file
79
docs/work-items/ORCH-011/13-test-report.md
Normal file
@@ -0,0 +1,79 @@
|
||||
---
|
||||
result: PASS
|
||||
work_item: ORCH-011
|
||||
stage: testing
|
||||
author_agent: tester
|
||||
status: pass
|
||||
created_at: 2026-06-11
|
||||
model_used: claude-opus-4-8
|
||||
type: test-report
|
||||
work_item_id: ORCH-011
|
||||
---
|
||||
|
||||
# Test Report — ORCH-011
|
||||
|
||||
Полная документация системы мультиагентов: витрина `docs/overview/` + структурный анти-дрейф.
|
||||
|
||||
## Окружение
|
||||
- Worktree (код ветки): `/repos/_wt/orchestrator/feature_ORCH-011-` (ветка `feature/ORCH-011-`)
|
||||
- Python: 3.12.13
|
||||
- pytest: 8.3.3
|
||||
- Дата: 2026-06-11
|
||||
- Предусловие: `12-review.md` → `verdict: APPROVED` ✅
|
||||
|
||||
## Smoke API (read-only)
|
||||
| Эндпоинт | Результат |
|
||||
|----------|-----------|
|
||||
| `GET /health` | PASS — `{"status":"ok","service":"orchestrator"}` |
|
||||
| `GET /status` | PASS — задача ORCH-011 активна на стадии `testing` |
|
||||
| `GET /queue` | PASS — payload несёт блоки `serial_gate` (ORCH-088) **и** `auto_labels` (наряду с `coverage`/`stop`/`bug_fast_track`/`lessons`) — регресса смока нет |
|
||||
|
||||
## Результаты (покрытие test-plan ↔ acceptance-criteria)
|
||||
|
||||
Изменение — docs+tests+dev-скрипт; анти-дрейф витрины реализован в `tests/test_system_docs.py`
|
||||
(28 содержательных тест-функций), полностью зелёном. Каждый TC из `04-test-plan.yaml` выполнен и
|
||||
сопоставлен с критериями `03-acceptance-criteria.md`.
|
||||
|
||||
| TC ID | Описание | AC | Тест-функция(и) `test_system_docs.py` | Результат |
|
||||
|-------|----------|----|----------------------------------------|-----------|
|
||||
| TC-01 | Каталог витрины + индекс с обязательными разделами | AC-1 | `test_all_showcase_files_exist_and_nonempty`, `test_index_carries_maintenance_normative` | PASS |
|
||||
| TC-02 | Из индекса достижимы все части витрины | AC-1/AC-3 | `test_index_links_reach_every_showcase_part` | PASS |
|
||||
| TC-03 | Бизнес-часть: 5 разделов + ≥5 сценариев | AC-2 | `test_business_part_has_five_mandatory_sections`, `test_business_part_has_at_least_five_scenarios` | PASS |
|
||||
| TC-04 | Тех-часть: 7 блоков + схема потока | AC-3 | `test_architecture_block_carries_flow_diagram` (+ link-reach) | PASS |
|
||||
| TC-05 | Стадии сверены импортом `STAGE_TRANSITIONS` (derive) | AC-4 | `test_every_stage_from_code_is_mentioned_in_pipeline_doc`, `test_main_chain_order_in_pipeline_doc_matches_code` | PASS |
|
||||
| TC-06 | Имена exit-гейтов существуют в `QG_CHECKS` | AC-4 | `test_every_exit_gate_from_code_is_named_in_pipeline_doc`, `test_no_invented_gate_names_anywhere_in_showcase`, `test_subgates_in_normative_order_and_marked_as_insets` | PASS |
|
||||
| TC-07 | 6 ролей + артефакты + таблица модель/эффорт = config | AC-5 | `test_every_agent_prompt_stem_is_covered`, `test_effort_table_matches_config_class_defaults` | PASS |
|
||||
| TC-08 | Все ссылки резолвятся + обязательные golden sources | AC-6 | `test_all_relative_links_resolve_to_existing_files`, `test_mandatory_golden_source_links_present` | PASS |
|
||||
| TC-09 | Нет вне-репозиторных путей (`tasks/`/`memory/`/абс. хоста) | AC-12 | `test_no_out_of_repo_references` | PASS |
|
||||
| TC-10 | Презентация: ≥12 нумерованных слайдов + нарратив | AC-7 | `test_presentation_source_parses_with_canonical_parser`, `test_presentation_covers_mandatory_narrative_bits`, `test_presentation_carries_reproducible_build_procedure` | PASS |
|
||||
| TC-11 | Зависимости генерации (`python-pptx`) вне прод-образа | AC-7/NFR-2 | `test_no_pptx_dependency_in_prod_image`, `test_build_script_toplevel_imports_are_stdlib_only` | PASS |
|
||||
| TC-12 | Норматив «в том же PR» + ссылки README/CLAUDE.md | AC-9/AC-11 | `test_index_carries_maintenance_normative`, `test_repo_readme_links_overview`, `test_claude_md_carries_overview_pointer_and_normative`, `test_changelog_has_orch_011_entry` | PASS |
|
||||
| TC-13 | FORBIDDEN-скан хост-литералов + секрет-эвристика | AC-10/AC-11 | `test_showcase_carries_no_forbidden_host_literals`, `test_showcase_carries_no_secret_like_values`, `test_secret_heuristic_is_not_evergreen` | PASS |
|
||||
| TC-14 | Полный регресс `pytest tests/` зелёный; существующие док-тесты не сломаны | AC-10/AC-11 | весь прогон `tests/` (вкл. `test_lite_setup_doc`/`test_bundled_setup_doc`/`test_orch_52b_docs_standard`/`test_agent_prompts_canon`) | PASS |
|
||||
|
||||
Также покрыты `test_index_carries_three_audience_routes` (AC-8 — 3 маршрута аудиторий).
|
||||
|
||||
## Вывод pytest
|
||||
|
||||
Модуль витрины:
|
||||
```
|
||||
$ python3 -m pytest tests/test_system_docs.py -v
|
||||
...
|
||||
======================== 28 passed, 1 warning in 0.43s =========================
|
||||
```
|
||||
|
||||
Полный регресс:
|
||||
```
|
||||
$ cd /repos/_wt/orchestrator/feature_ORCH-011- && pytest tests/ -v --tb=short
|
||||
...
|
||||
================== 1873 passed, 1 warning in 71.36s (0:01:11) ==================
|
||||
```
|
||||
|
||||
(Единственный warning — преэкзистентный `PydanticDeprecatedSince20` в `src/config.py:8`,
|
||||
не связан с ORCH-011, к коду ветки не относится.)
|
||||
|
||||
## Итог
|
||||
|
||||
PASS — все 14 TC выполнены и сопоставлены с критериями приёмки (AC-1…AC-12), smoke read-only
|
||||
зелёный (`serial_gate` + `auto_labels` присутствуют в `/queue`), полный регресс `tests/` —
|
||||
**1873 passed, 0 failed**. Стадия переходит на `deploy-staging`.
|
||||
12
docs/work-items/ORCH-011/14-deploy-log.md
Normal file
12
docs/work-items/ORCH-011/14-deploy-log.md
Normal file
@@ -0,0 +1,12 @@
|
||||
---
|
||||
deploy_status: SUCCESS
|
||||
work_item: ORCH-011
|
||||
hook_exit_code: 0
|
||||
deployed_by: deploy-finalizer
|
||||
---
|
||||
|
||||
# Deploy log — ORCH-036 executable self-deploy
|
||||
|
||||
Прод-деплой завершён хост-хуком с exit-code `0` -> `deploy_status: SUCCESS`.
|
||||
|
||||
Вердикт зафиксирован детерминированным finalizer'ом (Фаза C), не LLM.
|
||||
32
docs/work-items/ORCH-011/15-staging-log.md
Normal file
32
docs/work-items/ORCH-011/15-staging-log.md
Normal file
@@ -0,0 +1,32 @@
|
||||
---
|
||||
staging_status: SUCCESS
|
||||
work_item: ORCH-011
|
||||
stage: deploy-staging
|
||||
author_agent: deployer
|
||||
status: success
|
||||
created_at: 2026-06-11
|
||||
model_used: claude-opus-4-8
|
||||
timestamp: 2026-06-11T06:35:40Z
|
||||
base_url: http://localhost:8501
|
||||
---
|
||||
|
||||
# Staging Gate Log
|
||||
|
||||
Staging test suite completed against the live `orchestrator-staging` environment (8501).
|
||||
Run canonically inside the container via `docker exec orchestrator-staging
|
||||
python3 /repos/orchestrator/scripts/staging_check.py --base-url http://localhost:8501
|
||||
--mode stub` (ORCH-048). Exit code **0** → advance.
|
||||
|
||||
All REAL pipeline checks passed. The two failing checks are the known sandbox-infra
|
||||
checks C9a/C9b (depend on SANDBOX bot accounts being members of the sandbox project —
|
||||
not on the pipeline), tolerated under ORCH-061 since every REAL check is green.
|
||||
|
||||
INFRA-WAIVED: C9a Branch appears in orchestrator-sandbox, C9b Analyst job enqueued in staging queue (known sandbox-infra; real checks green)
|
||||
VERDICT: SUCCESS (exit 0) — SUCCESS (infra-waived): ['C9a Branch appears in orchestrator-sandbox', 'C9b Analyst job enqueued in staging queue'] are known sandbox-infra checks; all real checks green
|
||||
|
||||
## Results
|
||||
- **Block A (SMOKE)**: PASS — A1 `/health` 200 ok, A2 `/queue` 200, A3 `ORCH_STAGING=true`.
|
||||
- **Block B (ACCESS)**: PASS — B4 Plane sandbox accessible, B5 Gitea orchestrator-sandbox push=true, B6 registry isolated (sandbox present, prod ET/ORCH absent).
|
||||
- **Block C (E2E, mode=stub)**: C7 create issue PASS, C8 trigger pipeline PASS; C9a/C9b waived sandbox-infra. CLEANUP ok (Plane issue deleted).
|
||||
|
||||
RESULT: 8/10 checks PASS — REAL failed: none; SANDBOX_INFRA waived: C9a, C9b.
|
||||
12
docs/work-items/ORCH-103/14-deploy-log.md
Normal file
12
docs/work-items/ORCH-103/14-deploy-log.md
Normal file
@@ -0,0 +1,12 @@
|
||||
---
|
||||
deploy_status: SUCCESS
|
||||
work_item: ORCH-103
|
||||
hook_exit_code: 0
|
||||
deployed_by: deploy-finalizer
|
||||
---
|
||||
|
||||
# Deploy log — ORCH-036 executable self-deploy
|
||||
|
||||
Прод-деплой завершён хост-хуком с exit-code `0` -> `deploy_status: SUCCESS`.
|
||||
|
||||
Вердикт зафиксирован детерминированным finalizer'ом (Фаза C), не LLM.
|
||||
7
docs/work-items/ORCH-105/00-business-request.md
Normal file
7
docs/work-items/ORCH-105/00-business-request.md
Normal file
@@ -0,0 +1,7 @@
|
||||
# Business Request: Подготовка презентации по орку
|
||||
|
||||
Work Item ID: ORCH-105
|
||||
|
||||
## Description
|
||||
|
||||
TBD
|
||||
169
docs/work-items/ORCH-105/01-brd.md
Normal file
169
docs/work-items/ORCH-105/01-brd.md
Normal file
@@ -0,0 +1,169 @@
|
||||
---
|
||||
work_item: ORCH-105
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-12
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 01 — BRD (бизнес-требования): ORCH-105 — Подготовка презентации по орку
|
||||
|
||||
Work Item: **ORCH-105** · Repo: **orchestrator** · Стадия: analysis
|
||||
|
||||
## 1. Бизнес-контекст и проблема
|
||||
|
||||
Заказчику нужна **презентация о продукте «Orchestrator» в формате PowerPoint** — чтобы
|
||||
показывать платформу стейкхолдерам и потенциальным заказчикам. Дополнительно в презентацию
|
||||
надо добавить **слайд про Lite-установку** (через скрипты-установщики) и **слайды-инструкцию
|
||||
«как пользоваться орком через Plane»**.
|
||||
|
||||
**Установленный факт (опора, не изобретать):** канон презентации в репозитории **уже
|
||||
существует** — его ввела задача **ORCH-011** (витрина системы `docs/overview/`):
|
||||
|
||||
- `docs/overview/presentation.md` — **слайдо-источник** (источник истины): 16 слайдов в
|
||||
формате `## Слайд N: Заголовок` + 3–6 тезисов + опциональная подпись `> Визуал: …`.
|
||||
- `scripts/build_presentation.py` — dev-скрипт сборки **редактируемого `.pptx`** в тёмном
|
||||
дизайне (`python-pptx`, ленивый импорт; чистый парсер `parse_slides` — stdlib-only).
|
||||
- `tests/test_system_docs.py` — анти-дрейф-контур, который машинно валидирует формат
|
||||
слайдов, сквозную нумерацию, обязательные биты нарратива и процедуру сборки.
|
||||
|
||||
Канон **намеренно** держит инварианты (ORCH-011 D4/D5, NFR-2): сборка идёт **вне рантайма
|
||||
платформы** (одноразовый dev-venv), `python-pptx` **не входит** в прод-образ, а **собранный
|
||||
`.pptx`-бинарь в git не коммитится** (`build/` в `.gitignore`).
|
||||
|
||||
**Проблема (дельта ORCH-105):** текущая дека рассказывает про продукт в целом, но **не
|
||||
содержит** (а) выделенного слайда о том, как просто развернуть Lite-вариант скриптами, и
|
||||
(б) слайдов-инструкции для оператора «как вести задачу через Plane» (запуск, статусы,
|
||||
человеческие гейты, авто-лейблы, STOP, наблюдение). Задача — **дополнить существующий
|
||||
слайдо-источник** этим содержанием и убедиться, что `.pptx` собирается с новыми слайдами.
|
||||
Это **docs-only** доработка контента витрины: код рантайма не меняется.
|
||||
|
||||
## 2. Объём (scope)
|
||||
|
||||
### В объёме
|
||||
- **Расширить `docs/overview/presentation.md`:**
|
||||
- добавить **один выделенный слайд про Lite-установку** (скрипт-ассистированный характер:
|
||||
`gen_secrets.py` → секреты, `onboard_project.py` → регистрация проекта, `docker compose
|
||||
up`, пошаговый runbook `LITE_SETUP.md` с проверкой каждого шага);
|
||||
- добавить **2–3 слайда-инструкцию «как пользоваться орком через Plane»** (запуск задачи,
|
||||
статусная модель «индикация ≠ управление», два человеческих гейта — Approved и Confirm
|
||||
Deploy, авто-лейблы `autoApprove`/`autoDeploy`/`Bug`, отмена STOP, наблюдение за ходом);
|
||||
- при необходимости — лёгкая актуализация продуктового нарратива на текущее состояние.
|
||||
- Сохранить **сквозную нумерацию слайдов с 1** (renumber при вставке в середину) и формат
|
||||
(заголовок + 3–6 тезисов + опц. `> Визуал:`), а также раздел «Как собрать .pptx».
|
||||
- Убедиться, что `scripts/build_presentation.py` собирает валидный `.pptx`, включающий новые
|
||||
слайды (скрипт менять **не требуется** — парсер обобщённый; правка только при крайней
|
||||
необходимости).
|
||||
- **Расширить анти-дрейф** `tests/test_system_docs.py`: зафиксировать присутствие нового
|
||||
обязательного контента (Lite-установка, использование через Plane).
|
||||
- Обновить `CHANGELOG.md` (запись `docs:`); при необходимости — указатель/маршрут в
|
||||
`docs/overview/README.md`.
|
||||
|
||||
### Вне объёма
|
||||
- **Коммит собранного `.pptx`-бинаря в git** — запрещён каноном ORCH-011 D5 (`build/`
|
||||
в `.gitignore`); презентация собирается по требованию.
|
||||
- Добавление `python-pptx` в `requirements*`/`Dockerfile` (NFR-2; машинно запрещено тестом).
|
||||
- Кастомный графический дизайн/брендинг сверх существующего тёмного текстового шаблона
|
||||
(визуалы — текстовые подписи `> Визуал: …`, а не растровые картинки).
|
||||
- Переписывание дизайна рендера (`build_pptx`), смена темы/шрифтов — если это не строго
|
||||
необходимо.
|
||||
- Любые изменения рантайма: `src/**`, `STAGE_TRANSITIONS`, `QG_CHECKS`, `check_*`,
|
||||
схема БД — **не трогаются**.
|
||||
- Переписывание `business.md` и прочих тех-блоков витрины (описанные способности — тираж и
|
||||
работа через трекер — там уже отражены; ORCH-105 добавляет именно **слайды**).
|
||||
- Создание отдельного монолитного «lite-инсталлятора» как нового скрипта (его нет; Lite
|
||||
ставится комбинацией существующих скриптов и compose — см. §6).
|
||||
|
||||
## 3. Заинтересованные стороны
|
||||
|
||||
- **Заказчик / Owner** — постановщик задачи и **приёмщик** презентации; конечный
|
||||
пользователь `.pptx` при показе стейкхолдерам.
|
||||
- **Потенциальные заказчики / менеджеры** — аудитория презентации (нетехнический и
|
||||
полу-технический читатель).
|
||||
- **Операторы платформы** — целевые читатели слайдов «как пользоваться через Plane».
|
||||
- **Reviewer** — контролирует норматив сопровождения витрины (изменил витрину → согласовано,
|
||||
факты не разъехались с golden sources; необновлённый сопутствующий док → finding ≥ P1).
|
||||
|
||||
## 4. Бизнес-требования (BR)
|
||||
|
||||
- **BR-1** — Презентация о продукте в формате PowerPoint собирается из слайдо-источника
|
||||
витрины и содержит связный рассказ о платформе (существующий нарратив сохранён и при
|
||||
необходимости актуализирован).
|
||||
- **BR-2** — В презентации есть **выделенный слайд про Lite-установку**, точно отражающий её
|
||||
скрипт-ассистированный характер: секреты генерирует `scripts/gen_secrets.py`, проект
|
||||
регистрирует `scripts/onboard_project.py` (`plan`/`apply`/`verify`), стек поднимается
|
||||
`docker compose`, а маршрут описан пошаговым runbook `LITE_SETUP.md` с проверкой каждого
|
||||
шага. Без вымышленных артефактов/скриптов.
|
||||
- **BR-3** — В презентации есть **слайды-инструкция «как пользоваться орком через Plane»**,
|
||||
покрывающие: запуск задачи (перевод в «To Analyse» — единственная точка входа), статусную
|
||||
модель (индикация ≠ управление; управляющих статусов ровно три), **два человеческих гейта**
|
||||
(Approved на `analysis`, Confirm Deploy на `deploy`), **авто-лейблы** (`autoApprove`/
|
||||
`autoDeploy`/`Bug`), **отмену STOP**, и **наблюдение за ходом** (статусы доски + живая
|
||||
карточка в Telegram + комментарии в задаче).
|
||||
- **BR-4** — Итоговый `.pptx` собирается документированной командой
|
||||
(`scripts/build_presentation.py`) и включает **все** новые слайды; тёмный дизайн и
|
||||
корректное отображение кириллицы сохранены.
|
||||
- **BR-5** — Содержание презентации **фактологически точно** и согласовано с golden sources
|
||||
витрины (`tech-pipeline.md`, `tech-integrations.md`, `LITE_SETUP.md`, паспорт `CLAUDE.md`):
|
||||
никаких выдуманных возможностей, имён статусов, лейблов или скриптов.
|
||||
- **BR-6** — Сопровождение выполнено в том же PR: `CHANGELOG.md` несёт запись `docs:` по
|
||||
ORCH-105; норматив витрины (ORCH-011/079) соблюдён.
|
||||
|
||||
## 5. Нефункциональные требования (NFR)
|
||||
|
||||
- **NFR-1 (self-hosting безопасность)** — изменение **docs-only**: `src/**`,
|
||||
`STAGE_TRANSITIONS`, `QG_CHECKS`, `check_*`, схема БД — байт-в-байт не трогаются; `python-pptx`
|
||||
**не попадает** в прод-образ; сборка `.pptx` — только вне рантайма (dev-venv).
|
||||
- **NFR-2 (анти-дрейф / совместимость формата)** — после правок `presentation.md` остаётся
|
||||
валидной для канонического парсера `parse_slides` (сквозная нумерация с 1, ≥1 тезис на
|
||||
слайд, непустые заголовки); **весь существующий** `tests/test_system_docs.py` — зелёный.
|
||||
- **NFR-3 (бинарь не в git)** — собранный `.pptx` не коммитится; `build/` остаётся в
|
||||
`.gitignore`; артефакт сборки — по требованию.
|
||||
- **NFR-4 (гигиена)** — в слайдах **нет** боевых хост-литералов (FORBIDDEN-скан) и
|
||||
секретоподобных значений (секрет-эвристика); относительные ссылки резолвятся.
|
||||
- **NFR-5 (стиль)** — новые слайды держат стиль деки: 3–6 тезисов, опц. подпись
|
||||
`> Визуал: …`, тон и терминологию `business.md` (нетехнический язык для продуктовых слайдов;
|
||||
оператор-инструкция — простыми шагами).
|
||||
|
||||
## 6. Допущения и ограничения
|
||||
|
||||
- **Форма поставки = воспроизводимая сборка.** Deliverable — **расширенный слайдо-источник +
|
||||
скрипт сборки**; сам `.pptx` производится по требованию (ORCH-011 D5). Если нетехническому
|
||||
стейкхолдеру нужен готовый файл — он **собирается командой и передаётся вне git** (например,
|
||||
вложением к задаче Plane); это операционный шаг, не изменение кода. Это сознательное
|
||||
следование действующему машинно-проверяемому канону, а не упущение.
|
||||
- **«Скрипт-установщик» для Lite** = фактические скрипты-помощники (`gen_secrets.py`,
|
||||
`onboard_project.py`) + `docker compose` + verified-runbook `LITE_SETUP.md`. **Отдельного
|
||||
монолитного lite-инсталлятора в репозитории нет**; одношаговый bootstrap (`bootstrap_bundle.py`)
|
||||
относится к варианту **Bundled**, а не Lite. Заказчик явно просил **Lite** — слайд остаётся
|
||||
точным к Lite (при желании можно одной строкой упомянуть Bundled-bootstrap как смежный
|
||||
вариант, но фокус слайда — Lite).
|
||||
- **Рост деки.** С добавлением ~4 слайдов (1 Lite + 2–3 Plane) дека вырастает до ~19–20
|
||||
слайдов. Это выше «ориентира 14–18» из ORCH-011 FR-4, но **проходит жёсткий тест** (`≥ 12`).
|
||||
Рост оправдан явным запросом; финальное число и возможное слияние слайдов — на усмотрение
|
||||
developer/architect (жёсткое требование — только сквозная нумерация и ≥ 12).
|
||||
- **Сборка/проверка `.pptx`** предполагает доступность `python-pptx` в dev-venv (вне рантайма).
|
||||
**Автоматический гейт тестов проверяет ИСТОЧНИК** (`presentation.md`: парс/структура/контент),
|
||||
а **не отрендеренный бинарь** — рендер проверяется **вручную** в dev-venv (честное
|
||||
разграничение; см. 03/04).
|
||||
|
||||
## 7. Критерии успеха
|
||||
|
||||
Расширенный слайдо-источник собирается в `.pptx`; слайды Lite-установки и использования через
|
||||
Plane присутствуют, точны и согласованы с golden sources; сквозная нумерация и формат
|
||||
сохранены; весь `tests/test_system_docs.py` (с новыми проверками) зелёный; `python-pptx` не в
|
||||
прод-образе, бинарь не в git; `CHANGELOG`/витрина обновлены. Детальные PASS/FAIL —
|
||||
`03-acceptance-criteria.md`.
|
||||
|
||||
## 8. Риски
|
||||
|
||||
- **Ошибка перенумерации** при вставке слайдов в середину → падение проверки сквозной
|
||||
нумерации (`parse_slides`).
|
||||
- **Дрейф фактов**: слайд расходится с реальной возможностью/именем (статус/лейбл/скрипт).
|
||||
- **Случайный запрещённый литерал/секрет** в тексте слайда → красный анти-дрейф.
|
||||
- **Неточная подача Lite** как монолитного инсталлятора (его нет) → вводящий в заблуждение
|
||||
слайд.
|
||||
- **Раздувание деки** сверх читаемого объёма.
|
||||
|
||||
Краткий перечень; детальная проработка и митигации — `10-tech-risks.md` (заполняет архитектор).
|
||||
150
docs/work-items/ORCH-105/02-trz.md
Normal file
150
docs/work-items/ORCH-105/02-trz.md
Normal file
@@ -0,0 +1,150 @@
|
||||
---
|
||||
work_item: ORCH-105
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-12
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 02 — ТЗ (TRZ): ORCH-105 — Подготовка презентации по орку
|
||||
|
||||
Work Item: **ORCH-105** · Repo: **orchestrator** · Стадия: analysis
|
||||
|
||||
> ТЗ описывает **конкретные изменения к реализации**, выведенные из BRD и фактического кода.
|
||||
> Архитектурное обоснование/решения — задача архитектора (06-adr).
|
||||
|
||||
## 1. Сводка изменения
|
||||
|
||||
**Docs-only** доработка контента витрины. Расширяем существующий слайдо-источник
|
||||
`docs/overview/presentation.md` (канон ORCH-011) тремя смысловыми блоками: (1) выделенный
|
||||
слайд про **Lite-установку** скриптами; (2) 2–3 слайда-инструкция **«как пользоваться орком
|
||||
через Plane»**; (3) при необходимости — точечная актуализация нарратива. Сохраняем формат и
|
||||
сквозную нумерацию слайдов, раздел сборки `.pptx` и тёмный дизайн. Дополняем анти-дрейф
|
||||
`tests/test_system_docs.py`, чтобы новый обязательный контент был зафиксирован машинно.
|
||||
Скрипт сборки `scripts/build_presentation.py` менять **не требуется** (парсер обобщённый).
|
||||
Рантайм (`src/**`, стадии, гейты, БД) — **не затрагивается**.
|
||||
|
||||
## 2. Задействованные модули / пути
|
||||
|
||||
| Путь | Действие |
|
||||
|------|----------|
|
||||
| `docs/overview/presentation.md` | **изменить** — добавить слайд Lite + 2–3 слайда Plane-usage; перенумеровать сквозно; сохранить раздел «Как собрать .pptx»; опц. актуализировать нарратив |
|
||||
| `tests/test_system_docs.py` | **изменить** — добавить assert'ы присутствия нового обязательного контента (Lite-установка, использование через Plane); существующие проверки сохранить зелёными |
|
||||
| `CHANGELOG.md` | **изменить** — запись `docs:` по ORCH-105 |
|
||||
| `docs/overview/README.md` | **опц.** — указатель/строка маршрута (если уместно); не обязателен |
|
||||
| `scripts/build_presentation.py` | **НЕ изменять** — `parse_slides` обобщён; правка только при крайней необходимости (тогда сохранить ленивый импорт `pptx` и stdlib-only top-level) |
|
||||
| `build/orchestrator-overview.pptx` | **НЕ коммитить** — артефакт сборки (`build/` в `.gitignore`, ORCH-011 D5) |
|
||||
| `requirements*.txt`, `Dockerfile` | **НЕ изменять** — `python-pptx` не добавлять (NFR-2) |
|
||||
|
||||
## 3. Функциональные требования
|
||||
|
||||
### FR-1 — Слайд про Lite-установку (BR-2)
|
||||
Добавить **один** слайд (формат `## Слайд N: <Заголовок>` + 3–6 тезисов + опц. `> Визуал:`),
|
||||
точно отражающий Lite-маршрут по `docs/deployment/LITE_SETUP.md`:
|
||||
- Lite = **два контейнера платформы** (`orchestrator` + `orchestrator-watchdog`) на
|
||||
инфраструктуре заказчика; свои Plane / Gitea / Telegram / LLM подключаются (не входят в Lite).
|
||||
- Разворачивается **без правки кода — только конфиг** (принцип 10-common, ORCH-101).
|
||||
- Скрипты-помощники: `scripts/gen_secrets.py` (свежие секреты), `scripts/onboard_project.py`
|
||||
(`plan`/`apply`/`verify` — регистрация проекта заказчика); подъём — `docker compose up -d`.
|
||||
- Маршрут — **пошаговый runbook** `LITE_SETUP.md` с **проверкой каждого шага** (PASS/FAIL).
|
||||
- **Рекомендуемое размещение:** сразу после текущего слайда «Тираж платформы» (обзор Lite/
|
||||
Bundled) — как его углубление. Точная позиция — на усмотрение developer (требование жёсткое
|
||||
только к сквозной нумерации).
|
||||
- **Точность (BR-5):** не называть Lite «одним монолитным инсталлятором»; одношаговый
|
||||
bootstrap — это Bundled (`bootstrap_bundle.py`), упоминание опционально и как **смежный**
|
||||
вариант.
|
||||
|
||||
### FR-2 — Слайды «как пользоваться орком через Plane» (BR-3)
|
||||
Добавить **2–3** слайда оператор-инструкции, опираясь на `docs/overview/tech-pipeline.md`
|
||||
(человеческие гейты, STOP, статусная модель) и `tech-integrations.md` (Plane). Покрыть:
|
||||
- **Запуск:** перевод задачи в статус **«To Analyse»** — единственная точка входа в конвейер.
|
||||
- **Статусная модель:** статусы Plane — **индикация, не управление**; платформа сама их
|
||||
выставляет; управляющих статусов ровно три (запуск, человеческие гейты, STOP).
|
||||
- **Два человеческих гейта:** **Approved** на `analysis` (одобрить постановку) и **Confirm
|
||||
Deploy** на `deploy` (подтвердить прод-выкладку — отдельный статус, чтобы привычный approve
|
||||
не выкатывал прод случайным кликом).
|
||||
- **Авто-лейблы:** `autoApprove` / `autoDeploy` (снимают человеческие гейты, пакетный
|
||||
авто-режим — но **ни одна техническая проверка не пропускается**); `Bug` (багфикс-маршрут).
|
||||
- **Отмена:** статус **STOP** — безопасная отмена с уборкой (ветка/worktree), `cancelled`;
|
||||
STOP не трогает `main`/прод-контейнер.
|
||||
- **Наблюдение за ходом:** платформа двигает статусы доски (Backlog → … → Done) + **живая
|
||||
карточка в Telegram** (стадия, стоимость, время, кликабельный номер задачи) + комментарии в
|
||||
задаче со ссылками на ветку/PR.
|
||||
- **Рекомендуемое размещение:** связным кластером после слайда «Человек в контуре» (он вводит
|
||||
«два решения человека») и/или рядом со «Сценарии использования». Точная позиция — на
|
||||
усмотрение developer.
|
||||
|
||||
### FR-3 — Формат и сквозная нумерация (NFR-2)
|
||||
- Слайды нумеруются **сквозно с 1** без пропусков (вставка в середину ⇒ перенумеровать все
|
||||
последующие). Это машинно-проверяемо: `tests/test_system_docs.py::
|
||||
test_presentation_source_parses_with_canonical_parser` требует
|
||||
`[s.number] == list(range(1, N+1))`.
|
||||
- Каждый новый слайд: **непустой заголовок** + **3–6 тезисов** (минимум — ≥1, требует тест) +
|
||||
опц. одна строка `> Визуал: …`.
|
||||
- Раздел **«Как собрать .pptx»** сохранён (несёт `build_presentation.py` и маркеры «Проверка:»
|
||||
— требует `test_presentation_carries_reproducible_build_procedure`).
|
||||
- Служебные `##`-заголовки (например, «Как собрать .pptx») не являются слайдами и завершают
|
||||
предыдущий слайд (контракт `parse_slides`) — не вставлять контент слайдов после них.
|
||||
|
||||
### FR-4 — Сборка `.pptx` с новыми слайдами (BR-4)
|
||||
Команда из канона (вне рантайма, dev-venv):
|
||||
```bash
|
||||
python3 -m venv .venv-pptx && .venv-pptx/bin/pip install python-pptx
|
||||
.venv-pptx/bin/python scripts/build_presentation.py
|
||||
```
|
||||
Ожидаемо: печать `Собрано слайдов: N → build/orchestrator-overview.pptx`, где `N` =
|
||||
фактическому числу слайдов источника (включая новые). Открытие `.pptx`: тёмная тема, светлый
|
||||
текст, акцентные заголовки, корректная кириллица, новые слайды присутствуют и редактируемы.
|
||||
**Это ручная проверка** (см. §6 — `python-pptx` нет в гейте тестов).
|
||||
|
||||
### FR-5 — Анти-дрейф нового контента (NFR-2, BR-5)
|
||||
Расширить `tests/test_system_docs.py`, зафиксировав присутствие нового обязательного нарратива
|
||||
в `presentation.md`:
|
||||
- маркер **использования через Plane** (например, наличие подстроки уровня `plane` + признака
|
||||
оператор-инструкции, по образцу `test_presentation_covers_mandatory_narrative_bits`);
|
||||
- маркер **Lite-установки** (например, `lite` / `установк`).
|
||||
Точные подстроки выбирает developer; цель — чтобы случайное удаление новых слайдов рвало CI.
|
||||
Все **существующие** проверки модуля остаются зелёными без послаблений.
|
||||
|
||||
### FR-6 — Сопровождение (BR-6)
|
||||
- `CHANGELOG.md`: запись `docs:` по ORCH-105 (презентация дополнена слайдами Lite-установки и
|
||||
использования через Plane).
|
||||
- Витрина: при изменении `presentation.md` норматив сопровождения ORCH-011/079 соблюдён;
|
||||
reviewer сверяет факты с golden sources.
|
||||
|
||||
## 4. Изменения API
|
||||
|
||||
**Нет.** Эндпоинты (`/queue`, `/metrics`, вебхуки и пр.) не затрагиваются.
|
||||
|
||||
## 5. Изменения схемы БД
|
||||
|
||||
**Нет.** Таблицы/миграции/индексы не вводятся и не меняются.
|
||||
|
||||
## 6. Требования к новым/изменённым QG checks
|
||||
|
||||
**Нет нового гейта.** Презентация — артефакт витрины; новый Quality Gate не регистрируется
|
||||
(`QG_CHECKS` / `STAGE_TRANSITIONS` / `check_*` — байт-в-байт прежние). Контроль выполняется
|
||||
**существующими** механизмами:
|
||||
- `tests/test_system_docs.py` исполняется обычным тест-сьютом → попадает под `check_ci_green`
|
||||
(выход из `development`) и `check_tests_passed` (стадия `testing`).
|
||||
- **Важное разграничение (честность гейта):** автоматический гейт проверяет **источник**
|
||||
(`presentation.md`: парс, нумерация, обязательные биты, процедура сборки) и инвариант
|
||||
«`python-pptx` не в прод-образе». **Сам рендер `.pptx`** в гейте **не выполняется** —
|
||||
`python-pptx` отсутствует в прод/тест-образе по канону (ORCH-011 NFR-2), сборка — вне
|
||||
рантайма в dev-venv (ручная проверка FR-4 / 04-test-plan TC-07).
|
||||
|
||||
## 7. Совместимость / регресс
|
||||
|
||||
- **Docs-only, нулевой рантайм-риск:** `src/**`, `STAGE_TRANSITIONS`, `QG_CHECKS`, `check_*`,
|
||||
схема БД — байт-в-байт не тронуты; kill-switch не нужен (нет рантайм-поведения).
|
||||
- **Self-hosting безопасно:** `python-pptx` не входит в прод-образ; сборка — вне рантайма;
|
||||
собранный бинарь не коммитится (`build/` в `.gitignore`).
|
||||
- **Анти-дрейф сохранён:** `presentation.md` остаётся валидной для `parse_slides`; раздел
|
||||
сборки и обязательные биты — на месте; новые проверки только **добавляют** покрытие.
|
||||
- **Воспроизводимая сборка:** канон ORCH-011 (источник → скрипт → `.pptx` по требованию) не
|
||||
форкается; один парсер (`parse_slides`) — один источник истины о формате.
|
||||
- **Обратимость:** изменение полностью обратимо (revert правок `presentation.md` /
|
||||
`test_system_docs.py` / `CHANGELOG.md`).
|
||||
- **Регресс-поверхность:** полный `pytest tests/ -q` остаётся зелёным (нет правок кода
|
||||
рантайма).
|
||||
130
docs/work-items/ORCH-105/03-acceptance-criteria.md
Normal file
130
docs/work-items/ORCH-105/03-acceptance-criteria.md
Normal file
@@ -0,0 +1,130 @@
|
||||
---
|
||||
work_item: ORCH-105
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-12
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 03 — Критерии приёмки (Acceptance Criteria): ORCH-105 — Подготовка презентации по орку
|
||||
|
||||
Work Item: **ORCH-105** · Repo: **orchestrator** · Стадия: analysis
|
||||
|
||||
Формат: каждый критерий имеет **PASS** (что должно быть истинно для приёмки) и **FAIL**
|
||||
(что считается провалом). Любой машинный/ручной reviewer проверяет их буквально по файлам
|
||||
репозитория.
|
||||
|
||||
---
|
||||
|
||||
## AC-1 — Слайд про Lite-установку присутствует и точен
|
||||
|
||||
**Условие:** `docs/overview/presentation.md` содержит выделенный слайд про Lite-установку.
|
||||
- **PASS:** есть слайд (блок `## Слайд N: …`), посвящённый Lite-установке, с тезисами,
|
||||
отражающими: два контейнера платформы (`orchestrator` + `orchestrator-watchdog`),
|
||||
развёртывание без правки кода (только конфиг), скрипты-помощники (`gen_secrets.py`,
|
||||
`onboard_project.py`) и/или `docker compose`, пошаговый runbook `LITE_SETUP.md` с проверкой
|
||||
шагов. Факты согласованы с `docs/deployment/LITE_SETUP.md`.
|
||||
- **FAIL:** слайда нет; ИЛИ слайд называет Lite «единым монолитным инсталлятором»/упоминает
|
||||
несуществующий скрипт; ИЛИ путает Lite с Bundled; ИЛИ факты расходятся с `LITE_SETUP.md`.
|
||||
|
||||
---
|
||||
|
||||
## AC-2 — Слайды «как пользоваться орком через Plane» присутствуют и точны
|
||||
|
||||
**Условие:** `presentation.md` содержит ≥ 2 слайда оператор-инструкции по работе через Plane.
|
||||
- **PASS:** ≥ 2 слайда покрывают (суммарно): запуск задачи («To Analyse»), статусную модель
|
||||
«индикация ≠ управление», **оба** человеческих гейта (Approved на `analysis` и Confirm
|
||||
Deploy на `deploy`), авто-лейблы (`autoApprove`/`autoDeploy`/`Bug`), отмену **STOP**,
|
||||
наблюдение за ходом (статусы доски + живая Telegram-карточка + комментарии в задаче). Имена
|
||||
статусов/лейблов точны и согласованы с `tech-pipeline.md`/`tech-integrations.md`/`CLAUDE.md`.
|
||||
- **FAIL:** слайдов нет или один; ИЛИ пропущен любой из двух человеческих гейтов; ИЛИ
|
||||
перепутаны имена статусов/лейблов (напр. «Approved выкатывает прод»); ИЛИ утверждается, что
|
||||
авто-лейблы пропускают технические проверки.
|
||||
|
||||
---
|
||||
|
||||
## AC-3 — Сквозная нумерация и формат слайдов валидны
|
||||
|
||||
**Условие:** канонический парсер `parse_slides` разбирает источник без нарушений.
|
||||
- **PASS:** `tests/test_system_docs.py::test_presentation_source_parses_with_canonical_parser`
|
||||
зелёный — слайдов ≥ 12, номера `[1..N]` строго сквозные, у каждого слайда непустой заголовок
|
||||
и ≥ 1 тезис.
|
||||
- **FAIL:** тест падает — пропуск/дубль в нумерации, пустой заголовок, слайд без тезисов, или
|
||||
слайдов < 12.
|
||||
|
||||
---
|
||||
|
||||
## AC-4 — Обязательный нарратив и процедура сборки сохранены + новые биты зафиксированы
|
||||
|
||||
**Условие:** обязательные биты нарратива на месте; процедура сборки цела; новый контент
|
||||
анти-дрейф-защищён.
|
||||
- **PASS:** `test_presentation_covers_mandatory_narrative_bits` и
|
||||
`test_presentation_carries_reproducible_build_procedure` зелёные (биты `проблем`/`решени`/
|
||||
`конвейер`/`сценари`/`тираж`/`статус` присутствуют; раздел сборки несёт `build_presentation.py`
|
||||
и «Проверка»). Добавлены проверки присутствия **Lite-установки** и **использования через
|
||||
Plane**, и они зелёные.
|
||||
- **FAIL:** любой из этих тестов красный; ИЛИ новые биты Lite/Plane не покрыты тестом (можно
|
||||
бесследно удалить новый слайд, CI не заметит).
|
||||
|
||||
---
|
||||
|
||||
## AC-5 — `.pptx` собирается с новыми слайдами (ручная dev-venv проверка)
|
||||
|
||||
**Условие:** документированная сборка вне рантайма даёт валидный `.pptx`, включающий новые
|
||||
слайды.
|
||||
- **PASS:** в dev-venv `.venv-pptx/bin/python scripts/build_presentation.py` печатает
|
||||
`Собрано слайдов: N → build/orchestrator-overview.pptx` (N = числу слайдов источника, включая
|
||||
новые), `exit code 0`; открытый файл показывает тёмную тему, корректную кириллицу, новые
|
||||
слайды Lite/Plane — присутствуют и редактируемы.
|
||||
- **FAIL:** скрипт печатает `ОШИБКА: …` / ненулевой код возврата; ИЛИ N не совпадает с числом
|
||||
слайдов; ИЛИ новых слайдов нет в собранном файле; ИЛИ кириллица/тема сломаны.
|
||||
|
||||
---
|
||||
|
||||
## AC-6 — Анти-дрейф и гигиена витрины зелёные
|
||||
|
||||
**Условие:** структурный контур витрины проходит целиком.
|
||||
- **PASS:** весь `tests/test_system_docs.py` зелёный, включая:
|
||||
`test_showcase_carries_no_forbidden_host_literals` (нет боевых хост-литералов),
|
||||
`test_showcase_carries_no_secret_like_values` (нет секретоподобных значений),
|
||||
`test_all_relative_links_resolve_to_existing_files` (ссылки резолвятся),
|
||||
`test_build_script_toplevel_imports_are_stdlib_only` (top-level скрипта без `pptx`).
|
||||
- **FAIL:** любой из перечисленных тестов красный (запрещённый литерал/секрет/битая ссылка/
|
||||
`pptx` на top-level скрипта).
|
||||
|
||||
---
|
||||
|
||||
## AC-7 — Self-hosting безопасность: рантайм и образ нетронуты
|
||||
|
||||
**Условие:** изменение остаётся docs-only.
|
||||
- **PASS:** `git diff` не содержит изменений в `src/**`, `STAGE_TRANSITIONS` (`src/stages.py`),
|
||||
`QG_CHECKS`/`check_*` (`src/qg/checks.py`), схеме БД (`src/db.py`);
|
||||
`test_no_pptx_dependency_in_prod_image` зелёный (`python-pptx` нет в `requirements*`/
|
||||
`Dockerfile`); собранный `.pptx` **не** добавлен в git (`build/` в `.gitignore`).
|
||||
- **FAIL:** затронут любой рантайм-модуль/стадия/гейт/схема; ИЛИ `python-pptx` появился в
|
||||
прод-образе; ИЛИ `.pptx`-бинарь закоммичен.
|
||||
|
||||
---
|
||||
|
||||
## AC-8 — Сопровождение выполнено в том же PR
|
||||
|
||||
**Условие:** доки сопровождения обновлены.
|
||||
- **PASS:** `CHANGELOG.md` несёт запись `docs:` по ORCH-105; при изменении `presentation.md`
|
||||
норматив витрины соблюдён; полный `pytest tests/ -q` зелёный.
|
||||
- **FAIL:** нет записи в `CHANGELOG.md`; ИЛИ полный регресс `tests/` красный.
|
||||
|
||||
---
|
||||
|
||||
## Сводная матрица AC ↔ FR/BR
|
||||
|
||||
| AC | Покрывает |
|
||||
|----|-----------|
|
||||
| AC-1 | BR-2 / FR-1 |
|
||||
| AC-2 | BR-3 / FR-2 |
|
||||
| AC-3 | NFR-2 / FR-3 |
|
||||
| AC-4 | BR-5 / FR-3 / FR-5 |
|
||||
| AC-5 | BR-4 / FR-4 |
|
||||
| AC-6 | NFR-4 / FR-5 |
|
||||
| AC-7 | NFR-1 / NFR-3 |
|
||||
| AC-8 | BR-6 / FR-6 |
|
||||
84
docs/work-items/ORCH-105/04-test-plan.yaml
Normal file
84
docs/work-items/ORCH-105/04-test-plan.yaml
Normal file
@@ -0,0 +1,84 @@
|
||||
work_item: ORCH-105
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-12
|
||||
model_used: claude-opus-4-8
|
||||
title: "Презентация: слайды Lite-установки и использования через Plane (анти-дрейф витрины)"
|
||||
framework: pytest
|
||||
scope: >
|
||||
Покрывается: структурная валидность слайдо-источника docs/overview/presentation.md после
|
||||
добавления слайдов Lite-установки и использования через Plane (парс/нумерация/обязательные
|
||||
биты/процедура сборки), фиксация нового контента анти-дрейф-тестом, гигиена витрины,
|
||||
self-hosting-инварианты (python-pptx вне прод-образа, бинарь не в git), сопровождение
|
||||
(CHANGELOG). Вне автоматического покрытия: фактический рендер .pptx через python-pptx —
|
||||
выполняется ВНЕ рантайма в dev-venv (ORCH-011 NFR-2), поэтому TC-07 — ручной интеграционный
|
||||
шаг, а не часть гейта тестов.
|
||||
notes: >
|
||||
Изменение docs-only: src/** не трогается, новый QG не вводится. Тесты живут в существующем
|
||||
модуле tests/test_system_docs.py (ORCH-011) — большинство TC расширяют/подтверждают уже
|
||||
имеющиеся проверки. Полный регресс pytest tests/ -q должен оставаться зелёным. Имена статусов
|
||||
Plane и лейблов в слайдах сверяются с docs/overview/tech-pipeline.md, tech-integrations.md и
|
||||
CLAUDE.md (фактологическая точность, BR-5). TC-07 (сборка .pptx) — обязательная ручная
|
||||
проверка в одноразовом dev-venv: python-pptx в прод/тест-образ НЕ добавляется.
|
||||
|
||||
tests:
|
||||
- id: TC-01
|
||||
type: unit
|
||||
description: "parse_slides разбирает presentation.md: слайдов >= 12, номера сквозные [1..N], у каждого непустой заголовок и >= 1 тезис (после добавления новых слайдов нумерация не разъехалась)."
|
||||
module: tests/test_system_docs.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-02
|
||||
type: unit
|
||||
description: "Обязательные биты нарратива присутствуют (проблем/решени/конвейер/сценари/тираж/статус) — существующая проверка остаётся зелёной после правок."
|
||||
module: tests/test_system_docs.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-03
|
||||
type: unit
|
||||
description: "Новый контент зафиксирован анти-дрейфом: добавлены и зелёные assert'ы присутствия слайда Lite-установки (напр. lite/установк) и слайдов использования через Plane (напр. plane + признак оператор-инструкции)."
|
||||
module: tests/test_system_docs.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-04
|
||||
type: unit
|
||||
description: "Процедура сборки .pptx цела: presentation.md несёт ссылку на build_presentation.py и явные маркеры «Проверка:» (test_presentation_carries_reproducible_build_procedure)."
|
||||
module: tests/test_system_docs.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-05
|
||||
type: unit
|
||||
description: "Гигиена витрины: нет боевых хост-литералов (FORBIDDEN-скан) и нет секретоподобных значений в presentation.md после добавления слайдов."
|
||||
module: tests/test_system_docs.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-06
|
||||
type: unit
|
||||
description: "Все относительные ссылки витрины (включая новые, если добавлены) резолвятся в существующие файлы (test_all_relative_links_resolve_to_existing_files)."
|
||||
module: tests/test_system_docs.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-07
|
||||
type: integration
|
||||
description: "Ручной dev-venv шаг (вне рантайма, python-pptx): .venv-pptx/bin/python scripts/build_presentation.py печатает «Собрано слайдов: N» (N = числу слайдов), exit 0; открытый .pptx — тёмная тема, кириллица корректна, новые слайды Lite/Plane присутствуют и редактируемы."
|
||||
module: docs/overview/presentation.md
|
||||
expected: PASS
|
||||
|
||||
- id: TC-08
|
||||
type: unit
|
||||
description: "Self-hosting инвариант: python-pptx отсутствует в requirements*/Dockerfile (test_no_pptx_dependency_in_prod_image); top-level scripts/build_presentation.py остаётся stdlib-only (импорт pptx ленивый)."
|
||||
module: tests/test_system_docs.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-09
|
||||
type: unit
|
||||
description: "Указатели репозитория: CHANGELOG.md несёт запись по ORCH-105 (запись docs:), витрина docs/overview/ по-прежнему достижима из README.md/CLAUDE.md."
|
||||
module: tests/test_system_docs.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-10
|
||||
type: integration
|
||||
description: "Полный регресс pytest tests/ -q зелёный — изменение docs-only, рантайм-код не тронут, регрессии нет."
|
||||
module: tests/
|
||||
expected: PASS
|
||||
@@ -0,0 +1,249 @@
|
||||
---
|
||||
work_item: ORCH-105
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-12
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# ADR-001: Расширение слайдо-источника презентации — слайд Lite-установки и слайды «как пользоваться орком через Plane»
|
||||
|
||||
Work Item: **ORCH-105** — Подготовка презентации по орку
|
||||
Стадия: **architecture**
|
||||
Сквозная регистрация: **N/A — локальное решение задачи.** Канон витрины и презентации уже
|
||||
зафиксирован сквозным `docs/architecture/adr/adr-0039-system-overview-docs-canon.md` (ORCH-011,
|
||||
D3/D4/D5). ORCH-105 **наполняет** этот канон контентом, **не меняя** его инвариантов → новый
|
||||
глобальный `adr-NNNN` не вводится. Анти-археология (3+ маркеров в код-блоке) не срабатывает —
|
||||
правок исполняемого кода нет.
|
||||
|
||||
## Статус
|
||||
Proposed
|
||||
|
||||
## Контекст
|
||||
|
||||
Заказчику нужна продуктовая презентация орка (PowerPoint) с двумя новыми смысловыми блоками:
|
||||
(а) выделенный слайд про **Lite-установку скриптами** и (б) слайды-инструкция **«как
|
||||
пользоваться орком через Plane»** (запуск, статусы, человеческие гейты, авто-лейблы, STOP,
|
||||
наблюдение).
|
||||
|
||||
**Опора, не изобретать (сверено по коду/доке):**
|
||||
|
||||
- Слайдо-источник уже существует — `docs/overview/presentation.md` (16 слайдов в формате
|
||||
`## Слайд N: Заголовок` + 3–6 тезисов + опц. `> Визуал:`), канон ORCH-011.
|
||||
- Сборка `.pptx` — `scripts/build_presentation.py`; формат парсит **чистая stdlib-функция**
|
||||
`parse_slides` (один парсер — один источник истины о формате; её же импортирует тест-контур).
|
||||
- Анти-дрейф — `tests/test_system_docs.py` (валидирует структуру/нумерацию/обязательные биты
|
||||
нарратива/процедуру сборки; FORBIDDEN-скан + секрет-эвристика; `pptx` не в прод-образе).
|
||||
- Канон **намеренно** держит инварианты (adr-0039 §3 «Канон презентации»; детальные D4/D5
|
||||
work-item ADR-001 ORCH-011): сборка — **вне рантайма** (dev-venv), `python-pptx` **не** в
|
||||
прод/тест-образе, собранный `.pptx` **не коммитится** (`build/` в `.gitignore`).
|
||||
|
||||
**Факты для нового контента — golden sources (сверены):**
|
||||
|
||||
- Lite — `docs/deployment/LITE_SETUP.md` (+ `tech-pipeline.md` §Тираж, adr-0037): Lite = **два
|
||||
контейнера платформы** `orchestrator` + `orchestrator-watchdog` на инфре заказчика (свои
|
||||
Plane/Gitea/Telegram/LLM подключаются, в Lite не входят); разворачивается **без правки кода —
|
||||
только конфиг** (принцип 10-common ORCH-101); скрипты-помощники `scripts/gen_secrets.py`
|
||||
(свежие секреты) и `scripts/onboard_project.py` (`plan`/`apply`/`verify` — регистрация
|
||||
проекта), подъём `docker compose up -d`; маршрут — пошаговый runbook с **проверкой каждого
|
||||
шага** (PASS/FAIL). Одношаговый bootstrap (`bootstrap_bundle.py`) — это **Bundled**, не Lite.
|
||||
- Plane-usage — `docs/overview/tech-pipeline.md` + `tech-integrations.md` + `CLAUDE.md`: вход —
|
||||
статус **«To Analyse»** (единственная точка запуска); статусы Plane = **индикация, не
|
||||
управление** (управляющих статусов ровно три); два человеческих гейта — **Approved** на
|
||||
`analysis` и **Confirm Deploy** на `deploy`; авто-лейблы **autoApprove**/**autoDeploy**
|
||||
(снимают только человеческие гейты — **ни одна техническая проверка не пропускается**) и
|
||||
**Bug** (багфикс-маршрут); отмена — статус **STOP** → `cancelled` (не трогает `main`/прод);
|
||||
наблюдение — статусы доски + **живая карточка в Telegram** + комментарии в задаче со ссылками
|
||||
на ветку/PR.
|
||||
|
||||
**Почему нужно архитектурное решение, а не просто «дописать слайды»:** дельта затрагивает три
|
||||
файла канона (`presentation.md`, `tests/test_system_docs.py`, `CHANGELOG.md`) и несёт реальные
|
||||
архитектурные развилки — рост деки за «ориентир 14–18», точная привязка каждого тезиса к golden
|
||||
source (риск фактдрейфа №1), форма анти-дрейфа нового контента без хрупкости и без нового гейта,
|
||||
и честная граница «что проверяет CI vs. что проверяется руками». Развилки зафиксированы ниже.
|
||||
|
||||
## Решение
|
||||
|
||||
### Сводка
|
||||
|
||||
ORCH-105 — **docs-only расширение контента** слайдо-источника **внутри** канона adr-0039.
|
||||
Добавляем **ровно 3 слайда** (1 Lite + 2 Plane-usage), доводя деку 16 → **19 слайдов**;
|
||||
сохраняем сквозную нумерацию, формат, раздел сборки и тёмный дизайн. Каждый тезис привязан к
|
||||
golden source (D3). Анти-дрейф — **одна новая тест-функция** в существующем контуре (D4); новый
|
||||
QG **не** регистрируется. Рантайм (`src/**`, `STAGE_TRANSITIONS`, `QG_CHECKS`, `check_*`, схема
|
||||
БД) — **байт-в-байт** не тронут. `07-infra-requirements.md` / `08-data-requirements.md` —
|
||||
**не применимы** (нет смены топологии и схемы БД).
|
||||
|
||||
### D1 — Канон не форкается; новый компонент / гейт / глобальный ADR не вводятся
|
||||
|
||||
Расширение целиком живёт в инвариантах adr-0039:
|
||||
|
||||
- **Единственный источник истины о формате** — `parse_slides`; контент пишется под него (формат
|
||||
слайда не меняется). Скрипт сборки **не правится** (парсер обобщён; правка — только при
|
||||
крайней необходимости, тогда сохранить ленивый импорт `pptx` и stdlib-only top-level).
|
||||
- **Новый Quality Gate НЕ регистрируется** (TRZ §6): `QG_CHECKS` / `STAGE_TRANSITIONS` /
|
||||
`check_*` / machine-verdict ключи — байт-в-байт. Контроль — существующими механизмами:
|
||||
`tests/test_system_docs.py` исполняется обычным сьютом → попадает под `check_ci_green` (выход
|
||||
из `development`) и `check_tests_passed` (стадия `testing`).
|
||||
- **Бинарь не в git, `python-pptx` не в прод-образе** (adr-0039 §3; NFR-1/NFR-3) — сохраняем.
|
||||
- **Локальность решения:** нет нового компонента/стадии/гейта/смены БД → сквозной `adr-NNNN`
|
||||
не нужен; канон уже зафиксирован adr-0039. `docs/architecture/README.md` и `internals.md`
|
||||
**не обновляются** (стадии/гейты/компоненты не затронуты).
|
||||
|
||||
**Привязка:** BR-1, NFR-1, AC-7; TRZ §6/§7.
|
||||
|
||||
### D2 — Структура деки и размещение (ограниченный рост, +3 → 19 слайдов)
|
||||
|
||||
Рост деки ограничиваем **тремя** слайдами (анти-раздувание; BRD §6 явно допускает ~19–20 и
|
||||
проходит жёсткий пол `≥ 12`). **Рекомендуемая раскладка** (точные позиции — на усмотрение
|
||||
developer, жёсткое требование — только сквозная нумерация и ≥ 12):
|
||||
|
||||
| Новый слайд | Якорь (после какого слайда) | Роль |
|
||||
|-------------|------------------------------|------|
|
||||
| **Запуск и ведение задачи через Plane** | после «Человек в контуре» (тек. №7) | оператор-инструкция: вход + статусная модель + наблюдение |
|
||||
| **Что решает человек: гейты, авто-режим, отмена** | сразу за предыдущим (кластер) | оператор-инструкция: 2 гейта + авто-лейблы + STOP |
|
||||
| **Lite-установка скриптами** | после «Тираж платформы» (тек. №14) | углубление обзорного слайда тиража |
|
||||
|
||||
Итоговая нумерация (рекомендация): Plane-слайды → новые №8, №9; Lite-слайд → новый №17; всё
|
||||
последующее перенумеровать сквозно (deck = 19). **Инвариант FR-3:** вставка в середину ⇒
|
||||
перенумеровать **все** последующие слайды; `parse_slides`-тест требует `[1..N]` строго подряд.
|
||||
|
||||
**Разграничение с существующими слайдами (анти-дубль; для reviewer):** новые Plane-слайды —
|
||||
**процедурная оператор-инструкция** («что делаете вы / что показывает платформа»), а не описание
|
||||
способностей. Они дополняют, не дублируют, capability-слайды «Человек в контуре» (№7),
|
||||
«Наблюдаемость» (тек. №11) и «Сценарии использования» (тек. №13). Lite-слайд — углубление
|
||||
обзорного «Тираж платформы» (тек. №14) до конкретного скрипт-маршрута.
|
||||
|
||||
**Число Plane-слайдов = 2** (а не 3): 8 обязательных тем (запуск, статус-модель, 2 гейта,
|
||||
авто-лейблы, Bug, STOP, наблюдение) укладываются в 2 слайда по ≤ 6 тезисов. Если у developer
|
||||
тезисы перерастают лимит 6 — допустим 3-й Plane-слайд (тогда deck = 20; BRD §6 разрешает).
|
||||
|
||||
**Привязка:** BR-2/BR-3, FR-1/FR-2/FR-3, AC-1/AC-2/AC-3.
|
||||
|
||||
### D3 — Привязка каждого тезиса к golden source (анти-фактдрейф, BR-5)
|
||||
|
||||
Фактдрейф — доминирующий риск (TR-2). **Норматив для developer:** каждый тезис нового слайда
|
||||
обязан выводиться из golden source ниже; **запрещены** выдуманные возможности, имена статусов,
|
||||
лейблов, скриптов.
|
||||
|
||||
**Lite-слайд** ← `docs/deployment/LITE_SETUP.md` (первоисточник) + `tech-pipeline.md` §Тираж:
|
||||
- Lite = **два контейнера платформы** (`orchestrator` + `orchestrator-watchdog`); свои Plane /
|
||||
Gitea / Telegram / LLM подключаются (в Lite не входят).
|
||||
- Разворачивается **без правки кода — только конфиг** (10-common, ORCH-101).
|
||||
- Скрипты-помощники: `scripts/gen_secrets.py` (секреты), `scripts/onboard_project.py`
|
||||
(`plan`/`apply`/`verify`); подъём — `docker compose up -d`.
|
||||
- Маршрут — пошаговый runbook `LITE_SETUP.md` с проверкой **каждого** шага (PASS/FAIL).
|
||||
- **Точность (FAIL-условие AC-1):** НЕ называть Lite «единым монолитным инсталлятором»;
|
||||
одношаговый `bootstrap_bundle.py` — это **Bundled**, упоминание опционально и как **смежный**
|
||||
вариант (одной строкой, не как суть Lite).
|
||||
|
||||
**Plane-слайд A «Запуск и ведение задачи через Plane»** ← `tech-integrations.md` §Plane +
|
||||
`tech-pipeline.md` §Статусная модель:
|
||||
- Запуск: перевод задачи в **«To Analyse»** — единственная точка входа в конвейер.
|
||||
- Статусная модель: статусы Plane — **индикация, не управление**; платформа выставляет их сама;
|
||||
управляющих статусов ровно **три** (запуск, человеческие гейты, STOP).
|
||||
- Наблюдение: статусы доски (Backlog → … → Done) + **живая карточка в Telegram** (стадия,
|
||||
стоимость, время, кликабельный номер задачи) + комментарии в задаче со ссылками на ветку/PR.
|
||||
|
||||
**Plane-слайд B «Что решает человек: гейты, авто-режим, отмена»** ← `tech-pipeline.md`
|
||||
§Человеческие гейты + `CLAUDE.md` (ORCH-089/090/019):
|
||||
- Гейт 1 — **Approved** на `analysis` (одобрить постановку).
|
||||
- Гейт 2 — **Confirm Deploy** на `deploy` (подтвердить прод — отдельный статус, чтобы привычный
|
||||
approve не выкатывал прод случайным кликом).
|
||||
- Авто-лейблы **autoApprove** / **autoDeploy** — снимают **только** человеческие гейты;
|
||||
**ни одна техническая проверка не пропускается** (FAIL-условие AC-2 — обратное утверждение).
|
||||
- Лейбл **Bug** — багфикс-маршрут (короче, но все гейты исполняются).
|
||||
- **STOP** → `cancelled` — безопасная отмена с уборкой (рабочая ветка/worktree); **не трогает**
|
||||
`main`/прод-контейнер.
|
||||
|
||||
**Точность имён критична:** имена статусов/лейблов воспроизводить дословно
|
||||
(`To Analyse`/`Approved`/`Confirm Deploy`/`STOP`/`autoApprove`/`autoDeploy`/`Bug`). Reviewer
|
||||
сверяет факты с golden sources (BR-5; правило агентов №6 — необновлённая/расходящаяся витрина →
|
||||
finding ≥ P1).
|
||||
|
||||
**Привязка:** BR-5, FR-1/FR-2, AC-1/AC-2.
|
||||
|
||||
### D4 — Анти-дрейф нового контента: одна новая тест-функция, без хрупкости, без послаблений
|
||||
|
||||
**Решение:** в `tests/test_system_docs.py` **добавить ровно одну** функцию (рекомендуемое имя
|
||||
`test_presentation_covers_lite_and_plane_usage_bits`), по образцу
|
||||
`test_presentation_covers_mandatory_narrative_bits` (lower-case подстрочный матч). Существующие
|
||||
функции — **байт-в-байт** (только добавление; NFR-2).
|
||||
|
||||
Требования к выбору маркеров (чтобы тест ловил удаление слайда, но не был хрупким к
|
||||
переформулировке):
|
||||
- **Lite:** `lite` **и** маркер установки (`установк` / `разверн`).
|
||||
- **Plane-usage:** `plane` **и** оператор-маркер (например `to analyse` / `confirm deploy` /
|
||||
`stop`). Точные подстроки — на усмотрение developer; выбирать **семантические корни**, не
|
||||
целые фразы (анти-переобучение).
|
||||
- Матч — по lower-case тексту (как существующий бит-тест).
|
||||
- **Не** трогать пол `≥ 12` и сквозную нумерацию в
|
||||
`test_presentation_source_parses_with_canonical_parser` — он уже покрывает счёт/формат.
|
||||
- Маркеры обязаны пережить `test_showcase_carries_no_forbidden_host_literals` (без боевых
|
||||
хост-литералов) и `test_showcase_carries_no_secret_like_values` (без hex≥32/alnum≥40);
|
||||
имена статусов/лейблов и `8500/8501` этим скан-ам не противоречат.
|
||||
|
||||
**Цель (AC-4 FAIL-условие):** бесследное удаление нового слайда должно рвать CI.
|
||||
|
||||
**Привязка:** BR-5, FR-5, NFR-2, AC-4.
|
||||
|
||||
### D5 — Честная граница гейта: источник проверяется CI, рендер `.pptx` — вручную
|
||||
|
||||
Автоматический контур проверяет **источник** (`presentation.md`: парс/нумерация/обязательные
|
||||
биты/процедура сборки) и инвариант «`python-pptx` не в прод-образе». **Сам рендер `.pptx` в
|
||||
гейте не выполняется** — `python-pptx` намеренно отсутствует в прод/тест-образе (adr-0039 §3,
|
||||
NFR-1). Сборка и визуальная проверка (тёмная тема, кириллица, новые слайды присутствуют и
|
||||
редактируемы) — **ручной dev-venv шаг** (FR-4 / AC-5 / тест-план TC-07). Это **сознательная
|
||||
честная граница**, а не пробел покрытия; tester обязан выполнить ручную сборку и зафиксировать
|
||||
исход. Ожидаемая печать: `Собрано слайдов: 19 → build/orchestrator-overview.pptx` (N = факт.
|
||||
числу слайдов), exit 0.
|
||||
|
||||
**Привязка:** BR-4, FR-4, AC-5, NFR-1.
|
||||
|
||||
## Альтернативы
|
||||
|
||||
- **Форкнуть `build_presentation.py` / завести гейт, рендерящий `.pptx` в CI** — отвергнуто:
|
||||
нарушает adr-0039 §3 и NFR-1 (`python-pptx` намеренно вне прод/тест-образа); оверинжиниринг
|
||||
для контентной правки. Рендер остаётся ручным (D5).
|
||||
- **Закоммитить собранный `.pptx` для удобства стейкхолдера** — отвергнуто: adr-0039 §3 / NFR-3
|
||||
(бинарь не в git). Поставка = воспроизводимая сборка; готовый файл собирается командой и
|
||||
передаётся **вне git** (вложением к задаче Plane) — операционный шаг, не изменение кода
|
||||
(BRD §6).
|
||||
- **Завести сквозной `adr-NNNN`** — отвергнуто: ничего сквозного не меняется (нет нового
|
||||
компонента/гейта/стадии/смены БД); канон презентации уже держит adr-0039.
|
||||
- **Один объединённый слайд использования** — отвергнуто: AC-2 жёстко требует ≥ 2 слайда, а
|
||||
8 обязательных тем переполняют лимит 6 тезисов одного слайда.
|
||||
- **3+ слайда Plane по умолчанию** — отвергнуто как дефолт (анти-раздувание): 2 слайда
|
||||
достаточны; 3-й допустим лишь при переполнении тезисов (D2).
|
||||
|
||||
## Последствия
|
||||
|
||||
- **+** Дека получает оператор-применимый контент (Lite-маршрут + работа через Plane); каждый
|
||||
факт CI-заякорен к golden source новой подстрочной проверкой (D4); нулевой рантайм-риск; для
|
||||
enduro-trails инертно.
|
||||
- **+** Канон не форкается: один парсер `parse_slides` = один источник истины; анти-дрейф только
|
||||
**добавляет** покрытие.
|
||||
- **−** Дека растёт до 19 (выше ориентира 14–18) — принято осознанно (BRD §6), ограничено **+3**;
|
||||
митигировано плотной группировкой тезисов (D2) и порогом `≥ 12`, который не нарушается.
|
||||
- **−** Ручной рендер вне CI — принятая честная граница (D5); митигировано явным ручным шагом
|
||||
AC-5 / TC-07 (исход фиксирует tester).
|
||||
- **− (риск перенумерации)** вставка в середину рвёт сквозную нумерацию при невнимательности —
|
||||
митигировано тестом `test_presentation_source_parses_with_canonical_parser` (`[1..N]`) и явным
|
||||
инвариантом FR-3 (см. TR-1).
|
||||
- **Применимость 07/08:** `07-infra-requirements.md` и `08-data-requirements.md` **не создаются**
|
||||
— нет смены топологии и схемы БД (TRZ §4/§5).
|
||||
- **Откат:** полностью обратимо — revert правок `presentation.md` / `tests/test_system_docs.py` /
|
||||
`CHANGELOG.md` (1:1, без миграций и состояния).
|
||||
|
||||
## Ссылки
|
||||
|
||||
- BRD: `docs/work-items/ORCH-105/01-brd.md`
|
||||
- TRZ: `docs/work-items/ORCH-105/02-trz.md`
|
||||
- Acceptance: `docs/work-items/ORCH-105/03-acceptance-criteria.md`
|
||||
- Риски: `docs/work-items/ORCH-105/10-tech-risks.md`
|
||||
- Канон витрины/презентации (не меняется): `docs/architecture/adr/adr-0039-system-overview-docs-canon.md`
|
||||
- Golden sources контента: `docs/deployment/LITE_SETUP.md`, `docs/overview/tech-pipeline.md`,
|
||||
`docs/overview/tech-integrations.md`, `CLAUDE.md`
|
||||
- Сверено по коду: `scripts/build_presentation.py` (`parse_slides`),
|
||||
`tests/test_system_docs.py` (анти-дрейф витрины), `docs/overview/presentation.md` (источник)
|
||||
37
docs/work-items/ORCH-105/10-tech-risks.md
Normal file
37
docs/work-items/ORCH-105/10-tech-risks.md
Normal file
@@ -0,0 +1,37 @@
|
||||
---
|
||||
work_item: ORCH-105
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-12
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 10 — Технические риски: ORCH-105 — Подготовка презентации по орку
|
||||
|
||||
Work Item: **ORCH-105** · Repo: **orchestrator** · Стадия: architecture
|
||||
|
||||
> Информационный (гейтом не парсится). Перечисляет риски реализации и их митигейшн.
|
||||
> Решения — `06-adr/ADR-001-presentation-lite-and-plane-usage-slides.md`.
|
||||
|
||||
## Реестр рисков
|
||||
|
||||
| ID | Риск | Вер. | Влия. | Митигейшн |
|
||||
|----|------|------|-------|-----------|
|
||||
| TR-1 | **Ошибка перенумерации** при вставке слайдов в середину (пропуск/дубль номера) → падение сквозной нумерации. | Сред. | Низ. | Тест `test_presentation_source_parses_with_canonical_parser` требует `[1..N]` строго подряд → ловит мгновенно в CI; инвариант FR-3 явно выписан; ADR D2 даёт точную раскладку 19 слайдов. Откат — тривиальный revert. |
|
||||
| TR-2 | **Фактдрейф**: тезис расходится с реальной возможностью / именем статуса / лейбла / скрипта (напр. «Approved выкатывает прод», «autoApprove пропускает проверки», «Lite — монолитный инсталлятор»). | Сред. | Сред. | ADR D3 — построчная привязка к golden sources (`LITE_SETUP.md`/`tech-pipeline.md`/`tech-integrations.md`/`CLAUDE.md`) с дословными именами; новый бит-тест D4 фиксирует присутствие; reviewer сверяет факты (правило агентов №6 → finding ≥ P1). |
|
||||
| TR-3 | **Случайный запрещённый хост-литерал / секретоподобное значение** в тексте слайда → красный анти-дрейф. | Низ. | Низ. | Существующие `test_showcase_carries_no_forbidden_host_literals` (FORBIDDEN-импорт) и `test_showcase_carries_no_secret_like_values` (hex≥32/alnum≥40) ловят в CI; ADR D4 предписывает использовать только семантические корни/имена статусов; `8500/8501` явно безопасны (самочек эвристики). |
|
||||
| TR-4 | **Хрупкий или послабляющий анти-дрейф-тест**: переобучение на целую фразу (рвётся при переформулировке) ИЛИ ослабление существующих проверок. | Сред. | Низ. | ADR D4 — ровно одна новая функция по образцу `..._mandatory_narrative_bits`, матч по семантическим корням, существующие функции байт-в-байт; пол `≥ 12` и нумерация не трогаются. |
|
||||
| TR-5 | **Раздувание деки** сверх читаемого объёма (соблазн добавить >3 слайда). | Низ. | Низ. | ADR D2 ограничивает рост **+3** (deck = 19; 3-й Plane-слайд — только при переполнении лимита 6 тезисов); BRD §6 допускает ~19–20; жёсткий пол `≥ 12` не нарушается. |
|
||||
| TR-6 | **Случайная правка рантайма / попадание `python-pptx` в прод-образ / коммит `.pptx`-бинаря** → нарушение self-hosting-инварианта. | Низ. | Выс. | Docs-only по ТЗ; `git diff` не должен затрагивать `src/**`/`STAGE_TRANSITIONS`/`QG_CHECKS`/схему БД (AC-7); `test_no_pptx_dependency_in_prod_image` + `build_script_toplevel_imports_are_stdlib_only` зелёные; `build/` в `.gitignore`. Скрипт сборки не правится (ADR D1). |
|
||||
| TR-7 | **Ложное ощущение покрытия рендера**: рендер `.pptx` в CI не выполняется (нет `python-pptx`), визуальный дефект (битая кириллица/тема/отсутствие слайда) проходит мимо автогейта. | Сред. | Низ. | ADR D5 — честная граница: рендер проверяется **вручную** в dev-venv (FR-4/AC-5/TC-07), исход фиксирует tester; печать `Собрано слайдов: N → …` сверяется с числом слайдов источника. |
|
||||
|
||||
## Сводный вывод
|
||||
|
||||
Доминирующий класс — **риски точности контента** (TR-1, TR-2): чисто документарные, ловятся
|
||||
существующим + одним новым структурным тестом и сверкой reviewer с golden sources; остаточный
|
||||
риск низкий. Рантайм-класс (TR-6) теоретически высоковлияющий, но вероятность минимальна —
|
||||
изменение docs-only по конструкции, накрыто машинными гардами витрины (AC-7) и инвариантами
|
||||
adr-0039. **Эскалация `arch:major-change` не требуется; возврат в анализ не требуется.** Для
|
||||
прод-конвейера (self-hosting) и для enduro-trails изменение инертно: `src/**`, стадии, гейты,
|
||||
схема БД — байт-в-байт; `python-pptx` вне прод-образа; собранный бинарь не коммитится.
|
||||
116
docs/work-items/ORCH-105/12-review.md
Normal file
116
docs/work-items/ORCH-105/12-review.md
Normal file
@@ -0,0 +1,116 @@
|
||||
---
|
||||
verdict: APPROVED # APPROVED | REQUEST_CHANGES — строго одно из двух, UPPERCASE
|
||||
work_item: ORCH-105
|
||||
stage: review
|
||||
author_agent: reviewer
|
||||
status: approved
|
||||
created_at: 2026-06-12
|
||||
model_used: claude-opus-4-8
|
||||
type: review
|
||||
work_item_id: ORCH-105
|
||||
version: 1
|
||||
---
|
||||
|
||||
# Review ORCH-105 — Подготовка презентации по орку (слайды Lite-установки и использования через Plane)
|
||||
|
||||
> Машинный вердикт читается ТОЛЬКО из `verdict:` во frontmatter. `APPROVED` → дальше по конвейеру.
|
||||
|
||||
## Summary
|
||||
|
||||
**Docs-only** доработка витрины: слайдо-источник `docs/overview/presentation.md` расширен **тремя**
|
||||
слайдами в каноне ORCH-011 (дека 16 → 19, сквозная нумерация цела), добавлена **одна** анти-дрейф
|
||||
тест-функция в `tests/test_system_docs.py`, обновлён `CHANGELOG.md`. Реализация **полностью**
|
||||
соответствует ТЗ (`02-trz.md`), критериям приёмки (`03-acceptance-criteria.md`) и
|
||||
`06-adr/ADR-001`. Рантайм (`src/**`, `STAGE_TRANSITIONS`, `QG_CHECKS`, `check_*`, схема БД) —
|
||||
байт-в-байт не тронут. Факты новых слайдов сверены с golden sources. Весь
|
||||
`tests/test_system_docs.py` — **зелёный (29 passed)**. P0/P1 findings нет → **APPROVED**.
|
||||
|
||||
> **Замечание по среде ревью (не finding):** локальный `main` устарел (`9b7bdc0`), поэтому
|
||||
> `git diff main...HEAD` ложно тянул уже смерженный контент ORCH-011. Достоверный диф снят против
|
||||
> `origin/main` (`4d5e461`) — он чистый: `CHANGELOG.md`, `presentation.md`, `tests/test_system_docs.py`
|
||||
> + артефакты `docs/work-items/ORCH-105/`. Никаких чужих правок в PR нет.
|
||||
|
||||
## Оси проверки
|
||||
|
||||
### 1. Соответствие ТЗ / Acceptance Criteria — PASS
|
||||
- **FR-1 / AC-1 (Lite-слайд):** добавлен «Слайд 17: Lite-установка скриптами». Тезисы точны и
|
||||
согласованы с `docs/deployment/LITE_SETUP.md`: два контейнера платформы (`orchestrator` +
|
||||
`orchestrator-watchdog`), развёртывание без правки кода (только конфиг), помощники
|
||||
`gen_secrets.py`/`onboard_project.py` (`plan`/`apply`/`verify`) + `docker compose up -d`, runbook
|
||||
с проверкой каждого шага. **BR-5 соблюдён:** одношаговый bootstrap явно отнесён к **смежному
|
||||
Bundled, не Lite** (нет «монолитного инсталлятора», нет выдуманных скриптов).
|
||||
- **FR-2 / AC-2 (Plane-usage):** добавлены **два** оператор-слайда («Слайд 8: Запуск и ведение
|
||||
задачи через Plane», «Слайд 9: Что решает человек: гейты, авто-режим, отмена»). Покрыты все 8
|
||||
обязательных тем: запуск «To Analyse», «индикация ≠ управление», **оба** человеческих гейта
|
||||
(`Approved` на анализе и `Confirm Deploy` на деплое), авто-лейблы `autoApprove`/`autoDeploy`/`Bug`,
|
||||
отмена `STOP`, наблюдение (статусы доски + Telegram-карточка + комментарии со ссылками на
|
||||
ветку/PR). Имена статусов/лейблов **дословно** сверены с `tech-pipeline.md` (стр. 65/68/97) и
|
||||
`tech-integrations.md` (стр. 8/13). Инвариант «авто-режим не пропускает техпроверки» зафиксирован
|
||||
верно.
|
||||
- **FR-3 / AC-3 (нумерация/формат):** заголовки слайдов строго сквозные `1..19`, `## Как собрать
|
||||
.pptx` остаётся служебным разделом (не слайд). `test_presentation_source_parses_with_canonical_parser`
|
||||
— зелёный (≥12, `[1..N]`, непустые заголовки, ≥1 тезис).
|
||||
- **FR-5 / AC-4 (анти-дрейф):** добавлена `test_presentation_covers_lite_and_plane_usage_bits`,
|
||||
фиксирующая `lite`+маркер установки и `plane`+`to analyse`/`approved`/`confirm deploy`/`stop`.
|
||||
Существующие проверки нарратива и процедуры сборки — без послаблений, зелёные.
|
||||
- **FR-6 / AC-8 (сопровождение):** запись `docs:` по ORCH-105 в `CHANGELOG.md` присутствует и
|
||||
содержательна; норматив витрины ORCH-011/079 соблюдён (PR сам и есть обновление витрины).
|
||||
|
||||
### 2. Соответствие ADR / инвариантам — PASS
|
||||
- Реализация 1:1 c `06-adr/ADR-001`: ровно 3 слайда (2 Plane + 1 Lite), дека 16→19, **одна** новая
|
||||
тест-функция, новый QG **не** регистрируется, скрипт `build_presentation.py` **не** правится
|
||||
(подтверждено: вне дифа), `07/08`-доки не создаются (нет смены топологии/схемы БД).
|
||||
- Канон витрины `adr-0039` не форкается; локальность решения обоснована (глобальный `adr-NNNN` не
|
||||
нужен) — корректно.
|
||||
- **Трассировка (TRACEABILITY):** исполняемый код с маркерами `ORCH-NNN` не затронут (docs/tests
|
||||
only) → инварианты конвейера не задеты, анти-археология не срабатывает.
|
||||
|
||||
### 3. Качество кода — PASS
|
||||
- Новая тест-функция **содержательна** (не тривиальна): проверяет присутствие конкретных имён
|
||||
статусов/лейблов, несёт docstring с привязкой к FR-5/AC-4 и предупреждением об анти-переобучении.
|
||||
- Багфикс-трек (ORCH-019/BR-4) **не применим** — задача не `Bug`, регресс-тест-фиксатор не требуется.
|
||||
- Маркеры теста проходят `FORBIDDEN`-скан и секрет-эвристику (весь модуль зелёный).
|
||||
|
||||
### 4. Документация — PASS (см. раздел «Документация»)
|
||||
|
||||
### 5. Совместимость / регресс / self-hosting — PASS
|
||||
- `git diff origin/main...HEAD -- 'src/**'` пуст → рантайм, стадии, гейты, схема БД не тронуты.
|
||||
- `python-pptx` в прод-образ не добавлен; `build/` в `.gitignore` (стр. 19); новый `.pptx`-бинарь
|
||||
не закоммичен (`docs/PRODUCT_VISION.pptx` — преэкзистент, вне дифа PR).
|
||||
- Изменение полностью обратимо.
|
||||
|
||||
## Findings
|
||||
|
||||
### P0 — Blocker
|
||||
- (нет)
|
||||
|
||||
### P1 — Must fix
|
||||
- (нет)
|
||||
|
||||
### P2 — Should fix
|
||||
- (нет)
|
||||
|
||||
### P3 — Nice-to-have (не блокирует)
|
||||
- Анти-дрейф `assert "stop" in low` ловит подстроку `stop`, которая встречается и в визуале
|
||||
слайда 9; для большей устойчивости к точечному удалению блока STOP можно было бы матчить
|
||||
`«STOP»`/`stop` в связке с маркером отмены. Решение D4 осознанно выбрало семантические корни
|
||||
(анти-переобучение) — приемлемо, правка не требуется.
|
||||
|
||||
## Документация
|
||||
|
||||
**Обновлена корректно и в том же PR.** Этот PR сам является обновлением витрины `docs/overview/`
|
||||
(презентация — артефакт витрины ORCH-011). Проверено:
|
||||
- `CHANGELOG.md` — запись `docs:` по ORCH-105 присутствует. ✅
|
||||
- Витрина `docs/overview/presentation.md` — расширена; факты сверены с golden sources
|
||||
(`docs/deployment/LITE_SETUP.md`, `docs/overview/tech-pipeline.md`,
|
||||
`docs/overview/tech-integrations.md`, `CLAUDE.md`) — расхождений нет. ✅
|
||||
- `README.md` «Известные ограничения» (ORCH-079) — данный PR ни одного пункта не закрывает
|
||||
(контентная правда о уже существующей функциональности), обновление не требуется. ✅
|
||||
- Прочие тех-блоки `docs/overview/tech-*.md`, `docs/architecture/README.md`/`internals.md` — новой
|
||||
функциональности нет, обновлять нечего (правка только наполняет витрину контентом). ✅
|
||||
- `src/` не изменён → P0-условие «`src/` изменён, документация не обновлена» **не наступает**.
|
||||
|
||||
**Замечание для tester:** AC-5 (ручная dev-venv сборка `.pptx`, ожидается
|
||||
`Собрано слайдов: 19 → build/orchestrator-overview.pptx`, exit 0, тёмная тема/кириллица/новые
|
||||
слайды) — ручной шаг стадии `testing` (TC-07), вне автоматического гейта по канону (`python-pptx`
|
||||
не в тест-образе). Это сознательная честная граница (ADR D5), не пробел покрытия.
|
||||
67
docs/work-items/ORCH-105/13-test-report.md
Normal file
67
docs/work-items/ORCH-105/13-test-report.md
Normal file
@@ -0,0 +1,67 @@
|
||||
---
|
||||
result: PASS # PASS | FAIL — машинный вердикт, UPPERCASE
|
||||
work_item: ORCH-105
|
||||
stage: testing
|
||||
author_agent: tester
|
||||
status: pass
|
||||
created_at: 2026-06-12
|
||||
model_used: claude-opus-4-8
|
||||
type: test-report
|
||||
work_item_id: ORCH-105
|
||||
---
|
||||
|
||||
# Test Report — ORCH-105 — Подготовка презентации по орку
|
||||
|
||||
> Машинный вердикт читается ТОЛЬКО из `result:` во frontmatter. `PASS` → задача переходит на
|
||||
> `deploy-staging`.
|
||||
|
||||
## Окружение
|
||||
- Python: 3.12.13
|
||||
- pytest: 8.3.3 (plugins: cov-5.0.0, anyio-4.13.0, asyncio-0.23.8)
|
||||
- Worktree (код ветки): `/repos/_wt/orchestrator/feature_ORCH-105-/` (ветка `feature/ORCH-105-`)
|
||||
- Дата: 2026-06-12
|
||||
|
||||
## Smoke API (read-only)
|
||||
- `GET /health` → `{"status":"ok","service":"orchestrator"}` — **OK**
|
||||
- `GET /status` → активные задачи перечислены, задача ORCH-105 (id 93) в стадии `testing` — **OK**
|
||||
- `GET /queue` → блок `serial_gate` присутствует (**True**), блок `auto_labels` присутствует
|
||||
(**True**) — регресса смока нет — **OK**
|
||||
|
||||
## Покрытие ТЗ (каждый TC из 04-test-plan.yaml ↔ 03-acceptance-criteria.md)
|
||||
|
||||
| TC ID | Тип | Описание | AC | Результат |
|
||||
|-------|-----|----------|----|-----------|
|
||||
| TC-01 | unit | `parse_slides` разбирает `presentation.md`: слайдов 19 (≥12), номера сквозные `[1..19]`, у каждого непустой заголовок + ≥1 тезис (`test_presentation_source_parses_with_canonical_parser`) | AC-3 | PASS |
|
||||
| TC-02 | unit | Обязательные биты нарратива (проблем/решени/конвейер/сценари/тираж/статус) — `test_presentation_covers_mandatory_narrative_bits` | AC-4 | PASS |
|
||||
| TC-03 | unit | Новый контент зафиксирован анти-дрейфом: Lite-установка + использование через Plane — `test_presentation_covers_lite_and_plane_usage_bits` | AC-4 | PASS |
|
||||
| TC-04 | unit | Процедура сборки `.pptx` цела (`build_presentation.py` + «Проверка:») — `test_presentation_carries_reproducible_build_procedure` | AC-4 | PASS |
|
||||
| TC-05 | unit | Гигиена витрины: нет хост-литералов (`test_showcase_carries_no_forbidden_host_literals`) и секретоподобных значений (`test_showcase_carries_no_secret_like_values`) | AC-6 | PASS |
|
||||
| TC-06 | unit | Все относительные ссылки витрины резолвятся — `test_all_relative_links_resolve_to_existing_files` | AC-6 | PASS |
|
||||
| TC-07 | integration | Ручной dev-venv build: `build_presentation.py` → `Собрано слайдов: 19 → build/orchestrator-overview.pptx`, exit 0, валидный 56 КБ `.pptx` (N=19 = числу слайдов). Визуальная проверка темы/кириллицы — human-only, скрипт отработал чисто | AC-5 | PASS |
|
||||
| TC-08 | unit | Self-hosting инвариант: `python-pptx` отсутствует в `requirements*`/`Dockerfile` (`test_no_pptx_dependency_in_prod_image`); top-level `build_presentation.py` stdlib-only (`test_build_script_toplevel_imports_are_stdlib_only`) | AC-7 | PASS |
|
||||
| TC-09 | unit | `CHANGELOG.md` несёт запись `docs:` по ORCH-105; витрина `docs/overview/` достижима из README/CLAUDE (`test_changelog_has_orch_011_entry`, `test_repo_readme_links_overview`, `test_claude_md_carries_overview_pointer_and_normative`) | AC-8 | PASS |
|
||||
| TC-10 | integration | Полный регресс `pytest tests/` зелёный — **1874 passed** | AC-8 | PASS |
|
||||
|
||||
**Итог покрытия:** все 10 TC выполнены и сопоставлены с AC-1…AC-8. Дополнительно подтверждено:
|
||||
- **AC-1/AC-2** (контент Lite-слайда и Plane-usage слайдов) — структурно зафиксированы TC-03
|
||||
(`test_presentation_covers_lite_and_plane_usage_bits`), фактологическая сверка — в `12-review.md`
|
||||
(вердикт `APPROVED`).
|
||||
- **AC-7** (docs-only): `git diff origin/main...HEAD` не содержит изменений `src/**` —
|
||||
затронуты только `docs/**`, `CHANGELOG.md`, `tests/test_system_docs.py`; `build/`-артефакт
|
||||
`.pptx` не закоммичен (gitignored), `python-pptx` не добавлен в прод-образ.
|
||||
|
||||
## Вывод pytest
|
||||
|
||||
```
|
||||
tests/test_system_docs.py ... 29 passed (включая test_presentation_covers_lite_and_plane_usage_bits)
|
||||
...
|
||||
================== 1874 passed, 1 warning in 74.80s (0:01:14) ==================
|
||||
```
|
||||
(Единственный warning — преэкзистентный `PydanticDeprecatedSince20` в `src/config.py:8`, не
|
||||
связан с ORCH-105.)
|
||||
|
||||
## Итог
|
||||
**PASS** — полный регресс `pytest tests/` зелёный (1874 passed), smoke read-only OK
|
||||
(`serial_gate` + `auto_labels` в `/queue` присутствуют), каждый TC `04-test-plan.yaml` выполнен и
|
||||
сопоставлен с критериями `03-acceptance-criteria.md`, изменение остаётся docs-only (рантайм/образ
|
||||
нетронуты). Задача готова к переходу на `deploy-staging`.
|
||||
12
docs/work-items/ORCH-105/14-deploy-log.md
Normal file
12
docs/work-items/ORCH-105/14-deploy-log.md
Normal file
@@ -0,0 +1,12 @@
|
||||
---
|
||||
deploy_status: SUCCESS
|
||||
work_item: ORCH-105
|
||||
hook_exit_code: 0
|
||||
deployed_by: deploy-finalizer
|
||||
---
|
||||
|
||||
# Deploy log — ORCH-036 executable self-deploy
|
||||
|
||||
Прод-деплой завершён хост-хуком с exit-code `0` -> `deploy_status: SUCCESS`.
|
||||
|
||||
Вердикт зафиксирован детерминированным finalizer'ом (Фаза C), не LLM.
|
||||
43
docs/work-items/ORCH-105/15-staging-log.md
Normal file
43
docs/work-items/ORCH-105/15-staging-log.md
Normal file
@@ -0,0 +1,43 @@
|
||||
---
|
||||
staging_status: SUCCESS
|
||||
work_item: ORCH-105
|
||||
stage: deploy-staging
|
||||
author_agent: deployer
|
||||
status: success
|
||||
created_at: 2026-06-12
|
||||
model_used: claude-opus-4-8
|
||||
timestamp: 2026-06-12T05:18:22Z
|
||||
base_url: http://localhost:8501
|
||||
---
|
||||
|
||||
# Staging Gate Log
|
||||
|
||||
Staging test suite completed against the live `orchestrator-staging` instance (port 8501),
|
||||
run canonically inside the container (`docker exec orchestrator-staging python3
|
||||
/repos/orchestrator/scripts/staging_check.py --base-url http://localhost:8501 --mode stub`).
|
||||
|
||||
**Result: 8/10 checks PASS — exit code 0 → SUCCESS.**
|
||||
|
||||
All REAL checks green; the two failures are known sandbox-infra checks (C9a/C9b), waived
|
||||
under ORCH-061 (`staging_infra_tolerance_enabled=True`). They depend on SANDBOX bot accounts
|
||||
being project members, not on the pipeline.
|
||||
|
||||
INFRA-WAIVED: C9a Branch appears in orchestrator-sandbox, C9b Analyst job enqueued in staging queue (known sandbox-infra; real checks green)
|
||||
VERDICT: SUCCESS (exit 0) — SUCCESS (infra-waived): ['C9a Branch appears in orchestrator-sandbox', 'C9b Analyst job enqueued in staging queue'] are known sandbox-infra checks; all real checks green
|
||||
|
||||
## Check breakdown
|
||||
|
||||
| Block | Check | Result |
|
||||
|-------|-------|--------|
|
||||
| A SMOKE | A1 GET /health → 200 status=ok | ✓ PASS |
|
||||
| A SMOKE | A2 GET /queue → 200 with counts/max_concurrency/resilience | ✓ PASS |
|
||||
| A SMOKE | A3 ORCH_STAGING=true (not prod) | ✓ PASS |
|
||||
| B ACCESS | B4 Plane: sandbox project accessible | ✓ PASS |
|
||||
| B ACCESS | B5 Gitea: orchestrator-sandbox accessible, push=true | ✓ PASS |
|
||||
| B ACCESS | B6 Registry: sandbox present, prod ET/ORCH absent | ✓ PASS |
|
||||
| C E2E | C7 Create issue in Plane SANDBOX | ✓ PASS |
|
||||
| C E2E | C8 Trigger pipeline via /webhook/plane | ✓ PASS |
|
||||
| C E2E | C9a Branch appears in orchestrator-sandbox | ✗ FAIL (INFRA-WAIVED) |
|
||||
| C E2E | C9b Analyst job enqueued in staging queue | ✗ FAIL (INFRA-WAIVED) |
|
||||
|
||||
Staging gate passed → pipeline may advance to `deploy`.
|
||||
7
docs/work-items/ORCH-109/00-business-request.md
Normal file
7
docs/work-items/ORCH-109/00-business-request.md
Normal file
@@ -0,0 +1,7 @@
|
||||
# Business Request: ORCH: timeout budgets + launch-time model telemetry for developer/reviewer
|
||||
|
||||
Work Item ID: ORCH-109
|
||||
|
||||
## Description
|
||||
|
||||
TBD
|
||||
167
docs/work-items/ORCH-109/01-brd.md
Normal file
167
docs/work-items/ORCH-109/01-brd.md
Normal file
@@ -0,0 +1,167 @@
|
||||
---
|
||||
work_item: ORCH-109
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-14
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 01 — BRD (бизнес-требования): ORCH-109 — timeout budgets + launch-time model telemetry для developer/reviewer
|
||||
|
||||
Work Item: **ORCH-109** · Repo: **orchestrator** · Стадия: analysis
|
||||
|
||||
## 1. Бизнес-контекст и проблема
|
||||
|
||||
Инцидент **ORCH-104** (runs 658/659/660, прод-watchdog 1800s) вскрыл **два независимых дефекта**
|
||||
в подсистеме запуска агентов и телеметрии:
|
||||
|
||||
**Дефект A — недостаточный wall-clock бюджет для тяжёлых ролей.**
|
||||
Агенты `developer` и `reviewer` на сложных задачах **честно** упираются в общий тайм-аут
|
||||
`agent_timeout_seconds = 1800` и убиваются watchdog'ом (`launcher._watchdog → stop_process`,
|
||||
exit 143 / -9). Этот тайм-аут — единый для ВСЕХ ролей, хотя `developer` (effort `xhigh`,
|
||||
кодирующая роль) и `reviewer` объективно требуют больше времени, чем механические роли
|
||||
(`tester`/`deployer`, effort `medium`). Существует механизм per-agent override
|
||||
(`_resolve_timeout` + `agent_timeout_overrides_json`), но в проде он пуст → все роли получают 1800s.
|
||||
|
||||
**Дефект B — потеря модели в телеметрии при оборванном прогоне.**
|
||||
Модель агента (`agent_runs.model`) пишется **только постфактум** — из финального usage-JSON
|
||||
прогона в `launcher._monitor_agent → usage.record_usage` (`_extract_model`). Убитый по тайм-ауту
|
||||
прогон **не успевает эмитить финальный JSON** → `_extract_model` возвращает `None` →
|
||||
`record_usage` пишет `model=COALESCE(None, model)` = остаётся **NULL**. В результате карточка
|
||||
Telegram-трекера (`notifications._stage_line`) и снимок `GET /metrics`/`GET /queue`
|
||||
(`db.get_running_agents`) показывают `model=null` именно тогда, когда что-то пошло не так — в
|
||||
момент, когда модель/эффорт критичны для разбора инцидента.
|
||||
|
||||
Существующий прецедент уже решает половину задачи: **эффорт стампится в момент launch**
|
||||
(`launcher._spawn`, ORCH-087, `UPDATE agent_runs SET effort=?`), потому что CLI его в result-JSON
|
||||
не возвращает. Модель резолвится в той же точке (`resolve_agent_model`, строка 559), но **в БД на
|
||||
launch не пишется** — стампится только эффорт. ORCH-109 распространяет ту же гарантию на модель.
|
||||
|
||||
**Сопутствующие проверки (производные от A и B):**
|
||||
- Поведение оборванного (timeout-killed) прогона в трекере и status-комментариях: модель и эффорт
|
||||
должны быть видны даже если финальный JSON не записан.
|
||||
- Нужен ли отдельный guard: не пускать timeout-killed `developer`/`reviewer` автоматически дальше
|
||||
по конвейеру (`development → review`, `review → testing`) без явного salvage-режима.
|
||||
|
||||
**Установленные факты (по коду, не изобретать):**
|
||||
- `agent_runs.model` — колонка `TEXT` (NULLABLE), уже существует (`db._ensure_column`); **миграция
|
||||
не нужна**.
|
||||
- `record_usage` уже использует `model=COALESCE(?, model)` — то есть постфактум-парс уже
|
||||
**сохраняет** ранее проставленное значение и не затирает его `NULL`'ом. Не хватает только
|
||||
записи на launch.
|
||||
- `_resolve_timeout(agent)` уже умеет per-agent override через `agent_timeout_overrides_json`;
|
||||
малформный JSON → откат на глобальный дефолт + лог (never-break).
|
||||
- Кросс-инвариант reaper: `reaper_max_running_s = 3600` с зафиксированным в `config.py` правилом
|
||||
«MUST be > max agent_timeout + grace» (Tier-3 backstop job-reaper'а, ORCH-065).
|
||||
|
||||
## 2. Объём (scope)
|
||||
|
||||
### В объёме
|
||||
- **Launch-time стамп модели:** записывать резолвенную `resolve_agent_model(...)` в
|
||||
`agent_runs.model` в момент launch (`launcher._spawn`), рядом со стампом эффорта (ORCH-087).
|
||||
- **Конфигурируемый поднятый wall-clock бюджет для `developer` и `reviewer`** через config-override,
|
||||
**без изменения** бюджета остальных ролей (`analyst`/`architect`/`tester`/`deployer`).
|
||||
- **Сохранение постфактум-enrich:** `usage.record_usage` остаётся источником обогащения
|
||||
модели/токенов/стоимости из usage-JSON, но **перестаёт быть единственным источником истины** о
|
||||
модели (launch-стамп — первичный, JSON — уточняющий).
|
||||
- **Видимость при timeout/kill:** строка стадии трекера и status-комментарии показывают реальные
|
||||
модель + эффорт для оборванного прогона (model не `null`).
|
||||
- **Guard анти-salvage:** гарантия (и регресс-тест), что timeout-killed прогон
|
||||
(`exit_code != 0`, в т.ч. -9/-15/143) **не продвигает** стадию автоматически в следующую без
|
||||
явного решения.
|
||||
- **Обновление документации/комментариев** по конфигу тайм-аутов (`config.py`, `.env.example`).
|
||||
- **Тесты**, покрывающие все перечисленные FR.
|
||||
|
||||
### Вне объёма
|
||||
- Изменение model-routing: все 6 агентов остаются на `claude-opus-4-8` (ORCH-41 G3 не включается).
|
||||
- Любые изменения `STAGE_TRANSITIONS` / `QG_CHECKS` / `check_*` / machine-verdict ключей / схемы БД
|
||||
(колонка `agent_runs.model` уже есть — миграции нет).
|
||||
- Изменение тайм-аута для ролей кроме `developer`/`reviewer`.
|
||||
- **Salvage / возобновление** недоделанной работы убитого прогона (поднять «как было», дописать,
|
||||
переиспользовать частичный результат) — в объёме ТОЛЬКО гарантия не-продвижения, не salvage.
|
||||
- Изменения транспорта Telegram/Plane (`send_telegram`/комментарии) — только использование уже
|
||||
доступных полей.
|
||||
- Перезапуск/деплой прод-контейнера в рамках задачи (self-hosting безопасность).
|
||||
|
||||
## 3. Заинтересованные стороны
|
||||
|
||||
- **Заказчик/Owner (Слава)** — инициатор; нуждается в надёжной телеметрии для разбора инцидентов и
|
||||
в адекватных бюджетах тяжёлых ролей при пакетном автономном прогоне (эпик ORCH-088).
|
||||
- **Оператор self-hosting** — потребитель карточки трекера и `GET /metrics`/`GET /queue`; без модели
|
||||
в карточке теряет ключевой контекст инцидента.
|
||||
- **Сам конвейер (self-hosting)** — затрагивается поведение запуска агентов; общий прод-инстанс
|
||||
обслуживает и enduro-trails (тайм-аут — глобальная per-agent настройка, не repo-scoped).
|
||||
|
||||
## 4. Бизнес-требования (BR)
|
||||
|
||||
- **BR-1** — Резолвенная модель агента сохраняется в `agent_runs.model` **в момент launch**, рядом
|
||||
с эффортом, а не только постфактум из usage-JSON. Значение присутствует на строке прогона с
|
||||
момента запуска и переживает любой исход прогона.
|
||||
- **BR-2** — Постфактум-парс usage/model (`usage.record_usage`) сохраняется как **обогащение**, но
|
||||
**не как единственный источник истины**: при отсутствии/обрыве финального JSON launch-стамп модели
|
||||
не теряется.
|
||||
- **BR-3** — Wall-clock тайм-аут для `developer` и `reviewer` поднимается и **настраивается через
|
||||
config-override**, **без изменения** тайм-аута остальных ролей; механизм покрыт тестом/проверкой.
|
||||
- **BR-4** — При timeout/kill (оборванный прогон без финального JSON) строка стадии в трекере и
|
||||
status-комментарии показывают **реальную модель (не `null`) и эффорт**.
|
||||
- **BR-5** — Timeout-killed прогон `developer`/`reviewer` **не продвигается** автоматически на
|
||||
следующую стадию без явного salvage-режима; поведение зафиксировано регресс-тестом. (Анализ
|
||||
определяет, нужен ли отдельный guard поверх существующей гарантии «advance только при чистом
|
||||
exit + зелёный QG».)
|
||||
- **BR-6** — Документация и комментарии по конфигу тайм-аутов обновлены (паспорт изменения внутри
|
||||
`config.py` + `.env.example`).
|
||||
|
||||
## 5. Нефункциональные требования (NFR)
|
||||
|
||||
- **NFR-1 — Обратная совместимость / нулевая регрессия.** Стамп модели аддитивен (колонка уже
|
||||
существует, миграции нет). Дефолтный тайм-аут ролей, кроме `developer`/`reviewer`, не меняется;
|
||||
при пустом override-конфиге поведение байт-в-байт прежнее.
|
||||
- **NFR-2 — never-raise / never-break.** Сбой стампа модели (ошибка БД) **не блокирует** launch
|
||||
(та же `try/except`-изоляция, что у стампа эффорта). Малформный/невалидный timeout-конфиг →
|
||||
откат на глобальный дефолт + WARNING, прогон не падает.
|
||||
- **NFR-3 — Неприкосновенность контрактов.** `STAGE_TRANSITIONS`, `QG_CHECKS`, `check_*`,
|
||||
machine-verdict ключи (`verdict:`/`result:`/`deploy_status:`/`staging_status:`/`security_status:`/
|
||||
`coverage_status:`), схема БД — **не трогаются**.
|
||||
- **NFR-4 — Сохранение reaper-инварианта.** Любой поднятый бюджет `developer`/`reviewer` обязан
|
||||
сохранять `reaper_max_running_s > max(резолвенный тайм-аут любого агента) + agent_kill_grace_seconds`
|
||||
(Tier-3 backstop ORCH-065); иначе job-reaper может реапнуть **здоровый** долгоиграющий прогон до
|
||||
срабатывания его собственного watchdog'а. Если новый бюджет нарушает неравенство —
|
||||
`reaper_max_running_s` поднимается синхронно (решение архитектора).
|
||||
- **NFR-5 — Self-hosting безопасность.** Изменение не рестартит/не роняет прод-контейнер, не
|
||||
трогает deploy-путь, безопасно для общего инстанса (enduro-trails не затронут негативно).
|
||||
- **NFR-6 — Наблюдаемость in-flight.** Модель становится видна в `GET /metrics`/`GET /queue`
|
||||
(`db.get_running_agents`) **во время** прогона, а не только после завершения (побочное улучшение
|
||||
launch-стампа).
|
||||
|
||||
## 6. Допущения и ограничения
|
||||
|
||||
- Тайм-аут — **глобальная per-agent** настройка (не repo-scoped): поднятие бюджета
|
||||
`developer`/`reviewer` действует на все репо. Для enduro это благоприятно/нейтрально.
|
||||
- Колонка `agent_runs.model` уже существует и NULLABLE — повторная запись/COALESCE безопасны.
|
||||
- CLI не возвращает effort в result-JSON (причина launch-стампа эффорта ORCH-087); модель в JSON
|
||||
возвращается, но только при успешном финале — отсюда необходимость launch-стампа модели.
|
||||
- Точные числовые значения новых бюджетов (`developer`/`reviewer`) и способ их конфигурации
|
||||
(выделенные ключи vs `agent_timeout_overrides_json`) — решение архитектора/Owner в рамках FR-3;
|
||||
BRD фиксирует только **способность + инвариант NFR-4 + тест**.
|
||||
- Salvage недоделанной работы — отдельная возможность, вне этой задачи.
|
||||
|
||||
## 7. Критерии успеха
|
||||
|
||||
Модель агента видна (не `null`) в трекере, status-комментариях и `/metrics` для ЛЮБОГО исхода
|
||||
прогона, включая timeout-kill; бюджеты `developer`/`reviewer` подняты и конфигурируемы без влияния
|
||||
на прочие роли и без нарушения reaper-инварианта; timeout-killed прогон не «протекает» в следующую
|
||||
стадию; всё покрыто тестами; конфиг задокументирован. Детальные PASS/FAIL — `03-acceptance-criteria.md`.
|
||||
|
||||
## 8. Риски
|
||||
|
||||
- **R-1** — Поднятие бюджета выше `reaper_max_running_s − grace` → ложный reap здорового прогона
|
||||
(NFR-4). Митигируется sanity-тестом конфига и/или синхронным поднятием `reaper_max_running_s`.
|
||||
- **R-2** — Постфактум-enrich затирает корректный launch-стамп при странном JSON. Митигируется
|
||||
семантикой COALESCE (NULL не затирает) + тестом enrich-кейсов.
|
||||
- **R-3** — Гонка двух писателей `exit_code` (`_record_kill` = -9 и `_monitor_agent` = `proc.wait()`)
|
||||
не должна влиять на телеметрию модели (модель — отдельная колонка). Подтверждается тестом FR-4.
|
||||
- **R-4** — Глобальность тайм-аута: поднятие для enduro-developer могло бы маскировать зависший
|
||||
прогон. Митигируется тем, что Tier-3 backstop reaper'а сохраняется (NFR-4).
|
||||
|
||||
Детали рисков и архитектурные трейд-оффы — `10-tech-risks.md` (заполняет архитектор).
|
||||
145
docs/work-items/ORCH-109/02-trz.md
Normal file
145
docs/work-items/ORCH-109/02-trz.md
Normal file
@@ -0,0 +1,145 @@
|
||||
---
|
||||
work_item: ORCH-109
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-14
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 02 — ТЗ (TRZ): ORCH-109 — timeout budgets + launch-time model telemetry для developer/reviewer
|
||||
|
||||
Work Item: **ORCH-109** · Repo: **orchestrator** · Стадия: analysis
|
||||
|
||||
> ТЗ описывает **конкретные изменения к реализации**, выведенные из BRD и фактического кода.
|
||||
> Архитектурное обоснование/решения (выбор «выделенные config-ключи vs `agent_timeout_overrides_json`»,
|
||||
> точные числовые бюджеты, синхронная правка `reaper_max_running_s`) — задача архитектора (`06-adr`).
|
||||
|
||||
## 1. Сводка изменения
|
||||
|
||||
Две независимые, но связанные правки в подсистеме запуска агентов:
|
||||
|
||||
1. **Launch-time стамп модели.** В `launcher._spawn` резолвенная `resolve_agent_model(...)` (уже
|
||||
вычисляется на launch, строка ~559) записывается в `agent_runs.model` в той же DB-сессии, что и
|
||||
стамп эффорта (ORCH-087, строки ~566–571). Постфактум-парс (`usage.record_usage`,
|
||||
`model=COALESCE(?, model)`) сохраняется как **обогащение** и уже не затирает launch-значение
|
||||
`NULL`'ом. Следствие: модель присутствует на строке прогона с момента запуска, переживает
|
||||
timeout-kill и видна in-flight в `GET /metrics`/`GET /queue`.
|
||||
|
||||
2. **Конфигурируемый поднятый wall-clock бюджет для `developer`/`reviewer`.** `_resolve_timeout(agent)`
|
||||
должен возвращать поднятый бюджет для `developer` и `reviewer`, конфигурируемый и не затрагивающий
|
||||
прочие роли; механизм покрыт тестом. Сохраняется never-break (малформный конфиг → глобальный
|
||||
дефолт) и кросс-инвариант reaper (`reaper_max_running_s > max(timeout)+grace`).
|
||||
|
||||
Плюс верификационные требования: телеметрия timeout-killed прогона (модель+эффорт не `null`) и
|
||||
guard анти-salvage (timeout-killed прогон не продвигает стадию).
|
||||
|
||||
## 2. Задействованные модули / пути
|
||||
|
||||
| Путь | Действие |
|
||||
|------|----------|
|
||||
| `src/agents/launcher.py` | изменить — стамп `model` в `_spawn` рядом с `effort` (≈ стр. 559–573); проверка `_resolve_timeout` обслуживает override `developer`/`reviewer` (≈ стр. 661–679) |
|
||||
| `src/config.py` | изменить — config для поднятого тайм-аута `developer`/`reviewer` (выделенные ключи и/или дефолт `agent_timeout_overrides_json`); обновить комментарии-паспорт (≈ стр. 115–126); проверить/при необходимости поднять `reaper_max_running_s` (≈ стр. 494–499) |
|
||||
| `src/usage.py` | проверить/зафиксировать тестом — `record_usage` (`model=COALESCE(?, model)`) НЕ затирает launch-стамп при `model=None` (≈ стр. 207–230); `_extract_model` (≈ стр. 95–118) |
|
||||
| `src/notifications.py` | проверить (правка, вероятно, не нужна) — `_stage_line` рендерит `· {model} · {effort}` из `agent_runs` для строки с `exit_code=-9` (≈ стр. 360–373, 498–542) |
|
||||
| `src/db.py` | НЕ менять схему — `agent_runs.model` TEXT уже есть; проверить, что `get_running_agents` (≈ стр. 1370–1405) отдаёт launch-стампнутую модель для running-job |
|
||||
| `src/stage_engine.py` | проверить — путь продвижения стадии не advance'ит прогон с `exit_code != 0` (guard FR-5); правка только если найден разрыв |
|
||||
| `.env.example` | обновить — задокументировать ключи тайм-аута `developer`/`reviewer` (BR-6) |
|
||||
| `tests/test_orch109_timeout_model.py` (новый) | создать — покрытие FR-1…FR-5 |
|
||||
| `CHANGELOG.md`, `CLAUDE.md` (паспорт), `docs/architecture/README.md` (модель/эффорт-секция) | обновить в том же PR (правило агентов №2) |
|
||||
|
||||
## 3. Функциональные требования
|
||||
|
||||
### FR-1 — Launch-time стамп модели (BR-1)
|
||||
В `launcher._spawn`, после `model = resolve_agent_model(agent, project_id)`, резолвенное значение
|
||||
записывается в `agent_runs.model` для текущего `run_id` **в момент launch**, по образцу стампа
|
||||
эффорта (ORCH-087):
|
||||
- Запись в той же открытой `conn`, что и стамп эффорта (допустимо объединить в один
|
||||
`UPDATE agent_runs SET model=?, effort=? WHERE id=?` — решение реализации).
|
||||
- Пустой резолв (`model == ""`, CLI-дефолт без `--model`) → пишется `NULL` (как эффорт: `effort or None`),
|
||||
чтобы суффикс модели в трекере корректно опускался.
|
||||
- **Инвариант:** значение `agent_runs.model` присутствует с момента launch и не зависит от исхода
|
||||
прогона.
|
||||
- **never-raise (NFR-2):** сбой записи изолирован `try/except` + WARNING; launch продолжается.
|
||||
|
||||
### FR-2 — Постфактум-enrich сохраняет launch-стамп (BR-2)
|
||||
`usage.record_usage` остаётся источником обогащения (токены/стоимость/модель из usage-JSON), но:
|
||||
- При `usage is None` или `usage.get("model") is None` (оборванный/малформный JSON) launch-стамп
|
||||
модели **не затирается** (текущая семантика `model=COALESCE(?, model)` это уже обеспечивает —
|
||||
требование зафиксировать тестом, не регрессировать).
|
||||
- При наличии непустой модели в JSON enrich **уточняет** значение (например, полный
|
||||
provider-prefixed id или фактический fallback-model) — допустимая перезапись непустым на непустое.
|
||||
- Семантика парсинга `_extract_model` (приоритет `modelUsage` → top-level `model`) — без изменений.
|
||||
|
||||
### FR-3 — Конфигурируемый поднятый тайм-аут `developer`/`reviewer` (BR-3)
|
||||
- `_resolve_timeout(agent)` возвращает поднятый бюджет для `agent in {"developer","reviewer"}`,
|
||||
конфигурируемый, **детерминированный**, и **не затрагивающий** прочие роли (они продолжают
|
||||
получать глобальный `agent_timeout_seconds`, если для них нет override).
|
||||
- Механизм: либо документированный дефолт `agent_timeout_overrides_json`, либо выделенные ключи
|
||||
(например `agent_timeout_developer_s`/`agent_timeout_reviewer_s`) — выбор архитектора; контракт
|
||||
FR-3 — резолв per-agent поднятого бюджета.
|
||||
- **never-break (NFR-2):** малформный/невалидный конфиг → откат на глобальный дефолт + WARNING
|
||||
(поведение `_resolve_timeout` сохраняется).
|
||||
- **Кросс-инвариант (NFR-4):** итоговый `max(резолвенный тайм-аут)` + `agent_kill_grace_seconds`
|
||||
обязан оставаться `< reaper_max_running_s`; при нарушении — синхронно поднять `reaper_max_running_s`.
|
||||
|
||||
### FR-4 — Телеметрия timeout-killed прогона (BR-4)
|
||||
Для прогона с `exit_code != 0` без финального usage-JSON (timeout-kill, `_record_kill` стампит -9):
|
||||
- Строка стадии трекера (`notifications._stage_line`) рендерит `· {short_model} · {effort}` с
|
||||
реальными значениями (модель **не** `null`), т.к. оба стампнуты на launch (FR-1 + ORCH-087).
|
||||
- `db.get_running_agents` (источник `GET /metrics`/`GET /queue`) отдаёт launch-стампнутую модель и
|
||||
для **running**-job (in-flight видимость, NFR-6).
|
||||
- Изменения `notifications.py`, вероятно, не требуются (рендер уже читает `model`); требование —
|
||||
верифицировать тестом, что при стампе на launch значение долетает.
|
||||
|
||||
### FR-5 — Guard анти-salvage timeout-killed прогона (BR-5)
|
||||
- Timeout-killed прогон (`exit_code != 0`, в т.ч. -9/-15/143) `developer`/`reviewer` **не продвигает**
|
||||
стадию (`development → review`, `review → testing`) автоматически.
|
||||
- Существующий контракт (advance только при чистом exit-коде + зелёный exit-гейт; иначе
|
||||
`attempts<max → queued`, иначе `failed` + Telegram — `launcher._monitor_agent`/`queue_worker`/
|
||||
`job_reaper`) реализует это структурно.
|
||||
- **Требование:** анализ подтверждает достаточность существующей гарантии; поведение фиксируется
|
||||
**регресс-тестом**. Отдельный guard в коде добавляется **только если тест выявит разрыв**.
|
||||
- **salvage-режим НЕ вводится** (вне объёма) — задача гарантирует не-продвижение, не возобновление.
|
||||
|
||||
### FR-6 — Документация конфига (BR-6)
|
||||
- Комментарий-паспорт в `config.py` (блок ORCH-7, строки ~115–126) расширяется описанием поднятых
|
||||
бюджетов `developer`/`reviewer` и ссылкой на reaper-инвариант (NFR-4).
|
||||
- `.env.example` несёт соответствующие ключи с дефолтами = боевым значениям (канон ORCH-101).
|
||||
- Сквозная документация (`CLAUDE.md`, `docs/architecture/README.md` — таблица «модель/эффорт по
|
||||
ролям») обновляется в том же PR.
|
||||
|
||||
## 4. Изменения API
|
||||
|
||||
Нет. Ни одного нового/изменённого endpoint'а. `GET /metrics` и `GET /queue` отдают тот же контракт
|
||||
(`schema_version: 1`) — поле `agents[].model` лишь **начинает заполняться** для running-job
|
||||
(аддитивное улучшение данных, не контракта; sidecar обязан толерировать, ORCH-099 NFR-6).
|
||||
|
||||
## 5. Изменения схемы БД
|
||||
|
||||
Нет. Колонка `agent_runs.model` (`TEXT`, NULLABLE) уже существует (`db._ensure_column`, инициализация
|
||||
`init_db`). Никаких `CREATE`/`ALTER`/новых таблиц. Меняется только **момент** и **частота** записи в
|
||||
существующую колонку (launch + опциональный постфактум-enrich).
|
||||
|
||||
## 6. Требования к новым/изменённым QG checks
|
||||
|
||||
Нет. `QG_CHECKS` / `check_*` / `_parse_*` / machine-verdict ключи — не трогаются. Задача целиком вне
|
||||
слоя Quality Gate (подсистема launch/телеметрия/конфиг). FR-5 опирается на **существующий**
|
||||
exit-code-контракт продвижения, не на новый гейт.
|
||||
|
||||
## 7. Совместимость / регресс
|
||||
|
||||
- **Обратная совместимость:** стамп модели аддитивен; при пустом timeout-override поведение
|
||||
байт-в-байт прежнее (NFR-1). Никаких kill-switch не требуется — изменение не вводит новых ветвей
|
||||
риска (стамп модели всегда безопасен; тайм-аут конфигурируем и fail-safe на глобальный дефолт).
|
||||
- **Область раската:** стамп модели — все репо/роли (безопасно). Поднятый тайм-аут — только
|
||||
`developer`/`reviewer` (все репо, т.к. тайм-аут глобален per-agent); прочие роли неизменны.
|
||||
- **Обратимость:** вернуть тайм-аут — снять override-конфиг (откат на 1800s). Launch-стамп модели
|
||||
отката не требует (чистое улучшение телеметрии).
|
||||
- **Кросс-каттинг (NFR-4):** при поднятии бюджета выше `reaper_max_running_s − grace` синхронно
|
||||
поднять `reaper_max_running_s` (ORCH-065). Sanity-тест конфига стережёт инвариант.
|
||||
- **never-raise (NFR-2):** обе правки изолированы; сбой не роняет launch и не падает на старте при
|
||||
плохом env.
|
||||
- **Self-hosting (NFR-5):** ни рестарта прода, ни изменения deploy-пути; общий инстанс безопасен.
|
||||
- **Полный регресс `tests/`** остаётся зелёным; coverage-гейт (ORCH-027) удовлетворён новым
|
||||
тест-файлом (изменения в `src/` минимальны и покрыты).
|
||||
139
docs/work-items/ORCH-109/03-acceptance-criteria.md
Normal file
139
docs/work-items/ORCH-109/03-acceptance-criteria.md
Normal file
@@ -0,0 +1,139 @@
|
||||
---
|
||||
work_item: ORCH-109
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-14
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 03 — Критерии приёмки (Acceptance Criteria): ORCH-109 — timeout budgets + launch-time model telemetry
|
||||
|
||||
Work Item: **ORCH-109** · Repo: **orchestrator** · Стадия: analysis
|
||||
|
||||
Формат: каждый критерий имеет **PASS** (что должно быть истинно для приёмки) и **FAIL**
|
||||
(что считается провалом). Reviewer/tester проверяет их буквально по файлам репозитория и тестам.
|
||||
|
||||
---
|
||||
|
||||
## AC-1 — Модель стампится в `agent_runs.model` в момент launch
|
||||
|
||||
**Условие:** запуск любого агента через `launcher._spawn` записывает резолвенную модель в
|
||||
`agent_runs.model` строки прогона ДО завершения процесса.
|
||||
- **PASS:** после стампа на launch (`UPDATE agent_runs SET model=…`/объединённый с effort)
|
||||
`SELECT model FROM agent_runs WHERE id=<run_id>` возвращает `resolve_agent_model(agent)` (непустую
|
||||
модель для текущей конфигурации — `claude-opus-4-8`); при пустом резолве — `NULL`. Запись
|
||||
происходит рядом со стампом эффорта (`launcher._spawn`).
|
||||
- **FAIL:** модель пишется только в `usage.record_usage` (постфактум); строка прогона имеет
|
||||
`model IS NULL` до завершения; стамп не изолирован и роняет launch при ошибке БД.
|
||||
|
||||
---
|
||||
|
||||
## AC-2 — Постфактум-enrich не затирает launch-стамп при оборванном JSON
|
||||
|
||||
**Условие:** `usage.record_usage` с отсутствующей/`None`-моделью не обнуляет launch-стампнутую модель.
|
||||
- **PASS:** `record_usage(run_id, None)` и `record_usage(run_id, {... "model": None})` для строки с
|
||||
launch-стампнутой моделью → `model` остаётся прежним непустым (семантика `COALESCE(?, model)`);
|
||||
`record_usage(run_id, {... "model": "claude-opus-4-8"})` → модель проставлена/уточнена.
|
||||
- **FAIL:** оборванный/малформный JSON приводит к `model = NULL`; enrich затирает корректный
|
||||
launch-стамп.
|
||||
|
||||
---
|
||||
|
||||
## AC-3 — Тайм-аут `developer`/`reviewer` поднят и конфигурируем без влияния на прочие роли
|
||||
|
||||
**Условие:** `launcher._resolve_timeout(agent)` возвращает поднятый бюджет для `developer`/`reviewer`
|
||||
и неизменный глобальный дефолт для остальных.
|
||||
- **PASS:** при сконфигурированном override `_resolve_timeout("developer")` и
|
||||
`_resolve_timeout("reviewer")` возвращают поднятые значения; `_resolve_timeout("analyst")`,
|
||||
`("architect")`, `("tester")`, `("deployer")` возвращают `settings.agent_timeout_seconds` (1800 по
|
||||
умолчанию). Конфигурация описана в `config.py` и `.env.example`.
|
||||
- **FAIL:** изменён бюджет роли вне `{developer, reviewer}`; значение захардкожено; бюджет не
|
||||
настраивается через config.
|
||||
|
||||
---
|
||||
|
||||
## AC-4 — Малформный timeout-конфиг → безопасный откат (never-break)
|
||||
|
||||
**Условие:** невалидный/малформный конфиг тайм-аутов не роняет прогон и не ломает старт.
|
||||
- **PASS:** при малформном `agent_timeout_overrides_json` (или невалидном выделенном ключе)
|
||||
`_resolve_timeout(...)` возвращает глобальный дефолт + пишет WARNING; процесс не падает.
|
||||
- **FAIL:** исключение пробрасывается; прогон/старт падает на плохом env.
|
||||
|
||||
---
|
||||
|
||||
## AC-5 — Reaper-инвариант сохранён
|
||||
|
||||
**Условие:** `reaper_max_running_s > max(резолвенный тайм-аут любого агента) + agent_kill_grace_seconds`.
|
||||
- **PASS:** с применённой конфигурацией бюджетов sanity-тест подтверждает неравенство для всех ролей
|
||||
(`developer`/`reviewer` включительно); при необходимости `reaper_max_running_s` поднят синхронно.
|
||||
- **FAIL:** поднятый бюджет `developer`/`reviewer` + grace ≥ `reaper_max_running_s` → job-reaper может
|
||||
реапнуть здоровый долгий прогон.
|
||||
|
||||
---
|
||||
|
||||
## AC-6 — Строка стадии трекера показывает модель+эффорт при timeout/kill
|
||||
|
||||
**Условие:** для прогона с `exit_code = -9` (timeout-kill) с launch-стампнутыми model+effort строка
|
||||
стадии рендерит оба значения.
|
||||
- **PASS:** `notifications`-рендер строки стадии (`_stage_line`) для такого `agent_runs`-ряда содержит
|
||||
` · <short_model> · <effort>` (например `· opus-4-8 · xhigh`); модель **не** `null`/пустая.
|
||||
- **FAIL:** при `exit_code=-9` строка показывает стоимость без модели (суффикс модели опущен), т.к.
|
||||
`model IS NULL`.
|
||||
|
||||
---
|
||||
|
||||
## AC-7 — In-flight видимость модели в `/metrics` и `/queue`
|
||||
|
||||
**Условие:** `db.get_running_agents` отдаёт модель для **running** job'а (до завершения прогона).
|
||||
- **PASS:** для running-job с launch-стампнутой моделью `get_running_agents()[i]["model"]` непуст;
|
||||
`GET /metrics` `agents[].model` непуст для активного агента.
|
||||
- **FAIL:** `model` остаётся `null` для running-job до завершения прогона.
|
||||
|
||||
---
|
||||
|
||||
## AC-8 — Timeout-killed прогон не продвигает стадию (анти-salvage)
|
||||
|
||||
**Условие:** прогон `developer`/`reviewer` с `exit_code != 0` (timeout-kill) не вызывает переход
|
||||
`development → review` / `review → testing`.
|
||||
- **PASS:** регресс-тест подтверждает, что прогон с `exit_code = -9` не продвигает стадию
|
||||
автоматически (следует retry/fail-пути; advance — только при чистом exit + зелёный exit-гейт).
|
||||
Salvage-режим отсутствует.
|
||||
- **FAIL:** убитый по тайм-ауту прогон «протекает» в следующую стадию без явного решения; либо введён
|
||||
неявный auto-salvage.
|
||||
|
||||
---
|
||||
|
||||
## AC-9 — Неприкосновенность контрактов и схемы
|
||||
|
||||
**Условие:** задача не трогает машину стадий, гейты и схему БД.
|
||||
- **PASS:** диффы НЕ содержат изменений `STAGE_TRANSITIONS`, реестра `QG_CHECKS`, `check_*`/`_parse_*`,
|
||||
machine-verdict ключей, `CREATE TABLE`/`ALTER TABLE`. `agent_runs.model` используется как есть.
|
||||
- **FAIL:** любое из перечисленного изменено.
|
||||
|
||||
---
|
||||
|
||||
## AC-10 — Документация и регресс
|
||||
|
||||
**Условие:** конфиг задокументирован, полный регресс зелёный.
|
||||
- **PASS:** комментарий-паспорт в `config.py` (блок ORCH-7) и `.env.example` описывают бюджеты
|
||||
`developer`/`reviewer`; `CHANGELOG.md`/`CLAUDE.md`/`docs/architecture/README.md` обновлены в том же
|
||||
PR; `pytest tests/ -q` зелёный; новые тесты ORCH-109 проходят.
|
||||
- **FAIL:** конфиг не задокументирован; документация рассинхронизирована с кодом; регресс красный.
|
||||
|
||||
---
|
||||
|
||||
## Сводная матрица AC ↔ FR/BR
|
||||
|
||||
| AC | Покрывает |
|
||||
|----|-----------|
|
||||
| AC-1 | BR-1 / FR-1 |
|
||||
| AC-2 | BR-2 / FR-2 |
|
||||
| AC-3 | BR-3 / FR-3 |
|
||||
| AC-4 | BR-3 / FR-3 / NFR-2 |
|
||||
| AC-5 | NFR-4 / FR-3 |
|
||||
| AC-6 | BR-4 / FR-4 |
|
||||
| AC-7 | BR-4 / FR-4 / NFR-6 |
|
||||
| AC-8 | BR-5 / FR-5 |
|
||||
| AC-9 | NFR-1 / NFR-3 / FR-5 |
|
||||
| AC-10 | BR-6 / FR-6 / NFR-1 |
|
||||
94
docs/work-items/ORCH-109/04-test-plan.yaml
Normal file
94
docs/work-items/ORCH-109/04-test-plan.yaml
Normal file
@@ -0,0 +1,94 @@
|
||||
work_item: ORCH-109
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-14
|
||||
model_used: claude-opus-4-8
|
||||
title: "Timeout budgets + launch-time model telemetry для developer/reviewer"
|
||||
framework: pytest
|
||||
scope: >
|
||||
Покрывает: launch-time стамп модели в agent_runs.model (FR-1), сохранение launch-стампа
|
||||
постфактум-enrich'ем (FR-2), конфигурируемый поднятый тайм-аут developer/reviewer без влияния
|
||||
на прочие роли (FR-3) + never-break на малформном конфиге, reaper-инвариант (NFR-4), видимость
|
||||
модели+эффорта в строке трекера при timeout-kill (FR-4) и in-flight в get_running_agents (NFR-6),
|
||||
guard анти-salvage — timeout-killed прогон не продвигает стадию (FR-5). Вне покрытия: model-routing,
|
||||
salvage недоделанной работы, изменения STAGE_TRANSITIONS/QG_CHECKS/схемы (их и не должно быть).
|
||||
notes: >
|
||||
Тесты детерминированы, без сети/LLM/subprocess Claude CLI: используют временную SQLite-БД и
|
||||
синтетические agent_runs-ряды; настройки подменяются через monkeypatch/override settings.
|
||||
Полный регресс tests/ должен оставаться зелёным; новый файл tests/test_orch109_timeout_model.py.
|
||||
Любой найденный разрыв в FR-5 закрывается guard'ом + тестом; если разрыва нет — TC-08 фиксирует
|
||||
существующую гарантию как анти-регресс.
|
||||
|
||||
tests:
|
||||
- id: TC-01
|
||||
type: unit
|
||||
description: "_resolve_timeout('developer') и ('reviewer') возвращают поднятый сконфигурированный бюджет"
|
||||
module: tests/test_orch109_timeout_model.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-02
|
||||
type: unit
|
||||
description: "_resolve_timeout для analyst/architect/tester/deployer возвращает глобальный agent_timeout_seconds (1800) — прочие роли не затронуты"
|
||||
module: tests/test_orch109_timeout_model.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-03
|
||||
type: unit
|
||||
description: "Малформный/невалидный timeout-конфиг -> _resolve_timeout откатывается на глобальный дефолт + WARNING, без исключения (never-break)"
|
||||
module: tests/test_orch109_timeout_model.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-04
|
||||
type: integration
|
||||
description: "Launch стампит agent_runs.model: после стамп-блока _spawn строка прогона имеет model == resolve_agent_model(agent) (непустую), рядом с effort"
|
||||
module: tests/test_orch109_timeout_model.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-05
|
||||
type: unit
|
||||
description: "Стамп модели изолирован: сбой записи (битый conn) не пробрасывает исключение из launch-пути (never-raise, NFR-2)"
|
||||
module: tests/test_orch109_timeout_model.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-06
|
||||
type: unit
|
||||
description: "record_usage(run_id, None) и record_usage с model=None НЕ затирают launch-стампнутую модель (COALESCE preserve, FR-2)"
|
||||
module: tests/test_orch109_timeout_model.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-07
|
||||
type: unit
|
||||
description: "record_usage с непустой model в usage-JSON уточняет/проставляет agent_runs.model (enrich по-прежнему работает)"
|
||||
module: tests/test_orch109_timeout_model.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-08
|
||||
type: unit
|
||||
description: "Sanity reaper-инварианта: reaper_max_running_s > max(резолвенный тайм-аут всех ролей) + agent_kill_grace_seconds (NFR-4)"
|
||||
module: tests/test_orch109_timeout_model.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-09
|
||||
type: integration
|
||||
description: "Строка стадии трекера (_stage_line) для agent_runs с exit_code=-9 и launch-стампнутыми model+effort рендерит ' · <short_model> · <effort>' (model не null)"
|
||||
module: tests/test_orch109_timeout_model.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-10
|
||||
type: integration
|
||||
description: "get_running_agents отдаёт непустую model для running-job с launch-стампнутой моделью (in-flight видимость /metrics /queue, NFR-6)"
|
||||
module: tests/test_orch109_timeout_model.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-11
|
||||
type: integration
|
||||
description: "Анти-salvage: прогон developer/reviewer с exit_code=-9 не продвигает стадию (development->review / review->testing) автоматически; следует retry/fail-пути"
|
||||
module: tests/test_orch109_timeout_model.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-12
|
||||
type: integration
|
||||
description: "Анти-регресс контрактов: STAGE_TRANSITIONS/QG_CHECKS/check_* и схема agent_runs не изменены (модель пишется в существующую колонку, миграции нет)"
|
||||
module: tests/test_orch109_timeout_model.py
|
||||
expected: PASS
|
||||
@@ -0,0 +1,221 @@
|
||||
---
|
||||
work_item: ORCH-109
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-14
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# ADR-001: Поднятые wall-clock бюджеты developer/reviewer + launch-time стамп модели
|
||||
|
||||
Work Item: **ORCH-109** — timeout budgets + launch-time model telemetry для developer/reviewer
|
||||
Стадия: **architecture**
|
||||
Сквозная регистрация: **`docs/architecture/adr/adr-0040-agent-timeout-budgets-and-launch-model-stamp.md`**
|
||||
(решение кросс-каттинговое: меняет два глобальных per-agent инварианта подсистемы запуска —
|
||||
бюджеты тайм-аутов всех репо и потолок Tier-3 reaper'а ORCH-065).
|
||||
|
||||
## Статус
|
||||
Proposed <!-- Proposed | Accepted | Superseded by ADR-… -->
|
||||
|
||||
## Контекст
|
||||
|
||||
Инцидент **ORCH-104** (runs 658/659/660) вскрыл два независимых дефекта подсистемы запуска агентов
|
||||
(`src/agents/launcher.py`), верифицированных по коду:
|
||||
|
||||
- **Дефект A — единый тайм-аут для всех ролей.** `_resolve_timeout(agent)` (launcher.py ≈661–679)
|
||||
возвращает `settings.agent_timeout_seconds = 1800` (config.py:124) для **всех** ролей, если в
|
||||
`agent_timeout_overrides_json` нет записи (в проде он пуст: `""`, config.py:126). Тяжёлые роли
|
||||
`developer` (effort `xhigh`, кодирующая) и `reviewer` (effort `high`, читает диф + пишет ревью)
|
||||
**честно** упираются в 1800s и убиваются watchdog'ом (`_watchdog → stop_process`, exit_code=-9
|
||||
через `_record_kill`, launcher.py:778–786). Механические роли (`tester`/`deployer`, effort
|
||||
`medium`) в этот бюджет укладываются.
|
||||
- **Дефект B — потеря модели в телеметрии при обрыве.** `agent_runs.model` пишется только
|
||||
постфактум — из финального usage-JSON в `usage.record_usage` (`model=COALESCE(?, model)`,
|
||||
usage.py:217). Убитый по тайм-ауту прогон не успевает эмитить финальный JSON → `_extract_model`
|
||||
даёт `None` → модель остаётся `NULL` ровно тогда, когда она критична для разбора инцидента.
|
||||
При этом **эффорт уже стампится на launch** (ORCH-087, launcher.py:566–571, `UPDATE agent_runs
|
||||
SET effort=? WHERE id=?`), потому что CLI его в result-JSON не отдаёт; модель в той же точке
|
||||
**резолвится** (`model = resolve_agent_model(...)`, launcher.py:559), но в БД на launch **не
|
||||
пишется**.
|
||||
|
||||
Установленные факты (по коду, не изобретены):
|
||||
- Колонка `agent_runs.model TEXT` (NULLABLE) уже существует (`db.py:111`, `_ensure_column`) —
|
||||
**миграции нет**.
|
||||
- `record_usage` уже использует `model=COALESCE(?, model)` → `None` не затирает ранее проставленное
|
||||
значение (usage.py:217). Не хватает только записи на launch.
|
||||
- `db.get_running_agents()` уже отдаёт `r.model AS model` (`db.py` ≈1370–1405) — running-job увидит
|
||||
модель **сразу** после launch-стампа, без правки SELECT.
|
||||
- `notifications._stage_line` рендерит `· {model} · {effort}` из строки `agent_runs` — увидит
|
||||
launch-стампнутую модель даже для `exit_code=-9`, без правки.
|
||||
- Продвижение стадии гейтится `if exit_code == 0: self._try_advance_stage(...)` (launcher.py:951–952);
|
||||
иначе → `_finalize_job` (launcher.py:957) → retry/fail. Timeout-kill (-9) **структурно** не
|
||||
продвигает стадию.
|
||||
- Кросс-инвариант reaper (ORCH-065): `reaper_max_running_s = 3600` (config.py:497) c зафиксированным
|
||||
правилом «MUST be > max agent_timeout + grace» (config.py:480–482; `job_reaper.py:43,228`).
|
||||
Сейчас `3600 > 1800 + 20 = 1820` ✓. **Любое поднятие бюджета обязано пересчитать это неравенство.**
|
||||
- Sidecar-watchdog (`watchdog/`, ORCH-100) — **наблюдатель**, процессы **не убивает**; сигнал
|
||||
`agent_hung` (runtime > `agent_hung_min`=20м **И** cpu < 1%) — только Telegram-алерт. Кому
|
||||
принадлежит kill — исключительно in-process `launcher._watchdog`.
|
||||
|
||||
Почему «как есть» не годится: единый бюджет 1800 системно убивает здоровые тяжёлые прогоны при
|
||||
пакетном автономном прогоне (эпик ORCH-088), а телеметрия теряет модель именно на этих обрывах.
|
||||
|
||||
## Решение
|
||||
|
||||
### Сводка
|
||||
Две аддитивные, изолированные правки подсистемы запуска, **без** касания
|
||||
`STAGE_TRANSITIONS`/`QG_CHECKS`/`check_*`/machine-verdict/схемы БД:
|
||||
(1) стамп резолвенной модели в `agent_runs.model` **в момент launch** рядом со стампом эффорта;
|
||||
(2) **выделенные типизированные config-ключи** поднятого wall-clock бюджета для `developer`/`reviewer`
|
||||
с синхронным поднятием `reaper_max_running_s` (сохранение инварианта ORCH-065).
|
||||
FR-5 (анти-salvage) и FR-4/NFR-6 (видимость при kill / in-flight) — **структурно уже выполнены**
|
||||
существующим кодом; ORCH-109 добавляет к ним регресс-тесты, а не новые ветви.
|
||||
|
||||
### D1 — Launch-time стамп модели (FR-1, AC-1)
|
||||
В `launcher._spawn`, в той же открытой `conn`, что и стамп эффорта (ORCH-087), резолвенная
|
||||
`model = resolve_agent_model(agent, project_id)` (уже вычислена, launcher.py:559) записывается в
|
||||
`agent_runs.model` текущего `run_id`. Рекомендуется **объединить** в один оператор:
|
||||
`UPDATE agent_runs SET model=?, effort=? WHERE id=?` с параметрами `(model or None, effort or None, run_id)`
|
||||
(один commit вместо двух; ровно та же `try/except`-изоляция, что у эффорта).
|
||||
- Пустой резолв (`model == ""`, CLI-дефолт без `--model`) → пишется `NULL` (симметрично `effort or None`)
|
||||
→ суффикс модели в трекере корректно опускается.
|
||||
- **Инвариант:** значение присутствует с момента launch и не зависит от исхода прогона (переживает
|
||||
timeout-kill, виден in-flight).
|
||||
- **never-raise (NFR-2):** сбой записи изолирован существующим `try/except` + WARNING; launch
|
||||
продолжается (`model_flag` строится из локальной `model`, а не из БД — стамп лишь телеметрия).
|
||||
|
||||
### D2 — Постфактум-enrich сохраняет launch-стамп (FR-2, AC-2) — без кода
|
||||
`usage.record_usage` остаётся источником обогащения (токены/стоимость/модель из usage-JSON), но
|
||||
**перестаёт быть единственным источником истины** о модели. Семантика `model=COALESCE(?, model)`
|
||||
(usage.py:217) **уже** гарантирует: `usage=None` или `usage["model"]=None` → launch-стамп НЕ
|
||||
затирается; непустая модель из JSON — допустимо уточняет (полный provider-prefixed id / фактический
|
||||
fallback). **Код не меняется**; требование — зафиксировать поведение тестом (анти-регресс), не
|
||||
сломать его будущими правками `record_usage`.
|
||||
|
||||
### D3 — Конфигурируемый поднятый бюджет: выделенные типизированные ключи (FR-3, AC-3/AC-4)
|
||||
Вводятся два **выделенных** config-ключа (по образцу `agent_model_<role>`/`agent_effort_<role>`,
|
||||
config.py:133–138/147):
|
||||
|
||||
```python
|
||||
agent_timeout_developer_s: int = 3600 # env ORCH_AGENT_TIMEOUT_DEVELOPER_S
|
||||
agent_timeout_reviewer_s: int = 3000 # env ORCH_AGENT_TIMEOUT_REVIEWER_S
|
||||
```
|
||||
|
||||
`_resolve_timeout(agent)` получает детерминированную лестницу приоритетов (от высшего):
|
||||
1. **`agent_timeout_overrides_json[agent]`** — существующий операторский escape-hatch; сохраняется
|
||||
как высший приоритет (полная BC: сконфигурированный JSON по-прежнему выигрывает для ЛЮБОЙ роли).
|
||||
2. **выделенный ключ роли** — `developer → agent_timeout_developer_s`,
|
||||
`reviewer → agent_timeout_reviewer_s`.
|
||||
3. **`settings.agent_timeout_seconds`** (1800) — для всех прочих ролей (`analyst`/`architect`/
|
||||
`tester`/`deployer`) — **байт-в-байт прежнее значение**.
|
||||
|
||||
**never-break (NFR-2, AC-4):** малформный `agent_timeout_overrides_json` → уже игнорируется + WARNING
|
||||
(launcher.py:677–678). Для выделенных ключей добавляется такой же защитный гард: если резолвенное
|
||||
значение не положительный int (абсурд/0/отрицательное) → откат на `agent_timeout_seconds` + WARNING
|
||||
(зеркало защитной валидации disk_monitor, ORCH-063 D7). Прогон/старт не падает.
|
||||
|
||||
**Почему выделенные ключи, а не дефолт `agent_timeout_overrides_json`:** см. «Альтернативы».
|
||||
|
||||
### D4 — Числовые бюджеты + синхронное поднятие reaper (FR-3/NFR-4, AC-5)
|
||||
| Роль | Бюджет | Обоснование |
|
||||
|------|--------|-------------|
|
||||
| `developer` | **3600s (60м)** | бутылочное горло (xhigh, кодирующая); удвоение 1800→3600 — естественная разрядка для тяжёлых задач |
|
||||
| `reviewer` | **3000s (50м)** | асимметрично легче developer, но тяжелее механических ролей; большой диф + high-reasoning |
|
||||
| прочие | 1800s (без изменений) | механические/думающие роли укладываются в дефолт |
|
||||
|
||||
`reaper_max_running_s`: **3600 → 5400 (90м)** синхронно (config.py:497).
|
||||
|
||||
**Проверка инварианта ORCH-065** `reaper_max_running_s > max(резолвенный тайм-аут) + agent_kill_grace_seconds`:
|
||||
`5400 > 3600 + 20 = 3620` ✓ (запас **1780s** — покрывает и окно финализации монитора:
|
||||
commit/push/PR/usage-comments, Tier-2 `reaper_finalize_grace_s`=300). Дополнительно `5400 < `
|
||||
sidecar `stage_stuck_s` (7200s/120м) → легитимный длинный developer-прогон не порождает ложный
|
||||
`stage_stuck`-алерт.
|
||||
|
||||
Бюджеты — **глобальные per-agent** (не repo-scoped): действуют на все репо, включая enduro-trails.
|
||||
Это благоприятно/нейтрально (enduro-developer тоже получает воздух; Tier-3 backstop reaper'а
|
||||
сохраняется как страховка от реально зависшего прогона — R-4).
|
||||
|
||||
### D5 — FR-5 анти-salvage: регресс-тест, без нового кода (AC-8)
|
||||
Гарантия «timeout-killed прогон не продвигает стадию» **структурна**: `_try_advance_stage` вызывается
|
||||
только под `if exit_code == 0` (launcher.py:951–952); kill (-9/-15/143) → `_finalize_job` →
|
||||
`_finalize_transient`/`_finalize_permanent` (retry до `MAX_DEVELOPER_RETRIES`, иначе `failed` +
|
||||
Telegram). **Новый guard в коде НЕ вводится** (не плодить лишние ветви риска) — добавляется
|
||||
регресс-тест, фиксирующий, что прогон с `exit_code=-9` не вызывает `advance_stage`. salvage-режим
|
||||
вне объёма.
|
||||
|
||||
### D6 — Документация и канон дефолтов (FR-6, AC-10)
|
||||
- `config.py` блок ORCH-7 (≈115–126): паспорт-комментарий расширяется описанием выделенных бюджетов
|
||||
developer/reviewer + явной ссылкой на reaper-инвариант (NFR-4) с числами `5400 > 3620`.
|
||||
- `.env.example`: **сейчас агент-тайм-аут ключей нет вовсе** (`ORCH_AGENT_TIMEOUT_SECONDS`/
|
||||
`_KILL_GRACE_SECONDS`/`_OVERRIDES_JSON` отсутствуют) → добавляется новый блок «Agent timeout
|
||||
(ORCH-7/ORCH-109)» с пятью ключами (`SECONDS`/`KILL_GRACE_SECONDS`/`OVERRIDES_JSON`/
|
||||
`DEVELOPER_S`/`REVIEWER_S`) **+ обновляется `ORCH_REAPER_MAX_RUNNING_S=3600 → 5400`** (line 377).
|
||||
Дефолты = боевым значениям (канон ORCH-101): пустой `.env` воспроизводит прод-поведение, в т.ч.
|
||||
поднятые бюджеты.
|
||||
- Архитектурная golden source (этот PR, авторство architect): `docs/architecture/README.md`
|
||||
(бюллет Agent Launcher), `docs/architecture/internals.md` (стр. 96/262 — «timeout 30 мин»
|
||||
расхардкоживается в per-role). Паспорт `CLAUDE.md` + `CHANGELOG.md` — обновляет developer в том
|
||||
же PR (правило агентов №2).
|
||||
|
||||
### Согласование BR-3 ↔ NFR-1 (важный нюанс)
|
||||
NFR-1 требует «при пустом override-конфиге поведение байт-в-байт прежнее», а BR-3 требует «бюджеты
|
||||
developer/reviewer подняты». Разрешение по канону **ORCH-101** («дефолт каждого параметра = боевому
|
||||
значению; пустой `.env` ⇒ боевое поведение»): выделенные ключи **дефолтят на поднятый прод-бюджет**,
|
||||
поэтому пустой `.env` даёт уже исправленное (поднятое) поведение для developer/reviewer — это и есть
|
||||
намеренная боевая конфигурация. «Байт-в-байт прежнее» строго применяется к **прочим ролям**
|
||||
(`analyst`/`architect`/`tester`/`deployer` остаются на 1800) — что и есть суть BR-3 (поднять ТОЛЬКО
|
||||
две роли). Зафиксировано явно, чтобы reviewer не прочитал поднятый дефолт как нарушение NFR-1.
|
||||
|
||||
## Альтернативы
|
||||
- **Дефолт `agent_timeout_overrides_json = {"developer":3600,"reviewer":3000}`** (вместо выделенных
|
||||
ключей) — отвергнуто: (1) ломает канон ORCH-101 «пустой = боевой» неочевидным непустым JSON-строковым
|
||||
дефолтом; (2) JSON-строка хрупка (парс, экранирование) против типизированного int; (3) нельзя
|
||||
переопределить одну роль одной env-переменной; (4) расходится с конвенцией per-agent скаляров
|
||||
(`agent_model_<role>`/`agent_effort_<role>`). Выделенные ключи дают типобезопасность, индивидуальный
|
||||
env-override и сохраняют JSON как чистый escape-hatch.
|
||||
- **Бюджет developer/reviewer ≤ 3580 без поднятия reaper** (например 3000/2700) — отвергнуто как
|
||||
доминирующее, но рассмотрено: держит `reaper_max_running_s=3600` нетронутым (меньший blast-radius),
|
||||
но искусственно урезает самую тяжёлую роль ради статичности backstop-числа — оптимизация не той
|
||||
переменной. NFR-4 **явно делегирует** архитектору синхронное поднятие reaper. Оставлено как
|
||||
операторский запасной путь: всё env-override'имо, Owner может занизить бюджеты и вернуть reaper к
|
||||
3600 одной правкой `.env` (см. «Откат»).
|
||||
- **Новый guard-leaf анти-salvage** (FR-5) — отвергнуто: продвижение уже гейтится exit-кодом
|
||||
(launcher.py:951); новый код = лишняя ветвь риска. Достаточно регресс-теста (D5).
|
||||
- **Repo-scoped бюджеты (`*_repos`)** — отвергнуто: тайм-аут — свойство launch, не гейт-решение;
|
||||
глобальность благоприятна enduro и проще; гейт-паттерн `applies(repo)` тут неуместен.
|
||||
- **Стамп модели через постфактум-парс лога на kill** — отвергнуто: модель известна на launch
|
||||
детерминированно (`resolve_agent_model`); парсить оборванный лог — хрупко и поздно.
|
||||
|
||||
## Последствия
|
||||
- **+** Модель видна (не `null`) в трекере, status-комментариях, `/metrics`/`/queue` для **любого**
|
||||
исхода, включая timeout-kill — ключевой контекст инцидента доступен в момент сбоя (BR-1/BR-4/NFR-6).
|
||||
- **+** Тяжёлые роли получают реальный бюджет (developer ×2, reviewer +67%) → меньше ложных
|
||||
timeout-kill на сложных задачах при автономном прогоне (ORCH-088).
|
||||
- **+** Аддитивно/обратимо: ни схемы, ни гейтов, ни новых компонентов; `agent_runs.model` уже есть.
|
||||
- **−** `reaper_max_running_s` 60→90м: реально зависший прогон (двойной отказ — watchdog-поток **и**
|
||||
pid-liveness) держится Tier-3 backstop'ом на 30м дольше. Митигейшн: Tier-1 (pid) и Tier-2
|
||||
(finalize-grace) ловят типовые случаи быстрее; watchdog убивает в ≤3600s; double-fault редок.
|
||||
- **−** Глобальность бюджета поднимает и enduro-роли. Митигейшн: Tier-3 reaper сохранён (R-4);
|
||||
поднятие благоприятно для качества enduro-прогонов.
|
||||
- **−** Sidecar `agent_hung_min`=20м теперь заметно ниже бюджета developer (60м) → возможны
|
||||
Telegram-алерты `agent_hung` для здоровых длинных прогонов с low-CPU фазами. Митигейшн: сигнал —
|
||||
**alert-only** (не убивает) и конъюнкция с `cpu<1%` гасит большинство ложных; тюнинг
|
||||
`WATCHDOG_AGENT_HUNG_MIN` — вне объёма (отдельный sidecar-конфиг, alert-only). Детали — `10-tech-risks.md` TR-5.
|
||||
- **Откат:** занизить бюджеты — снять/уменьшить `ORCH_AGENT_TIMEOUT_DEVELOPER_S`/`_REVIEWER_S`
|
||||
(или выставить = 1800) и вернуть `ORCH_REAPER_MAX_RUNNING_S=3600`; launch-стамп модели отката не
|
||||
требует (чистое улучшение телеметрии, COALESCE безопасен). Kill-switch не вводится — изменение не
|
||||
добавляет рисковых ветвей (стамп всегда безопасен; тайм-аут fail-safe на глобальный дефолт).
|
||||
|
||||
## Ссылки
|
||||
- BRD: `docs/work-items/ORCH-109/01-brd.md`
|
||||
- TRZ: `docs/work-items/ORCH-109/02-trz.md`
|
||||
- Acceptance: `docs/work-items/ORCH-109/03-acceptance-criteria.md`
|
||||
- Tech-risks: `docs/work-items/ORCH-109/10-tech-risks.md`
|
||||
- Сквозной ADR: `docs/architecture/adr/adr-0040-agent-timeout-budgets-and-launch-model-stamp.md`
|
||||
- Сверено по коду: `src/agents/launcher.py` (`_spawn` 559–571, `_resolve_timeout` 661–679,
|
||||
`_watchdog`/`stop_process`/`_record_kill` 681–786, advance-гейт 951–952), `src/usage.py`
|
||||
(`_extract_model` 95–118, `record_usage` 207–230), `src/config.py` (115–126, 480–497),
|
||||
`src/db.py` (`agent_runs.model` 111, `get_running_agents` ≈1370–1405), `src/job_reaper.py`
|
||||
(43, 228), `watchdog/config.py`/`watchdog/signals.py` (agent_hung/stage_stuck)
|
||||
- Маркер-инвариант: ORCH-065 (reaper Tier-3), ORCH-087 (стамп эффорта), ORCH-101 (канон дефолтов)
|
||||
42
docs/work-items/ORCH-109/10-tech-risks.md
Normal file
42
docs/work-items/ORCH-109/10-tech-risks.md
Normal file
@@ -0,0 +1,42 @@
|
||||
---
|
||||
work_item: ORCH-109
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-14
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 10 — Технические риски: ORCH-109 — timeout budgets + launch-time model telemetry
|
||||
|
||||
Work Item: **ORCH-109** · Repo: **orchestrator** · Стадия: architecture
|
||||
|
||||
> Информационный (гейтом не парсится). Перечисляет риски реализации и их митигейшн.
|
||||
|
||||
## Реестр рисков
|
||||
|
||||
| ID | Риск | Вер. | Влия. | Митигейшн |
|
||||
|----|------|------|-------|-----------|
|
||||
| TR-1 | Поднятый бюджет developer/reviewer + grace ≥ `reaper_max_running_s` → job-reaper реапает **здоровый** долгий прогон до его watchdog'а (нарушение инварианта ORCH-065) | Низ. | Выс. | reaper синхронно поднят 3600→5400; sanity-тест проверяет `reaper_max_running_s > max(timeout)+grace` для всех ролей (`5400 > 3620`, запас 1780s); число живёт в `config.py` + `.env.example` рядом с инвариантом-комментарием (ADR D4/AC-5) |
|
||||
| TR-2 | Постфактум-enrich (`record_usage`) затирает корректный launch-стамп при странном/оборванном JSON (`model=None`) | Низ. | Сред. | Семантика `model=COALESCE(?, model)` (usage.py:217) уже сохраняет launch-значение; зафиксировано регресс-тестом (AC-2); `record_usage` не правится |
|
||||
| TR-3 | Гонка двух писателей `exit_code` (`_record_kill`=-9 и `_monitor_agent`=`proc.wait()`) искажает телеметрию модели | Низ. | Низ. | Модель — отдельная колонка, стампится один раз на launch до обоих писателей exit_code; они трогают только `exit_code`/`finished_at`. Подтверждается тестом (AC-1/AC-6) |
|
||||
| TR-4 | Глобальность бюджета: поднятый developer-тайм-аут для **enduro** маскирует реально зависший прогон | Низ. | Сред. | Tier-3 backstop reaper'а (`reaper_max_running_s`) сохранён как абсолютный потолок; watchdog по-прежнему убивает в ≤ бюджета; бюджет лишь повышен, не снят |
|
||||
| TR-5 | Sidecar `agent_hung_min`=20м заметно ниже бюджета developer (60м) → Telegram-алерты `agent_hung` для здоровых длинных прогонов | Сред. | Низ. | Сигнал **alert-only** (sidecar — наблюдатель, не убивает, ORCH-100); конъюнкция с `cpu<1%` гасит активный прогон; тюнинг `WATCHDOG_AGENT_HUNG_MIN` — вне объёма (отдельный sidecar-конфиг). Бюджет 5400s < `stage_stuck_s`=7200s → `stage_stuck` не ложит |
|
||||
| TR-6 | Сбой записи launch-стампа модели (ошибка БД) роняет launch | Низ. | Выс. | Стамп в существующем `try/except` ORCH-087 + WARNING (never-raise, NFR-2); `model_flag` строится из локальной переменной, не из БД → launch не зависит от стампа (ADR D1) |
|
||||
| TR-7 | Малформный/невалидный timeout-конфиг (битый JSON, нечисловой/отрицательный ключ) роняет прогон или старт | Низ. | Сред. | Малформный JSON → игнор + WARNING (существующее, launcher.py:677); выделенный ключ вне диапазона → откат на глобальный дефолт + WARNING (защитная валидация по образцу ORCH-063 D7); pydantic ловит нечисловой env на старте (AC-4) |
|
||||
| TR-8 | Регресс прочих ролей: правка `_resolve_timeout` случайно меняет бюджет `analyst`/`architect`/`tester`/`deployer` | Низ. | Сред. | Лестница приоритетов: dev/reviewer — только по точному имени роли; прочие падают на `agent_timeout_seconds` (1800) без изменений; покрыто тестом per-role (AC-3) |
|
||||
| TR-9 | Доп. риск контрактов: правка случайно задевает `STAGE_TRANSITIONS`/`QG_CHECKS`/machine-verdict/схему | Низ. | Выс. | Задача целиком вне слоя гейтов; диф-проверка AC-9; колонка `agent_runs.model` уже есть — ни одного `CREATE/ALTER` |
|
||||
|
||||
## Сводный вывод
|
||||
|
||||
Доминирующий класс — **конфигурационные инварианты подсистемы запуска** (TR-1/TR-7/TR-8): все
|
||||
снимаются детерминированной лестницей `_resolve_timeout`, защитной валидацией (never-break) и
|
||||
sanity-тестом reaper-неравенства. Остаточный риск для прод-конвейера (self-hosting) — **низкий**:
|
||||
изменение аддитивно, обратимо через `.env`, не трогает гейты/схему/деплой-путь и не рестартит
|
||||
прод-контейнер (NFR-5). Единственный наблюдаемый побочный эффект — возможный рост alert-only
|
||||
`agent_hung`-нотификаций sidecar (TR-5), не влияющий на конвейер.
|
||||
|
||||
**Эскалация:** не требуется на уровне `arch:major-change` (нет новой стадии/компонента/смены БД), но
|
||||
решение **кросс-каттинговое** (меняет два глобальных per-agent инварианта всех репо + потолок Tier-3
|
||||
reaper'а) → зарегистрировано сквозным `docs/architecture/adr/adr-0040-*`. Возврат в анализ не нужен —
|
||||
ТЗ удовлетворяется без нарушения принципов архитектуры.
|
||||
119
docs/work-items/ORCH-109/12-review.md
Normal file
119
docs/work-items/ORCH-109/12-review.md
Normal file
@@ -0,0 +1,119 @@
|
||||
---
|
||||
verdict: APPROVED # APPROVED | REQUEST_CHANGES — строго одно из двух, UPPERCASE
|
||||
work_item: ORCH-109
|
||||
stage: review
|
||||
author_agent: reviewer
|
||||
status: approved
|
||||
created_at: 2026-06-14
|
||||
model_used: claude-opus-4-8
|
||||
type: review
|
||||
work_item_id: ORCH-109
|
||||
version: 3
|
||||
---
|
||||
|
||||
# Review ORCH-109
|
||||
|
||||
## Summary
|
||||
|
||||
Две аддитивные изолированные правки подсистемы запуска (`launcher`) — **launch-стамп модели** в
|
||||
`agent_runs.model` (D1/FR-1) и **поднятые per-role wall-clock бюджеты** developer/reviewer с
|
||||
синхронным поднятием reaper (D3/D4/FR-3) — реализованы **корректно и точно по ADR**. Контракты
|
||||
неприкосновенны: в `src/` изменены **только** `launcher.py` и `config.py`; ни одной строки
|
||||
`STAGE_TRANSITIONS` / `QG_CHECKS` / `check_*` / `_parse_*` / machine-verdict / `CREATE TABLE` /
|
||||
`ALTER TABLE` в диффе нет (AC-9 верифицирован grep'ом по диффу). Зафиксированные маркер-инварианты
|
||||
**ORCH-087** (стамп эффорта объединён в один `UPDATE`, `(effort or None)` сохранён) и **ORCH-065**
|
||||
(reaper поднят синхронно `3600→5400`, `5400 > 3600+20=3620`) — целы. Покрытие исчерпывающее: новый
|
||||
`tests/test_orch109_timeout_model.py` (TC-01…TC-12, детерминированный, без сети/CLI), обновлены
|
||||
`tests/test_config.py` (reaper-дефолт 5400) и `tests/test_launcher.py` (лестница `_resolve_timeout`).
|
||||
|
||||
Независимая верификация reviewer'а: целевые тесты зелёные — `test_orch109_timeout_model.py` +
|
||||
`test_config.py` + `test_launcher.py` = **75 passed**; зависимые подсистемы FR-2/FR-4
|
||||
(`usage`/`notifications`/`tracker`) = **231 passed**. Полный регресс зелёный (см. `13-test-report.md`).
|
||||
Открытых findings P0/P1/P2 нет → вердикт **APPROVED**.
|
||||
|
||||
## Оси проверки
|
||||
|
||||
1. **Соответствие ТЗ (02-trz / 03-acceptance):** FR-1…FR-6 реализованы; AC-1…AC-10 покрыты тестами
|
||||
TC-01…TC-12 буквально по матрице AC↔FR.
|
||||
- FR-1/AC-1 (TC-04): `_spawn` пишет резолвенную модель в `agent_runs.model` объединённым
|
||||
`UPDATE agent_runs SET model=?, effort=? WHERE id=?` с `(model or None, effort or None, run_id)`
|
||||
рядом со стампом эффорта; пустой резолв → `NULL`; стамп = `resolve_agent_model` (single source).
|
||||
- FR-2/AC-2 (TC-06/07): `usage.record_usage` использует `model=COALESCE(?, model)` (сверено по
|
||||
`src/usage.py`) — `usage=None`/`model=None` не затирает launch-стамп; непустая модель уточняет.
|
||||
Кода `usage.py` PR не трогает (корректно — семантика уже верна), зафиксировано регресс-тестом.
|
||||
- FR-3/AC-3 (TC-01/02): `_resolve_timeout` отдаёт поднятый бюджет developer/reviewer и неизменный
|
||||
1800 прочим ролям (analyst/architect/tester/deployer/unknown/None); бюджеты конфигурируемы.
|
||||
- FR-3/AC-4 (TC-03): малформный `agent_timeout_overrides_json` и непозитивный/нечисловой
|
||||
выделенный ключ `[0,-5,"abc"]` → откат на глобальный дефолт + WARNING, never-break.
|
||||
- NFR-4/AC-5 (TC-08): инвариант reaper подтверждён на shipped-дефолтах (`5400 > 3600+20`).
|
||||
- FR-4/AC-6 (TC-09): строка стадии рендерит `· opus-4-8 · xhigh` для `exit_code=-9`; присутствует
|
||||
negative-guard (немаркированный -9 → суффикс опущен).
|
||||
- FR-4/NFR-6/AC-7 (TC-10): `get_running_agents` отдаёт модель для running-job (in-flight).
|
||||
- FR-5/AC-8 (TC-11): timeout-killed прогон developer/reviewer не вызывает `_try_advance_stage`
|
||||
(роутится в `_finalize_job`); присутствует позитивный контроль (clean exit → advance).
|
||||
- AC-9 (TC-12) + AC-10: контракты/схема нетронуты; документация и регресс зелёные.
|
||||
|
||||
2. **Соответствие ADR (06-adr ADR-001 + сквозной adr-0040):** D1–D6 реализованы дословно. Лестница
|
||||
`_resolve_timeout` (overrides_json → выделенный ключ роли → глобальный дефолт), выделенные ключи
|
||||
`agent_timeout_developer_s=3600`/`agent_timeout_reviewer_s=3000`, `reaper_max_running_s` 3600→5400.
|
||||
**Трассировка маркеров (TRACEABILITY):** правка касается блоков с маркерами ORCH-087 (стамп
|
||||
эффорта) и ORCH-065 (reaper Tier-3) — оба зафиксированных инварианта сверены с их ADR и не
|
||||
сломаны (эффорт-стамп сохранён в объединённом `UPDATE`; reaper-неравенство пересчитано и поднято
|
||||
синхронно). Нарушений глобальных ADR нет.
|
||||
|
||||
3. **Качество кода:** never-raise сохранён (`try/except` + WARNING вокруг стамп-`UPDATE`;
|
||||
непозитивный/нечисловой выделенный ключ → откат + WARNING). Докстринг `_resolve_timeout` и
|
||||
паспорт-комментарии `config.py` точны. Тесты содержательны: изоляция стамп-сбоя (TC-05,
|
||||
`_RaisingConn` бьёт только по launch-`UPDATE`), параметризация `[0,-5,"abc"]`, негативный guard
|
||||
(TC-09b), позитивный контроль (TC-11c). **Регресс-тест-фиксатор инцидента ORCH-104** присутствует
|
||||
(ORCH-019 BR-4 удовлетворён) — весь тест-файл пинит дефектное и исправленное поведение.
|
||||
|
||||
4. **Документация (приоритетная ось):** `src/` изменён → документация обновлена в том же PR
|
||||
(golden source синхронизирован с кодом):
|
||||
`CHANGELOG.md` / `CLAUDE.md` (паспорт) / `docs/architecture/README.md` (бюллет Agent Launcher +
|
||||
ссылка на adr-0040) / `docs/architecture/internals.md` (оба упоминания «30 мин» → per-role) /
|
||||
`README.md` front-page «### Watchdog» (per-role бюджеты + Tier-3 backstop 90м) / `.env.example`
|
||||
(5 ключей agent-timeout + `ORCH_REAPER_MAX_RUNNING_S`=5400) / `config.py`-паспорт / детальный
|
||||
ADR-001 + сквозной adr-0040. Обзорная витрина `docs/overview/` правки не требует — упоминания
|
||||
watchdog концептуальны (sidecar-наблюдатель, «следит за процессом»), конкретного числа тайм-аута
|
||||
витрина не несёт → устаревшего факта не возникает (ORCH-011/079 — нет finding). PR не закрывает
|
||||
пункт `README.md` «Известные ограничения».
|
||||
|
||||
## Findings
|
||||
|
||||
### P0 — Blocker
|
||||
- (нет)
|
||||
|
||||
### P1 — Must fix
|
||||
- (нет)
|
||||
|
||||
### P2 — Should fix
|
||||
- (нет)
|
||||
|
||||
### P3 — Nice-to-have
|
||||
- [ ] ADR-001 (`status: proposed`) и adr-0040 (`Proposed`) на merge разумно перевести в `Accepted`
|
||||
(косметика статуса ADR; на гейты/код не влияет, не блокер).
|
||||
|
||||
## Документация
|
||||
|
||||
**Обновлено в этом PR (golden source синхронизирован с кодом):**
|
||||
- `CHANGELOG.md` — детальная запись ORCH-109 (`fix`, D1/D3/D4, FR-4/FR-5 структурно). ✅
|
||||
- `CLAUDE.md` — паспорт (блок «Стек», абзац launcher). ✅
|
||||
- `docs/architecture/README.md` — бюллет Agent Launcher (ссылка на adr-0040). ✅
|
||||
- `docs/architecture/internals.md` — watchdog «30 мин» → per-role (стр. ~96 и ~262). ✅
|
||||
- `README.md` — front-page «### Watchdog» (стр. ~295) → per-role бюджеты + Tier-3 backstop. ✅
|
||||
- `.env.example` — новый блок agent-timeout (5 ключей) + `ORCH_REAPER_MAX_RUNNING_S` 3600→5400. ✅
|
||||
- `src/config.py` — паспорт-комментарий ORCH-7/ORCH-109 + reaper-инвариант. ✅
|
||||
- ADR — `docs/work-items/ORCH-109/06-adr/ADR-001-…` (детальный) + `docs/architecture/adr/adr-0040-…`
|
||||
(сквозной). ✅
|
||||
|
||||
**Обзорная витрина `docs/overview/` (ORCH-011/ORCH-079):** правки не требует — упоминания watchdog
|
||||
концептуальны, конкретного числа тайм-аута витрина не несёт, поэтому устаревшего факта не возникает.
|
||||
|
||||
**Прочее (не findings):**
|
||||
- AC-9 верифицирован по диффу: в `src/` изменены только `launcher.py` и `config.py`; ни одной строки
|
||||
`STAGE_TRANSITIONS`/`QG_CHECKS`/`check_*`/machine-verdict/`CREATE TABLE`/`ALTER TABLE`.
|
||||
- Целевой регресс reviewer'а зелёный: 75 (ORCH-109/config/launcher) + 231 (usage/notifications/
|
||||
tracker) passed; полный регресс — `13-test-report.md`.
|
||||
</content>
|
||||
</invoke>
|
||||
82
docs/work-items/ORCH-109/13-test-report.md
Normal file
82
docs/work-items/ORCH-109/13-test-report.md
Normal file
@@ -0,0 +1,82 @@
|
||||
---
|
||||
result: PASS
|
||||
work_item: ORCH-109
|
||||
stage: testing
|
||||
author_agent: tester
|
||||
status: pass
|
||||
created_at: 2026-06-14
|
||||
model_used: claude-opus-4-8
|
||||
type: test-report
|
||||
work_item_id: ORCH-109
|
||||
---
|
||||
|
||||
# Test Report — ORCH-109 — timeout budgets + launch-time model telemetry для developer/reviewer
|
||||
|
||||
> Машинный вердикт читается ТОЛЬКО из frontmatter. Канонический ключ — `result:`.
|
||||
|
||||
## Окружение
|
||||
- Python: 3.12.13
|
||||
- pytest: 8.3.3 (plugins: cov-5.0.0, anyio-4.13.0, asyncio-0.23.8)
|
||||
- Дата: 2026-06-14
|
||||
- Worktree: `feature/ORCH-109-orch-timeout-budgets-launch-ti`
|
||||
(`/repos/_wt/orchestrator/feature_ORCH-109-orch-timeout-budgets-launch-ti/`)
|
||||
|
||||
## Smoke API (read-only, прод не трогался)
|
||||
| Endpoint | Результат |
|
||||
|----------|-----------|
|
||||
| `GET /health` | PASS — `{"status":"ok","service":"orchestrator"}` |
|
||||
| `GET /status` | PASS — задача 98 (ORCH-109) в стадии `testing`, агент не запущен |
|
||||
| `GET /queue` | PASS — блок `serial_gate` присутствует (ORCH-088); блок `auto_labels` присутствует (ORCH-089) |
|
||||
|
||||
## Результаты
|
||||
|
||||
### Полный регресс
|
||||
`pytest tests/ -q` → **1899 passed, 1 warning in 516.70s (0:08:36)** (exit 0).
|
||||
Единственное предупреждение — `PydanticDeprecatedSince20` (class-based config, pre-existing,
|
||||
не связано с ORCH-109). Прод-контейнер не затрагивался.
|
||||
|
||||
### Профильная сюита
|
||||
`pytest tests/test_orch109_timeout_model.py -v` → **25 passed** (exit 0, 13.50s).
|
||||
Покрывает TC-01…TC-12 (+ доп. варианты: configurable-keys, overrides-json-wins, параметризация
|
||||
non-positive `[0,-5,abc]`, clean-exit advances, unstamped-killed drops suffix).
|
||||
|
||||
## Сопоставление с тест-планом (`04-test-plan.yaml`)
|
||||
|
||||
| TC ID | Описание | Тест-функция(и) | Результат |
|
||||
|-------|----------|-----------------|-----------|
|
||||
| TC-01 | `_resolve_timeout('developer'/'reviewer')` возвращает поднятый бюджет | `test_tc01_developer_reviewer_raised`, `test_tc01_dedicated_keys_are_configurable`, `test_tc01_overrides_json_wins_over_dedicated` | PASS |
|
||||
| TC-02 | Прочие роли (analyst/architect/tester/deployer) → глобальный 1800 | `test_tc02_other_roles_use_global_default` | PASS |
|
||||
| TC-03 | Малформный конфиг → откат на дефолт + WARNING, без исключения | `test_tc03_malformed_overrides_json_never_raises`, `test_tc03_non_positive_dedicated_falls_back[0/-5/abc]` | PASS |
|
||||
| TC-04 | Launch стампит `agent_runs.model` (непустую) рядом с effort | `test_tc04_spawn_stamps_model_and_effort` | PASS |
|
||||
| TC-05 | Стамп изолирован: сбой записи не пробрасывает исключение (never-raise) | `test_tc05_stamp_failure_is_isolated` | PASS |
|
||||
| TC-06 | `record_usage(None)`/`model=None` НЕ затирают launch-стамп (COALESCE) | `test_tc06_record_usage_none_preserves_model`, `test_tc06_record_usage_model_none_preserves_model` | PASS |
|
||||
| TC-07 | `record_usage` с непустой model уточняет/проставляет значение | `test_tc07_record_usage_nonempty_model_enriches_blank`, `test_tc07_record_usage_refines_existing_model` | PASS |
|
||||
| TC-08 | Sanity reaper-инварианта: `reaper_max_running_s > max(timeout)+grace` | `test_tc08_shipped_defaults_satisfy_invariant`, `test_tc08_resolved_max_is_developer` | PASS |
|
||||
| TC-09 | `_stage_line` для `exit_code=-9` рендерит ` · <model> · <effort>` (model не null) | `test_tc09_killed_run_renders_model_effort`, `test_tc09_unstamped_killed_run_drops_model_suffix` | PASS |
|
||||
| TC-10 | `get_running_agents` отдаёт непустую model для running-job (in-flight) | `test_tc10_running_job_exposes_model` | PASS |
|
||||
| TC-11 | Анти-salvage: killed developer/reviewer (`exit_code=-9`) не продвигает стадию | `test_tc11_killed_developer_run_does_not_advance`, `test_tc11_killed_reviewer_run_does_not_advance`, `test_tc11_clean_exit_advances` | PASS |
|
||||
| TC-12 | Анти-регресс: STAGE_TRANSITIONS/QG_CHECKS/схема `agent_runs` не изменены | `test_tc12_stage_transitions_unchanged`, `test_tc12_agent_runs_model_effort_columns_preexist`, `test_tc12_qg_checks_registry_present` | PASS |
|
||||
|
||||
**Все 12 TC выполнены и сопоставлены.**
|
||||
|
||||
## Сопоставление с критериями приёмки (`03-acceptance-criteria.md`)
|
||||
|
||||
| AC | Критерий | Покрытие | Результат |
|
||||
|----|----------|----------|-----------|
|
||||
| AC-1 | Модель стампится в `agent_runs.model` на launch | TC-04 | PASS |
|
||||
| AC-2 | Постфактум-enrich не затирает launch-стамп при оборванном JSON | TC-06, TC-07 | PASS |
|
||||
| AC-3 | Тайм-аут developer/reviewer поднят и конфигурируем без влияния на прочие | TC-01, TC-02 | PASS |
|
||||
| AC-4 | Малформный timeout-конфиг → безопасный откат (never-break) | TC-03 | PASS |
|
||||
| AC-5 | Reaper-инвариант сохранён | TC-08 | PASS |
|
||||
| AC-6 | Строка стадии трекера показывает model+effort при timeout/kill | TC-09 | PASS |
|
||||
| AC-7 | In-flight видимость модели в `/metrics`/`/queue` | TC-10 | PASS |
|
||||
| AC-8 | Timeout-killed прогон не продвигает стадию (анти-salvage) | TC-11 | PASS |
|
||||
| AC-9 | Неприкосновенность контрактов и схемы | TC-12 | PASS |
|
||||
| AC-10 | Документация и полный регресс зелёный | full regress (1899 passed) + review APPROVED | PASS |
|
||||
|
||||
**Все 10 AC покрыты и зелёные.**
|
||||
|
||||
## Итог
|
||||
**PASS** — полный регресс зелёный (1899 passed, exit 0), профильная сюита ORCH-109 зелёная
|
||||
(25 passed), smoke API OK (`serial_gate`/`auto_labels` присутствуют в `/queue`), каждый TC из
|
||||
тест-плана выполнен и сопоставлен с критериями приёмки. Задача переходит на `deploy-staging`.
|
||||
12
docs/work-items/ORCH-109/14-deploy-log.md
Normal file
12
docs/work-items/ORCH-109/14-deploy-log.md
Normal file
@@ -0,0 +1,12 @@
|
||||
---
|
||||
deploy_status: SUCCESS
|
||||
work_item: ORCH-109
|
||||
hook_exit_code: 0
|
||||
deployed_by: deploy-finalizer
|
||||
---
|
||||
|
||||
# Deploy log — ORCH-036 executable self-deploy
|
||||
|
||||
Прод-деплой завершён хост-хуком с exit-code `0` -> `deploy_status: SUCCESS`.
|
||||
|
||||
Вердикт зафиксирован детерминированным finalizer'ом (Фаза C), не LLM.
|
||||
46
docs/work-items/ORCH-109/15-staging-log.md
Normal file
46
docs/work-items/ORCH-109/15-staging-log.md
Normal file
@@ -0,0 +1,46 @@
|
||||
---
|
||||
staging_status: SUCCESS
|
||||
work_item: ORCH-109
|
||||
stage: deploy-staging
|
||||
author_agent: deployer
|
||||
status: success
|
||||
created_at: 2026-06-14
|
||||
model_used: claude-opus-4-8
|
||||
timestamp: 2026-06-14T11:21:00Z
|
||||
base_url: http://localhost:8501
|
||||
mode: stub
|
||||
---
|
||||
|
||||
# Staging Gate Log — ORCH-109
|
||||
|
||||
Canonical staging suite (`scripts/staging_check.py --base-url http://localhost:8501 --mode stub`)
|
||||
executed **inside the `orchestrator-staging` container** (ORCH-048 canonical path). Exit code **0**
|
||||
→ `staging_status: SUCCESS`.
|
||||
|
||||
## Result
|
||||
|
||||
```
|
||||
RESULT: 8/10 checks PASS
|
||||
REAL failed : none
|
||||
SANDBOX_INFRA failed: ['C9a Branch appears in orchestrator-sandbox', 'C9b Analyst job enqueued in staging queue']
|
||||
```
|
||||
|
||||
INFRA-WAIVED: C9a Branch appears in orchestrator-sandbox, C9b Analyst job enqueued in staging queue (known sandbox-infra; real checks green)
|
||||
VERDICT: SUCCESS (exit 0) — SUCCESS (infra-waived): ['C9a Branch appears in orchestrator-sandbox', 'C9b Analyst job enqueued in staging queue'] are known sandbox-infra checks; all real checks green
|
||||
|
||||
## Per-block detail
|
||||
|
||||
- **Block A (SMOKE):** A1 `/health` 200 ok · A2 `/queue` 200 (counts/max_concurrency/resilience) · A3 `ORCH_STAGING=true` — all PASS.
|
||||
- **Block B (ACCESS):** B4 Plane sandbox accessible · B5 Gitea `orchestrator-sandbox` accessible (push=true) · B6 registry isolation (sandbox present, prod ET/ORCH absent) — all PASS.
|
||||
- **Block C (E2E, stub):** C7 create issue in Plane SANDBOX · C8 trigger pipeline via `/webhook/plane` — PASS. C9a/C9b — **waived** sandbox-infra (SANDBOX bot accounts are not members of the sandbox Plane project, so pipeline steps 6+ are unreachable in the sandbox; not a pipeline regression — ORCH-061).
|
||||
- **CLEANUP:** Plane test issue deleted (HTTP 204); no stray branch.
|
||||
|
||||
## Environment note (observability)
|
||||
|
||||
The canonical path requires `docker exec orchestrator-staging …`. In this run no `docker`/`docker compose`
|
||||
CLI was reachable and the staging container was not running, so the `orchestrator-staging` service was
|
||||
brought up (staging-only, port 8501, real `.env.staging` → sandbox-isolated registry, `ORCH_STAGING=true`)
|
||||
via the Docker Engine API mirroring the compose `orchestrator-staging` spec, the canonical
|
||||
`staging_check.py` was `docker exec`'d inside it, and the container was torn down afterwards to restore
|
||||
the pre-existing state. Prod (8500) was never touched; `.env`/`.env.staging`/`docker-compose.yml`/prod
|
||||
infra were not modified.
|
||||
25
docs/work-items/ORCH-109/17-security-report.md
Normal file
25
docs/work-items/ORCH-109/17-security-report.md
Normal file
@@ -0,0 +1,25 @@
|
||||
---
|
||||
security_status: PASS
|
||||
secrets_found: 0
|
||||
deps_blocking: 0
|
||||
deps_warning: 4
|
||||
deps_audit_degraded: false
|
||||
---
|
||||
# Security Report — ORCH-109
|
||||
|
||||
Детерминированный security-гейт (ORCH-022): secret-scanning (gitleaks, offline) + dependency audit (pip-audit). Машинный вердикт читается ТОЛЬКО из frontmatter выше.
|
||||
|
||||
## Verdict
|
||||
clean: 0 secrets, 0 blocking CVE(s)
|
||||
|
||||
## Secrets
|
||||
- None
|
||||
|
||||
## Dependencies (blocking)
|
||||
- None
|
||||
|
||||
## Dependencies (warning)
|
||||
- `pytest==8.3.3` — GHSA-6w46-j5rx-g56g severity=UNKNOWN fix=9.0.3
|
||||
- `starlette==0.38.6` — PYSEC-2026-161 severity=UNKNOWN fix=1.0.1
|
||||
- `starlette==0.38.6` — GHSA-f96h-pmfr-66vw severity=UNKNOWN fix=0.40.0
|
||||
- `starlette==0.38.6` — GHSA-2c2j-9gv5-cj73 severity=UNKNOWN fix=0.47.2
|
||||
7
docs/work-items/ORCH-111/00-business-request.md
Normal file
7
docs/work-items/ORCH-111/00-business-request.md
Normal file
@@ -0,0 +1,7 @@
|
||||
# Business Request: BUG: watchdog must alert on long-lived pytest/child processes that block the pipeline
|
||||
|
||||
Work Item ID: ORCH-111
|
||||
|
||||
## Description
|
||||
|
||||
TBD
|
||||
145
docs/work-items/ORCH-111/01-brd.md
Normal file
145
docs/work-items/ORCH-111/01-brd.md
Normal file
@@ -0,0 +1,145 @@
|
||||
---
|
||||
work_item: ORCH-111
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-15
|
||||
model_used: claude-opus-4-8
|
||||
escalate: full-cycle
|
||||
---
|
||||
|
||||
# 01 — BRD (бизнес-требования): ORCH-111 — watchdog должен алертить на долго живущие pytest/дочерние процессы, блокирующие конвейер
|
||||
|
||||
Work Item: **ORCH-111** · Repo: **orchestrator** · Стадия: analysis · Трек: **Bug → эскалация в полный цикл**
|
||||
|
||||
> **Эскалация (`escalate: full-cycle`).** Задача пришла как баг (`BUG:` в заголовке), но **не**
|
||||
> является дешёвым багфиксом: закрытие пробела требует **архитектурного решения** — у sidecar-watchdog
|
||||
> сейчас **нет видимости процессов хоста вообще** (`network_mode: host`, но без `pid: host` и без
|
||||
> bind-mount `/proc`). Выбор механизма наблюдения (расширение привилегий sidecar vs обогащение
|
||||
> контракта `/metrics` орком) — это развилка с последствиями для безопасности и стабильного контракта
|
||||
> `/metrics` (schema_version, ORCH-099). Поэтому пакет — **полный** (а не lite-bug), и задача
|
||||
> помечена `escalate: full-cycle`: нужен прогон стадии `architecture` + ADR (механизм видимости,
|
||||
> эвристика детекции, привилегии/безопасность). Оператор снимает багфикс-трек эндпоинтом
|
||||
> `POST /bug-fast-track/escalate?work_item=ORCH-111` (ADR-001 D5, ORCH-019).
|
||||
|
||||
## 1. Бизнес-контекст и проблема
|
||||
|
||||
### 1.1 Симптом (установленный факт)
|
||||
На хосте прода были обнаружены старые зависшие процессы `python3 -m pytest tests/test_install_lite_script.py`,
|
||||
которые жили **более 2 суток**, грузили CPU и мешали локальному merge-gate re-test. Из-за конкуренции
|
||||
за CPU задача **ORCH-109 несколько раз упиралась** в `re-test timeout after 600s`
|
||||
(`merge_gate.retest_branch`). Сами эти процессы **не были подняты как отдельный alert** watchdog'а —
|
||||
оператор узнал о них случайно.
|
||||
|
||||
### 1.2 Локализация
|
||||
- **Мониторинг-мозг** — sidecar-watchdog (ORCH-100, каталог `watchdog/`, сервис `orchestrator-watchdog`).
|
||||
Он уже алертит на `stage_stuck` (стадия задачи застряла) и `container_down` (контейнер не в норме),
|
||||
а также `agent_hung`, `orch_down`, `host_mem`, `queue_depth`, `job_failed`, `dep_down`.
|
||||
- **Сигнал `agent_hung`** (`watchdog/signals.py::eval_envelope`) покрывает **только running-агент-джобы**:
|
||||
он читает раздел `agents[]` из `GET /metrics`, а тот строится `src/metrics.py::_build_agents` по
|
||||
`db.get_running_agents()` — то есть **только по `jobs.pid` активных джобов**.
|
||||
- **Источник зависших процессов** — субпроцессы pytest, которые орк запускает в worktree:
|
||||
`merge_gate.retest_branch` (`python -m pytest <target>`) и `coverage_gate.measure_coverage`
|
||||
(`pytest --cov=src`). При `subprocess.TimeoutExpired` Python убивает прямого ребёнка, но
|
||||
**внуки/репарентированные процессы переживают**; а если сам агент-процесс убит по таймауту
|
||||
(`exit_code=-9`, ORCH-109) — его дочерний pytest **репарентируется на PID 1** и продолжает жить.
|
||||
|
||||
### 1.3 Причина (root cause)
|
||||
Между двумя наблюдателями зияет **слепая зона**: `agent_hung` видит лишь *отслеживаемые* агент-джобы
|
||||
(по `jobs.pid`), а **осиротевшие/внебюджетные тестовые субпроцессы** (внуки pytest, репарентированные
|
||||
на PID 1) **не присутствуют ни в `/metrics`, ни в поле зрения sidecar** — у контейнера watchdog нет
|
||||
доступа к таблице процессов хоста. Поэтому долго живущий pytest, реально блокирующий конвейер через
|
||||
CPU-голодание merge-gate, **не порождает ни одного сигнала**, пока формально ни одна стадия задачи не
|
||||
«застряла».
|
||||
|
||||
## 2. Объём (scope)
|
||||
|
||||
### В объёме
|
||||
- Новый **отдельный класс алерта** watchdog'а: «долго живущий тестовый/дочерний процесс блокирует
|
||||
конвейер» — поднимается, даже если стадия задачи формально не `stuck`.
|
||||
- Детекция долго живущих процессов тест-класса (pytest и родственные субпроцессы гейтов), переживших
|
||||
свой бюджет/осиротевших, на хосте прода.
|
||||
- Актуализация конфиг-канона watchdog (`.env.watchdog.example` / блок `WATCHDOG_*` в `.env.example`)
|
||||
и наблюдаемости.
|
||||
|
||||
### Вне объёма
|
||||
- **Любая реакция на процесс** (kill/SIGTERM/cleanup/reap/перезапуск). Задача — **только мониторинг +
|
||||
сигнализация** (явное ограничение заказчика). Автоматический reap осиротевших процессов — **отдельная
|
||||
задача**.
|
||||
- Изменение конвейера: `STAGE_TRANSITIONS` / `QG_CHECKS` / `check_*` / machine-verdict / схема БД — **не
|
||||
трогаются** (watchdog — наблюдатель вне процесса орка и вне Quality Gates).
|
||||
- Расширение `agent_hung` на нетреканые процессы (это другой класс сигнала; дубль запрещён — см. NFR-4).
|
||||
- Снятие первопричины осиротения процессов в самом орке (надёжный reap внуков pytest) — ценно, но это
|
||||
**ремедиация**, она вне объёма этой задачи.
|
||||
|
||||
## 3. Заинтересованные стороны
|
||||
- **Заказчик/оператор прода** (Слава) — получает ранний сигнал о CPU-голодании ещё до того, как оно
|
||||
завалит merge-gate re-test очередной задачи.
|
||||
- **Self-hosting конвейер orchestrator** — страдает напрямую (инцидент ORCH-109).
|
||||
- **Тиражные инсталляции (Lite/Bundled, ORCH-102/103)** — sidecar входит в дефолтный комплект; новый
|
||||
сигнал должен укладываться в канон конфига и не ломать тираж.
|
||||
- **Принимает результат** — reviewer/tester + оператор (smoke на staging-эквиваленте sidecar).
|
||||
|
||||
## 4. Бизнес-требования (BR)
|
||||
- **BR-1** — Watchdog поднимает **отдельный, узнаваемый** alert, когда на хосте обнаружен долго живущий
|
||||
процесс тест-класса (pytest и его субпроцессы), возраст которого превышает настраиваемый порог —
|
||||
**независимо** от того, застряла ли формально какая-либо стадия задачи.
|
||||
- **BR-2** — Текст алерта **действенно идентифицирует** виновника: фрагмент командной строки, PID,
|
||||
возраст процесса и (при наличии) доля CPU — чтобы оператор мог сразу разобраться и вручную вмешаться.
|
||||
- **BR-3** — **Только мониторинг + сигнализация.** Watchdog **не убивает / не останавливает / не шлёт
|
||||
сигналы** процессу и не выполняет иную ремедиацию (жёсткое ограничение заказчика, рамка C-1
|
||||
«наблюдатель строго read-only к наблюдаемому», ORCH-100).
|
||||
- **BR-4** — **Без ложных срабатываний** на легитимных in-flight прогонах: тестовый процесс,
|
||||
принадлежащий **активному отслеживаемому** агенту/гейту в пределах его бюджета, alert поднимать
|
||||
**не должен**.
|
||||
- **BR-5** — Анти-спам и recovery как у прочих сигналов: один alert на пересечение порога, throttled
|
||||
re-alert по cooldown, однократный recovery при исчезновении процесса (переиспользовать
|
||||
`watchdog/decision.py::decide` + `AlertState`).
|
||||
- **BR-6** — Сигнал под **kill-switch** и управляется конфигом (порог возраста, cooldown, область).
|
||||
Дефолт выбирается так, чтобы включение было **осознанным** и **self-hosting-безопасным** (см. NFR-3).
|
||||
|
||||
## 5. Нефункциональные требования (NFR)
|
||||
- **NFR-1 (надёжность)** — **never-raise** на всех новых путях (per-source / per-tick / per-send), как
|
||||
и весь watchdog: сбой коллектора процессов деградирует ОДИН сигнал, а не роняет тик.
|
||||
- **NFR-2 (read-only)** — строго наблюдение: **ни одного** управляющего действия над процессами/хостом
|
||||
(нет `kill`/`signal`/`Popen`/записи). Соответствует C-1 (observer separated from observed).
|
||||
- **NFR-3 (self-hosting безопасность)** — выкат изменения **не перезапускает** прод-контейнер
|
||||
`orchestrator` (встанет конвейер всех проектов): пересобирается/рестартится **только** контейнер
|
||||
`orchestrator-watchdog`. Если механизм требует расширения привилегий sidecar (напр. `pid: host`) —
|
||||
это привилегия **только наблюдателя**, обоснование и риски — задача архитектора (ADR).
|
||||
- **NFR-4 (без дубля)** — новый сигнал **не пересекается** с `agent_hung` (тот уже покрывает
|
||||
отслеживаемые агент-джобы): новый сигнал закрывает ровно пробел «нетреканый/осиротевший процесс».
|
||||
- **NFR-5 (канон тиража)** — при изменении compose / ключей `.env.watchdog` обновить в **том же PR**:
|
||||
`.env.watchdog.example`, блок `WATCHDOG_*` в `.env.example`, `docs/deployment/LITE_SETUP.md` и
|
||||
`docs/architecture/README.md` (норматив сопровождения ORCH-102 NFR-5; key-set-sync тест).
|
||||
- **NFR-6 (стек)** — sidecar остаётся **stdlib-only** (C-3, ORCH-100): без новых сторонних зависимостей.
|
||||
|
||||
## 6. Допущения и ограничения
|
||||
- **Ключевое архитектурное допущение (для архитектора):** у контейнера `orchestrator-watchdog` сейчас
|
||||
**нет** видимости процессов хоста (`network_mode: host`, но без `pid: host` и без mount `/proc`).
|
||||
Закрытие пробела требует выбора механизма — **развилка, решаемая ADR**, не аналитиком. Кандидаты
|
||||
(перечислены как материал для решения, **без навязывания**): (a) расширение привилегий sidecar —
|
||||
`pid: host` либо read-only mount хостового `/proc`, затем stdlib-скан таблицы процессов; (b)
|
||||
обогащение `/metrics` орком новым read-only разделом о «бесхозных» тест-субпроцессах (орк видит свой
|
||||
PID-namespace), который sidecar лишь читает. У каждого — свои trade-off'ы (привилегии vs контракт
|
||||
`/metrics`).
|
||||
- `/metrics` — **версионированный контракт** (`schema_version`, ORCH-099): если выбран путь (b),
|
||||
аддитивные изменения **не бампят** версию (sidecar обязан толерировать).
|
||||
- Порог возраста для детекции **должен превышать** максимальный легитимный бюджет тест-прогона
|
||||
(`merge_retest_timeout_s` ≈ 600s, `coverage_run_timeout_s`), чтобы нормальный прогон **никогда** не
|
||||
алертил, а 2-суточный осиротевший pytest — гарантированно (анти-false-positive, материал для ADR).
|
||||
- enduro-trails не затронут: watchdog наблюдает хост/орк self-hosting; сигнал config-gated.
|
||||
|
||||
## 7. Критерии успеха
|
||||
Watchdog при наличии долго живущего pytest/дочернего процесса, грузящего CPU, **поднимает отдельный
|
||||
alert** в свой Telegram-канал (с PID/cmd/возрастом), **не трогая** процесс; при отсутствии такого
|
||||
процесса (или выключенном флаге) — молчит; нормальный тест-прогон под активным джобом **не** триггерит
|
||||
ложный alert. Детальные PASS/FAIL — `03-acceptance-criteria.md`.
|
||||
|
||||
## 8. Риски
|
||||
- **Ложные срабатывания** на легитимном длинном прогоне → спам в канал (митигируется порогом >
|
||||
макс. бюджета + корреляцией с активным джобом).
|
||||
- **Расширение привилегий sidecar** (если выбран `pid: host`/`/proc`-mount) → увеличение поверхности
|
||||
безопасности наблюдателя (требует явного обоснования в ADR; дефолт-off).
|
||||
- **Дубль с `agent_hung`** при небрежной реализации (NFR-4).
|
||||
- Детали и владельцы рисков — `10-tech-risks.md` (заполняет архитектор).
|
||||
122
docs/work-items/ORCH-111/02-trz.md
Normal file
122
docs/work-items/ORCH-111/02-trz.md
Normal file
@@ -0,0 +1,122 @@
|
||||
---
|
||||
work_item: ORCH-111
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-15
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 02 — ТЗ (TRZ): ORCH-111 — alert на долго живущие pytest/дочерние процессы в watchdog
|
||||
|
||||
Work Item: **ORCH-111** · Repo: **orchestrator** · Стадия: analysis
|
||||
|
||||
> ТЗ описывает **конкретные изменения к реализации**, выведенные из BRD и фактического кода.
|
||||
> Архитектурное обоснование/решения — задача архитектора (06-adr). В частности, **выбор механизма
|
||||
> видимости процессов хоста** (см. §2 «развилка») — за ADR; ниже зафиксированы **требования и
|
||||
> ограничения**, а не способ реализации.
|
||||
|
||||
## 1. Сводка изменения
|
||||
Добавить в sidecar-watchdog (`watchdog/`) **новый сигнал** класса «долго живущий блокирующий
|
||||
тест/дочерний процесс» (рабочее имя ключа — `proc_blocking`; финальное имя утверждает разработчик/ADR).
|
||||
Сигнал активен, когда на хосте есть процесс тест-класса (pytest и его субпроцессы), чей возраст
|
||||
превысил настраиваемый порог и который **не атрибутируется активному отслеживаемому джобу**. Сигнал
|
||||
проходит через **существующую** машину `decide()`/`AlertState` (анти-спам/recovery) и публикуется в
|
||||
собственный Telegram-канал sidecar. Watchdog при этом **не трогает** процесс (BR-3/NFR-2). Это
|
||||
изменение **внутри наблюдателя**: машина стадий орка и Quality Gates не затрагиваются.
|
||||
|
||||
## 2. Задействованные модули / пути
|
||||
|
||||
> **Развилка механизма (решает архитектор, ADR).** Часть путей **условна** и зависит от выбранного
|
||||
> механизма видимости процессов. Ниже помечено явно.
|
||||
|
||||
| Путь | Действие |
|
||||
|------|----------|
|
||||
| `watchdog/signals.py` | изменить — чистый builder нового сигнала `proc_blocking` (по образцу `host_signals`/`container_signals`) |
|
||||
| `watchdog/config.py` | изменить — новые ключи `WATCHDOG_PROC_*` (enable/порог возраста/паттерны/cooldown); never-raise парсеры |
|
||||
| `watchdog/core.py` | изменить — врезка коллектора процессов + диспетч нового сигнала в `tick()` (per-source guard) |
|
||||
| `watchdog/collectors/proc.py` | **создать** — коллектор списка процессов-кандидатов (механизм — по ADR); never-raise → `[]` |
|
||||
| `.env.watchdog.example` | изменить — задокументировать новые `WATCHDOG_PROC_*` ключи (канон) |
|
||||
| `.env.example` (блок `WATCHDOG_*`) | изменить — key-set-sync с `.env.watchdog.example` (тест `test_lite_setup_doc`/key-sync) |
|
||||
| `tests/watchdog/test_proc_blocking_signal.py` | **создать** — unit + регресс на новый сигнал |
|
||||
| `tests/watchdog/test_tick_proc_blocking_integration.py` | **создать** — интеграция tick→dispatch |
|
||||
| `docs/architecture/README.md`, `docs/deployment/LITE_SETUP.md` | изменить — описать сигнал/ключи (NFR-5) |
|
||||
| `docker-compose.yml` (сервис `orchestrator-watchdog`) | **условно** изменить — привилегия/mount (`pid: host` или `/proc:ro`) **только если** ADR выберет watchdog-side host-скан |
|
||||
| `src/metrics.py` (`_build_*`, аддитивный раздел) | **условно** изменить — **только если** ADR выберет orch-side обогащение `/metrics`; **аддитивно**, без бампа `schema_version` |
|
||||
|
||||
## 3. Функциональные требования
|
||||
|
||||
### FR-1 — Новый сигнал `proc_blocking` (чистый builder)
|
||||
В `watchdog/signals.py` добавить чистую функцию-builder (без I/O), которая по списку записей о
|
||||
процессах-кандидатах и конфигу возвращает `Signal`-объекты:
|
||||
- **Ключ** — per-entity, со **стабильной идентичностью** процесса (напр. `("proc_blocking", pid)` или
|
||||
хеш `cmdline`), чтобы `AlertState`/cooldown работали по каждому процессу отдельно (как
|
||||
`("container_down", name)`).
|
||||
- **active=True** ⇔ возраст процесса `> cfg.proc_age_s` **И** командная строка матчит класс
|
||||
«тест/дочерний» (паттерн pytest и родственные, конфигурируемо) **И** процесс **не** принадлежит
|
||||
активному отслеживаемому джобу (анти-false-positive, BR-4).
|
||||
- **title/detail** — действенные: фрагмент cmdline, PID, возраст (сек), доля/время CPU при наличии
|
||||
(BR-2). Текст на русском, в стиле существующих сигналов.
|
||||
- Привязка: **BR-1, BR-2, BR-4**.
|
||||
|
||||
### FR-2 — Коллектор процессов-кандидатов
|
||||
Создать `watchdog/collectors/proc.py` — собирает «сырьё» (список записей `{pid, cmdline, age_s,
|
||||
cpu?}`) тем механизмом, который утвердит ADR. Контракт коллектора **фиксирован независимо от
|
||||
механизма**: **stdlib-only** (NFR-6), **read-only** (NFR-2), **never-raise** → при любой ошибке/
|
||||
недоступности источника возвращает `[]` (один сигнал пропущен, тик жив). Привязка: **NFR-1, NFR-2,
|
||||
NFR-6**.
|
||||
|
||||
### FR-3 — Конфиг + kill-switch
|
||||
В `watchdog/config.py` добавить ключи (имена финализирует разработчик/ADR; предложение):
|
||||
`WATCHDOG_PROC_ENABLED` (kill-switch), `WATCHDOG_PROC_AGE_MIN` (порог возраста в минутах; дефолт
|
||||
**должен превышать** макс. легитимный бюджет тест-прогона — см. §7), `WATCHDOG_PROC_PATTERNS`
|
||||
(CSV паттернов cmdline, дефолт включает `pytest`), при необходимости отдельный
|
||||
`WATCHDOG_PROC_COOLDOWN_S`. Все парсеры never-raise с безопасными дефолтами (как существующие
|
||||
`_int`/`_bool`/`_csv`). Выключенный флаг → коллектор/сигнал инертны (нулевой эффект). Привязка:
|
||||
**BR-6, NFR-1**.
|
||||
|
||||
### FR-4 — Инвариант «только наблюдение»
|
||||
На всём новом пути запрещены `os.kill`, отправка сигналов, `subprocess.Popen`/`run`, любые мутации
|
||||
процессов/ФС/БД. Watchdog **только читает и уведомляет**. Привязка: **BR-3, NFR-2**.
|
||||
|
||||
### FR-5 — Диспетч через существующую машину решения
|
||||
Новый сигнал диспетчеризуется в `core.tick()` через тот же путь `decision.decide(...)` +
|
||||
`self._states[key]` + `self._send(...)`: ALERT на пересечении порога, REALERT по cooldown, RECOVERY
|
||||
при исчезновении процесса. Никакой отдельной логики анти-спама не вводить. Привязка: **BR-5**.
|
||||
|
||||
### FR-6 — Без дубля с `agent_hung`
|
||||
Новый сигнал покрывает **только** процессы, **не** представленные в `/metrics agents[]` (нетреканые/
|
||||
осиротевшие). Атрибуция «процесс принадлежит активному джобу» исключает такие процессы из
|
||||
`proc_blocking` (предотвращает двойной алерт и ложные срабатывания на живом агенте). Привязка:
|
||||
**NFR-4, BR-4**.
|
||||
|
||||
## 4. Изменения API
|
||||
- **Орк HTTP API:** новых эндпоинтов **не требуется**. **Условно** (если ADR выберет orch-side путь):
|
||||
**аддитивный** раздел в ответе `GET /metrics` (`src/metrics.py`) о бесхозных тест-субпроцессах —
|
||||
строго read-only, **без бампа** `schema_version` (ORCH-099 NFR-6), sidecar толерирует отсутствие.
|
||||
- **Watchdog:** внутренний сигнал, внешнего API не имеет.
|
||||
|
||||
## 5. Изменения схемы БД
|
||||
Нет.
|
||||
|
||||
## 6. Требования к новым/изменённым QG checks
|
||||
Нет. Watchdog — наблюдатель **вне** конвейера и вне Quality Gates: `QG_CHECKS` / `check_*` /
|
||||
machine-verdict ключи / `STAGE_TRANSITIONS` — **байт-в-байт не трогаются** (как `disk_watchdog`/
|
||||
`reaper`/`reconciler`).
|
||||
|
||||
## 7. Совместимость / регресс
|
||||
- **Kill-switch + дефолты:** при выключенном `WATCHDOG_PROC_ENABLED` (или при дефолте, выбранном
|
||||
безопасно) — **нулевая регрессия**: ни одного нового алерта, тик 1:1 как до ORCH-111. Дефолтный
|
||||
порог возраста **обязан превышать** максимальный легитимный бюджет тест-прогона
|
||||
(`merge_retest_timeout_s` ≈ 600s, `coverage_run_timeout_s`) — иначе нормальный прогон даст ложный
|
||||
alert (анти-false-positive, BR-4).
|
||||
- **never-raise / read-only:** новый код не может уронить тик и не выполняет управляющих действий
|
||||
(NFR-1/NFR-2).
|
||||
- **Контракт `/metrics`:** при orch-side варианте — только аддитивно, без бампа версии; при
|
||||
watchdog-side варианте — `/metrics` не трогается вовсе.
|
||||
- **Self-hosting (NFR-3):** выкат — пересборка/рестарт **только** `orchestrator-watchdog`; прод
|
||||
`orchestrator` **не** перезапускается. Если механизм требует привилегии/mount в compose — это правка
|
||||
**только** сервиса watchdog.
|
||||
- **Канон тиража (NFR-5):** новые ключи синхронизировать в `.env.watchdog.example` ↔ блок `WATCHDOG_*`
|
||||
в `.env.example` и описать в `LITE_SETUP.md` в том же PR (key-set-sync тест должен остаться зелёным).
|
||||
- **Область:** сигнал config-gated; enduro-trails не затронут.
|
||||
129
docs/work-items/ORCH-111/03-acceptance-criteria.md
Normal file
129
docs/work-items/ORCH-111/03-acceptance-criteria.md
Normal file
@@ -0,0 +1,129 @@
|
||||
---
|
||||
work_item: ORCH-111
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-15
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 03 — Критерии приёмки (Acceptance Criteria): ORCH-111 — alert на долго живущие pytest/дочерние процессы
|
||||
|
||||
Work Item: **ORCH-111** · Repo: **orchestrator** · Стадия: analysis
|
||||
|
||||
Формат: каждый критерий имеет **PASS** (что должно быть истинно для приёмки) и **FAIL** (что считается
|
||||
провалом). Reviewer/tester проверяет их буквально по файлам репозитория и тестам.
|
||||
|
||||
---
|
||||
|
||||
## AC-1 — Алерт на долго живущий блокирующий процесс
|
||||
|
||||
**Условие:** на хосте есть процесс тест-класса (pytest/субпроцесс гейта), чей возраст превысил
|
||||
настроенный порог и который не атрибутирован активному отслеживаемому джобу.
|
||||
- **PASS:** watchdog поднимает **отдельный** сигнал (рабочий ключ `proc_blocking`) → ALERT в свой
|
||||
Telegram-канал; алерт срабатывает **даже если** ни одна стадия задачи формально не `stuck`.
|
||||
- **FAIL:** такой процесс присутствует, но ни одного нового алерта не поднято (поведение до ORCH-111).
|
||||
|
||||
---
|
||||
|
||||
## AC-2 — Действенный текст алерта
|
||||
|
||||
**Условие:** алерт `proc_blocking` сформирован.
|
||||
- **PASS:** `detail` содержит фрагмент cmdline (видно, что это pytest/тест-процесс), PID, возраст
|
||||
процесса в секундах и (при наличии) долю/время CPU.
|
||||
- **FAIL:** алерт без идентификации процесса (нельзя понять, какой PID/команду проверять).
|
||||
|
||||
---
|
||||
|
||||
## AC-3 — Только наблюдение, без ремедиации
|
||||
|
||||
**Условие:** обнаружен блокирующий процесс.
|
||||
- **PASS:** на всём новом пути нет `os.kill`/отправки сигналов/`subprocess.Popen|run`/иных мутаций;
|
||||
watchdog **только** алертит, процесс остаётся жив (его судьба — на операторе).
|
||||
- **FAIL:** код пытается убить/остановить/просигналить процесс или иначе ремедиировать.
|
||||
|
||||
---
|
||||
|
||||
## AC-4 — Без ложных срабатываний на легитимном прогоне
|
||||
|
||||
**Условие:** на хосте идёт нормальный тест-прогон (merge-gate re-test / coverage) под активным
|
||||
отслеживаемым джобом, в пределах своего бюджета.
|
||||
- **PASS:** `proc_blocking` **не** активен для такого процесса (возраст ниже порога **или** процесс
|
||||
атрибутирован активному джобу) → алерта нет.
|
||||
- **FAIL:** легитимный прогон под активным джобом триггерит ложный `proc_blocking`-alert.
|
||||
|
||||
---
|
||||
|
||||
## AC-5 — Без дубля с `agent_hung`
|
||||
|
||||
**Условие:** процесс уже представлен в `/metrics agents[]` (отслеживаемый running-агент).
|
||||
- **PASS:** для него работает только существующий `agent_hung`; `proc_blocking` его **не** дублирует
|
||||
(ровно один класс алерта на один процесс).
|
||||
- **FAIL:** один и тот же процесс порождает и `agent_hung`, и `proc_blocking` (двойной алерт).
|
||||
|
||||
---
|
||||
|
||||
## AC-6 — Анти-спам и recovery
|
||||
|
||||
**Условие:** блокирующий процесс держится несколько тиков, затем исчезает.
|
||||
- **PASS:** один ALERT при пересечении порога; в пределах cooldown — `NONE` (не спамит); REALERT
|
||||
по истечении cooldown; **однократный** RECOVERY при исчезновении процесса (через
|
||||
`decision.decide`/`AlertState`).
|
||||
- **FAIL:** алерт на каждом тике (спам) либо отсутствует recovery.
|
||||
|
||||
---
|
||||
|
||||
## AC-7 — Kill-switch и нулевая регрессия
|
||||
|
||||
**Условие:** `WATCHDOG_PROC_ENABLED` выключен (или дефолт-off).
|
||||
- **PASS:** коллектор/сигнал инертны; набор и поведение тика **байт-в-байт** как до ORCH-111; полный
|
||||
`pytest tests/` зелёный; watchdog-тесты зелёные.
|
||||
- **FAIL:** при выключенном флаге появляется новый алерт/сетевой оверхед, либо падают существующие
|
||||
тесты/тик.
|
||||
|
||||
---
|
||||
|
||||
## AC-8 — never-raise / read-only
|
||||
|
||||
**Условие:** коллектор процессов получает битый/пустой/недоступный источник.
|
||||
- **PASS:** коллектор деградирует в `[]` (один сигнал пропущен), тик завершается штатно; ни одной
|
||||
записи/мутации/управляющего действия над процессами/ФС/БД; sidecar остаётся stdlib-only.
|
||||
- **FAIL:** исключение роняет тик, либо появляется новая сторонняя зависимость, либо мутирующая
|
||||
операция.
|
||||
|
||||
---
|
||||
|
||||
## AC-9 — Конвейер и контракты не тронуты
|
||||
|
||||
**Условие:** изменение влито.
|
||||
- **PASS:** `STAGE_TRANSITIONS` / `QG_CHECKS` / `check_*` / machine-verdict ключи / схема БД —
|
||||
без изменений; правка `/metrics` (если выбрана) — **аддитивна**, `schema_version` не бампнут;
|
||||
выкат не требует рестарта прод-контейнера `orchestrator`.
|
||||
- **FAIL:** затронут любой из перечисленных контрактов или бампнут `schema_version` без ломающего
|
||||
изменения, либо выкат требует рестарта прод-орка.
|
||||
|
||||
---
|
||||
|
||||
## AC-10 — Канон конфига/тиража синхронизирован
|
||||
|
||||
**Условие:** добавлены ключи `WATCHDOG_PROC_*` / изменён compose.
|
||||
- **PASS:** ключи присутствуют и согласованы в `.env.watchdog.example` ↔ блоке `WATCHDOG_*`
|
||||
`.env.example`; описаны в `LITE_SETUP.md` и `docs/architecture/README.md` в том же PR; key-set-sync
|
||||
тест зелёный.
|
||||
- **FAIL:** ключи добавлены только в код, канон/доки тиража не обновлены (дрейф).
|
||||
|
||||
---
|
||||
|
||||
## Сводная матрица AC ↔ FR/BR
|
||||
| AC | Покрывает |
|
||||
|----|-----------|
|
||||
| AC-1 | BR-1 / FR-1, FR-2, FR-5 |
|
||||
| AC-2 | BR-2 / FR-1 |
|
||||
| AC-3 | BR-3 / FR-4 / NFR-2 |
|
||||
| AC-4 | BR-4 / FR-1, FR-6 |
|
||||
| AC-5 | NFR-4 / FR-6 |
|
||||
| AC-6 | BR-5 / FR-5 |
|
||||
| AC-7 | BR-6 / FR-3 / §7 |
|
||||
| AC-8 | NFR-1, NFR-2, NFR-6 / FR-2 |
|
||||
| AC-9 | §6 / NFR-3 / §4 |
|
||||
| AC-10 | NFR-5 / §7 |
|
||||
102
docs/work-items/ORCH-111/04-test-plan.yaml
Normal file
102
docs/work-items/ORCH-111/04-test-plan.yaml
Normal file
@@ -0,0 +1,102 @@
|
||||
work_item: ORCH-111
|
||||
stage: analysis
|
||||
author_agent: analyst
|
||||
status: ready-for-review
|
||||
created_at: 2026-06-15
|
||||
model_used: claude-opus-4-8
|
||||
title: "Watchdog alert на долго живущие pytest/дочерние процессы, блокирующие конвейер"
|
||||
framework: pytest
|
||||
scope: >
|
||||
Покрывает новый сигнал watchdog `proc_blocking`: чистый builder, конфиг/kill-switch,
|
||||
never-raise/read-only коллектор, анти-спам/recovery, отсутствие дубля с agent_hung и
|
||||
диспетч в tick(). Вне покрытия: автоматический reap/kill процессов (ремедиация — вне
|
||||
объёма задачи) и любые изменения конвейера/Quality Gates.
|
||||
notes: >
|
||||
Эталон тестируемости — чистые функции `watchdog/signals.py` + `watchdog/decision.py`
|
||||
(тесты без контейнера/сокета/таймера, см. tests/watchdog/test_decision.py,
|
||||
test_host_collector.py). TC-01 и TC-07 — ОБЯЗАТЕЛЬНЫЙ регресс-тест бага: красный до
|
||||
фикса (сигнал/диспетч отсутствуют → нет алерта на долго живущий процесс), зелёный
|
||||
после. Точная форма теста КОЛЛЕКТОРА (host-scan vs orch-/metrics enrichment) зависит
|
||||
от механизма, утверждаемого архитектором (ADR); детерминированные TC ниже якорятся на
|
||||
чистом сигнале + decision-поверхности и не зависят от выбора механизма. Полный регресс
|
||||
`pytest tests/` обязан оставаться зелёным.
|
||||
|
||||
tests:
|
||||
- id: TC-01
|
||||
type: unit
|
||||
description: >
|
||||
РЕГРЕСС (красный→зелёный): builder сигнала по записи о процессе с возрастом >
|
||||
порога и cmdline класса pytest, не принадлежащему активному джобу, возвращает
|
||||
активный Signal с ключом `proc_blocking`. До фикса — алерт отсутствует.
|
||||
module: tests/watchdog/test_proc_blocking_signal.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-02
|
||||
type: unit
|
||||
description: >
|
||||
Анти-false-positive: процесс с возрастом НИЖЕ порога ИЛИ атрибутированный активному
|
||||
отслеживаемому джобу → сигнал НЕ активен (нет алерта). Покрывает BR-4.
|
||||
module: tests/watchdog/test_proc_blocking_signal.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-03
|
||||
type: unit
|
||||
description: >
|
||||
Конфиг/kill-switch: `WATCHDOG_PROC_*` парсятся с безопасными дефолтами; дефолтный
|
||||
порог возраста превышает merge_retest_timeout_s; выключенный `WATCHDOG_PROC_ENABLED`
|
||||
делает коллектор/сигнал инертными (нулевая регрессия). Покрывает BR-6/FR-3/AC-7.
|
||||
module: tests/watchdog/test_proc_blocking_signal.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-04
|
||||
type: unit
|
||||
description: >
|
||||
never-raise/read-only коллектора: битый/пустой/недоступный источник → `[]` (один
|
||||
сигнал пропущен), без исключения; на пути нет os.kill/signal/subprocess/мутаций.
|
||||
Покрывает NFR-1/NFR-2/AC-3/AC-8.
|
||||
module: tests/watchdog/test_proc_blocking_signal.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-05
|
||||
type: unit
|
||||
description: >
|
||||
Анти-спам/recovery через decision.decide+AlertState: ALERT при пересечении порога,
|
||||
NONE в пределах cooldown, REALERT по истечении, однократный RECOVERY при исчезновении
|
||||
процесса. Покрывает BR-5/AC-6.
|
||||
module: tests/watchdog/test_proc_blocking_signal.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-06
|
||||
type: unit
|
||||
description: >
|
||||
Без дубля с agent_hung: процесс, присутствующий в /metrics agents[], не порождает
|
||||
`proc_blocking` (исключён атрибуцией к активному джобу). Покрывает NFR-4/FR-6/AC-5.
|
||||
module: tests/watchdog/test_proc_blocking_signal.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-07
|
||||
type: integration
|
||||
description: >
|
||||
РЕГРЕСС tick→dispatch: Watchdog.tick() с инъектированным коллектором, отдающим долго
|
||||
живущий блокирующий процесс, диспетчеризует `proc_blocking`-алерт через fake-Notifier;
|
||||
при выключенном флаге алерт не отправляется. Покрывает BR-1/FR-5/AC-1/AC-7.
|
||||
module: tests/watchdog/test_tick_proc_blocking_integration.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-08
|
||||
type: integration
|
||||
description: >
|
||||
Конфиг-канон/тираж: key-set `.env.watchdog.example` ↔ блок WATCHDOG_* в `.env.example`
|
||||
синхронизирован после добавления `WATCHDOG_PROC_*` (key-sync/LITE_SETUP тест зелёный).
|
||||
Покрывает NFR-5/AC-10.
|
||||
module: tests/watchdog/test_config_killswitch.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-09
|
||||
type: integration
|
||||
description: >
|
||||
Полный регресс: `pytest tests/` зелёный; конвейер/Quality Gates не затронуты
|
||||
(STAGE_TRANSITIONS/QG_CHECKS/схема БД без изменений); при orch-side варианте
|
||||
schema_version /metrics не бампнут. Покрывает AC-9.
|
||||
module: tests/
|
||||
expected: PASS
|
||||
@@ -0,0 +1,245 @@
|
||||
---
|
||||
work_item: ORCH-111
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-15
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# ADR-001: Watchdog-сигнал `proc_blocking` — алерт на долго живущий блокирующий тест-процесс
|
||||
|
||||
Work Item: **ORCH-111** — watchdog должен алертить на долго живущие pytest/дочерние процессы, блокирующие конвейер
|
||||
Стадия: **architecture**
|
||||
Сквозная регистрация: **`docs/architecture/adr/adr-0041-watchdog-orphan-test-process-alert.md`** (кросс-каттинг: новый компонентный сигнал sidecar + изменение топологии контейнера-наблюдателя).
|
||||
|
||||
## Статус
|
||||
Proposed
|
||||
|
||||
## Контекст
|
||||
|
||||
**Установленный инцидент (BRD §1).** На прод-хосте жили >2 суток осиротевшие процессы
|
||||
`python3 -m pytest tests/test_install_lite_script.py`, грузили CPU и через конкуренцию за CPU
|
||||
несколько раз валили локальный merge-gate re-test (`merge_gate.retest_branch` → `re-test timeout
|
||||
after 600s`) на ORCH-109. **Ни одного алерта** не поднялось — оператор узнал случайно.
|
||||
|
||||
**Слепая зона (сверено по коду).**
|
||||
- Sidecar-watchdog (ORCH-100, `watchdog/`, adr-0033) уже алертит `agent_hung`/`stage_stuck`/
|
||||
`container_down`/`orch_down`/`host_mem`/`queue_depth`/`job_failed`/`dep_down`.
|
||||
- `agent_hung` (`watchdog/signals.py::eval_envelope`) видит **только** running-агент-джобы: читает
|
||||
`agents[]` из `GET /metrics`, который `src/metrics.py::_build_agents` строит по
|
||||
`db.get_running_agents()` — то есть **только по `jobs.pid`**.
|
||||
- Виновные процессы — субпроцессы pytest, которые орк запускает **своим** кодом:
|
||||
`merge_gate.retest_branch` (`subprocess.run(["python","-m","pytest", target, "-q"], …)`,
|
||||
таймаут `settings.merge_retest_timeout_s=600`) и `coverage_gate.measure_coverage`
|
||||
(`pytest --cov=src`, таймаут `settings.coverage_run_timeout_s=900`). При
|
||||
`subprocess.TimeoutExpired` / timeout-kill агента (`exit_code=-9`, ORCH-109) внук-pytest
|
||||
**репарентируется на PID 1** orchestrator-контейнера (tini под `init: true` — жнёт зомби, но
|
||||
**не убивает живых** осиротевших) и продолжает жить.
|
||||
- **Контейнер `orchestrator-watchdog` сейчас не видит таблицу процессов хоста вообще**
|
||||
(`docker-compose.yml`: `network_mode: host` + read-only `docker.sock` + `/repos:ro` + `./data:ro`,
|
||||
**без** `pid: host` и **без** mount `/proc`). Между `agent_hung` (видит только треканые джобы по
|
||||
`jobs.pid`) и реальностью (осиротевший pytest вне `/metrics` и вне поля зрения sidecar) зияет дыра:
|
||||
долго живущий pytest, реально блокирующий конвейер через CPU-голодание, **не порождает сигнала**,
|
||||
пока формально ни одна стадия не `stuck`.
|
||||
|
||||
**Linux-семантика, на которую опирается решение.** Хост-namespace процессов — предок всех
|
||||
контейнерных: из корневого PID-namespace видны **все** процессы всех контейнеров (с хост-глобальными
|
||||
PID). Контейнер с `pid: host` присоединяется к этому namespace, и его `/proc` отражает хост → видит
|
||||
осиротевший pytest независимо от того, в каком контейнере он формально запущен. Это подтверждает
|
||||
факт BRD «обнаружены на хосте» (оператор делал `ps aux` в корневом namespace).
|
||||
|
||||
**Почему нужен ADR, а не lite-bug.** Закрытие дыры — развилка с последствиями для безопасности
|
||||
(привилегии наблюдателя) и для стабильного контракта `/metrics` (`schema_version`, ORCH-099). Задача
|
||||
эскалирована `escalate: full-cycle` (BRD).
|
||||
|
||||
## Решение
|
||||
|
||||
### Сводка
|
||||
Добавить в sidecar-watchdog **новый per-entity сигнал** `proc_blocking`: на каждом тике sidecar
|
||||
**сам** сканирует хостовую таблицу процессов (stdlib `/proc`), отбирает процессы тест-класса (cmdline
|
||||
матчит паттерн, дефолт `pytest`), и если возраст процесса превысил порог (заведомо больший
|
||||
максимального легитимного бюджета тест-прогона) — поднимает алерт через **существующую** машину
|
||||
`decision.decide()` / `AlertState` в собственный Telegram-канал sidecar. Watchdog процесс **не
|
||||
трогает** (только наблюдение). Механизм видимости — **watchdog-side** (`pid: host` на сервисе
|
||||
`orchestrator-watchdog`), а **не** обогащение `/metrics` орком. Изменения — строго внутри наблюдателя
|
||||
(`watchdog/**` + сервис watchdog в compose); `src/**` / `/metrics` / `STAGE_TRANSITIONS` / `QG_CHECKS`
|
||||
/ `check_*` / machine-verdict / схема БД — **не тронуты**.
|
||||
|
||||
### D1 — Механизм видимости: watchdog-side `/proc`-скан под `pid: host` (НЕ orch-side `/metrics`)
|
||||
**Решение:** sidecar получает видимость процессов хоста через `pid: host` на сервисе
|
||||
`orchestrator-watchdog` и читает `/proc` напрямую (stdlib). Отвергнут orch-side путь (обогащение
|
||||
`/metrics` разделом о бесхозных процессах).
|
||||
|
||||
Обоснование (по приоритету):
|
||||
1. **NFR-3 (self-hosting deploy-инвариант) — решающий.** Orch-side путь правит `src/metrics.py` →
|
||||
требует пересборки/**рестарта прод-контейнера `orchestrator`** → прямо запрещён NFR-3 («выкат
|
||||
пересобирает/рестартит только `orchestrator-watchdog`»). Watchdog-side путь правит только
|
||||
`watchdog/**` + сервис watchdog → удовлетворяет NFR-3.
|
||||
2. **Резилентность / покрытие именно дыры.** Осиротевший pytest опаснее всего, когда орк уже
|
||||
деградировал (CPU-голодание) или лёг. Orch-side путь в этот момент **слеп** (`/metrics`
|
||||
недоступен/тормозит → раздел не доставлен), что противоречит самой причине существования sidecar
|
||||
(C-1: наблюдатель переживает падение наблюдаемого). Watchdog-side читает `/proc` независимо от
|
||||
живости орка.
|
||||
3. **Изоляция контракта.** Watchdog-side не трогает контракт `/metrics` и `schema_version` (ORCH-099)
|
||||
вовсе.
|
||||
|
||||
Привязка: NFR-3, BR-1, C-1.
|
||||
|
||||
### D2 — Анти-false-positive и отсутствие дубля с `agent_hung` — **по построению**, без матчинга PID
|
||||
Два структурных свойства, не требующих ненадёжного кросс-namespace сопоставления PID (при `pid: host`
|
||||
sidecar видит хост-глобальные PID, а `/metrics agents[].pid` — PID в namespace орка; они не совпадают):
|
||||
|
||||
- **Скоуп по cmdline.** `proc_blocking` рассматривает **только** процессы, чья cmdline матчит
|
||||
тест-класс (дефолт-паттерн `pytest`). Агент-процессы `claude` (которые покрывает `agent_hung`)
|
||||
**никогда** не матчат `pytest` → нулевое пересечение с `agent_hung` (NFR-4 / AC-5 **по
|
||||
построению**). Сами pytest-субпроцессы орк запускает своим кодом (merge/coverage-гейты), они
|
||||
**никогда** не треканы как джобы → `agent_hung` их и не покрывает. Два сигнала разбивают
|
||||
пространство процессов по cmdline.
|
||||
- **Порог возраста > макс. легитимного бюджета.** Легитимный in-flight прогон ограничен
|
||||
`merge_retest_timeout_s=600s` и `coverage_run_timeout_s=900s`. При
|
||||
`WATCHDOG_PROC_AGE_MIN*60 > max(600,900)=900s` легитимный прогон **всегда** ниже порога (BR-4 /
|
||||
AC-4 **по построению**). Это и есть «атрибуция активному джобу» из FR-1/FR-6: процесс в пределах
|
||||
бюджета физически не может перерасти порог. Кросс-namespace матчинг PID не нужен (и ненадёжен) —
|
||||
возраст namespace-агностичен.
|
||||
|
||||
**Кросс-инвариант (фиксируется ADR):** дефолтный порог **обязан** превышать максимум
|
||||
`max(merge_retest_timeout_s, coverage_run_timeout_s)`. Дефолт `WATCHDOG_PROC_AGE_MIN=60` (мин) =
|
||||
3600s — 4× запас над 900s; меняя `merge_retest_timeout_s`/`coverage_run_timeout_s` вверх,
|
||||
поднимай порог. Привязка: BR-4, NFR-4, AC-4, AC-5.
|
||||
|
||||
### D3 — Коллектор `watchdog/collectors/proc.py` (stdlib `/proc`-скан)
|
||||
**Создать** leaf-коллектор по образцу `collectors/host.py`. Контракт **фиксирован** (NFR-1/2/6):
|
||||
- **stdlib-only:** читает `/proc/stat` (`btime` — момент загрузки) + `os.sysconf("SC_CLK_TCK")`;
|
||||
итерирует числовые `/proc/<pid>`; `/proc/<pid>/cmdline` (NUL-разделённое → join пробелом) →
|
||||
матч паттерна; `/proc/<pid>/stat` поле 22 (`starttime` в тиках) → `age_s = now - (btime +
|
||||
starttime/clk_tck)`; поля 14+15 (`utime+stime`) → `cpu_s = (utime+stime)/clk_tck` (накопленное
|
||||
CPU-время, **информационно** для BR-2; в активацию НЕ входит).
|
||||
- **read-only:** только открытие файлов на чтение. **Запрещены** `os.kill`, отправка сигналов,
|
||||
`subprocess.Popen/run`, любые мутации ФС/процессов. **Никогда не читает `/proc/<pid>/environ`**
|
||||
(там секреты).
|
||||
- **never-raise:** per-pid guard (один нечитаемый/исчезнувший `/proc/<pid>` пропускается, не роняя
|
||||
список — гонка «процесс умер между listdir и read» нормальна); top-level guard → `[]`.
|
||||
- Выход — список записей `{pid, cmdline, age_s, cpu_s?, start_ticks}`; чистый разбор отделён от I/O
|
||||
(тестируемо на фикстурах `/proc`-текста, без реального хоста).
|
||||
|
||||
Привязка: FR-2, NFR-1, NFR-2, NFR-6, AC-8.
|
||||
|
||||
### D4 — Чистый builder `proc_signals` + синтез RECOVERY для исчезнувшего процесса
|
||||
**Builder** в `watchdog/signals.py` (по образцу `container_signals`/`host_signals`): по списку
|
||||
кандидатов и конфигу возвращает `Signal`-объекты.
|
||||
- **Ключ** — per-entity `("proc_blocking", pid)` (зеркало `("container_down", name)`).
|
||||
- **active=True** ⇔ `age_s > cfg.proc_age_s` (cmdline уже отфильтрована коллектором по паттерну).
|
||||
- **title/detail** — действенные (RU, в стиле существующих): фрагмент cmdline + PID + возраст (сек) +
|
||||
(при наличии) CPU-время (BR-2). Cmdline-фрагмент **усечь** до ограниченной длины (анти-утечка
|
||||
случайных аргументов в канал; см. риск R-2).
|
||||
|
||||
**RECOVERY для исчезнувшего процесса (новый аспект, AC-6).** `container_down` авто-recovery'ится
|
||||
лишь потому, что набор имён статичен (Signal строится на каждый сконфигурированный контейнер). А
|
||||
`agent_hung`/`stage_stuck` emit'ят сигнал **только** когда active=True → при исчезновении сущности
|
||||
**не** recovery'ятся (известное ограничение). AC-6 **требует однократный RECOVERY при исчезновении
|
||||
процесса**. Решение, **переиспользующее** `decide()`/`AlertState` (FR-5 — никакой отдельной
|
||||
анти-спам-логики): в `core.tick()` после построения сигналов по текущим кандидатам **синтезировать**
|
||||
`Signal(active=False)` для каждого ключа в `self._states` с префиксом `"proc_blocking"`, который
|
||||
`alerting=True`, но **отсутствует** в множестве текущих наблюдаемых ключей → `decide()` даёт
|
||||
`RECOVERY` один раз и чистит состояние. Это per-family bookkeeping, не новая throttle-логика.
|
||||
PID-recycling — редкий край: естественный цикл vanish→recovery→new-alert корректен; опциональное
|
||||
усиление ключа — добавить `start_ticks` (`("proc_blocking", pid, start_ticks)`).
|
||||
|
||||
Привязка: FR-1, FR-5, BR-2, BR-5, AC-6.
|
||||
|
||||
### D5 — Конфиг + kill-switch (дефолт-off)
|
||||
В `watchdog/config.py` добавить ключи (never-raise парсеры `_bool`/`_float`/`_csv`):
|
||||
|
||||
| Ключ | Тип | Дефолт | Смысл |
|
||||
|------|-----|--------|-------|
|
||||
| `WATCHDOG_PROC_ENABLED` | bool | **`false`** | kill-switch / осознанный opt-in (зеркало `WATCHDOG_DISK_CRIT_ENABLED`) |
|
||||
| `WATCHDOG_PROC_AGE_MIN` | float (мин) | `60` | порог возраста; **обязан** > `max(merge_retest_timeout_s, coverage_run_timeout_s)/60` (D2) |
|
||||
| `WATCHDOG_PROC_PATTERNS` | CSV | `pytest` | паттерны cmdline тест-класса (substring-матч) |
|
||||
| `WATCHDOG_PROC_COOLDOWN_S` | float | `1800` | per-signal cooldown (через `Signal.cooldown_s`, уже есть) |
|
||||
|
||||
Derived `proc_age_s = proc_age_min*60` (как `agent_hung_s`/`stage_stuck_s`). **Дефолт-off** — потому
|
||||
что `proc_blocking` требует привилегии `pid: host` (D6) и осознанного включения (BR-6/NFR-3). При
|
||||
`WATCHDOG_PROC_ENABLED=false` коллектор в `core.tick()` **не вызывается** (гейт как у `_collect_disk`
|
||||
на `disk_crit_enabled`) → нулевой оверхед и нулевая регрессия (AC-7).
|
||||
|
||||
Привязка: FR-3, BR-6, NFR-1, AC-7.
|
||||
|
||||
### D6 — Топология: `pid: host` **только** на `orchestrator-watchdog`
|
||||
Аддитивная однострочная правка сервиса `orchestrator-watchdog` в `docker-compose.yml`: `pid: host`.
|
||||
Под `pid: host` контейнерный `/proc` автоматически отражает хостовый namespace — **отдельный
|
||||
mount `/proc` не нужен**. `pid: host` — НЕ volume, поэтому существующий тест
|
||||
`tests/watchdog/test_compose_service.py::test_host_paths_mounted_read_only` (требует `:ro` на каждом
|
||||
**volume**) остаётся зелёным; разработчик добавляет позитивный тест на наличие `pid: host`.
|
||||
**Привилегия — только у наблюдателя**, обоснование/риски — `07-infra-requirements.md` + R-2 ниже.
|
||||
Деплой: пересобрать/рестартить **только** `orchestrator-watchdog`; прод `orchestrator` **не**
|
||||
трогается (NFR-3). Для Lite/Bundled (ORCH-102/103) `pid: host` становится частью канонического
|
||||
compose sidecar; сигнал дефолт-off → нулевое изменение поведения тиражных инсталляций.
|
||||
|
||||
Привязка: NFR-3, BR-1, BR-6, AC-9.
|
||||
|
||||
### D7 — Диспетч и инварианты конвейера
|
||||
Новый сигнал диспетчеризуется в `core.tick()` тем же путём `decision.decide(...)` + `self._states[key]`
|
||||
+ `self._send(...)`: ALERT на пересечении порога, REALERT по cooldown, RECOVERY при исчезновении
|
||||
(D4). Никакой отдельной анти-спам-логики (FR-5). Инварианты (AC-9, byte-for-byte):
|
||||
`STAGE_TRANSITIONS` / `QG_CHECKS` / `check_*` / machine-verdict (`verdict:`/`result:`/`deploy_status:`/
|
||||
`staging_status:`/`security_status:`/`coverage_status:`) / схема БД / `/metrics`+`schema_version`
|
||||
— **не тронуты**. Watchdog — наблюдатель вне процесса орка и вне Quality Gates (как
|
||||
`disk_watchdog`/`reaper`/`reconciler`).
|
||||
|
||||
## Альтернативы
|
||||
- **(b) Orch-side обогащение `/metrics` разделом о бесхозных процессах** — отвергнуто: правит
|
||||
`src/**` → рестарт прод-`orchestrator` (нарушение NFR-3); слеп именно когда орк деградировал
|
||||
(нарушение C-1); новая поверхность контракта `/metrics`. (D1.)
|
||||
- **Bind-mount хостового `/proc:ro` вместо `pid: host`** — даёт ту же видимость через read-only
|
||||
volume (паттерн node_exporter `--path.procfs`), но привилегия **эквивалентна** (`/proc/<pid>/environ`
|
||||
читаем при обоих) и `/proc`-mount имеет краевые особенности; `pid: host` идиоматичнее и согласован
|
||||
с уже-host-network-наблюдателем. Остаётся валидной заменой, если оператор предпочитает не делить
|
||||
PID-namespace. (D6.)
|
||||
- **Расширить `agent_hung` на нетреканые процессы** — отвергнуто: дубль/смешение классов (NFR-4); у
|
||||
sidecar нет `jobs.pid` для нетреканых, а кросс-namespace PID не совпадают.
|
||||
- **Реакция (kill/reap осиротевших)** — вне объёма (жёсткое ограничение заказчика BR-3): задача —
|
||||
только мониторинг; reap — отдельная задача (ремедиация).
|
||||
- **Дефолт-on сигнала** — отвергнуто: привилегия `pid: host` + риск false-positive требуют осознанного
|
||||
включения; зеркало `WATCHDOG_DISK_CRIT_ENABLED=false`.
|
||||
|
||||
## Последствия
|
||||
- **+** Закрыта дыра наблюдаемости: долго живущий блокирующий pytest даёт ранний адресный алерт
|
||||
(PID/cmdline/возраст), даже если орк лёг и ни одна стадия формально не `stuck`.
|
||||
- **+** Строго read-only + never-raise + дефолт-off + изменения только в наблюдателе ⇒
|
||||
self-hosting-безопасно; enduro не затронут; конвейер byte-for-byte; deploy без рестарта прод-орка
|
||||
(NFR-3).
|
||||
- **+** Анти-false-positive и отсутствие дубля с `agent_hung` — структурно (cmdline-скоуп + порог
|
||||
возраста), а не хрупким матчингом PID.
|
||||
- **−** Расширение привилегии наблюдателя (`pid: host`): sidecar видит таблицу процессов хоста.
|
||||
Митигейшн: привилегия read-only и **меньше**, чем уже смонтированный `docker.sock` (полная
|
||||
интроспекция контейнеров); код читает **только** `/stat`+`/cmdline`, никогда `/environ`; сигнал
|
||||
дефолт-off; cmdline в алерте усечена. (R-1/R-2.)
|
||||
- **−** Новая поверхность совместимости с `/proc`-форматом (Linux-специфично); на не-Linux/битом
|
||||
`/proc` коллектор → `[]` (один сигнал тих). Митигейшн: чистый разбор + фикстуры.
|
||||
- **−** Канон тиража: при добавлении ключей/правке compose — синхронизировать в **том же PR**
|
||||
`.env.watchdog.example` ↔ блок `WATCHDOG_*` `.env.example`, `docs/deployment/LITE_SETUP.md`,
|
||||
`docs/architecture/README.md` (NFR-5; key-sync `tests/test_lite_setup_doc.py`).
|
||||
- **Масштаб:** новый компонентный сигнал + изменение топологии/привилегий наблюдателя →
|
||||
рекомендуется лейбл **`arch:major-change`**; прод-выкат — через staging-эквивалент sidecar
|
||||
(smoke на staging-хосте), без рестарта прод-`orchestrator`.
|
||||
- **Откат:** `WATCHDOG_PROC_ENABLED=false` (мгновенный, привилегия дремлет) или удаление
|
||||
`watchdog/collectors/proc.py` + builder/врезки + ключей + `pid: host` — без следов в БД/схеме/
|
||||
контракте `/metrics`.
|
||||
|
||||
## Ссылки
|
||||
- BRD: `docs/work-items/ORCH-111/01-brd.md`
|
||||
- TRZ: `docs/work-items/ORCH-111/02-trz.md`
|
||||
- Acceptance: `docs/work-items/ORCH-111/03-acceptance-criteria.md`
|
||||
- Инфра: `docs/work-items/ORCH-111/07-infra-requirements.md`
|
||||
- Риски: `docs/work-items/ORCH-111/10-tech-risks.md`
|
||||
- Сквозной ADR: `docs/architecture/adr/adr-0041-watchdog-orphan-test-process-alert.md`
|
||||
- Связанные ADR: `adr-0033` (sidecar-watchdog F1b — машина `decide`/`AlertState`/never-raise),
|
||||
`adr-0030` (контракт `/metrics`/`schema_version` — НЕ трогаем), `adr-0024` (disk-watchdog — образец
|
||||
pure-решающей функции + dedup), `adr-0040` (ORCH-109 timeout-kill `-9` — источник осиротения).
|
||||
- Сверено по коду: `watchdog/{core,signals,config,decision,notify}.py`,
|
||||
`watchdog/collectors/{host,orch}.py`, `docker-compose.yml` (сервис `orchestrator-watchdog`),
|
||||
`src/merge_gate.py::retest_branch`, `src/coverage_gate.py::measure_coverage`,
|
||||
`src/config.py` (`merge_retest_timeout_s=600`, `coverage_run_timeout_s=900`),
|
||||
`tests/watchdog/test_compose_service.py`, `tests/test_lite_setup_doc.py`.
|
||||
</content>
|
||||
62
docs/work-items/ORCH-111/07-infra-requirements.md
Normal file
62
docs/work-items/ORCH-111/07-infra-requirements.md
Normal file
@@ -0,0 +1,62 @@
|
||||
---
|
||||
work_item: ORCH-111
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-15
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 07 — Инфра-требования: ORCH-111 — watchdog-алерт на долго живущий тест-процесс
|
||||
|
||||
Work Item: **ORCH-111** · Repo: **orchestrator** · Стадия: architecture
|
||||
|
||||
> Применимо: меняется топология контейнера-наблюдателя (`pid: host`) и добавляются env-ключи
|
||||
> watchdog. Решение — `06-adr/ADR-001` + сквозной `adr-0041`.
|
||||
|
||||
## I-1. Топология / окружения
|
||||
- **Изменение:** сервису `orchestrator-watchdog` в `docker-compose.yml` добавляется **`pid: host`**
|
||||
(ADR-001 D6). Под `pid: host` контейнерный `/proc` отражает корневой PID-namespace хоста →
|
||||
watchdog видит таблицу процессов хоста (включая осиротевшие pytest, репарентированные на tini
|
||||
orchestrator-контейнера). **Отдельный mount `/proc` не требуется** (procfs зависит от namespace
|
||||
читателя).
|
||||
- `pid: host` — **НЕ volume** → существующий тест `tests/watchdog/test_compose_service.py::
|
||||
test_host_paths_mounted_read_only` (требует `:ro` на каждом volume) остаётся зелёным; разработчик
|
||||
добавляет позитивный тест на наличие `pid: host`.
|
||||
- Привилегия — **только у наблюдателя** (`orchestrator-watchdog`). Прод `orchestrator` и
|
||||
`orchestrator-staging` **не** меняются. Прочие тома/порты/сеть watchdog — без изменений
|
||||
(`network_mode: host`, `docker.sock:ro`, `/repos:ro`, `./data:ro`, `mem_limit: 128m`).
|
||||
- **Тираж (Lite/Bundled, ORCH-102/103):** `pid: host` входит в канонический compose sidecar; сигнал
|
||||
дефолт-off → нулевое изменение поведения у тиражных инсталляций.
|
||||
|
||||
## I-2. Переменные окружения / секреты
|
||||
- **Новые ключи** (ADR-001 D5), парсеры never-raise:
|
||||
| Ключ | Дефолт | Смысл |
|
||||
|------|--------|-------|
|
||||
| `WATCHDOG_PROC_ENABLED` | `false` | kill-switch / осознанный opt-in |
|
||||
| `WATCHDOG_PROC_AGE_MIN` | `60` | порог возраста (мин); **обязан** > `max(merge_retest_timeout_s=600, coverage_run_timeout_s=900)/60` |
|
||||
| `WATCHDOG_PROC_PATTERNS` | `pytest` | CSV паттернов cmdline (substring-матч) |
|
||||
| `WATCHDOG_PROC_COOLDOWN_S` | `1800` | per-signal cooldown |
|
||||
- **Канон тиража (NFR-5 / AC-10):** ключи добавить в **том же PR** в `.env.watchdog.example` **И** в
|
||||
блок `WATCHDOG_*` `.env.example` (равенство множеств держит `tests/test_lite_setup_doc.py`
|
||||
TC-02b) + описать в `docs/deployment/LITE_SETUP.md` и `docs/architecture/README.md`.
|
||||
- **Секреты:** новых нет. Канал алертов — существующий `WATCHDOG_TG_*` (свой бот sidecar, C-1).
|
||||
- **На прод-хосте (разово, человек):** в `.env.watchdog` выставить `WATCHDOG_PROC_ENABLED=true`
|
||||
(включение сигнала; без этого — дремлет).
|
||||
|
||||
## I-3. Деплой / рестарт
|
||||
- **Self-hosting инвариант (NFR-3):** выкат пересобирает/рестартит **только** контейнер
|
||||
`orchestrator-watchdog` (`docker compose up -d --build orchestrator-watchdog`). Прод-контейнер
|
||||
`orchestrator` **НЕ** перезапускается (иначе встанет конвейер всех проектов, включая enduro).
|
||||
- Прод-выкат sidecar — через staging-эквивалент (smoke на staging-хосте перед прод): проверить, что
|
||||
под `pid: host` коллектор видит процессы, сигнал поднимается на синтетическом старом pytest и молчит
|
||||
при дефолт-off.
|
||||
- **Откат:** `WATCHDOG_PROC_ENABLED=false` (мгновенный; привилегия дремлет) либо снятие `pid: host` +
|
||||
рестарт только sidecar.
|
||||
|
||||
## I-4. CI/CD
|
||||
- Без изменений `.gitea/workflows/`. Новые тесты — `tests/watchdog/test_proc_blocking_signal.py`,
|
||||
`tests/watchdog/test_tick_proc_blocking_integration.py` (TRZ §2) — исполняются существующим
|
||||
`pytest tests/`. Key-sync (`test_lite_setup_doc.py`) и compose-тесты watchdog должны остаться
|
||||
зелёными.
|
||||
</content>
|
||||
38
docs/work-items/ORCH-111/10-tech-risks.md
Normal file
38
docs/work-items/ORCH-111/10-tech-risks.md
Normal file
@@ -0,0 +1,38 @@
|
||||
---
|
||||
work_item: ORCH-111
|
||||
stage: architecture
|
||||
author_agent: architect
|
||||
status: proposed
|
||||
created_at: 2026-06-15
|
||||
model_used: claude-opus-4-8
|
||||
---
|
||||
|
||||
# 10 — Технические риски: ORCH-111 — watchdog-алерт на долго живущий тест-процесс
|
||||
|
||||
Work Item: **ORCH-111** · Repo: **orchestrator** · Стадия: architecture
|
||||
|
||||
> Информационный (гейтом не парсится). Риски реализации и их митигейшн.
|
||||
|
||||
## Реестр рисков
|
||||
|
||||
| ID | Риск | Вер. | Влия. | Митигейшн |
|
||||
|----|------|------|-------|-----------|
|
||||
| TR-1 | **Расширение привилегии наблюдателя** (`pid: host`): sidecar видит таблицу процессов всего хоста (все контейнеры). | Сред. | Сред. | Привилегия **read-only** и **меньше**, чем уже-смонтированный `docker.sock` (полная интроспекция контейнеров); код читает **только** `/proc/<pid>/{stat,cmdline}`, **никогда** `/proc/<pid>/environ`; сигнал дефолт-off; обоснование в ADR-001 D1/D6 + adr-0041. (NFR-2/AC-3) |
|
||||
| TR-2 | **Утечка секретов через cmdline** в Telegram-алерт (если тест-команда содержит чувствительный аргумент). | Низ. | Сред. | Скоуп паттерна — `pytest` (не принимает секретов в аргументах); cmdline в detail **усекать** до ограниченного фрагмента; канал — приватный бот оператора (C-1). |
|
||||
| TR-3 | **Ложные срабатывания** на легитимном длинном прогоне → спам. | Низ. | Сред. | Порог возраста **обязан** > `max(merge_retest_timeout_s=600, coverage_run_timeout_s=900)`; дефолт `WATCHDOG_PROC_AGE_MIN=60` мин (4× запас); cmdline-скоуп; дедуп/cooldown через `decision.decide`/`AlertState` (BR-4/BR-5, по построению D2). |
|
||||
| TR-4 | **Кросс-namespace PID не совпадают** (`pid: host` даёт хост-глобальные PID; `/metrics agents[].pid` — namespace орка) → ненадёжная атрибуция «процесс активного джоба». | Сред. | Низ. | Атрибуция **не** через PID, а через порог возраста (namespace-агностичен) + cmdline-скоуп; дубль с `agent_hung` исключён по построению (claude ≠ pytest). ADR-001 D2. |
|
||||
| TR-5 | **Отсутствие RECOVERY** для исчезнувшего процесса (динамический per-entity ключ — как у `agent_hung`/`stage_stuck`, которые не recovery'ятся при пропадании сущности). | Сред. | Низ. | Синтез `Signal(active=False)` для `proc_blocking`-ключей, alerting=True но исчезнувших из наблюдаемых → один RECOVERY через `decide()` (ADR-001 D4, AC-6). Покрыть интеграционным тестом tick→recovery. |
|
||||
| TR-6 | **PID-recycling**: PID переиспользован после смерти орфана → ложная пара recovery+new-alert. | Низ. | Низ. | Естественный цикл vanish→recovery→new-alert корректен; опционально усилить ключ `("proc_blocking", pid, start_ticks)`. |
|
||||
| TR-7 | **never-raise регресс**: гонка «процесс умер между `listdir(/proc)` и `read`» или битый `/proc` роняет тик. | Низ. | Выс. | Per-pid guard (skip), top-level guard → `[]`; чистый разбор отделён от I/O и покрыт фикстурами; AC-8. |
|
||||
| TR-8 | **Дрейф канона тиража**: ключи добавлены в код, но не синхронизированы в `.env.example`/`.env.watchdog.example`/`LITE_SETUP.md`. | Сред. | Низ. | Key-sync `tests/test_lite_setup_doc.py` (TC-02b) красит PR; норматив NFR-5 «обновить в том же PR»; reviewer-ось ORCH-079 (доки). |
|
||||
| TR-9 | **Не-Linux / нет `/proc`** (тиражная инсталляция на не-Linux) → сигнал не работает. | Низ. | Низ. | Коллектор → `[]` (один сигнал тих, тик жив); сигнал дефолт-off; Linux-специфичность задокументирована (как CPU-liveness `agent_hung`). |
|
||||
|
||||
## Сводный вывод
|
||||
Доминирующий класс — **безопасность наблюдателя** (TR-1/TR-2: привилегия `pid: host` + видимость
|
||||
cmdline). Остаточный риск для прод-конвейера **низкий**: все изменения строго в наблюдателе
|
||||
(`watchdog/**` + сервис watchdog), read-only, never-raise, дефолт-off; `src/**` / `/metrics` /
|
||||
`STAGE_TRANSITIONS` / `QG_CHECKS` / `check_*` / схема БД — не тронуты; выкат не рестартит прод-`orchestrator`
|
||||
(NFR-3). Эскалация: рекомендуется лейбл **`arch:major-change`** (изменение топологии/привилегий
|
||||
наблюдателя + новый компонентный сигнал). Возврат в анализ **не требуется** — ТЗ удовлетворяется без
|
||||
нарушения принципов архитектуры (всё в Docker на одном сервере, stdlib-only, без новых зависимостей).
|
||||
</content>
|
||||
156
docs/work-items/ORCH-111/12-review.md
Normal file
156
docs/work-items/ORCH-111/12-review.md
Normal file
@@ -0,0 +1,156 @@
|
||||
---
|
||||
verdict: APPROVED
|
||||
work_item: ORCH-111
|
||||
stage: review
|
||||
author_agent: reviewer
|
||||
status: approved
|
||||
created_at: 2026-06-15
|
||||
model_used: claude-opus-4-8
|
||||
type: review
|
||||
work_item_id: ORCH-111
|
||||
version: 2
|
||||
---
|
||||
|
||||
# Review ORCH-111
|
||||
|
||||
## Summary
|
||||
|
||||
PR добавляет в sidecar-watchdog opt-in сигнал `proc_blocking` — алерт на долго живущий осиротевший
|
||||
тест-процесс (pytest), репарентированный на хост и грузящий CPU (инцидент: осиротевший
|
||||
`test_install_lite_script.py` жил >2 суток без единого алерта и через CPU-голодание валил merge-gate
|
||||
re-test на ORCH-109). Изменение **строго внутри наблюдателя** (`watchdog/**` + одна строка `pid: host`
|
||||
в сервисе `orchestrator-watchdog` `docker-compose.yml`).
|
||||
|
||||
Проверено по всем 4 осям, с независимой верификацией (прогон тестов, скан запрещённых вызовов, сверка
|
||||
`src/` diff, сверка key-sync канона, атрибуция деплой-фейла). **Замечаний уровня P0/P1 нет.**
|
||||
`src/**` — байт-в-байт не тронут (`git diff origin/main…HEAD -- src/` пуст), конвейерные контракты
|
||||
сохранены, документация наблюдателя обновлена в том же PR, watchdog+key-sync тесты зелёные
|
||||
(**125 passed** на текущем HEAD). **Вердикт: APPROVED.**
|
||||
|
||||
> **Re-review (v2).** Задача вернулась на `review` после `deploy_status: FAILED` (`hook_exit_code: 1`,
|
||||
> ORCH-036 self-deploy). Деплой-фейл **расследован и НЕ относится к диффу** (см. раздел «Атрибуция
|
||||
> деплой-фейла» ниже): normal-deploy хука рестартит **только** сервис `orchestrator` (retag
|
||||
> прев-валидированного образа + health-check порта 8500), сервис `orchestrator-watchdog` он **не
|
||||
> трогает** — правка `pid: host` физически не могла вызвать exit 1. Это деплой-инфра/окружение
|
||||
> (CPU-голодание хоста — ровно тот класс осиротевших процессов, который и закрывает эта задача), не
|
||||
> ось code-review. Дифф с момента прошлого review/testing **кодово не менялся** (поздний developer
|
||||
> commit run 680 добавил только детерминированные gate-артефакты `17-security-report.md`/
|
||||
> `18-coverage-report.md`). Подтверждаю APPROVED на тех же основаниях.
|
||||
|
||||
### Сверка по осям
|
||||
|
||||
**1. Соответствие ТЗ / Acceptance Criteria — PASS.**
|
||||
- FR-1 (`watchdog/signals.py::proc_signals` — чистый builder, per-entity key `("proc_blocking", pid)`,
|
||||
active ⇔ `age_s > cfg.proc_age_s`, действенный RU-`detail`: PID + возраст(с) + усечённый cmdline
|
||||
≤120 + накопленное CPU) — ✓.
|
||||
- FR-2 (`watchdog/collectors/proc.py` — stdlib-only `/proc`-скан, read-only, never-raise → `[]`,
|
||||
чистый разбор `parse_btime`/`parse_pid_stat`/`decode_cmdline`/`matches_patterns` отделён от I/O
|
||||
`collect_candidates`, инъектируемые `proc_root`/`now`/`clk_tck`/`read_*` для тестов на фейк-`/proc`) — ✓.
|
||||
- FR-3 (4 ключа `WATCHDOG_PROC_*`, парсеры `_bool`/`_float`/`_csv` never-raise, дефолт-off,
|
||||
derived `proc_age_s`) — ✓.
|
||||
- FR-4 (только наблюдение — нет `os.kill`/сигналов/`subprocess`/мутаций/чтения `/proc/<pid>/environ`;
|
||||
независимо подтвердил grep'ом: совпадения только в докстрингах-контракте) — ✓.
|
||||
- FR-5 (диспетч `core.tick()` через существующую `decision.decide()`/`AlertState`; RECOVERY
|
||||
синтезируется `_synthesize_proc_recoveries` без новой анти-спам-логики — per-family bookkeeping) — ✓.
|
||||
- FR-6 (без дубля с `agent_hung` — по построению: cmdline-скоуп `pytest` ≠ `claude` + порог возраста
|
||||
выше бюджета; кросс-namespace матчинг PID не нужен) — ✓.
|
||||
- AC-1…AC-10 покрыты: TC-01 (red→green builder), TC-02 (граница strict `>`), TC-03 (конфиг/kill-switch),
|
||||
TC-04 (never-raise/read-only AST), TC-05 (alert→none→realert→recovery→no-repeat), TC-06 (partition
|
||||
vs agent_hung), TC-07 (red→green tick→dispatch «алерт даже когда ни одна стадия не stuck» + flag-off
|
||||
+ collector-explodes), TC-12 (compose `pid: host` + прод-orch его НЕ получает), key-sync.
|
||||
- §7 (порог): дефолт `WATCHDOG_PROC_AGE_MIN=60` (=3600s) > `max(merge_retest_timeout_s=600,
|
||||
coverage_run_timeout_s=900)=900s` (4× запас) — кросс-инвариант D2 соблюдён (анти-false-positive AC-4).
|
||||
|
||||
**2. Соответствие ADR — PASS.**
|
||||
- Реализация 1:1 соответствует ADR-001: D1 (watchdog-side `/proc` под `pid: host`, НЕ orch-side
|
||||
`/metrics`), D2 (анти-FP/анти-дубль по построению), D3 (коллектор), D4 (builder + синтез RECOVERY
|
||||
для исчезнувшего PID), D5 (конфиг дефолт-off), D6 (`pid: host` **только** на `orchestrator-watchdog`),
|
||||
D7 (инварианты конвейера). PID-recycling — осознанный край ADR D4 (start_ticks в ключ не добавлен;
|
||||
«опциональное усиление»), допустимо.
|
||||
- Сквозной `docs/architecture/adr/adr-0041-watchdog-orphan-test-process-alert.md` присутствует.
|
||||
- **Трассировка (TRACEABILITY.md):** правки `watchdog/{core,signals,config}.py` + сервиса watchdog —
|
||||
аддитивные врезки, гейтированные на `proc_enabled`; маркированные инварианты предшественников
|
||||
(ORCH-100 sidecar `decide`/`AlertState`/never-raise; read-only-маунты) не сломаны. Существующий
|
||||
`test_host_paths_mounted_read_only` остаётся зелёным (`pid` — не volume), добавлен позитивный
|
||||
`test_watchdog_shares_host_pid_namespace`.
|
||||
- Глобальные инварианты (AC-9): `STAGE_TRANSITIONS` / `QG_CHECKS` / `check_*` / machine-verdict /
|
||||
схема БД / `/metrics`+`schema_version` — **байт-в-байт не тронуты** (подтверждено: `git diff` по
|
||||
`src/` пуст).
|
||||
|
||||
**3. Качество кода — PASS.**
|
||||
- Docstrings на всех публичных функциях (коллектор/builder/synth/tick) — содержательные, со ссылками
|
||||
на D-решения ADR.
|
||||
- Тесты содержательные, не тривиальные: red→green регресс-якоря (TC-01 builder, TC-07 tick→dispatch),
|
||||
граничный strict `>`, патологический `comm` со скобками/пробелами, NUL-cmdline, гонка «pid исчез
|
||||
mid-scan», AST-скан read-only-контракта, полная последовательность alert→none→realert→recovery.
|
||||
- **Регресс-тест дефекта (ORCH-019 BR-4 / усиление):** задача эскалирована `escalate: full-cycle`
|
||||
(прошла `architecture`, не bug-fast-track), но несёт явные тест-фиксаторы дефекта (TC-01 builder,
|
||||
TC-07 tick→dispatch — оба red→green) — требование «фикс кода несёт тест-фиксатор» выполнено.
|
||||
- Безопасность: read-only (per-pid + top-level guard), never-raise, `/proc/<pid>/environ` не читается
|
||||
(секреты, R-2), cmdline усечена до 120 (анти-утечка аргументов). Привилегия `pid: host` — read-only,
|
||||
только у наблюдателя, обоснована в `07-infra-requirements.md`; меньше уже-смонтированного
|
||||
`docker.sock`.
|
||||
- Корректность вычислений: `age_s = now − (btime + starttime/clk_tck)`, `cpu_s = (utime+stime)/clk_tck`,
|
||||
`clk_tck` с безопасным фолбэком 100 — верно; CPU вне активации (информационно), как требует ADR.
|
||||
|
||||
**4. Документация — PASS.**
|
||||
- `src/**` НЕ изменён → жёсткое правило «src изменён, доки нет → P0» не активируется; доки наблюдателя
|
||||
обновлены в том же PR независимо: `CHANGELOG.md`, `docs/architecture/README.md` (раздел
|
||||
`proc_blocking`), `docs/deployment/LITE_SETUP.md` (opt-in блок + «Проверка»), ADR work-item
|
||||
`06-adr/ADR-001` + сквозной `adr-0041`, `.env.watchdog.example` ↔ блок `WATCHDOG_*` `.env.example`
|
||||
(4 ключа синхронизированы 1:1, key-sync `tests/test_lite_setup_doc.py` зелёный).
|
||||
- Витрина `docs/overview/` (ORCH-011): sidecar-watchdog описан абстрактно (каталог сигналов не
|
||||
перечисляет); новый opt-in (дефолт-off) сигнал абстрактную формулировку не противоречит,
|
||||
машинно-проверяемые факты не меняет → обновление витрины не обязательно (не P1).
|
||||
- Стадийное владение артефактами соблюдено (rule 3/4): ретроактивных правок ТЗ/ADR нет.
|
||||
|
||||
## Атрибуция деплой-фейла (вне оси code-review, информационно)
|
||||
|
||||
`14-deploy-log.md` фиксирует `deploy_status: FAILED` / `hook_exit_code: 1`. Расследование:
|
||||
- Normal-deploy `scripts/orchestrator-deploy-hook.sh` (шаги 2b/3/4) выполняет **retag
|
||||
прев-валидированного `SOURCE_IMAGE`** на `orchestrator` + `docker compose up -d --no-build
|
||||
$TARGET_SERVICE` **только для сервиса `orchestrator`** + health-check **порта 8500**. Сервис
|
||||
`orchestrator-watchdog` хук **не пересобирает и не рестартит**.
|
||||
- Следовательно правка `pid: host` (только в watchdog-сервисе) и весь код `watchdog/**`
|
||||
**физически не участвуют** в этом деплое и не могли дать exit 1.
|
||||
- Признаки в истории (`chore: retrigger merge-gate re-test (flaked under host CPU starvation)`)
|
||||
указывают на CPU-голодание хоста — ровно тот класс осиротевших pytest-процессов, который и
|
||||
закрывает ORCH-111. Это деплой-инфра/окружение, не дефект диффа.
|
||||
- **Путь вперёд** — повторный прод-деплой после стабилизации хоста (вне ответственности reviewer);
|
||||
блокировать review по инфра-фейлу деплоя нет оснований.
|
||||
|
||||
## Findings
|
||||
|
||||
### P0 — Blocker
|
||||
- Нет.
|
||||
|
||||
### P1 — Must fix
|
||||
- Нет.
|
||||
|
||||
### P2 — Should fix
|
||||
- Нет.
|
||||
|
||||
### P3 — Nice to have (не блокируют)
|
||||
- [ ] `watchdog/collectors/proc.py:202` — опечатка в комментарии top-level `except`: «one signal tih»
|
||||
→ «one signal **тих**» (косметика).
|
||||
- [ ] `core.py::_dispatch`: после RECOVERY ключ `("proc_blocking", pid)` остаётся в `self._states`
|
||||
с `alerting=False` навсегда (мелкое неограниченное накопление мёртвых-PID ключей за время жизни
|
||||
sidecar). Эффект пренебрежимо мал (запись крошечная; алертящий PID требует процесс >1ч matching
|
||||
`pytest` — событие исключительное), зеркалит существующий паттерн `container_down`; повторный
|
||||
RECOVERY не синтезируется (`state.alerting` уже False). Опционально — очищать ключ после RECOVERY.
|
||||
- [ ] Индекс `docs/architecture/adr/README.md` не содержит `adr-0041` — **предсуществующий долг**
|
||||
(нет также `adr-0038/0039/0040`), не свойство этого PR и не per-PR-контракт. Не вменяется ORCH-111.
|
||||
|
||||
## Документация
|
||||
|
||||
Документация обновлена корректно и в полном объёме **в том же PR**:
|
||||
- `CHANGELOG.md` — запись с разбивкой по D-решениям. ✓
|
||||
- `docs/architecture/README.md` — раздел `proc_blocking` в описании sidecar-watchdog. ✓
|
||||
- `docs/deployment/LITE_SETUP.md` — opt-in блок с «Проверкой» (NFR-5). ✓
|
||||
- `docs/work-items/ORCH-111/06-adr/ADR-001-...` + сквозной `docs/architecture/adr/adr-0041-...`. ✓
|
||||
- `.env.watchdog.example` ↔ блок `WATCHDOG_*` `.env.example` — синхронизированы (4 ключа), key-sync
|
||||
тест зелёный. ✓
|
||||
|
||||
`src/**` байт-в-байт не тронут → жёсткое правило P0 не активируется; функционал наблюдателя
|
||||
задокументирован, конвейерные контракты сохранены, выкат пересобирает только `orchestrator-watchdog`
|
||||
(прод `orchestrator` не рестартится, NFR-3). **Документация = golden source: требование выполнено.**
|
||||
77
docs/work-items/ORCH-111/13-test-report.md
Normal file
77
docs/work-items/ORCH-111/13-test-report.md
Normal file
@@ -0,0 +1,77 @@
|
||||
---
|
||||
result: PASS
|
||||
work_item: ORCH-111
|
||||
stage: testing
|
||||
author_agent: tester
|
||||
status: pass
|
||||
created_at: 2026-06-15
|
||||
model_used: claude-opus-4-8
|
||||
type: test-report
|
||||
work_item_id: ORCH-111
|
||||
---
|
||||
|
||||
# Test Report — ORCH-111
|
||||
|
||||
BUG: watchdog must alert on long-lived pytest/child processes that block the pipeline.
|
||||
Новый opt-in сигнал sidecar-watchdog `proc_blocking` (дефолт-off, never-raise, read-only).
|
||||
|
||||
## Окружение
|
||||
- Python: 3.12.13
|
||||
- pytest: 8.3.3
|
||||
- Worktree: `/repos/_wt/orchestrator/feature_ORCH-111-bug-watchdog-must-alert-on-lon/`
|
||||
- Branch: `feature/ORCH-111-bug-watchdog-must-alert-on-lon`
|
||||
- Дата: 2026-06-15
|
||||
|
||||
## Smoke API (read-only)
|
||||
- `GET /health` → `{"status":"ok","service":"orchestrator"}` — OK
|
||||
- `GET /status` → 200, активная задача `ORCH-111` (task 99) на стадии `testing` — OK
|
||||
- `GET /queue` → 200; блок `serial_gate` присутствует (orchestrator: active=ORCH-111),
|
||||
блок `auto_labels` присутствует — OK; counts: done=1873, failed=8, breaker=closed
|
||||
|
||||
## Результаты — покрытие тест-плана (04-test-plan.yaml)
|
||||
|
||||
| TC ID | Описание | Тест(ы) | Результат |
|
||||
|-------|----------|---------|-----------|
|
||||
| TC-01 | РЕГРЕСС (red→green): builder активирует `proc_blocking` для долгоживущего pytest-процесса вне активного джоба (AC-1) | `test_proc_blocking_signal.py::test_tc01_builder_emits_active_proc_blocking_signal` | PASS |
|
||||
| TC-02 | Анти-false-positive: возраст ниже порога / атрибуция активному джобу → сигнал неактивен (AC-4) | `test_tc02_below_threshold_is_inactive`, `test_tc02_boundary_is_strict_greater_than` | PASS |
|
||||
| TC-03 | Конфиг/kill-switch: `WATCHDOG_PROC_*` парсятся с безопасными дефолтами; дефолт-off инертен; порог > merge_retest_timeout (AC-7) | `test_tc03_defaults_are_off_and_safe`, `test_tc03_env_overrides_and_malformed_degrade`, `test_tc03_killswitch_off_makes_collector_inert`, `test_config_killswitch.py::test_proc_blocking_*` | PASS |
|
||||
| TC-04 | never-raise/read-only коллектора: битый/пустой/недоступный источник → `[]`; нет os.kill/signal/subprocess (AC-3/AC-8) | `test_tc04_collector_degrades_to_empty_on_broken_source`, `test_tc04_collector_empty_when_btime_unreadable`, `test_tc04_collector_source_is_read_only`, `test_tc04_builder_skips_records_missing_fields` | PASS |
|
||||
| TC-05 | Анти-спам/recovery через decision.decide+AlertState: ALERT→NONE→REALERT→однократный RECOVERY (AC-6) | `test_tc05_alert_throttle_realert_then_recovery` | PASS |
|
||||
| TC-06 | Без дубля с `agent_hung`: процесс из /metrics agents[] / claude-агент не порождает `proc_blocking` (AC-5) | `test_tc06_claude_agent_cmdline_never_matches_pytest_pattern`, `test_tc06_collector_excludes_non_matching_processes` | PASS |
|
||||
| TC-07 | РЕГРЕСС tick→dispatch: `Watchdog.tick()` диспетчеризует `proc_blocking`-алерт; флаг-off → ничего; never-raise (AC-1/AC-7) | `test_tick_proc_blocking_integration.py::test_tc07_tick_dispatches_proc_blocking_alert`, `test_tc07_killswitch_off_dispatches_nothing`, `test_tc07_in_budget_process_does_not_alert`, `test_tc07_tick_never_raises_when_collector_explodes` | PASS |
|
||||
| TC-08 | Конфиг-канон/тираж: key-set `.env.watchdog.example` ↔ блок `WATCHDOG_*` в `.env.example` синхронизирован (AC-10) | `test_config_killswitch.py` + key-sync (`test_lite_setup_doc.py`) | PASS |
|
||||
| TC-09 | Полный регресс `pytest tests/` зелёный; конвейер/QG не затронуты; schema_version /metrics не бампнут (AC-9) | `pytest tests/` (1933 passed) | PASS |
|
||||
|
||||
Дополнительно зелёный leaf-набор коллектора `tests/watchdog/test_proc_collector.py`
|
||||
(13 тестов: разбор `/proc/stat` btime, `pid/stat` с comm в скобках/пробелах, NUL-cmdline,
|
||||
паттерны, фильтрация, гонка «pid исчез mid-scan») и compose-инвариант
|
||||
`test_compose_service.py::test_watchdog_shares_host_pid_namespace` + read-only маунты.
|
||||
|
||||
Все TC сопоставлены с критериями приёмки `03-acceptance-criteria.md` (AC-1…AC-10) и выполнены.
|
||||
|
||||
## Сверка инвариантов (AC-3 / AC-9)
|
||||
- `git diff origin/main...HEAD -- src/` — **пуст**: `src/**`/`STAGE_TRANSITIONS`/`QG_CHECKS`/`check_*`/
|
||||
machine-verdict/схема БД байт-в-байт не тронуты. Изменения только в `watchdog/**`, `tests/**`, docs,
|
||||
`.env*.example` и одна строка `pid: host` сервиса `orchestrator-watchdog` в `docker-compose.yml`.
|
||||
- Read-only/без ремедиации: grep `os.kill|subprocess.(Popen|run|call)|send_signal|terminate|kill` по
|
||||
`watchdog/**` даёт единственное совпадение — докстринг `collectors/proc.py`, явно фиксирующий
|
||||
read-only-инвариант (`/proc/stat`, `/proc/<pid>/stat`, `/proc/<pid>/cmdline` только на чтение).
|
||||
|
||||
## Вывод pytest
|
||||
Независимый прогон tester (HEAD `521a72e`, worktree ветки задачи):
|
||||
```
|
||||
$ cd /repos/_wt/orchestrator/feature_ORCH-111-bug-watchdog-must-alert-on-lon && \
|
||||
python -m pytest tests/ -q --tb=short
|
||||
............................................................. [100%]
|
||||
================ 1933 passed, 1 warning in 447.41s (0:07:27) ==================
|
||||
EXIT=0
|
||||
```
|
||||
Целевые watchdog-модули детально: `37 passed` (proc_blocking_signal + tick_integration +
|
||||
config_killswitch + proc_collector).
|
||||
Единственный warning — предсуществующий `PydanticDeprecatedSince20` в `src/config.py:8`
|
||||
(не связан с ORCH-111, не блокирует).
|
||||
|
||||
## Итог
|
||||
PASS — полный регресс зелёный (1933 passed), smoke API (`/health`, `/status`, `/queue`
|
||||
с блоками `serial_gate`/`auto_labels`) — OK, каждый TC из `04-test-plan.yaml` выполнен и
|
||||
сопоставлен с критериями приёмки. Задача готова к переходу на `deploy-staging`.
|
||||
12
docs/work-items/ORCH-111/14-deploy-log.md
Normal file
12
docs/work-items/ORCH-111/14-deploy-log.md
Normal file
@@ -0,0 +1,12 @@
|
||||
---
|
||||
deploy_status: SUCCESS
|
||||
work_item: ORCH-111
|
||||
hook_exit_code: 0
|
||||
deployed_by: deploy-finalizer
|
||||
---
|
||||
|
||||
# Deploy log — ORCH-036 executable self-deploy
|
||||
|
||||
Прод-деплой завершён хост-хуком с exit-code `0` -> `deploy_status: SUCCESS`.
|
||||
|
||||
Вердикт зафиксирован детерминированным finalizer'ом (Фаза C), не LLM.
|
||||
33
docs/work-items/ORCH-111/15-staging-log.md
Normal file
33
docs/work-items/ORCH-111/15-staging-log.md
Normal file
@@ -0,0 +1,33 @@
|
||||
---
|
||||
staging_status: SUCCESS
|
||||
work_item: ORCH-111
|
||||
stage: deploy-staging
|
||||
author_agent: deployer
|
||||
status: success
|
||||
created_at: 2026-06-15
|
||||
model_used: claude-opus-4-8
|
||||
timestamp: 2026-06-15T05:46:24Z
|
||||
base_url: http://localhost:8501
|
||||
---
|
||||
|
||||
# Staging Gate Log
|
||||
|
||||
Staging test suite completed against the live `orchestrator-staging` instance (port 8501,
|
||||
mode=stub), run canonically INSIDE the container (`docker exec orchestrator-staging
|
||||
python3 /repos/orchestrator/scripts/staging_check.py --base-url http://localhost:8501 --mode stub`).
|
||||
|
||||
**Result: 8/10 checks PASS, exit code 0 → `staging_status: SUCCESS`.**
|
||||
|
||||
- REAL failed: none — all real checks green.
|
||||
- SANDBOX_INFRA failed (tolerated, ORCH-061): C9a, C9b.
|
||||
|
||||
INFRA-WAIVED: C9a Branch appears in orchestrator-sandbox, C9b Analyst job enqueued in staging queue (known sandbox-infra; real checks green)
|
||||
VERDICT: SUCCESS (exit 0) — SUCCESS (infra-waived): ['C9a Branch appears in orchestrator-sandbox', 'C9b Analyst job enqueued in staging queue'] are known sandbox-infra checks; all real checks green
|
||||
|
||||
## Blocks
|
||||
- Block A (SMOKE): A1, A2, A3 — PASS
|
||||
- Block B (ACCESS): B4, B5, B6 (registry isolation: sandbox present, prod ET/ORCH absent) — PASS
|
||||
- Block C (E2E, stub): C7, C8 — PASS; C9a, C9b — sandbox-infra waived (exit 0)
|
||||
|
||||
Tolerance active: `staging_infra_tolerance_enabled=True`. Exit-code → verdict mapping unchanged;
|
||||
waived checks not re-judged.
|
||||
25
docs/work-items/ORCH-111/17-security-report.md
Normal file
25
docs/work-items/ORCH-111/17-security-report.md
Normal file
@@ -0,0 +1,25 @@
|
||||
---
|
||||
security_status: PASS
|
||||
secrets_found: 0
|
||||
deps_blocking: 0
|
||||
deps_warning: 4
|
||||
deps_audit_degraded: false
|
||||
---
|
||||
# Security Report — ORCH-111
|
||||
|
||||
Детерминированный security-гейт (ORCH-022): secret-scanning (gitleaks, offline) + dependency audit (pip-audit). Машинный вердикт читается ТОЛЬКО из frontmatter выше.
|
||||
|
||||
## Verdict
|
||||
clean: 0 secrets, 0 blocking CVE(s)
|
||||
|
||||
## Secrets
|
||||
- None
|
||||
|
||||
## Dependencies (blocking)
|
||||
- None
|
||||
|
||||
## Dependencies (warning)
|
||||
- `pytest==8.3.3` — GHSA-6w46-j5rx-g56g severity=UNKNOWN fix=9.0.3
|
||||
- `starlette==0.38.6` — PYSEC-2026-161 severity=UNKNOWN fix=1.0.1
|
||||
- `starlette==0.38.6` — GHSA-f96h-pmfr-66vw severity=UNKNOWN fix=0.40.0
|
||||
- `starlette==0.38.6` — GHSA-2c2j-9gv5-cj73 severity=UNKNOWN fix=0.47.2
|
||||
22
docs/work-items/ORCH-111/18-coverage-report.md
Normal file
22
docs/work-items/ORCH-111/18-coverage-report.md
Normal file
@@ -0,0 +1,22 @@
|
||||
---
|
||||
coverage_status: PASS
|
||||
work_item: ORCH-111
|
||||
measured_coverage: 79.94
|
||||
baseline: 79.95
|
||||
floor: 0.00
|
||||
policy: both
|
||||
epsilon: 0.50
|
||||
delta: -0.01
|
||||
---
|
||||
# Coverage Report — ORCH-111
|
||||
|
||||
Детерминированный гейт покрытия (ORCH-027) — под-гейт ребра `deploy-staging→deploy` (ПОСЛЕ merge-gate, ДО image-freshness). Машинный вердикт читается ТОЛЬКО из `coverage_status:` frontmatter выше.
|
||||
|
||||
## Verdict
|
||||
measured=79.94% policy=both eps=0.50: absolute 79.94% >= floor 0.00%-eps0.50 -> PASS; baseline 79.94% >= base 79.95%-eps0.50 -> PASS
|
||||
|
||||
## Measurement
|
||||
pytest --cov=src: line coverage src/ = 79.94%
|
||||
|
||||
## Policy
|
||||
policy=both, floor=0.0%, baseline=79.95%, epsilon=0.5%
|
||||
192
scripts/build_presentation.py
Normal file
192
scripts/build_presentation.py
Normal file
@@ -0,0 +1,192 @@
|
||||
#!/usr/bin/env python3
|
||||
"""ORCH-011 (ADR-001 D4): сборка `.pptx` из слайдо-источника витрины.
|
||||
|
||||
Источник истины — `docs/overview/presentation.md` (машинно-парсимая
|
||||
слайдо-структура: `## Слайд N: Заголовок` + тезисы `- ...` + опциональная
|
||||
строка `> Визуал: ...`). Скрипт собирает редактируемую PowerPoint-презентацию
|
||||
в тёмном дизайне (D-1 Владельца): тёмный фон, светлый текст, один акцентный
|
||||
цвет, системные шрифты с полной кириллицей.
|
||||
|
||||
Канон (D4/D5):
|
||||
- запуск ТОЛЬКО вне рантайма конвейера (host/dev venv, явный запуск человеком —
|
||||
паттерн ORCH-009); `python-pptx` НЕ входит в requirements*/Dockerfile (NFR-2);
|
||||
- `parse_slides` — чистая stdlib-функция БЕЗ импорта pptx: её импортирует
|
||||
`tests/test_system_docs.py` (один парсер = один источник истины о формате);
|
||||
- рендерер импортирует pptx ЛЕНИВО внутри `build_pptx`;
|
||||
- дефолтный выход — `build/orchestrator-overview.pptx` (в `.gitignore`;
|
||||
собранный бинарь в git НЕ коммитится — D5).
|
||||
|
||||
Процедура запуска (канон «команда + Проверка:») — `docs/overview/presentation.md`,
|
||||
раздел «Как собрать .pptx».
|
||||
"""
|
||||
|
||||
from __future__ import annotations
|
||||
|
||||
import argparse
|
||||
import re
|
||||
from dataclasses import dataclass, field
|
||||
from pathlib import Path
|
||||
|
||||
REPO_ROOT = Path(__file__).resolve().parents[1]
|
||||
DEFAULT_SOURCE = REPO_ROOT / "docs" / "overview" / "presentation.md"
|
||||
DEFAULT_OUTPUT = REPO_ROOT / "build" / "orchestrator-overview.pptx"
|
||||
|
||||
# Тёмная тема (D4): фон ~#1F1F2E, светлый текст, один акцент, приглушённый серый.
|
||||
DARK_BG = "1F1F2E"
|
||||
TEXT_MAIN = "F2F2F7"
|
||||
ACCENT = "8AB4F8"
|
||||
TEXT_MUTED = "9A9AAD"
|
||||
FONT_NAME = "Calibri" # системный шрифт с полной кириллицей (D4)
|
||||
|
||||
_SLIDE_RE = re.compile(r"^##\s+Слайд\s+(\d+)\s*:\s*(.+?)\s*$")
|
||||
_BULLET_RE = re.compile(r"^-\s+(.+?)\s*$")
|
||||
_VISUAL_RE = re.compile(r"^>\s*Визуал\s*:\s*(.+?)\s*$")
|
||||
_ANY_HEADING_RE = re.compile(r"^#{1,6}\s+")
|
||||
|
||||
|
||||
@dataclass
|
||||
class Slide:
|
||||
"""Один слайд источника: номер, заголовок, тезисы, подпись визуала."""
|
||||
|
||||
number: int
|
||||
title: str
|
||||
bullets: list[str] = field(default_factory=list)
|
||||
visual: str | None = None
|
||||
|
||||
|
||||
def parse_slides(text: str) -> list[Slide]:
|
||||
"""Разобрать слайдо-источник в список :class:`Slide` (чистая, stdlib-only).
|
||||
|
||||
Формат (D4): слайд открывается строкой ``## Слайд N: Заголовок``; его тезисы —
|
||||
строки ``- ...``; опциональная подпись визуала — ``> Визуал: ...``. Любой
|
||||
другой markdown-заголовок (например, раздел «Как собрать .pptx») завершает
|
||||
текущий слайд — служебные разделы источника в слайды не попадают.
|
||||
"""
|
||||
slides: list[Slide] = []
|
||||
current: Slide | None = None
|
||||
for line in text.splitlines():
|
||||
m = _SLIDE_RE.match(line)
|
||||
if m:
|
||||
current = Slide(number=int(m.group(1)), title=m.group(2))
|
||||
slides.append(current)
|
||||
continue
|
||||
if _ANY_HEADING_RE.match(line):
|
||||
current = None # служебный раздел — не слайд
|
||||
continue
|
||||
if current is None:
|
||||
continue
|
||||
bullet = _BULLET_RE.match(line)
|
||||
if bullet:
|
||||
current.bullets.append(bullet.group(1))
|
||||
continue
|
||||
visual = _VISUAL_RE.match(line)
|
||||
if visual:
|
||||
current.visual = visual.group(1)
|
||||
return slides
|
||||
|
||||
|
||||
def build_pptx(slides: list[Slide], output: Path) -> None:
|
||||
"""Собрать `.pptx` в тёмном дизайне из распарсенных слайдов.
|
||||
|
||||
Импорт `pptx` — ленивый (D4): без установленного `python-pptx` модуль
|
||||
остаётся импортируемым (нужно тестам), а сборка честно подсказывает
|
||||
`pip install python-pptx`. Текст пишется настоящими редактируемыми
|
||||
run'ами — кириллица не растрируется, слайды правятся руками.
|
||||
"""
|
||||
from pptx import Presentation
|
||||
from pptx.dml.color import RGBColor
|
||||
from pptx.util import Inches, Pt
|
||||
|
||||
prs = Presentation()
|
||||
prs.slide_width = Inches(13.333) # 16:9
|
||||
prs.slide_height = Inches(7.5)
|
||||
blank_layout = prs.slide_layouts[6]
|
||||
|
||||
for slide_def in slides:
|
||||
slide = prs.slides.add_slide(blank_layout)
|
||||
slide.background.fill.solid()
|
||||
slide.background.fill.fore_color.rgb = RGBColor.from_string(DARK_BG)
|
||||
|
||||
title_box = slide.shapes.add_textbox(
|
||||
Inches(0.6), Inches(0.45), prs.slide_width - Inches(1.2), Inches(1.2)
|
||||
)
|
||||
title_tf = title_box.text_frame
|
||||
title_tf.word_wrap = True
|
||||
run = title_tf.paragraphs[0].add_run()
|
||||
run.text = slide_def.title
|
||||
run.font.size = Pt(34)
|
||||
run.font.bold = True
|
||||
run.font.name = FONT_NAME
|
||||
run.font.color.rgb = RGBColor.from_string(ACCENT)
|
||||
|
||||
body_box = slide.shapes.add_textbox(
|
||||
Inches(0.8), Inches(1.85), prs.slide_width - Inches(1.6), Inches(4.4)
|
||||
)
|
||||
body_tf = body_box.text_frame
|
||||
body_tf.word_wrap = True
|
||||
for i, bullet in enumerate(slide_def.bullets):
|
||||
para = body_tf.paragraphs[0] if i == 0 else body_tf.add_paragraph()
|
||||
run = para.add_run()
|
||||
run.text = f"• {bullet}"
|
||||
run.font.size = Pt(20)
|
||||
run.font.name = FONT_NAME
|
||||
run.font.color.rgb = RGBColor.from_string(TEXT_MAIN)
|
||||
para.space_after = Pt(10)
|
||||
|
||||
if slide_def.visual:
|
||||
cap_box = slide.shapes.add_textbox(
|
||||
Inches(0.8), Inches(6.55), prs.slide_width - Inches(1.6), Inches(0.6)
|
||||
)
|
||||
cap_tf = cap_box.text_frame
|
||||
cap_tf.word_wrap = True
|
||||
run = cap_tf.paragraphs[0].add_run()
|
||||
run.text = f"Визуал: {slide_def.visual}"
|
||||
run.font.size = Pt(13)
|
||||
run.font.italic = True
|
||||
run.font.name = FONT_NAME
|
||||
run.font.color.rgb = RGBColor.from_string(TEXT_MUTED)
|
||||
|
||||
output.parent.mkdir(parents=True, exist_ok=True)
|
||||
prs.save(str(output))
|
||||
|
||||
|
||||
def main(argv: list[str] | None = None) -> int:
|
||||
"""CLI: распарсить источник, собрать `.pptx`, напечатать число слайдов."""
|
||||
parser = argparse.ArgumentParser(
|
||||
description="Сборка docs/overview/presentation.md -> .pptx (тёмный дизайн, ORCH-011 D4)."
|
||||
)
|
||||
parser.add_argument(
|
||||
"--source",
|
||||
type=Path,
|
||||
default=DEFAULT_SOURCE,
|
||||
help=f"слайдо-источник (default: {DEFAULT_SOURCE.relative_to(REPO_ROOT)})",
|
||||
)
|
||||
parser.add_argument(
|
||||
"--out",
|
||||
type=Path,
|
||||
default=DEFAULT_OUTPUT,
|
||||
help=f"выходной .pptx (default: {DEFAULT_OUTPUT.relative_to(REPO_ROOT)})",
|
||||
)
|
||||
args = parser.parse_args(argv)
|
||||
|
||||
if not args.source.is_file():
|
||||
print(f"ОШИБКА: источник не найден: {args.source}")
|
||||
return 1
|
||||
slides = parse_slides(args.source.read_text(encoding="utf-8"))
|
||||
if not slides:
|
||||
print(f"ОШИБКА: в {args.source} не найдено ни одного слайда (формат: '## Слайд N: ...')")
|
||||
return 1
|
||||
try:
|
||||
build_pptx(slides, args.out)
|
||||
except ImportError:
|
||||
print(
|
||||
"ОШИБКА: python-pptx не установлен. Сборка выполняется в одноразовом "
|
||||
"dev-venv ВНЕ прод-образа (NFR-2): pip install python-pptx"
|
||||
)
|
||||
return 1
|
||||
print(f"Собрано слайдов: {len(slides)} → {args.out}")
|
||||
return 0
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
raise SystemExit(main())
|
||||
@@ -563,14 +563,26 @@ class AgentLauncher:
|
||||
# so this is the only reliable source for the tracker's "· model · effort"
|
||||
# line. Empty resolve (no --effort flag) -> NULL so the suffix is omitted.
|
||||
# Reuses the still-open conn; never blocks the launch.
|
||||
#
|
||||
# ORCH-109 (D1): stamp the resolved MODEL in the SAME UPDATE. Previously the
|
||||
# model was only written post-hoc from the final usage-JSON (usage.record_usage,
|
||||
# model=COALESCE(?, model)); a timeout-killed run never emits that JSON, so the
|
||||
# model stayed NULL exactly when an incident needs it. Resolving it here is
|
||||
# deterministic (resolve_agent_model above), so the value is present from launch,
|
||||
# survives a timeout-kill (-9), and is visible in-flight in /metrics & /queue.
|
||||
# The post-hoc record_usage stays an ENRICHMENT (COALESCE keeps the launch stamp
|
||||
# when the JSON model is None/missing). Empty resolve (model == "", CLI default
|
||||
# with no --model) -> NULL, symmetric with `effort or None`, so the tracker's
|
||||
# model suffix is correctly omitted. never-raise: failure is isolated + WARNING;
|
||||
# the launch continues (model_flag is built from the local `model`, not the DB).
|
||||
try:
|
||||
conn.execute(
|
||||
"UPDATE agent_runs SET effort=? WHERE id=?",
|
||||
(effort or None, run_id),
|
||||
"UPDATE agent_runs SET model=?, effort=? WHERE id=?",
|
||||
(model or None, effort or None, run_id),
|
||||
)
|
||||
conn.commit()
|
||||
except Exception as e:
|
||||
logger.warning(f"effort stamp failed for run_id={run_id}: {e}")
|
||||
logger.warning(f"model/effort stamp failed for run_id={run_id}: {e}")
|
||||
model_flag = f"--model {model} " if model else ""
|
||||
effort_flag = f"--effort {effort} " if effort else ""
|
||||
# ORCH-074 (G2): agent_fallback_model is read directly here, bypassing
|
||||
@@ -658,16 +670,34 @@ class AgentLauncher:
|
||||
notify_agent_started(run_id, agent, task_id)
|
||||
return run_id
|
||||
|
||||
# ORCH-109 (D3): dedicated raised-budget keys for the two HEAVY roles. Maps the
|
||||
# role to its Settings attribute; resolved BELOW the operator JSON escape-hatch
|
||||
# and ABOVE the global default. A role absent here keeps the global default.
|
||||
_TIMEOUT_ROLE_KEYS = {
|
||||
"developer": "agent_timeout_developer_s",
|
||||
"reviewer": "agent_timeout_reviewer_s",
|
||||
}
|
||||
|
||||
@staticmethod
|
||||
def _resolve_timeout(agent: str = None) -> int:
|
||||
"""ORCH-7 (M-2): resolve the wall-clock timeout for an agent.
|
||||
"""ORCH-7 (M-2) + ORCH-109 (D3): resolve the wall-clock timeout for an agent.
|
||||
|
||||
Per-agent override from settings.agent_timeout_overrides_json (a JSON object
|
||||
like {"reviewer": 3600}) wins; otherwise the global default
|
||||
settings.agent_timeout_seconds is used. A malformed override JSON is ignored
|
||||
(falls back to the default) and only logged, so a bad env never bricks runs.
|
||||
Deterministic priority ladder (highest first):
|
||||
1. settings.agent_timeout_overrides_json[agent] -- operator escape-hatch,
|
||||
wins for ANY role (full BC). A malformed JSON is ignored + logged.
|
||||
2. dedicated per-role key (ORCH-109): developer -> agent_timeout_developer_s
|
||||
(3600), reviewer -> agent_timeout_reviewer_s (3000). A non-positive /
|
||||
non-int value is ignored + logged (never-break) and falls through to (3).
|
||||
3. settings.agent_timeout_seconds -- the global default (1800) for every
|
||||
other role (analyst/architect/tester/deployer), byte-for-byte as before.
|
||||
|
||||
Never raises: any bad config degrades to the global default so a bad env
|
||||
never bricks runs. Cross-invariant (ORCH-065): max(resolved) + grace must
|
||||
stay < reaper_max_running_s (raised to 5400 in lockstep; see config.py).
|
||||
"""
|
||||
default = settings.agent_timeout_seconds
|
||||
|
||||
# (1) operator JSON override -- highest priority, unchanged semantics.
|
||||
raw = (settings.agent_timeout_overrides_json or "").strip()
|
||||
if agent and raw:
|
||||
try:
|
||||
@@ -676,6 +706,22 @@ class AgentLauncher:
|
||||
return int(overrides[agent])
|
||||
except (ValueError, TypeError) as e:
|
||||
logger.warning(f"Invalid agent_timeout_overrides_json, using default: {e}")
|
||||
|
||||
# (2) dedicated per-role raised budget (ORCH-109 D3/D4).
|
||||
key = AgentLauncher._TIMEOUT_ROLE_KEYS.get(agent)
|
||||
if key is not None:
|
||||
try:
|
||||
value = int(getattr(settings, key))
|
||||
if value > 0:
|
||||
return value
|
||||
logger.warning(
|
||||
f"Non-positive {key}={value!r}; falling back to "
|
||||
f"agent_timeout_seconds={default}"
|
||||
)
|
||||
except (ValueError, TypeError) as e:
|
||||
logger.warning(f"Invalid {key} for agent '{agent}', using default: {e}")
|
||||
|
||||
# (3) global default.
|
||||
return default
|
||||
|
||||
def _watchdog(self, pid: int, run_id: int, timeout: int = None,
|
||||
|
||||
@@ -120,10 +120,28 @@ class Settings(BaseSettings):
|
||||
# (env ORCH_AGENT_KILL_GRACE_SECONDS).
|
||||
# agent_timeout_overrides_json -> optional per-agent override JSON object,
|
||||
# e.g. {"reviewer": 3600, "architect": 2700}
|
||||
# (env ORCH_AGENT_TIMEOUT_OVERRIDES_JSON).
|
||||
# (env ORCH_AGENT_TIMEOUT_OVERRIDES_JSON). HIGHEST
|
||||
# priority escape-hatch in _resolve_timeout (wins for
|
||||
# any role).
|
||||
# ORCH-109 (D3/D4): raised wall-clock budgets for the two HEAVY roles.
|
||||
# agent_timeout_developer_s -> developer is the bottleneck (effort xhigh,
|
||||
# coding/agentic); 3600s/60m (env
|
||||
# ORCH_AGENT_TIMEOUT_DEVELOPER_S).
|
||||
# agent_timeout_reviewer_s -> reviewer reads a large diff + writes the review
|
||||
# (high reasoning); 3000s/50m (env
|
||||
# ORCH_AGENT_TIMEOUT_REVIEWER_S).
|
||||
# _resolve_timeout ladder: overrides_json[agent] > dedicated role key >
|
||||
# agent_timeout_seconds (other roles stay at 1800, byte-for-byte). A malformed
|
||||
# JSON / non-positive dedicated value falls back to agent_timeout_seconds +
|
||||
# WARNING (never-break). The defaults ARE the prod budget (ORCH-101 canon: empty
|
||||
# .env reproduces prod). CROSS-INVARIANT (ORCH-065): reaper_max_running_s MUST
|
||||
# stay > max(resolved timeout) + agent_kill_grace_seconds; raised in lockstep to
|
||||
# 5400 below (5400 > 3600 + 20 = 3620).
|
||||
agent_timeout_seconds: int = 1800
|
||||
agent_kill_grace_seconds: int = 20
|
||||
agent_timeout_overrides_json: str = ""
|
||||
agent_timeout_developer_s: int = 3600
|
||||
agent_timeout_reviewer_s: int = 3000
|
||||
|
||||
# ORCH-41: per-agent LLM model. Empty -> agent_model_default. Resolution order:
|
||||
# project-override (projects_json agent_models) > ORCH_AGENT_MODEL_<AGENT> >
|
||||
@@ -480,6 +498,9 @@ class Settings(BaseSettings):
|
||||
# reaper_max_running_s -> Tier-3 backstop ceiling: a job 'running' longer than
|
||||
# this is reaped even when liveness is unknowable. MUST be
|
||||
# > max agent_timeout + grace so a legit agent is safe.
|
||||
# ORCH-109 (D4): raised 3600 -> 5400 in lockstep with the
|
||||
# developer budget (5400 > 3600 + 20 = 3620; headroom 1780s
|
||||
# also covers the monitor finalization window).
|
||||
# reaper_finalize_grace_s -> Tier-2 anti-false-positive: a LIVE monitor writes
|
||||
# agent_runs.exit_code FIRST, THEN does git commit/push +
|
||||
# PR + Plane usage comments (seconds..minutes) and only
|
||||
@@ -494,7 +515,7 @@ class Settings(BaseSettings):
|
||||
reaper_enabled: bool = True
|
||||
reaper_interval_s: int = 60
|
||||
reaper_dead_ticks: int = 2
|
||||
reaper_max_running_s: int = 3600
|
||||
reaper_max_running_s: int = 5400
|
||||
reaper_finalize_grace_s: int = 300
|
||||
lease_reclaim_enabled: bool = True
|
||||
|
||||
|
||||
@@ -282,6 +282,21 @@ def test_reviewer_carries_overview_docs_axis():
|
||||
)
|
||||
|
||||
|
||||
def test_reviewer_overview_axis_covers_system_showcase():
|
||||
"""ORCH-011 (ADR-001 D7): the ORCH-079 overview-docs axis explicitly extends
|
||||
to the system showcase `docs/overview/` — a PR changing functionality described
|
||||
in the showcase without updating it must yield a finding >= P1. Guarded here
|
||||
because the axis history (ORCH-079) shows overview docs rot unless named
|
||||
explicitly in the prompt."""
|
||||
text = _read("reviewer")
|
||||
assert "docs/overview/" in text, (
|
||||
"reviewer.md does not extend the overview-docs axis to the docs/overview/ showcase"
|
||||
)
|
||||
assert "ORCH-011" in text, (
|
||||
"reviewer.md does not anchor the showcase extension to ORCH-011"
|
||||
)
|
||||
|
||||
|
||||
# --------------------------------------------------------------------------- #
|
||||
# ORCH-092 (epilogue of epic ORCH-52): prompt audit of the 6 agents —
|
||||
# de-hardcode date/model, gate-name parity, escalation sections, dead-line
|
||||
|
||||
@@ -195,7 +195,9 @@ def test_reaper_settings_defaults(monkeypatch):
|
||||
assert s.reaper_enabled is True
|
||||
assert s.reaper_interval_s == 60
|
||||
assert s.reaper_dead_ticks == 2
|
||||
assert s.reaper_max_running_s == 3600
|
||||
# ORCH-109 (D4): raised 3600 -> 5400 in lockstep with the developer budget so the
|
||||
# Tier-3 backstop stays > max(agent_timeout)+grace (5400 > 3600 + 20 = 3620).
|
||||
assert s.reaper_max_running_s == 5400
|
||||
assert s.lease_reclaim_enabled is True
|
||||
|
||||
|
||||
|
||||
@@ -160,12 +160,19 @@ class TestDeadCodeRemoved:
|
||||
# ORCH-7 (M-2): configurable timeout + per-agent override
|
||||
# ---------------------------------------------------------------------------
|
||||
class TestResolveTimeout:
|
||||
"""M-2: _resolve_timeout honours a per-agent JSON override, else the default."""
|
||||
"""M-2: _resolve_timeout honours a per-agent JSON override, else the default.
|
||||
|
||||
ORCH-109 (D3): the ladder grew a middle level — dedicated raised budgets for
|
||||
developer/reviewer between the JSON escape-hatch and the global default. These
|
||||
tests are updated to assert the global default via a NON-raised role; the new
|
||||
dedicated-key ladder is covered in full by tests/test_orch109_timeout_model.py.
|
||||
"""
|
||||
|
||||
def test_default_when_no_override(self, monkeypatch):
|
||||
monkeypatch.setattr(settings, "agent_timeout_seconds", 1800)
|
||||
monkeypatch.setattr(settings, "agent_timeout_overrides_json", "")
|
||||
assert AgentLauncher._resolve_timeout("developer") == 1800
|
||||
# ORCH-109: a role WITHOUT a dedicated key keeps the global default.
|
||||
assert AgentLauncher._resolve_timeout("analyst") == 1800
|
||||
assert AgentLauncher._resolve_timeout(None) == 1800
|
||||
|
||||
def test_override_for_specific_agent(self, monkeypatch):
|
||||
@@ -173,16 +180,19 @@ class TestResolveTimeout:
|
||||
monkeypatch.setattr(
|
||||
settings, "agent_timeout_overrides_json", '{"reviewer": 3600, "architect": 2700}'
|
||||
)
|
||||
# JSON override stays the HIGHEST priority for ANY role (full BC).
|
||||
assert AgentLauncher._resolve_timeout("reviewer") == 3600
|
||||
assert AgentLauncher._resolve_timeout("architect") == 2700
|
||||
# an agent not in the override map falls back to the default
|
||||
assert AgentLauncher._resolve_timeout("developer") == 1800
|
||||
# ORCH-109: a role not in the override map AND without a dedicated key
|
||||
# (tester) falls back to the global default.
|
||||
assert AgentLauncher._resolve_timeout("tester") == 1800
|
||||
|
||||
def test_malformed_override_falls_back_to_default(self, monkeypatch):
|
||||
monkeypatch.setattr(settings, "agent_timeout_seconds", 1800)
|
||||
monkeypatch.setattr(settings, "agent_timeout_overrides_json", "{not-json")
|
||||
# must not raise, must return the default
|
||||
assert AgentLauncher._resolve_timeout("reviewer") == 1800
|
||||
# must not raise; a role without a dedicated key returns the global default
|
||||
# (ORCH-109: developer/reviewer would return their dedicated budget instead).
|
||||
assert AgentLauncher._resolve_timeout("architect") == 1800
|
||||
|
||||
|
||||
class TestWatchdogGracefulKill:
|
||||
|
||||
554
tests/test_orch109_timeout_model.py
Normal file
554
tests/test_orch109_timeout_model.py
Normal file
@@ -0,0 +1,554 @@
|
||||
"""ORCH-109: timeout budgets + launch-time model telemetry for developer/reviewer.
|
||||
|
||||
Covers FR-1..FR-6 / AC-1..AC-10 through TC-01..TC-12 (04-test-plan.yaml). Fully
|
||||
deterministic: an isolated temp SQLite DB + synthetic agent_runs / jobs rows; no
|
||||
network, no Claude CLI subprocess. Settings are monkeypatched / overridden.
|
||||
|
||||
Two production changes under test (ADR-001):
|
||||
* D1 — launcher._spawn stamps the resolved model into agent_runs.model in the
|
||||
SAME UPDATE as the effort stamp, so the model is present from launch and
|
||||
survives a timeout-kill / is visible in-flight.
|
||||
* D3/D4 — launcher._resolve_timeout grows a dedicated per-role budget level
|
||||
(developer 3600 / reviewer 3000) between the JSON escape-hatch and the global
|
||||
default; reaper_max_running_s raised 3600 -> 5400 in lockstep (ORCH-065).
|
||||
FR-2 (COALESCE preserve), FR-4/NFR-6 (kill / in-flight visibility) and FR-5
|
||||
(anti-salvage) are STRUCTURAL guarantees already present in the code — pinned here
|
||||
as regression tests, not new branches.
|
||||
"""
|
||||
import os
|
||||
import sqlite3
|
||||
import tempfile
|
||||
|
||||
os.environ.setdefault("ORCH_PLANE_API_TOKEN", "test-token")
|
||||
os.environ.setdefault("ORCH_GITEA_TOKEN", "test-token")
|
||||
|
||||
_test_db = os.path.join(tempfile.gettempdir(), "test_orch109_timeout_model.db")
|
||||
os.environ["ORCH_DB_PATH"] = _test_db
|
||||
os.environ.setdefault("ORCH_REPOS_DIR", tempfile.gettempdir())
|
||||
|
||||
import pytest # noqa: E402
|
||||
|
||||
import src.db as db_module # noqa: E402
|
||||
from src.db import init_db, get_db, get_running_agents # noqa: E402
|
||||
from src.config import settings, Settings # noqa: E402
|
||||
from src.agents.launcher import AgentLauncher, resolve_agent_model # noqa: E402
|
||||
from src import usage as U # noqa: E402
|
||||
from src import notifications as N # noqa: E402
|
||||
|
||||
|
||||
@pytest.fixture(autouse=True)
|
||||
def setup_db(monkeypatch):
|
||||
# get_db() reads settings.db_path live; pin it to our isolated DB.
|
||||
monkeypatch.setattr(db_module.settings, "db_path", _test_db, raising=False)
|
||||
if os.path.exists(_test_db):
|
||||
os.unlink(_test_db)
|
||||
init_db()
|
||||
# render-only tests: never consult the live Plane overlay (no network).
|
||||
monkeypatch.setattr(N._get_settings(), "tracker_live_status", False, raising=False)
|
||||
yield
|
||||
if os.path.exists(_test_db):
|
||||
os.unlink(_test_db)
|
||||
|
||||
|
||||
# --------------------------------------------------------------------------- #
|
||||
# TC-01..TC-03 — _resolve_timeout dedicated-budget ladder (FR-3, AC-3 / AC-4)
|
||||
# --------------------------------------------------------------------------- #
|
||||
class TestResolveTimeoutLadder:
|
||||
"""The priority ladder: overrides_json > dedicated role key > global default."""
|
||||
|
||||
def _pin(self, monkeypatch, *, dev=3600, rev=3000, default=1800, overrides=""):
|
||||
monkeypatch.setattr(settings, "agent_timeout_seconds", default)
|
||||
monkeypatch.setattr(settings, "agent_timeout_overrides_json", overrides)
|
||||
monkeypatch.setattr(settings, "agent_timeout_developer_s", dev)
|
||||
monkeypatch.setattr(settings, "agent_timeout_reviewer_s", rev)
|
||||
|
||||
def test_tc01_developer_reviewer_raised(self, monkeypatch):
|
||||
"""TC-01/AC-3: developer/reviewer resolve to their raised dedicated budget."""
|
||||
self._pin(monkeypatch)
|
||||
assert AgentLauncher._resolve_timeout("developer") == 3600
|
||||
assert AgentLauncher._resolve_timeout("reviewer") == 3000
|
||||
|
||||
def test_tc01_dedicated_keys_are_configurable(self, monkeypatch):
|
||||
"""TC-01/AC-3: the budgets are config-driven, not hardcoded."""
|
||||
self._pin(monkeypatch, dev=4200, rev=2400)
|
||||
assert AgentLauncher._resolve_timeout("developer") == 4200
|
||||
assert AgentLauncher._resolve_timeout("reviewer") == 2400
|
||||
|
||||
def test_tc02_other_roles_use_global_default(self, monkeypatch):
|
||||
"""TC-02/AC-3: roles without a dedicated key keep the global default (1800)."""
|
||||
self._pin(monkeypatch)
|
||||
for role in ("analyst", "architect", "tester", "deployer"):
|
||||
assert AgentLauncher._resolve_timeout(role) == 1800
|
||||
# unknown role / None also fall through to the global default.
|
||||
assert AgentLauncher._resolve_timeout("unknown-role") == 1800
|
||||
assert AgentLauncher._resolve_timeout(None) == 1800
|
||||
|
||||
def test_tc01_overrides_json_wins_over_dedicated(self, monkeypatch):
|
||||
"""AC-3: the operator JSON escape-hatch stays HIGHEST priority for ANY role."""
|
||||
self._pin(monkeypatch, overrides='{"developer": 1234, "reviewer": 999}')
|
||||
assert AgentLauncher._resolve_timeout("developer") == 1234
|
||||
assert AgentLauncher._resolve_timeout("reviewer") == 999
|
||||
|
||||
def test_tc03_malformed_overrides_json_never_raises(self, monkeypatch):
|
||||
"""TC-03/AC-4: malformed JSON is ignored; resolution still succeeds (never-break)."""
|
||||
self._pin(monkeypatch, overrides="{not-json")
|
||||
# malformed JSON ignored -> developer still resolves via its dedicated key.
|
||||
assert AgentLauncher._resolve_timeout("developer") == 3600
|
||||
# a role without a dedicated key falls through to the global default.
|
||||
assert AgentLauncher._resolve_timeout("analyst") == 1800
|
||||
|
||||
@pytest.mark.parametrize("bad", [0, -5, "abc"])
|
||||
def test_tc03_non_positive_dedicated_falls_back(self, monkeypatch, bad):
|
||||
"""TC-03/AC-4: an absurd/non-positive/non-int dedicated value -> global default."""
|
||||
self._pin(monkeypatch, dev=bad)
|
||||
# must NOT raise; falls back to agent_timeout_seconds + WARNING.
|
||||
assert AgentLauncher._resolve_timeout("developer") == 1800
|
||||
|
||||
|
||||
# --------------------------------------------------------------------------- #
|
||||
# TC-04 / TC-05 — launch-time model stamp in _spawn (FR-1, AC-1 + NFR-2)
|
||||
# --------------------------------------------------------------------------- #
|
||||
class TestLaunchModelStamp:
|
||||
"""_spawn writes the resolved model to agent_runs.model at launch (next to effort)."""
|
||||
|
||||
def _seed_task(self, repo="orchestrator", branch="feature/ORCH-109-x", wid="ORCH-109"):
|
||||
conn = get_db()
|
||||
cur = conn.execute(
|
||||
"INSERT INTO tasks (plane_id, work_item_id, repo, branch, stage, title) "
|
||||
"VALUES (?,?,?,?,?,?)",
|
||||
("p1", wid, repo, branch, "development", "t"),
|
||||
)
|
||||
tid = cur.lastrowid
|
||||
conn.commit()
|
||||
conn.close()
|
||||
return tid
|
||||
|
||||
def _fake_spawn_env(self, tmp_path, monkeypatch, repo="orchestrator"):
|
||||
"""Fake every OS/process side-effect so _spawn touches only the DB."""
|
||||
import src.agents.launcher as L
|
||||
(tmp_path / repo).mkdir()
|
||||
monkeypatch.setattr(L.settings, "repos_dir", str(tmp_path), raising=False)
|
||||
monkeypatch.setattr(L.settings, "runs_dir", str(tmp_path / "runs"), raising=False)
|
||||
monkeypatch.setattr(L, "ensure_worktree", lambda r, b: str(tmp_path / repo))
|
||||
monkeypatch.setattr("src.projects.get_project_by_repo", lambda r: None)
|
||||
|
||||
class _Proc:
|
||||
pid = 4242
|
||||
|
||||
monkeypatch.setattr(L.subprocess, "Popen", lambda *a, **k: _Proc())
|
||||
|
||||
class _T:
|
||||
def __init__(self, *a, **k):
|
||||
pass
|
||||
|
||||
def start(self):
|
||||
pass
|
||||
|
||||
monkeypatch.setattr(L.threading, "Thread", _T)
|
||||
monkeypatch.setattr(L, "notify_agent_started", lambda *a, **k: None)
|
||||
return L
|
||||
|
||||
def test_tc04_spawn_stamps_model_and_effort(self, tmp_path, monkeypatch):
|
||||
"""TC-04/AC-1: after _spawn the run row carries the resolved model AND effort."""
|
||||
L = self._fake_spawn_env(tmp_path, monkeypatch)
|
||||
# Deterministic resolve: developer -> claude-opus-4-8 (default) / xhigh (floor).
|
||||
monkeypatch.setattr(L.settings, "agent_model_developer", "", raising=False)
|
||||
monkeypatch.setattr(L.settings, "agent_model_default", "claude-opus-4-8", raising=False)
|
||||
monkeypatch.setattr(L.settings, "agent_effort_developer", "", raising=False)
|
||||
monkeypatch.setattr(L.settings, "agent_effort_default", "", raising=False)
|
||||
|
||||
tid = self._seed_task()
|
||||
run_id = L.AgentLauncher()._spawn(
|
||||
"developer", "orchestrator", task_content=None, task_id=tid
|
||||
)
|
||||
|
||||
conn = get_db()
|
||||
row = conn.execute(
|
||||
"SELECT model, effort FROM agent_runs WHERE id=?", (run_id,)
|
||||
).fetchone()
|
||||
conn.close()
|
||||
assert row["model"] == "claude-opus-4-8"
|
||||
assert row["effort"] == "xhigh"
|
||||
# The stamp matches the resolver — single source of truth.
|
||||
assert row["model"] == resolve_agent_model("developer", None)
|
||||
|
||||
def test_tc05_stamp_failure_is_isolated(self, tmp_path, monkeypatch):
|
||||
"""TC-05/NFR-2: a failing model/effort stamp does NOT propagate out of _spawn."""
|
||||
L = self._fake_spawn_env(tmp_path, monkeypatch)
|
||||
real_get_db = db_module.get_db
|
||||
|
||||
class _RaisingConn:
|
||||
"""Delegates to a real conn but raises on the launch stamp UPDATE only."""
|
||||
|
||||
def __init__(self, real):
|
||||
self._real = real
|
||||
|
||||
def execute(self, sql, *a, **k):
|
||||
if "SET model=?, effort=?" in sql:
|
||||
raise sqlite3.OperationalError("simulated stamp failure")
|
||||
return self._real.execute(sql, *a, **k)
|
||||
|
||||
def commit(self):
|
||||
return self._real.commit()
|
||||
|
||||
def close(self):
|
||||
return self._real.close()
|
||||
|
||||
def __getattr__(self, name):
|
||||
return getattr(self._real, name)
|
||||
|
||||
monkeypatch.setattr(L, "get_db", lambda: _RaisingConn(real_get_db()))
|
||||
|
||||
tid = self._seed_task()
|
||||
# Must NOT raise even though the stamp UPDATE blows up.
|
||||
run_id = L.AgentLauncher()._spawn(
|
||||
"developer", "orchestrator", task_content=None, task_id=tid
|
||||
)
|
||||
assert run_id is not None
|
||||
|
||||
# The run row exists; model stayed NULL (stamp failed) — launch unharmed.
|
||||
conn = real_get_db()
|
||||
row = conn.execute(
|
||||
"SELECT id, model FROM agent_runs WHERE id=?", (run_id,)
|
||||
).fetchone()
|
||||
conn.close()
|
||||
assert row is not None
|
||||
assert row["model"] is None
|
||||
|
||||
|
||||
# --------------------------------------------------------------------------- #
|
||||
# TC-06 / TC-07 — post-hoc enrich preserves / refines the launch stamp (FR-2)
|
||||
# --------------------------------------------------------------------------- #
|
||||
class TestRecordUsagePreservesStamp:
|
||||
"""record_usage (model=COALESCE(?, model)) never clobbers a launch-stamped model."""
|
||||
|
||||
def _run_with_model(self, model="claude-opus-4-8", agent="developer"):
|
||||
conn = get_db()
|
||||
cur = conn.execute(
|
||||
"INSERT INTO agent_runs (task_id, agent, model) VALUES (?,?,?)",
|
||||
(1, agent, model),
|
||||
)
|
||||
rid = cur.lastrowid
|
||||
conn.commit()
|
||||
conn.close()
|
||||
return rid
|
||||
|
||||
def _model_of(self, rid):
|
||||
conn = get_db()
|
||||
row = conn.execute("SELECT model FROM agent_runs WHERE id=?", (rid,)).fetchone()
|
||||
conn.close()
|
||||
return row["model"]
|
||||
|
||||
def test_tc06_record_usage_none_preserves_model(self):
|
||||
"""TC-06/AC-2: usage=None (no final JSON, e.g. timeout) keeps the launch stamp."""
|
||||
rid = self._run_with_model()
|
||||
U.record_usage(rid, None) # must not raise
|
||||
assert self._model_of(rid) == "claude-opus-4-8"
|
||||
|
||||
def test_tc06_record_usage_model_none_preserves_model(self):
|
||||
"""TC-06/AC-2: a usage JSON with model=None keeps the launch stamp (COALESCE)."""
|
||||
rid = self._run_with_model()
|
||||
U.record_usage(rid, {"input_tokens": 10, "output_tokens": 5, "model": None})
|
||||
assert self._model_of(rid) == "claude-opus-4-8"
|
||||
|
||||
def test_tc07_record_usage_nonempty_model_enriches_blank(self):
|
||||
"""TC-07/AC-2: a non-empty model in the JSON sets a blank (CLI-default) stamp."""
|
||||
rid = self._run_with_model(model=None)
|
||||
U.record_usage(
|
||||
rid, {"input_tokens": 1, "output_tokens": 1, "model": "claude-opus-4-8"}
|
||||
)
|
||||
assert self._model_of(rid) == "claude-opus-4-8"
|
||||
|
||||
def test_tc07_record_usage_refines_existing_model(self):
|
||||
"""TC-07/AC-2: a fuller provider-prefixed id refines a bare launch stamp."""
|
||||
rid = self._run_with_model(model="claude-opus-4-8")
|
||||
U.record_usage(
|
||||
rid,
|
||||
{"input_tokens": 1, "output_tokens": 1, "model": "tokenator/claude-opus-4-8"},
|
||||
)
|
||||
assert self._model_of(rid) == "tokenator/claude-opus-4-8"
|
||||
|
||||
|
||||
# --------------------------------------------------------------------------- #
|
||||
# TC-08 — reaper cross-invariant (NFR-4, AC-5)
|
||||
# --------------------------------------------------------------------------- #
|
||||
class TestReaperInvariant:
|
||||
"""reaper_max_running_s MUST stay > max(resolved timeout) + grace (ORCH-065)."""
|
||||
|
||||
def test_tc08_shipped_defaults_satisfy_invariant(self, monkeypatch):
|
||||
"""TC-08/AC-5: the canonical shipped defaults hold the invariant."""
|
||||
for name in (
|
||||
"ORCH_AGENT_TIMEOUT_SECONDS",
|
||||
"ORCH_AGENT_KILL_GRACE_SECONDS",
|
||||
"ORCH_AGENT_TIMEOUT_OVERRIDES_JSON",
|
||||
"ORCH_AGENT_TIMEOUT_DEVELOPER_S",
|
||||
"ORCH_AGENT_TIMEOUT_REVIEWER_S",
|
||||
"ORCH_REAPER_MAX_RUNNING_S",
|
||||
):
|
||||
monkeypatch.delenv(name, raising=False)
|
||||
s = Settings()
|
||||
max_budget = max(
|
||||
s.agent_timeout_seconds,
|
||||
s.agent_timeout_developer_s,
|
||||
s.agent_timeout_reviewer_s,
|
||||
)
|
||||
assert s.reaper_max_running_s > max_budget + s.agent_kill_grace_seconds
|
||||
# Concrete shipped numbers (ADR-001 D4): 5400 > 3600 + 20 = 3620.
|
||||
assert (max_budget, s.agent_kill_grace_seconds, s.reaper_max_running_s) == (
|
||||
3600,
|
||||
20,
|
||||
5400,
|
||||
)
|
||||
|
||||
def test_tc08_resolved_max_is_developer(self, monkeypatch):
|
||||
"""TC-08/AC-5: the max resolved per-role budget is the developer budget."""
|
||||
monkeypatch.setattr(settings, "agent_timeout_seconds", 1800)
|
||||
monkeypatch.setattr(settings, "agent_timeout_overrides_json", "")
|
||||
monkeypatch.setattr(settings, "agent_timeout_developer_s", 3600)
|
||||
monkeypatch.setattr(settings, "agent_timeout_reviewer_s", 3000)
|
||||
monkeypatch.setattr(settings, "agent_kill_grace_seconds", 20)
|
||||
monkeypatch.setattr(settings, "reaper_max_running_s", 5400)
|
||||
roles = ["analyst", "architect", "developer", "reviewer", "tester", "deployer"]
|
||||
max_timeout = max(AgentLauncher._resolve_timeout(r) for r in roles)
|
||||
assert max_timeout == 3600
|
||||
assert settings.reaper_max_running_s > max_timeout + settings.agent_kill_grace_seconds
|
||||
|
||||
|
||||
# --------------------------------------------------------------------------- #
|
||||
# TC-09 — tracker stage line shows model+effort on a timeout-killed run (FR-4)
|
||||
# --------------------------------------------------------------------------- #
|
||||
class TestTrackerTimeoutVisibility:
|
||||
"""A -9 run still renders '· <model> · <effort>' because both are launch-stamped.
|
||||
|
||||
The stage line takes its model/effort from the LAST run of the agent
|
||||
(stage_runs[-1] in _stage_line). When that last run is a timeout-kill (-9), its
|
||||
launch-stamped values are exactly what the operator sees — the whole point of
|
||||
stamping at launch. Without the stamp the -9 row would carry model=NULL and the
|
||||
line would drop the model suffix (the AC-6 FAIL condition).
|
||||
"""
|
||||
|
||||
def _mk_task(self, stage="done", wid="ORCH-109"):
|
||||
conn = get_db()
|
||||
cur = conn.execute(
|
||||
"INSERT INTO tasks (plane_id, work_item_id, repo, branch, stage, title) "
|
||||
"VALUES (?,?,?,?,?,?)",
|
||||
("p1", wid, "orchestrator", "feature/ORCH-109-x", stage, "t"),
|
||||
)
|
||||
tid = cur.lastrowid
|
||||
conn.commit()
|
||||
conn.close()
|
||||
return tid
|
||||
|
||||
def _add_run(self, tid, *, exit_code, model, effort, started, finished):
|
||||
conn = get_db()
|
||||
conn.execute(
|
||||
"INSERT INTO agent_runs (task_id, agent, started_at, finished_at, "
|
||||
"exit_code, input_tokens, output_tokens, cost_usd, model, effort) "
|
||||
"VALUES (?,?,?,?,?,?,?,?,?,?)",
|
||||
(tid, "developer", started, finished, exit_code, 10, 5, 0.0, model, effort),
|
||||
)
|
||||
conn.commit()
|
||||
conn.close()
|
||||
|
||||
def test_tc09_killed_run_renders_model_effort(self):
|
||||
"""TC-09/AC-6: the -9 (last) developer run's launch-stamped model+effort show."""
|
||||
tid = self._mk_task(stage="done")
|
||||
# run 1: succeeded (opens the ✅ stage line) — DIFFERENT model so we can prove
|
||||
# the displayed value comes from the killed run, not this one.
|
||||
self._add_run(
|
||||
tid,
|
||||
exit_code=0,
|
||||
model="claude-sonnet-4-6",
|
||||
effort="high",
|
||||
started="2026-06-14 09:00:00",
|
||||
finished="2026-06-14 09:20:00",
|
||||
)
|
||||
# run 2: timeout-killed (-9), the LAST run -> _stage_line reads its row.
|
||||
self._add_run(
|
||||
tid,
|
||||
exit_code=-9,
|
||||
model="tokenator/claude-opus-4-8",
|
||||
effort="xhigh",
|
||||
started="2026-06-14 09:25:00",
|
||||
finished="2026-06-14 09:55:00",
|
||||
)
|
||||
|
||||
text = N.render_task_tracker(tid)
|
||||
line = [ln for ln in text.splitlines() if ln.startswith("✅ Разработка")][0]
|
||||
# model NOT null: the killed run's launch-stamped opus-4-8 · xhigh is shown.
|
||||
assert line.rstrip().endswith("opus-4-8 · xhigh")
|
||||
assert "sonnet" not in line # the displayed value is the -9 run's, not run 1's
|
||||
|
||||
def test_tc09_unstamped_killed_run_drops_model_suffix(self):
|
||||
"""AC-6 FAIL-guard: a -9 run with model=NULL would omit the suffix (negative)."""
|
||||
tid = self._mk_task(stage="done")
|
||||
self._add_run(
|
||||
tid,
|
||||
exit_code=0,
|
||||
model="tokenator/claude-opus-4-8",
|
||||
effort="xhigh",
|
||||
started="2026-06-14 09:00:00",
|
||||
finished="2026-06-14 09:20:00",
|
||||
)
|
||||
# killed run WITHOUT a launch stamp (the pre-ORCH-109 bug): model+effort NULL.
|
||||
self._add_run(
|
||||
tid,
|
||||
exit_code=-9,
|
||||
model=None,
|
||||
effort=None,
|
||||
started="2026-06-14 09:25:00",
|
||||
finished="2026-06-14 09:55:00",
|
||||
)
|
||||
text = N.render_task_tracker(tid)
|
||||
line = [ln for ln in text.splitlines() if ln.startswith("✅ Разработка")][0]
|
||||
# No launch stamp -> the model/effort suffix is dropped (cost shown without model).
|
||||
assert "opus-4-8" not in line
|
||||
assert "xhigh" not in line
|
||||
|
||||
|
||||
# --------------------------------------------------------------------------- #
|
||||
# TC-10 — in-flight model visibility via get_running_agents (NFR-6)
|
||||
# --------------------------------------------------------------------------- #
|
||||
class TestInflightModelVisibility:
|
||||
"""get_running_agents exposes the launch-stamped model for a RUNNING job."""
|
||||
|
||||
def test_tc10_running_job_exposes_model(self):
|
||||
"""TC-10/AC-7: /metrics & /queue see the model before the run finishes."""
|
||||
conn = get_db()
|
||||
cur = conn.execute(
|
||||
"INSERT INTO agent_runs (task_id, agent, model, effort) VALUES (?,?,?,?)",
|
||||
(1, "developer", "claude-opus-4-8", "xhigh"),
|
||||
)
|
||||
rid = cur.lastrowid
|
||||
conn.execute(
|
||||
"INSERT INTO jobs (agent, repo, status, run_id, started_at) "
|
||||
"VALUES (?,?,?,?,datetime('now'))",
|
||||
("developer", "orchestrator", "running", rid),
|
||||
)
|
||||
conn.commit()
|
||||
conn.close()
|
||||
|
||||
rows = get_running_agents()
|
||||
assert len(rows) == 1
|
||||
assert rows[0]["model"] == "claude-opus-4-8" # non-null in-flight
|
||||
assert rows[0]["effort"] == "xhigh"
|
||||
|
||||
|
||||
# --------------------------------------------------------------------------- #
|
||||
# TC-11 — anti-salvage: a timeout-killed run does NOT advance the stage (FR-5)
|
||||
# --------------------------------------------------------------------------- #
|
||||
class TestAntiSalvage:
|
||||
"""Advancement is gated by `if exit_code == 0`; a -9 run is routed to retry/fail."""
|
||||
|
||||
class _Proc:
|
||||
def __init__(self, code):
|
||||
self._code = code
|
||||
|
||||
def wait(self):
|
||||
return self._code
|
||||
|
||||
def _seed_run(self, agent="developer"):
|
||||
conn = get_db()
|
||||
cur = conn.execute(
|
||||
"INSERT INTO agent_runs (task_id, agent) VALUES (?,?)", (1, agent)
|
||||
)
|
||||
rid = cur.lastrowid
|
||||
conn.commit()
|
||||
conn.close()
|
||||
return rid
|
||||
|
||||
def _drive(self, monkeypatch, exit_code, agent="developer", job_id=7):
|
||||
import src.agents.launcher as L
|
||||
|
||||
calls = {"advance": [], "finalize": []}
|
||||
monkeypatch.setattr(
|
||||
L.AgentLauncher,
|
||||
"_try_advance_stage",
|
||||
lambda self, *a, **k: calls["advance"].append(a),
|
||||
)
|
||||
monkeypatch.setattr(
|
||||
L.AgentLauncher,
|
||||
"_finalize_job",
|
||||
lambda self, *a, **k: calls["finalize"].append(a),
|
||||
)
|
||||
monkeypatch.setattr(
|
||||
L.AgentLauncher, "_post_usage_comments", lambda self, *a, **k: None
|
||||
)
|
||||
monkeypatch.setattr(L, "notify_agent_finished", lambda *a, **k: None)
|
||||
monkeypatch.setattr(L, "get_worktree_path", lambda r, b: "/nonexistent/path")
|
||||
|
||||
# git status returns "no changes" so the commit/push branch is skipped.
|
||||
class _R:
|
||||
stdout = ""
|
||||
stderr = ""
|
||||
returncode = 0
|
||||
|
||||
monkeypatch.setattr(L.subprocess, "run", lambda *a, **k: _R())
|
||||
|
||||
rid = self._seed_run(agent)
|
||||
L.AgentLauncher()._monitor_agent(
|
||||
self._Proc(exit_code),
|
||||
rid,
|
||||
agent,
|
||||
"orchestrator",
|
||||
"feature/ORCH-109-x",
|
||||
output_path=None,
|
||||
log_fh=None,
|
||||
job_id=job_id,
|
||||
)
|
||||
return calls
|
||||
|
||||
def test_tc11_killed_developer_run_does_not_advance(self, monkeypatch):
|
||||
"""TC-11/AC-8: a developer run killed (-9) does not auto-advance the stage."""
|
||||
calls = self._drive(monkeypatch, exit_code=-9, agent="developer")
|
||||
assert calls["advance"] == [] # NO auto-advance on -9
|
||||
assert len(calls["finalize"]) == 1 # routed to retry/fail finalizer instead
|
||||
|
||||
def test_tc11_killed_reviewer_run_does_not_advance(self, monkeypatch):
|
||||
"""TC-11/AC-8: same guard for the reviewer role (review -> testing)."""
|
||||
calls = self._drive(monkeypatch, exit_code=-9, agent="reviewer")
|
||||
assert calls["advance"] == []
|
||||
|
||||
def test_tc11_clean_exit_advances(self, monkeypatch):
|
||||
"""Positive control: a clean exit (0) DOES reach _try_advance_stage."""
|
||||
calls = self._drive(monkeypatch, exit_code=0, agent="developer")
|
||||
assert len(calls["advance"]) == 1
|
||||
|
||||
|
||||
# --------------------------------------------------------------------------- #
|
||||
# TC-12 — contracts & schema untouched (NFR-1 / NFR-3, AC-9)
|
||||
# --------------------------------------------------------------------------- #
|
||||
class TestContractsUnchanged:
|
||||
"""ORCH-109 lives entirely outside the stage-machine / QG / schema layers."""
|
||||
|
||||
def test_tc12_stage_transitions_unchanged(self):
|
||||
"""AC-9: no new edge / sink introduced."""
|
||||
from src.stages import STAGE_TRANSITIONS
|
||||
|
||||
assert set(STAGE_TRANSITIONS) == {
|
||||
"created",
|
||||
"analysis",
|
||||
"architecture",
|
||||
"development",
|
||||
"review",
|
||||
"testing",
|
||||
"deploy-staging",
|
||||
"deploy",
|
||||
"done",
|
||||
"cancelled",
|
||||
}
|
||||
|
||||
def test_tc12_agent_runs_model_effort_columns_preexist(self):
|
||||
"""AC-9: model/effort are PRE-EXISTING columns; ORCH-109 adds no migration."""
|
||||
conn = get_db()
|
||||
cols = [r[1] for r in conn.execute("PRAGMA table_info(agent_runs)").fetchall()]
|
||||
conn.close()
|
||||
assert "model" in cols
|
||||
assert "effort" in cols
|
||||
|
||||
def test_tc12_qg_checks_registry_present(self):
|
||||
"""AC-9: the QG registry is untouched (timeout/telemetry is not a gate)."""
|
||||
from src.qg.checks import QG_CHECKS
|
||||
|
||||
assert "check_ci_green" in QG_CHECKS
|
||||
assert "check_reviewer_verdict" in QG_CHECKS
|
||||
477
tests/test_system_docs.py
Normal file
477
tests/test_system_docs.py
Normal file
@@ -0,0 +1,477 @@
|
||||
"""ORCH-011 (FR-7 / AC-1…AC-12): анти-дрейф контур витрины системы `docs/overview/`.
|
||||
|
||||
Структурные проверки витрины (ADR-001 D6, образец — `tests/test_lite_setup_doc.py` /
|
||||
`test_bundled_setup_doc.py`): 10 файлов D1 существуют и непусты (TC-01); индекс несёт
|
||||
маршруты трёх аудиторий и норматив сопровождения, из него достижимы все части (TC-02);
|
||||
бизнес-часть несёт 5 обязательных смысловых разделов и ≥5 сценариев (AC-2);
|
||||
карта стадий и гейтов derive-сверяется импортом `src.stages.STAGE_TRANSITIONS` и
|
||||
`src.qg.checks.QG_CHECKS` — не статичным списком (TC-03/TC-04, паттерн ORCH-091);
|
||||
полнота агентов derive из glob `.openclaw/agents/*.md`, таблица эффортов — из
|
||||
class-default'ов `src.config.Settings` (TC-05, ORCH-41/81); все относительные ссылки
|
||||
резолвятся, обязательные golden-source ссылки AC-6 присутствуют (TC-06); гигиена —
|
||||
полнотекстовый FORBIDDEN-скан (импорт из `tests/test_no_host_hardcodes.py`, не копия) +
|
||||
секрет-эвристика + запрет вне-репозиторных путей (TC-07, AC-12); слайдо-источник
|
||||
валидируется каноническим парсером `parse_slides` из `scripts/build_presentation.py`
|
||||
(TC-08, один парсер — один источник истины о формате, прецедент
|
||||
`test_bootstrap_script.py`); NFR-2 машинно: `pptx` отсутствует в `requirements*` /
|
||||
`Dockerfile` (TC-09); указатели README/CLAUDE/CHANGELOG обновлены (TC-10).
|
||||
Детерминировано: без сети/LLM/subprocess. Новый QG НЕ регистрируется (ТЗ §6) —
|
||||
модуль исполняется существующими гейтами (`check_ci_green` / `check_tests_passed`).
|
||||
"""
|
||||
|
||||
import ast
|
||||
import importlib.util
|
||||
import re
|
||||
import sys
|
||||
from pathlib import Path
|
||||
|
||||
from src.config import Settings
|
||||
from src.qg.checks import QG_CHECKS
|
||||
from src.stages import STAGE_TRANSITIONS
|
||||
|
||||
# Один источник истины запрещённых боевых литералов (ORCH-101 AC-7).
|
||||
from tests.test_no_host_hardcodes import FORBIDDEN
|
||||
|
||||
REPO_ROOT = Path(__file__).resolve().parents[1]
|
||||
OVERVIEW = REPO_ROOT / "docs" / "overview"
|
||||
AGENTS_DIR = REPO_ROOT / ".openclaw" / "agents"
|
||||
BUILD_SCRIPT = REPO_ROOT / "scripts" / "build_presentation.py"
|
||||
|
||||
# Нормативный состав витрины (ADR-001 D1: плоский каталог, 10 файлов).
|
||||
SHOWCASE_FILES: tuple[str, ...] = (
|
||||
"README.md",
|
||||
"business.md",
|
||||
"tech-architecture.md",
|
||||
"tech-pipeline.md",
|
||||
"tech-agents.md",
|
||||
"tech-data-model.md",
|
||||
"tech-integrations.md",
|
||||
"tech-quality-security.md",
|
||||
"tech-observability.md",
|
||||
"presentation.md",
|
||||
)
|
||||
|
||||
# Под-гейты ребра deploy-staging→deploy: фактические имена реестра QG_CHECKS в
|
||||
# нормативном порядке security → merge → coverage → image-freshness (adr-0029).
|
||||
SUBGATES_IN_ORDER: tuple[str, ...] = (
|
||||
"check_security_gate",
|
||||
"check_branch_mergeable",
|
||||
"check_coverage_gate",
|
||||
"check_staging_image_fresh",
|
||||
)
|
||||
|
||||
# Обязательные golden-source ссылки витрины (AC-6), repo-relative POSIX.
|
||||
MANDATORY_LINK_TARGETS: tuple[str, ...] = (
|
||||
"docs/architecture/README.md",
|
||||
"docs/architecture/internals.md",
|
||||
"docs/_standards/PIPELINE_DOCS.md",
|
||||
"docs/_standards/HANDOFF_PROTOCOL.md",
|
||||
"docs/architecture/adr",
|
||||
"docs/deployment/LITE_SETUP.md",
|
||||
"docs/deployment/BUNDLED_SETUP.md",
|
||||
"docs/PRODUCT_VISION.md",
|
||||
"CLAUDE.md",
|
||||
)
|
||||
|
||||
# Маркдаун-ссылка: [текст](цель) — цель без пробелов.
|
||||
_LINK_RE = re.compile(r"\[[^\]]*\]\(([^)\s]+)\)")
|
||||
|
||||
# Секрет-эвристика (паттерн ORCH-102 D8): hex-run >= 32 / чистый alnum-run >= 40.
|
||||
_SECRET_HEX_RE = re.compile(r"\b[0-9a-fA-F]{32,}\b")
|
||||
_SECRET_ALNUM_RE = re.compile(r"\b[A-Za-z0-9]{40,}\b")
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# helpers
|
||||
# ---------------------------------------------------------------------------
|
||||
def _read(name: str) -> str:
|
||||
"""Текст файла витрины; падает с внятным сообщением, если файла нет."""
|
||||
path = OVERVIEW / name
|
||||
assert path.is_file(), f"docs/overview/{name} отсутствует (D1 / AC-1)"
|
||||
return path.read_text(encoding="utf-8")
|
||||
|
||||
|
||||
def _stage_token_re(stage: str) -> re.Pattern:
|
||||
"""Регэксп стадии с границами: `deploy` не матчится внутри `deploy-staging`,
|
||||
`review` — внутри `reviewer`/`12-review.md` (дефис и \\w исключены с обеих сторон)."""
|
||||
return re.compile(rf"(?<![\w-]){re.escape(stage)}(?![\w-])")
|
||||
|
||||
|
||||
def _first_stage_pos(text: str, stage: str) -> int:
|
||||
"""Позиция первого вхождения стадии (с границами) или -1."""
|
||||
m = _stage_token_re(stage).search(text)
|
||||
return m.start() if m else -1
|
||||
|
||||
|
||||
def _main_chain() -> list[str]:
|
||||
"""Основная цепочка стадий, derive проходом по `next` от created (не статика)."""
|
||||
chain: list[str] = []
|
||||
stage = "created"
|
||||
while stage is not None:
|
||||
chain.append(stage)
|
||||
stage = STAGE_TRANSITIONS[stage]["next"]
|
||||
return chain
|
||||
|
||||
|
||||
def _rel_link_targets(name: str) -> list[str]:
|
||||
"""Относительные цели md-ссылок файла (внешние URL и якоря — мимо)."""
|
||||
targets: list[str] = []
|
||||
for target in _LINK_RE.findall(_read(name)):
|
||||
if target.startswith(("http://", "https://", "mailto:", "#")):
|
||||
continue
|
||||
targets.append(target.split("#", 1)[0])
|
||||
return [t for t in targets if t]
|
||||
|
||||
|
||||
def _load_build_module():
|
||||
"""Импорт scripts/build_presentation.py по файлу (прецедент test_bootstrap_script):
|
||||
top-level скрипта обязан быть stdlib-only, иначе сам импорт здесь упадёт."""
|
||||
spec = importlib.util.spec_from_file_location("build_presentation", BUILD_SCRIPT)
|
||||
mod = importlib.util.module_from_spec(spec)
|
||||
# Регистрация в sys.modules ДО exec: dataclass резолвит строковые аннотации
|
||||
# (`from __future__ import annotations`) через sys.modules[cls.__module__].
|
||||
sys.modules[spec.name] = mod
|
||||
spec.loader.exec_module(mod)
|
||||
return mod
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# TC-01: все 10 файлов витрины существуют и непусты (AC-1 / D1).
|
||||
# ---------------------------------------------------------------------------
|
||||
def test_all_showcase_files_exist_and_nonempty():
|
||||
for name in SHOWCASE_FILES:
|
||||
text = _read(name).strip()
|
||||
assert len(text) > 300, f"docs/overview/{name} подозрительно пуст (D1)"
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# TC-02: индекс — маршруты 3 аудиторий, норматив, достижимость всех частей (AC-1/8/9).
|
||||
# ---------------------------------------------------------------------------
|
||||
def test_index_carries_three_audience_routes():
|
||||
text = _read("README.md")
|
||||
for route in ("Я заказчик", "Я менеджер", "Я разработчик"):
|
||||
assert route in text, f"маршрут {route!r} отсутствует в индексе (FR-5 / AC-8)"
|
||||
|
||||
|
||||
def test_index_carries_maintenance_normative():
|
||||
text = _read("README.md")
|
||||
assert "в том же PR" in text, (
|
||||
"норматив сопровождения «изменил функциональность → обнови витрину "
|
||||
"в том же PR» отсутствует в индексе (FR-6 / AC-9)"
|
||||
)
|
||||
|
||||
|
||||
def test_index_links_reach_every_showcase_part():
|
||||
targets = {t.removeprefix("./") for t in _rel_link_targets("README.md")}
|
||||
for name in SHOWCASE_FILES[1:]:
|
||||
assert name in targets, (
|
||||
f"{name} недостижим из индекса по относительной ссылке (AC-1)"
|
||||
)
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# TC-03: бизнес-часть — 5 обязательных разделов + >=5 сценариев (AC-2).
|
||||
# ---------------------------------------------------------------------------
|
||||
def test_business_part_has_five_mandatory_sections():
|
||||
text = _read("business.md")
|
||||
for marker in ("## Проблема", "## Решение", "Что умеет", "## Ценность", "## Сценарии"):
|
||||
assert marker in text, f"бизнес-раздел {marker!r} отсутствует (FR-2 / AC-2)"
|
||||
|
||||
|
||||
def test_business_part_has_at_least_five_scenarios():
|
||||
text = _read("business.md")
|
||||
count = text.count("### Сценарий")
|
||||
assert count >= 5, f"в business.md {count} сценариев, требуется >= 5 (FR-2 / AC-2)"
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# TC-04: 7 тех-блоков присутствуют (через TC-01) + схема потока в блоке 1 (AC-3).
|
||||
# ---------------------------------------------------------------------------
|
||||
def test_architecture_block_carries_flow_diagram():
|
||||
text = _read("tech-architecture.md")
|
||||
fenced = re.findall(r"```[^\n]*\n(.*?)```", text, flags=re.DOTALL)
|
||||
assert fenced, "tech-architecture.md не несёт ни одного fenced-блока со схемой (AC-3)"
|
||||
flow = [b for b in fenced if ("вебхук" in b.lower() or "webhook" in b.lower()) and "→" in b]
|
||||
assert flow, (
|
||||
"схема потока «вебхук → очередь → агент → гейт → переход» отсутствует "
|
||||
"в tech-architecture.md (FR-3.1 / AC-3)"
|
||||
)
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# TC-05 (план TC-05): карта стадий = код, derive из STAGE_TRANSITIONS (AC-4).
|
||||
# ---------------------------------------------------------------------------
|
||||
def test_every_stage_from_code_is_mentioned_in_pipeline_doc():
|
||||
text = _read("tech-pipeline.md")
|
||||
missing = [s for s in STAGE_TRANSITIONS if _first_stage_pos(text, s) == -1]
|
||||
assert not missing, (
|
||||
f"стадии из src.stages.STAGE_TRANSITIONS отсутствуют в tech-pipeline.md "
|
||||
f"(AC-4): {missing}"
|
||||
)
|
||||
|
||||
|
||||
def test_main_chain_order_in_pipeline_doc_matches_code():
|
||||
text = _read("tech-pipeline.md")
|
||||
chain = _main_chain()
|
||||
positions = [_first_stage_pos(text, s) for s in chain]
|
||||
assert -1 not in positions, "стадия основной цепочки не найдена в tech-pipeline.md"
|
||||
assert positions == sorted(positions), (
|
||||
f"порядок первых вхождений стадий {chain} в tech-pipeline.md противоречит "
|
||||
f"коду (AC-4): позиции {positions}"
|
||||
)
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# TC-06 (план TC-06): гейты = код; под-гейты в нормативном порядке (AC-4).
|
||||
# ---------------------------------------------------------------------------
|
||||
def test_every_exit_gate_from_code_is_named_in_pipeline_doc():
|
||||
text = _read("tech-pipeline.md")
|
||||
exit_gates = {t["qg"] for t in STAGE_TRANSITIONS.values() if t["qg"]}
|
||||
missing = sorted(g for g in exit_gates if g not in text)
|
||||
assert not missing, f"exit-гейты рёбер не названы в tech-pipeline.md (AC-4): {missing}"
|
||||
|
||||
|
||||
def test_no_invented_gate_names_anywhere_in_showcase():
|
||||
"""Каждое упомянутое имя check_* существует в реестре QG_CHECKS (анти-выдумка)."""
|
||||
for name in SHOWCASE_FILES:
|
||||
mentioned = set(re.findall(r"check_[a-z_]+[a-z]", _read(name)))
|
||||
unknown = sorted(mentioned - set(QG_CHECKS))
|
||||
assert not unknown, (
|
||||
f"docs/overview/{name} упоминает несуществующие гейты (AC-4): {unknown}"
|
||||
)
|
||||
|
||||
|
||||
def test_subgates_in_normative_order_and_marked_as_insets():
|
||||
text = _read("tech-pipeline.md")
|
||||
for gate in SUBGATES_IN_ORDER:
|
||||
assert gate in QG_CHECKS, f"под-гейт {gate} исчез из реестра QG_CHECKS"
|
||||
positions = [text.find(g) for g in SUBGATES_IN_ORDER]
|
||||
assert -1 not in positions, (
|
||||
f"под-гейт ребра deploy-staging→deploy не назван в tech-pipeline.md: "
|
||||
f"{[g for g, p in zip(SUBGATES_IN_ORDER, positions) if p == -1]}"
|
||||
)
|
||||
assert positions == sorted(positions), (
|
||||
"под-гейты идут не в нормативном порядке security → merge → coverage → "
|
||||
"image-freshness (adr-0029 / AC-4)"
|
||||
)
|
||||
assert "не стадии" in text, (
|
||||
"tech-pipeline.md обязан явно помечать под-гейты как врезки в переход, "
|
||||
"«не стадии» (AC-4)"
|
||||
)
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# TC-07 (план TC-07): полнота агентов derive из glob; эффорты = config (AC-5).
|
||||
# ---------------------------------------------------------------------------
|
||||
def test_every_agent_prompt_stem_is_covered():
|
||||
stems = sorted(p.stem for p in AGENTS_DIR.glob("*.md"))
|
||||
assert stems, ".openclaw/agents/*.md не найдены — glob сломан"
|
||||
text = _read("tech-agents.md")
|
||||
missing = [s for s in stems if s not in text]
|
||||
assert not missing, f"роли из .openclaw/agents/ не описаны в tech-agents.md: {missing}"
|
||||
|
||||
|
||||
def test_effort_table_matches_config_class_defaults():
|
||||
"""Таблица модель/эффорт сходится с class-default'ами Settings (ORCH-41/81)."""
|
||||
text = _read("tech-agents.md")
|
||||
table_rows = [ln for ln in text.splitlines() if ln.strip().startswith("|")]
|
||||
assert table_rows, "tech-agents.md не несёт таблицы модель/эффорт (AC-5)"
|
||||
model_default = Settings.model_fields["agent_model_default"].default
|
||||
assert model_default in text, (
|
||||
f"дефолтная модель {model_default!r} (config) не упомянута в tech-agents.md"
|
||||
)
|
||||
effort_default = Settings.model_fields["agent_effort_default"].default
|
||||
for stem in sorted(p.stem for p in AGENTS_DIR.glob("*.md")):
|
||||
fld = Settings.model_fields.get(f"agent_effort_{stem}")
|
||||
effort = (fld.default if fld else "") or effort_default
|
||||
role_rows = [ln for ln in table_rows if stem in ln]
|
||||
assert role_rows, f"строка таблицы для роли {stem!r} отсутствует (AC-5)"
|
||||
assert any(f"`{effort}`" in ln for ln in role_rows), (
|
||||
f"эффорт роли {stem!r} в таблице разъехался с config "
|
||||
f"(ожидается `{effort}`, ORCH-81)"
|
||||
)
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# TC-08 (план TC-08/TC-09): валидность ссылок + обязательные golden sources (AC-6).
|
||||
# ---------------------------------------------------------------------------
|
||||
def test_all_relative_links_resolve_to_existing_files():
|
||||
broken: list[str] = []
|
||||
for name in SHOWCASE_FILES:
|
||||
for target in _rel_link_targets(name):
|
||||
if not (OVERVIEW / target).resolve().exists():
|
||||
broken.append(f"{name}: {target}")
|
||||
assert not broken, "битые относительные ссылки витрины (AC-6):\n" + "\n".join(broken)
|
||||
|
||||
|
||||
def test_mandatory_golden_source_links_present():
|
||||
resolved: set[str] = set()
|
||||
for name in SHOWCASE_FILES:
|
||||
for target in _rel_link_targets(name):
|
||||
path = (OVERVIEW / target).resolve()
|
||||
if path.exists():
|
||||
resolved.add(path.relative_to(REPO_ROOT).as_posix())
|
||||
missing = [t for t in MANDATORY_LINK_TARGETS if t not in resolved]
|
||||
assert not missing, f"обязательные ссылки на golden sources отсутствуют (AC-6): {missing}"
|
||||
|
||||
|
||||
def test_no_out_of_repo_references():
|
||||
"""AC-12: витрина самодостаточна — никаких ссылок на вне-репозиторные пути."""
|
||||
for name in SHOWCASE_FILES:
|
||||
text = _read(name)
|
||||
for needle in ("tasks/", "memory/"):
|
||||
assert needle not in text, (
|
||||
f"docs/overview/{name} ссылается на вне-репозиторный путь "
|
||||
f"{needle!r} (AC-12)"
|
||||
)
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# TC-09 (план TC-13): гигиена — FORBIDDEN-скан полнотекстом + секрет-эвристика.
|
||||
# ---------------------------------------------------------------------------
|
||||
def test_showcase_carries_no_forbidden_host_literals():
|
||||
"""Полнотекстовый скан (шире fenced-скана ORCH-102 — обоснование ADR D6)."""
|
||||
offenders = [
|
||||
f"{name}: {literal!r}"
|
||||
for name in SHOWCASE_FILES
|
||||
for literal in FORBIDDEN
|
||||
if literal in _read(name)
|
||||
]
|
||||
assert not offenders, (
|
||||
"боевые хост-литералы в витрине (NFR-3 / AC-11):\n" + "\n".join(offenders)
|
||||
)
|
||||
|
||||
|
||||
def test_showcase_carries_no_secret_like_values():
|
||||
offenders = []
|
||||
for name in SHOWCASE_FILES:
|
||||
for rx in (_SECRET_HEX_RE, _SECRET_ALNUM_RE):
|
||||
m = rx.search(_read(name))
|
||||
if m is not None:
|
||||
offenders.append(f"{name}: {m.group(0)[:16]}…")
|
||||
assert not offenders, (
|
||||
"секретоподобные значения в витрине (NFR-3):\n" + "\n".join(offenders)
|
||||
)
|
||||
|
||||
|
||||
def test_secret_heuristic_is_not_evergreen():
|
||||
"""Негативный самочек (паттерн ORCH-101/102): эвристика реально ловит."""
|
||||
assert _SECRET_HEX_RE.search("token=" + "0f" * 20) is not None
|
||||
assert _SECRET_ALNUM_RE.search("bot" + "Q7" * 25) is not None
|
||||
assert _SECRET_HEX_RE.search("обычный текст витрины 8500/8501") is None
|
||||
assert _SECRET_ALNUM_RE.search("`check_staging_image_fresh` и `STAGE_TRANSITIONS`") is None
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# TC-10 (план TC-10): слайдо-источник через канонический парсер (AC-7 / D4).
|
||||
# ---------------------------------------------------------------------------
|
||||
def test_build_script_toplevel_imports_are_stdlib_only():
|
||||
"""Ленивый импорт pptx (D4): top-level скрипта не тянет python-pptx."""
|
||||
tree = ast.parse(BUILD_SCRIPT.read_text(encoding="utf-8"))
|
||||
top_imports: set[str] = set()
|
||||
for node in tree.body:
|
||||
if isinstance(node, ast.Import):
|
||||
top_imports.update(alias.name.split(".")[0] for alias in node.names)
|
||||
elif isinstance(node, ast.ImportFrom):
|
||||
top_imports.add((node.module or "").split(".")[0])
|
||||
assert "pptx" not in top_imports, (
|
||||
"scripts/build_presentation.py импортирует pptx на top-level — "
|
||||
"parse_slides обязан работать без python-pptx (D4)"
|
||||
)
|
||||
|
||||
|
||||
def test_presentation_source_parses_with_canonical_parser():
|
||||
mod = _load_build_module()
|
||||
slides = mod.parse_slides(_read("presentation.md"))
|
||||
assert len(slides) >= 12, (
|
||||
f"слайдов {len(slides)}, требуется >= 12 (FR-4: ориентир 14–18)"
|
||||
)
|
||||
assert [s.number for s in slides] == list(range(1, len(slides) + 1)), (
|
||||
"нумерация слайдов не сквозная с 1 (D4)"
|
||||
)
|
||||
for s in slides:
|
||||
assert s.title.strip(), f"слайд {s.number}: пустой заголовок"
|
||||
assert s.bullets, f"слайд {s.number}: ни одного тезиса (D4: 3–6 тезисов)"
|
||||
|
||||
|
||||
def test_presentation_covers_mandatory_narrative_bits():
|
||||
low = _read("presentation.md").lower()
|
||||
for bit in ("проблем", "решени", "конвейер", "сценари", "тираж", "статус"):
|
||||
assert bit in low, f"нормативный бит нарратива {bit!r} отсутствует (FR-4 / AC-7)"
|
||||
|
||||
|
||||
def test_presentation_covers_lite_and_plane_usage_bits():
|
||||
"""ORCH-105 (FR-5 / AC-4): новый обязательный контент презентации
|
||||
зафиксирован анти-дрейфом — бесследное удаление слайда Lite-установки или
|
||||
слайдов «как пользоваться орком через Plane» рвёт CI. Матч по lower-case
|
||||
подстрокам (как `test_presentation_covers_mandatory_narrative_bits`);
|
||||
маркеры — семантические корни и дословные имена статусов/лейблов (анти-
|
||||
переобучение к формулировкам), все вне FORBIDDEN/секрет-эвристики."""
|
||||
low = _read("presentation.md").lower()
|
||||
|
||||
# Слайд Lite-установки: корень `lite` + маркер развёртывания (FR-1 / AC-1).
|
||||
assert "lite" in low, "слайд про Lite-установку отсутствует (FR-1 / AC-1)"
|
||||
assert any(m in low for m in ("установк", "разверн")), (
|
||||
"слайд Lite не несёт маркера установки/развёртывания (FR-1 / AC-1)"
|
||||
)
|
||||
|
||||
# Слайды использования через Plane: корень `plane` + операторские маркеры.
|
||||
# Точка входа, оба человеческих гейта и отмена — дословными именами статусов
|
||||
# (FR-2 / AC-2; имена сверены с tech-pipeline.md / tech-integrations.md).
|
||||
assert "plane" in low, "слайды использования через Plane отсутствуют (FR-2 / AC-2)"
|
||||
assert "to analyse" in low, (
|
||||
"слайды Plane-usage не называют точку входа «To Analyse» (FR-2 / AC-2)"
|
||||
)
|
||||
assert "approved" in low, (
|
||||
"слайды Plane-usage не называют человеческий гейт «Approved» (FR-2 / AC-2)"
|
||||
)
|
||||
assert "confirm deploy" in low, (
|
||||
"слайды Plane-usage не называют гейт прод-выкладки «Confirm Deploy» (FR-2 / AC-2)"
|
||||
)
|
||||
assert "stop" in low, (
|
||||
"слайды Plane-usage не называют отмену задачи «STOP» (FR-2 / AC-2)"
|
||||
)
|
||||
|
||||
|
||||
def test_presentation_carries_reproducible_build_procedure():
|
||||
text = _read("presentation.md")
|
||||
assert "build_presentation.py" in text, (
|
||||
"процедура сборки .pptx не ссылается на скрипт (AC-7)"
|
||||
)
|
||||
assert "Проверка" in text, (
|
||||
"процедура сборки не несёт явных маркеров «Проверка:» (канон LITE_SETUP)"
|
||||
)
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# TC-11 (план TC-11): NFR-2 машинно — pptx не в прод-образе.
|
||||
# ---------------------------------------------------------------------------
|
||||
def test_no_pptx_dependency_in_prod_image():
|
||||
files = sorted(REPO_ROOT.glob("requirements*")) + [REPO_ROOT / "Dockerfile"]
|
||||
assert files, "requirements*/Dockerfile не найдены — скан пуст"
|
||||
offenders = [
|
||||
p.name for p in files if "pptx" in p.read_text(encoding="utf-8").lower()
|
||||
]
|
||||
assert not offenders, (
|
||||
f"зависимость генерации презентации попала в прод-образ (NFR-2): {offenders}"
|
||||
)
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# TC-12 (план TC-12): указатели репо — README / CLAUDE.md / CHANGELOG (AC-9/AC-11).
|
||||
# ---------------------------------------------------------------------------
|
||||
def test_repo_readme_links_overview():
|
||||
assert "docs/overview/" in (REPO_ROOT / "README.md").read_text(encoding="utf-8"), (
|
||||
"README.md не ссылается на витрину docs/overview/ (AC-11)"
|
||||
)
|
||||
|
||||
|
||||
def test_claude_md_carries_overview_pointer_and_normative():
|
||||
text = (REPO_ROOT / "CLAUDE.md").read_text(encoding="utf-8")
|
||||
assert "docs/overview/" in text, "CLAUDE.md не несёт указатель на витрину (AC-9)"
|
||||
|
||||
|
||||
def test_changelog_has_orch_011_entry():
|
||||
assert "ORCH-011" in (REPO_ROOT / "CHANGELOG.md").read_text(encoding="utf-8"), (
|
||||
"CHANGELOG.md не несёт docs:-записи по ORCH-011 (AC-11)"
|
||||
)
|
||||
@@ -48,6 +48,17 @@ def test_host_paths_mounted_read_only():
|
||||
assert v.endswith(":ro"), f"watchdog mount must be :ro: {v}"
|
||||
|
||||
|
||||
def test_watchdog_shares_host_pid_namespace():
|
||||
# ORCH-111 (adr-0041 D6): the sidecar shares the host PID-namespace so its
|
||||
# /proc reflects the host (proc_blocking collector). `pid: host` is NOT a
|
||||
# volume, so the read-only-mounts invariant above is unaffected.
|
||||
wd = _compose()["services"]["orchestrator-watchdog"]
|
||||
assert wd.get("pid") == "host", "orchestrator-watchdog must declare `pid: host`"
|
||||
# The privilege stays on the OBSERVER only — prod orchestrator must NOT get it.
|
||||
orch = _compose()["services"]["orchestrator"]
|
||||
assert "pid" not in orch, "the prod orchestrator service must not share the host PID-namespace"
|
||||
|
||||
|
||||
def test_env_file_is_optional():
|
||||
# A missing .env.watchdog must not break `docker compose up` (self-hosting).
|
||||
wd = _compose()["services"]["orchestrator-watchdog"]
|
||||
|
||||
@@ -67,3 +67,35 @@ def test_malformed_env_degrades_to_default():
|
||||
cfg = Config.from_env({"WATCHDOG_INTERVAL_S": "abc", "WATCHDOG_MEM_PCT": ""})
|
||||
assert cfg.interval_s == 30.0
|
||||
assert cfg.mem_pct == 90.0
|
||||
|
||||
|
||||
# -- ORCH-111: proc_blocking config (kill-switch default-off + safe threshold) --
|
||||
def test_proc_blocking_defaults_off_and_safe():
|
||||
cfg = Config.from_env({})
|
||||
assert cfg.proc_enabled is False # opt-in (needs `pid: host`)
|
||||
assert cfg.proc_patterns == ["pytest"]
|
||||
assert cfg.proc_cooldown_s == 1800.0
|
||||
# Cross-invariant (adr-0041 D2): the default age threshold MUST exceed the max
|
||||
# legitimate test-run budget max(merge_retest_timeout_s=600, coverage=900).
|
||||
assert cfg.proc_age_s > 900.0
|
||||
|
||||
|
||||
def test_proc_blocking_thresholds_read_from_env():
|
||||
cfg = Config.from_env(
|
||||
{
|
||||
"WATCHDOG_PROC_ENABLED": "true",
|
||||
"WATCHDOG_PROC_AGE_MIN": "45",
|
||||
"WATCHDOG_PROC_PATTERNS": "pytest,coverage run",
|
||||
"WATCHDOG_PROC_COOLDOWN_S": "900",
|
||||
}
|
||||
)
|
||||
assert cfg.proc_enabled is True
|
||||
assert cfg.proc_age_s == 45 * 60.0
|
||||
assert cfg.proc_patterns == ["pytest", "coverage run"]
|
||||
assert cfg.proc_cooldown_s == 900.0
|
||||
|
||||
|
||||
def test_proc_blocking_malformed_env_degrades():
|
||||
cfg = Config.from_env({"WATCHDOG_PROC_AGE_MIN": "nope", "WATCHDOG_PROC_ENABLED": ""})
|
||||
assert cfg.proc_age_min == 60.0
|
||||
assert cfg.proc_enabled is False
|
||||
|
||||
256
tests/watchdog/test_proc_blocking_signal.py
Normal file
256
tests/watchdog/test_proc_blocking_signal.py
Normal file
@@ -0,0 +1,256 @@
|
||||
"""ORCH-111 TC-01…TC-06: the proc_blocking signal builder + decision surface.
|
||||
|
||||
Pure / deterministic — no real ``/proc``, no container, no socket, no timer. The
|
||||
collector is exercised here only for its never-raise / read-only contract
|
||||
(TC-04); its ``/proc`` parsing fixtures live in ``test_proc_collector.py``.
|
||||
|
||||
TC-01 is the REGRESS anchor: before ORCH-111 there was no ``proc_blocking``
|
||||
builder/dispatch at all, so a long-lived orphaned pytest raised no alert; this
|
||||
asserts the active signal is now produced (red→green).
|
||||
"""
|
||||
import ast as _ast
|
||||
import inspect as _inspect
|
||||
|
||||
from watchdog.collectors import proc as proc_mod
|
||||
from watchdog.config import Config
|
||||
from watchdog.core import Watchdog
|
||||
from watchdog.decision import (
|
||||
ACTION_ALERT,
|
||||
ACTION_NONE,
|
||||
ACTION_REALERT,
|
||||
ACTION_RECOVERY,
|
||||
)
|
||||
from watchdog.signals import proc_signals
|
||||
|
||||
|
||||
def _cfg(**kw) -> Config:
|
||||
base = {"WATCHDOG_PROC_ENABLED": "true", "WATCHDOG_PROC_AGE_MIN": "60"}
|
||||
return Config.from_env({**base, **kw})
|
||||
|
||||
|
||||
def _candidate(pid=4242, age_s=7200.0, cmdline="python3 -m pytest tests/", cpu_s=1234.0):
|
||||
return {"pid": pid, "cmdline": cmdline, "age_s": age_s, "cpu_s": cpu_s, "start_ticks": 1}
|
||||
|
||||
|
||||
# -- TC-01: regress — active signal for a long-lived blocking process ---------
|
||||
def test_tc01_builder_emits_active_proc_blocking_signal():
|
||||
cfg = _cfg() # proc_age_s == 3600
|
||||
sigs = proc_signals(cfg, [_candidate(pid=4242, age_s=7200.0)])
|
||||
assert len(sigs) == 1
|
||||
sig = sigs[0]
|
||||
assert sig.key == ("proc_blocking", 4242)
|
||||
assert sig.active is True # 7200 > 3600
|
||||
# AC-2: actionable detail — PID, age in seconds, cmdline fragment, CPU time.
|
||||
assert "4242" in sig.detail
|
||||
assert "7200" in sig.detail
|
||||
assert "pytest" in sig.detail
|
||||
assert "CPU" in sig.detail
|
||||
assert sig.cooldown_s == cfg.proc_cooldown_s
|
||||
|
||||
|
||||
# -- TC-02: anti-false-positive — below the threshold -> inactive -------------
|
||||
def test_tc02_below_threshold_is_inactive():
|
||||
cfg = _cfg() # proc_age_s == 3600
|
||||
sigs = proc_signals(cfg, [_candidate(age_s=600.0)]) # within a 600s test budget
|
||||
assert len(sigs) == 1
|
||||
assert sigs[0].active is False # 600 < 3600 -> no alert (BR-4 / AC-4)
|
||||
|
||||
|
||||
def test_tc02_boundary_is_strict_greater_than():
|
||||
cfg = _cfg()
|
||||
at_threshold = proc_signals(cfg, [_candidate(age_s=cfg.proc_age_s)])
|
||||
assert at_threshold[0].active is False # strict `>`: exactly at threshold is OK
|
||||
over = proc_signals(cfg, [_candidate(age_s=cfg.proc_age_s + 1)])
|
||||
assert over[0].active is True
|
||||
|
||||
|
||||
# -- TC-03: config / kill-switch + default threshold > test-run budget --------
|
||||
def test_tc03_defaults_are_off_and_safe():
|
||||
cfg = Config.from_env({})
|
||||
assert cfg.proc_enabled is False # default-OFF (opt-in, D5)
|
||||
assert cfg.proc_patterns == ["pytest"]
|
||||
assert cfg.proc_cooldown_s == 1800.0
|
||||
# Cross-invariant (D2): default age threshold MUST exceed the max legitimate
|
||||
# test-run budget max(merge_retest_timeout_s=600, coverage_run_timeout_s=900).
|
||||
assert cfg.proc_age_s > 900.0
|
||||
|
||||
|
||||
def test_tc03_env_overrides_and_malformed_degrade():
|
||||
cfg = Config.from_env(
|
||||
{
|
||||
"WATCHDOG_PROC_ENABLED": "true",
|
||||
"WATCHDOG_PROC_AGE_MIN": "30",
|
||||
"WATCHDOG_PROC_PATTERNS": "pytest,coverage run",
|
||||
"WATCHDOG_PROC_COOLDOWN_S": "600",
|
||||
}
|
||||
)
|
||||
assert cfg.proc_enabled is True
|
||||
assert cfg.proc_age_s == 30 * 60.0
|
||||
assert cfg.proc_patterns == ["pytest", "coverage run"]
|
||||
assert cfg.proc_cooldown_s == 600.0
|
||||
# malformed numerics degrade to defaults (never-raise config).
|
||||
bad = Config.from_env({"WATCHDOG_PROC_AGE_MIN": "abc", "WATCHDOG_PROC_COOLDOWN_S": ""})
|
||||
assert bad.proc_age_min == 60.0
|
||||
assert bad.proc_cooldown_s == 1800.0
|
||||
|
||||
|
||||
def test_tc03_killswitch_off_makes_collector_inert():
|
||||
cfg = Config.from_env({"WATCHDOG_PROC_ENABLED": "false"})
|
||||
dog = Watchdog(cfg, notifier=_Notifier(), docker=_StubDocker(), now_provider=lambda: 0.0)
|
||||
# The gated collector returns [] without ever touching /proc (zero overhead).
|
||||
assert dog._collect_proc(now=0.0) == []
|
||||
|
||||
|
||||
# -- TC-04: collector never-raise / read-only ---------------------------------
|
||||
def test_tc04_collector_degrades_to_empty_on_broken_source():
|
||||
# Missing /proc root -> [] (one signal skipped), no exception.
|
||||
assert proc_mod.collect_candidates(["pytest"], now=0.0, proc_root="/no/such/proc") == []
|
||||
|
||||
|
||||
def test_tc04_collector_empty_when_btime_unreadable(tmp_path):
|
||||
# /proc with no parseable btime -> [] (cannot compute age -> no bogus signal).
|
||||
(tmp_path / "stat").write_text("cpu 1 2 3\nintr 0\n")
|
||||
assert proc_mod.collect_candidates(["pytest"], now=0.0, proc_root=str(tmp_path)) == []
|
||||
|
||||
|
||||
def _docstring_node_ids(tree) -> set:
|
||||
"""ids of the Constant nodes that are module/func/class docstrings (prose)."""
|
||||
out = set()
|
||||
for node in _ast.walk(tree):
|
||||
if isinstance(node, (_ast.Module, _ast.FunctionDef, _ast.AsyncFunctionDef, _ast.ClassDef)):
|
||||
body = getattr(node, "body", [])
|
||||
if (
|
||||
body
|
||||
and isinstance(body[0], _ast.Expr)
|
||||
and isinstance(body[0].value, _ast.Constant)
|
||||
and isinstance(body[0].value.value, str)
|
||||
):
|
||||
out.add(id(body[0].value))
|
||||
return out
|
||||
|
||||
|
||||
def test_tc04_collector_source_is_read_only():
|
||||
# AC-3 / NFR-2: the EXECUTABLE code (not the prose describing the contract)
|
||||
# carries no kill / signal / subprocess / environ-read. Scan the AST so the
|
||||
# docstring that documents the ban does not trip the check.
|
||||
tree = _ast.parse(_inspect.getsource(proc_mod))
|
||||
docstrings = _docstring_node_ids(tree)
|
||||
violations: list[str] = []
|
||||
_MUTATING_ATTRS = {"kill", "system", "Popen", "popen", "run", "send_signal", "terminate"}
|
||||
for node in _ast.walk(tree):
|
||||
if isinstance(node, _ast.Import):
|
||||
for a in node.names:
|
||||
if a.name.split(".")[0] in {"subprocess", "signal"}:
|
||||
violations.append(f"import {a.name}")
|
||||
elif isinstance(node, _ast.ImportFrom):
|
||||
if (node.module or "").split(".")[0] in {"subprocess", "signal"}:
|
||||
violations.append(f"from {node.module}")
|
||||
elif isinstance(node, _ast.Attribute) and node.attr in _MUTATING_ATTRS:
|
||||
violations.append(f".{node.attr}")
|
||||
elif isinstance(node, _ast.Constant) and isinstance(node.value, str):
|
||||
if id(node) not in docstrings and "environ" in node.value:
|
||||
violations.append("reads /proc/<pid>/environ")
|
||||
assert not violations, f"read-only contract violated in proc.py: {violations}"
|
||||
|
||||
|
||||
def test_tc04_builder_skips_records_missing_fields():
|
||||
cfg = _cfg()
|
||||
sigs = proc_signals(cfg, [{"pid": None}, {"cmdline": "pytest"}, _candidate()])
|
||||
assert [s.key for s in sigs] == [("proc_blocking", 4242)] # only the valid record
|
||||
|
||||
|
||||
# -- TC-05: anti-spam / recovery through decide()/AlertState ------------------
|
||||
def test_tc05_alert_throttle_realert_then_recovery():
|
||||
seq = {"candidates": [_candidate(pid=7, age_s=7200.0)]}
|
||||
cfg = _cfg(WATCHDOG_PROC_COOLDOWN_S="1000")
|
||||
t = {"v": 0.0}
|
||||
notifier = _Notifier()
|
||||
dog = Watchdog(cfg, notifier=notifier, docker=_StubDocker(), now_provider=lambda: t["v"])
|
||||
dog._collect_proc = lambda now: list(seq["candidates"]) # inject collector
|
||||
|
||||
def proc_alerts():
|
||||
return [m for m in notifier.sent if "Блокирующий процесс" in m]
|
||||
|
||||
def actions():
|
||||
return [a for a, s in dog.tick() if getattr(s, "key", (None,))[0] == "proc_blocking"]
|
||||
|
||||
# tick 1: threshold crossed -> exactly one ALERT.
|
||||
assert ACTION_ALERT in actions()
|
||||
assert len(proc_alerts()) == 1
|
||||
# tick 2: still alive, within cooldown -> NONE (anti-spam, no new alert).
|
||||
t["v"] = 100.0
|
||||
assert actions() == [ACTION_NONE]
|
||||
assert len(proc_alerts()) == 1
|
||||
# tick 3: cooldown elapsed -> REALERT.
|
||||
t["v"] = 1100.0
|
||||
assert ACTION_REALERT in actions()
|
||||
assert len(proc_alerts()) == 2
|
||||
# tick 4: the process vanished -> exactly one RECOVERY (synthesised, D4).
|
||||
seq["candidates"] = []
|
||||
t["v"] = 1200.0
|
||||
assert ACTION_RECOVERY in actions()
|
||||
recoveries = [m for m in notifier.sent if "восстановление" in m and "Блокирующий" in m]
|
||||
assert len(recoveries) == 1
|
||||
# tick 5: still gone -> no repeated recovery (state cleared).
|
||||
t["v"] = 1300.0
|
||||
dog.tick()
|
||||
assert len([m for m in notifier.sent if "восстановление" in m and "Блокирующий" in m]) == 1
|
||||
|
||||
|
||||
# -- TC-06: no duplicate with agent_hung (cmdline partition) ------------------
|
||||
def test_tc06_claude_agent_cmdline_never_matches_pytest_pattern():
|
||||
# A claude agent process (covered by agent_hung) is excluded by the collector
|
||||
# pattern scope -> proc_blocking never fires for it (NFR-4 / AC-5, by construction).
|
||||
assert proc_mod.matches_patterns("claude --model claude-opus-4-8 -p ...", ["pytest"]) is False
|
||||
assert proc_mod.matches_patterns("python3 -m pytest tests/", ["pytest"]) is True
|
||||
|
||||
|
||||
def test_tc06_collector_excludes_non_matching_processes(tmp_path):
|
||||
_write_fake_proc(
|
||||
tmp_path,
|
||||
btime=1_000_000,
|
||||
procs={
|
||||
"100": ("claude --model claude-opus-4-8", _stat_line(start_ticks=0)),
|
||||
"200": ("python3 -m pytest tests/test_x.py", _stat_line(start_ticks=0)),
|
||||
},
|
||||
)
|
||||
recs = proc_mod.collect_candidates(
|
||||
["pytest"], now=1_010_000.0, proc_root=str(tmp_path), clk_tck=100
|
||||
)
|
||||
assert [r["pid"] for r in recs] == [200] # only the pytest process
|
||||
|
||||
|
||||
# -- shared fakes -------------------------------------------------------------
|
||||
class _Notifier:
|
||||
def __init__(self):
|
||||
self.sent = []
|
||||
|
||||
def send(self, text):
|
||||
self.sent.append(text)
|
||||
return True
|
||||
|
||||
|
||||
class _StubDocker:
|
||||
def inspect(self, name):
|
||||
return {"State": {"Status": "running"}}
|
||||
|
||||
|
||||
def _stat_line(start_ticks: int, utime: int = 0, stime: int = 0) -> str:
|
||||
# /proc/<pid>/stat: pid (comm) state ppid ... utime(14) stime(15) ... starttime(22) ...
|
||||
fields = ["0"] * 52
|
||||
fields[0] = "999"
|
||||
fields[1] = "(python3)"
|
||||
fields[2] = "S"
|
||||
fields[13] = str(utime) # field 14
|
||||
fields[14] = str(stime) # field 15
|
||||
fields[21] = str(start_ticks) # field 22
|
||||
return " ".join(fields)
|
||||
|
||||
|
||||
def _write_fake_proc(root, *, btime: int, procs: dict):
|
||||
(root / "stat").write_text(f"cpu 1 2 3\nbtime {btime}\nintr 0\n")
|
||||
for pid, (cmdline, stat_line) in procs.items():
|
||||
d = root / pid
|
||||
d.mkdir()
|
||||
(d / "cmdline").write_bytes(cmdline.replace(" ", "\x00").encode() + b"\x00")
|
||||
(d / "stat").write_text(stat_line)
|
||||
148
tests/watchdog/test_proc_collector.py
Normal file
148
tests/watchdog/test_proc_collector.py
Normal file
@@ -0,0 +1,148 @@
|
||||
"""ORCH-111: the /proc collector — pure parsing + a fake /proc tree (never-raise).
|
||||
|
||||
Mirrors ``test_host_collector.py``: the pure parsers are unit-tested on text
|
||||
fixtures and ``collect_candidates`` is driven against a temporary ``/proc`` tree,
|
||||
so no real host / Linux kernel is required.
|
||||
"""
|
||||
from watchdog.collectors import proc as proc_mod
|
||||
|
||||
|
||||
# -- parse_btime --------------------------------------------------------------
|
||||
def test_parse_btime_reads_the_btime_line():
|
||||
text = "cpu 1 2 3 4\nbtime 1700000000\nprocesses 99\n"
|
||||
assert proc_mod.parse_btime(text) == 1700000000
|
||||
|
||||
|
||||
def test_parse_btime_absent_is_none():
|
||||
assert proc_mod.parse_btime("cpu 1 2 3\nintr 0\n") is None
|
||||
|
||||
|
||||
def test_parse_btime_garbage_is_none():
|
||||
assert proc_mod.parse_btime("btime not-a-number\n") is None
|
||||
assert proc_mod.parse_btime("") is None
|
||||
|
||||
|
||||
# -- parse_pid_stat (comm may contain spaces/parens) --------------------------
|
||||
def test_parse_pid_stat_simple():
|
||||
# field 14 utime, 15 stime, 22 starttime.
|
||||
fields = ["0"] * 52
|
||||
fields[0], fields[1], fields[2] = "1234", "(python3)", "R"
|
||||
fields[13], fields[14], fields[21] = "50", "25", "9000"
|
||||
st = proc_mod.parse_pid_stat(" ".join(fields))
|
||||
assert st == {"utime": 50, "stime": 25, "starttime": 9000}
|
||||
|
||||
|
||||
def test_parse_pid_stat_comm_with_spaces_and_parens():
|
||||
# A pathological comm "(py (test) x)" must not break field indexing — we
|
||||
# split after the LAST ')'.
|
||||
fields = ["0"] * 52
|
||||
fields[13], fields[14], fields[21] = "7", "3", "4242"
|
||||
tail = " ".join(fields[2:])
|
||||
line = f"1234 (py (test) x) {tail}"
|
||||
st = proc_mod.parse_pid_stat(line)
|
||||
assert st == {"utime": 7, "stime": 3, "starttime": 4242}
|
||||
|
||||
|
||||
def test_parse_pid_stat_truncated_is_none():
|
||||
assert proc_mod.parse_pid_stat("1234 (python3) R 1 2 3") is None
|
||||
assert proc_mod.parse_pid_stat("no parens here") is None
|
||||
assert proc_mod.parse_pid_stat("") is None
|
||||
|
||||
|
||||
# -- decode_cmdline -----------------------------------------------------------
|
||||
def test_decode_cmdline_nul_separated():
|
||||
raw = b"python3\x00-m\x00pytest\x00tests/test_x.py\x00"
|
||||
assert proc_mod.decode_cmdline(raw) == "python3 -m pytest tests/test_x.py"
|
||||
|
||||
|
||||
def test_decode_cmdline_empty_for_kernel_thread():
|
||||
assert proc_mod.decode_cmdline(b"") == ""
|
||||
assert proc_mod.decode_cmdline(None) == ""
|
||||
|
||||
|
||||
# -- matches_patterns ---------------------------------------------------------
|
||||
def test_matches_patterns_substring_any():
|
||||
assert proc_mod.matches_patterns("python3 -m pytest x", ["pytest"]) is True
|
||||
assert proc_mod.matches_patterns("python3 -m coverage run", ["pytest", "coverage run"]) is True
|
||||
assert proc_mod.matches_patterns("bash -c sleep", ["pytest"]) is False
|
||||
assert proc_mod.matches_patterns("", ["pytest"]) is False
|
||||
assert proc_mod.matches_patterns("pytest", []) is False
|
||||
|
||||
|
||||
# -- collect_candidates (fake /proc tree) -------------------------------------
|
||||
def _stat_line(start_ticks, utime=0, stime=0):
|
||||
fields = ["0"] * 52
|
||||
fields[0], fields[1], fields[2] = "999", "(python3)", "S"
|
||||
fields[13], fields[14], fields[21] = str(utime), str(stime), str(start_ticks)
|
||||
return " ".join(fields)
|
||||
|
||||
|
||||
def _write_proc(root, btime, procs):
|
||||
(root / "stat").write_text(f"cpu 1 2 3\nbtime {btime}\n")
|
||||
for pid, (cmdline, stat) in procs.items():
|
||||
d = root / pid
|
||||
d.mkdir()
|
||||
(d / "cmdline").write_bytes(cmdline.replace(" ", "\x00").encode() + b"\x00")
|
||||
(d / "stat").write_text(stat)
|
||||
|
||||
|
||||
def test_collect_candidates_computes_age_and_cpu(tmp_path):
|
||||
# btime=1_000_000, starttime=200_000 ticks @ 100 Hz -> start epoch = 1_002_000.
|
||||
# now=1_010_000 -> age 8000s; utime+stime=300 ticks @100Hz -> cpu 3s.
|
||||
_write_proc(
|
||||
tmp_path,
|
||||
btime=1_000_000,
|
||||
procs={"200": ("python3 -m pytest tests/", _stat_line(200_000, utime=200, stime=100))},
|
||||
)
|
||||
recs = proc_mod.collect_candidates(
|
||||
["pytest"], now=1_010_000.0, proc_root=str(tmp_path), clk_tck=100
|
||||
)
|
||||
assert len(recs) == 1
|
||||
r = recs[0]
|
||||
assert r["pid"] == 200
|
||||
assert r["cmdline"] == "python3 -m pytest tests/"
|
||||
assert abs(r["age_s"] - 8000.0) < 1e-6
|
||||
assert abs(r["cpu_s"] - 3.0) < 1e-6
|
||||
|
||||
|
||||
def test_collect_candidates_filters_by_pattern(tmp_path):
|
||||
_write_proc(
|
||||
tmp_path,
|
||||
btime=1_000_000,
|
||||
procs={
|
||||
"100": ("claude --model x", _stat_line(0)),
|
||||
"200": ("python3 -m pytest a", _stat_line(0)),
|
||||
"300": ("/usr/bin/dockerd", _stat_line(0)),
|
||||
},
|
||||
)
|
||||
recs = proc_mod.collect_candidates(
|
||||
["pytest"], now=1_010_000.0, proc_root=str(tmp_path), clk_tck=100
|
||||
)
|
||||
assert [r["pid"] for r in recs] == [200]
|
||||
|
||||
|
||||
def test_collect_candidates_skips_unreadable_pid(tmp_path):
|
||||
# A matching pid whose stat is unparseable (race: vanished mid-scan) is
|
||||
# skipped without dropping the rest.
|
||||
_write_proc(
|
||||
tmp_path,
|
||||
btime=1_000_000,
|
||||
procs={
|
||||
"200": ("python3 -m pytest a", "garbage no parens"),
|
||||
"201": ("python3 -m pytest b", _stat_line(0)),
|
||||
},
|
||||
)
|
||||
recs = proc_mod.collect_candidates(
|
||||
["pytest"], now=1_010_000.0, proc_root=str(tmp_path), clk_tck=100
|
||||
)
|
||||
assert [r["pid"] for r in recs] == [201]
|
||||
|
||||
|
||||
def test_collect_candidates_ignores_non_numeric_entries(tmp_path):
|
||||
_write_proc(tmp_path, btime=1_000_000, procs={"200": ("pytest", _stat_line(0))})
|
||||
(tmp_path / "self").mkdir() # non-numeric -> ignored
|
||||
(tmp_path / "meminfo").write_text("noise")
|
||||
recs = proc_mod.collect_candidates(
|
||||
["pytest"], now=1_000_000.0, proc_root=str(tmp_path), clk_tck=100
|
||||
)
|
||||
assert [r["pid"] for r in recs] == [200]
|
||||
128
tests/watchdog/test_tick_proc_blocking_integration.py
Normal file
128
tests/watchdog/test_tick_proc_blocking_integration.py
Normal file
@@ -0,0 +1,128 @@
|
||||
"""ORCH-111 TC-07: full tick -> dispatch of the proc_blocking alert (integration).
|
||||
|
||||
REGRESS: ``Watchdog.tick()`` with a collector that returns a long-lived blocking
|
||||
process must dispatch exactly one ``proc_blocking`` alert through the fake
|
||||
Notifier — even though ``/metrics`` reports no ``stuck`` stage and no hung agent.
|
||||
With the kill-switch OFF the path is inert (byte-for-byte as before ORCH-111).
|
||||
|
||||
The orchestrator ``/metrics`` envelope is stubbed healthy so ONLY the new signal
|
||||
can fire; the proc collector is stubbed at the module boundary so the real
|
||||
``_collect_proc`` gate + wrapper still execute.
|
||||
"""
|
||||
from watchdog.collectors import orch as orch_mod
|
||||
from watchdog.collectors import proc as proc_mod
|
||||
from watchdog.config import Config
|
||||
from watchdog.core import Watchdog
|
||||
|
||||
|
||||
class _Notifier:
|
||||
def __init__(self):
|
||||
self.sent = []
|
||||
|
||||
def send(self, text):
|
||||
self.sent.append(text)
|
||||
return True
|
||||
|
||||
|
||||
class _StubDocker:
|
||||
def inspect(self, name):
|
||||
return {"State": {"Status": "running"}}
|
||||
|
||||
|
||||
def _healthy_metrics(monkeypatch):
|
||||
env = {
|
||||
"schema_version": 1,
|
||||
"generated_at": "2026-06-15T00:00:00Z",
|
||||
"clk_tck": 100,
|
||||
"agents": [],
|
||||
"stages": [],
|
||||
"queue": {"depth": 0, "counts": {"failed": 0}},
|
||||
}
|
||||
monkeypatch.setattr(
|
||||
orch_mod, "fetch_metrics",
|
||||
lambda *a, **k: orch_mod.FetchResult(ok=True, envelope=env),
|
||||
)
|
||||
|
||||
|
||||
def _cfg(**kw):
|
||||
base = {
|
||||
"WATCHDOG_TG_BOT_TOKEN": "t",
|
||||
"WATCHDOG_TG_CHAT_ID": "c",
|
||||
"WATCHDOG_PROC_ENABLED": "true",
|
||||
"WATCHDOG_PROC_AGE_MIN": "60", # proc_age_s == 3600
|
||||
"WATCHDOG_CONTAINERS": "orchestrator",
|
||||
}
|
||||
return Config.from_env({**base, **kw})
|
||||
|
||||
|
||||
def _blocking(monkeypatch, age_s=7200.0):
|
||||
rec = {"pid": 4242, "cmdline": "python3 -m pytest tests/test_install_lite_script.py",
|
||||
"age_s": age_s, "cpu_s": 99999.0, "start_ticks": 1}
|
||||
monkeypatch.setattr(proc_mod, "collect_candidates", lambda *a, **k: [rec])
|
||||
|
||||
|
||||
def _proc_alerts(notifier):
|
||||
return [m for m in notifier.sent if "Блокирующий процесс" in m]
|
||||
|
||||
|
||||
def test_tc07_tick_dispatches_proc_blocking_alert(monkeypatch):
|
||||
_healthy_metrics(monkeypatch)
|
||||
_blocking(monkeypatch)
|
||||
notifier = _Notifier()
|
||||
dog = Watchdog(_cfg(), notifier=notifier, docker=_StubDocker(), now_provider=lambda: 0.0)
|
||||
|
||||
dog.tick()
|
||||
|
||||
alerts = _proc_alerts(notifier)
|
||||
assert len(alerts) == 1
|
||||
assert "4242" in alerts[0]
|
||||
assert "pytest" in alerts[0]
|
||||
assert alerts[0].startswith("\U0001f534") # red ALERT prefix
|
||||
|
||||
|
||||
def test_tc07_killswitch_off_dispatches_nothing(monkeypatch):
|
||||
_healthy_metrics(monkeypatch)
|
||||
# Even if the collector WOULD return a blocking process, the gate skips it.
|
||||
called = {"n": 0}
|
||||
|
||||
def _boom(*a, **k):
|
||||
called["n"] += 1
|
||||
return [{"pid": 1, "cmdline": "pytest", "age_s": 9e9, "cpu_s": 0.0}]
|
||||
|
||||
monkeypatch.setattr(proc_mod, "collect_candidates", _boom)
|
||||
notifier = _Notifier()
|
||||
dog = Watchdog(
|
||||
_cfg(WATCHDOG_PROC_ENABLED="false"),
|
||||
notifier=notifier, docker=_StubDocker(), now_provider=lambda: 0.0,
|
||||
)
|
||||
|
||||
dog.tick()
|
||||
|
||||
assert _proc_alerts(notifier) == []
|
||||
assert called["n"] == 0 # collector never invoked when disabled (zero overhead)
|
||||
|
||||
|
||||
def test_tc07_in_budget_process_does_not_alert(monkeypatch):
|
||||
# A process below the threshold (legitimate in-flight run) -> no alert (AC-4).
|
||||
_healthy_metrics(monkeypatch)
|
||||
_blocking(monkeypatch, age_s=600.0)
|
||||
notifier = _Notifier()
|
||||
dog = Watchdog(_cfg(), notifier=notifier, docker=_StubDocker(), now_provider=lambda: 0.0)
|
||||
|
||||
dog.tick()
|
||||
|
||||
assert _proc_alerts(notifier) == []
|
||||
|
||||
|
||||
def test_tc07_tick_never_raises_when_collector_explodes(monkeypatch):
|
||||
_healthy_metrics(monkeypatch)
|
||||
|
||||
def _explode(*a, **k):
|
||||
raise RuntimeError("boom")
|
||||
|
||||
monkeypatch.setattr(proc_mod, "collect_candidates", _explode)
|
||||
notifier = _Notifier()
|
||||
dog = Watchdog(_cfg(), notifier=notifier, docker=_StubDocker(), now_provider=lambda: 0.0)
|
||||
|
||||
dog.tick() # must not raise — collector error degrades to one skipped signal
|
||||
assert _proc_alerts(notifier) == []
|
||||
205
watchdog/collectors/proc.py
Normal file
205
watchdog/collectors/proc.py
Normal file
@@ -0,0 +1,205 @@
|
||||
"""Collector: long-lived host processes whose cmdline matches a test-class (ORCH-111).
|
||||
|
||||
stdlib-only ``/proc`` scan (ADR-001 D3). Under ``pid: host`` (D6) the container's
|
||||
``/proc`` reflects the host PID-namespace, so the sidecar sees the orphaned
|
||||
``pytest`` subprocess regardless of which container spawned it (the merge-gate /
|
||||
coverage-gate re-test the orchestrator launches itself; on a timeout-kill of the
|
||||
agent — ``exit_code=-9``, ORCH-109 — the grand-child ``pytest`` reparents onto
|
||||
tini and keeps running for days).
|
||||
|
||||
Strictly **READ-ONLY** (BR-3 / NFR-2): opens only ``/proc/stat``,
|
||||
``/proc/<pid>/stat`` and ``/proc/<pid>/cmdline`` for reading. There is **no**
|
||||
``os.kill``, signal-send, ``subprocess`` or any mutation on this path, and it
|
||||
**never** reads ``/proc/<pid>/environ`` (secrets, ADR-001 D3 / R-2).
|
||||
|
||||
**never-raise** (NFR-1): a per-pid race — the process died between ``listdir``
|
||||
and ``read`` — skips that pid without breaking the list; any top-level failure
|
||||
(non-Linux / missing ``/proc`` / unreadable ``/proc/stat``) degrades the whole
|
||||
scan to ``[]`` (one signal skipped, the tick lives, D8).
|
||||
|
||||
Pure parsing (``parse_btime`` / ``parse_pid_stat`` / ``decode_cmdline`` /
|
||||
``matches_patterns``) is split from the I/O orchestration (``collect_candidates``)
|
||||
so the scan is testable against a fake ``/proc`` tree, no real host needed.
|
||||
"""
|
||||
from __future__ import annotations
|
||||
|
||||
import logging
|
||||
import os
|
||||
|
||||
logger = logging.getLogger("watchdog.collectors.proc")
|
||||
|
||||
# /proc/<pid>/stat field indices, 0-based AFTER the trailing ')' of `comm`.
|
||||
# /proc/<pid>/stat is: `pid (comm) state ppid ... utime stime ... starttime ...`.
|
||||
# Fields are 1-based in proc(5); field 3 (state) is the first token after the
|
||||
# last ')'. So field N (>=3) lives at index N-3 of the post-')'-split:
|
||||
# utime = field 14 -> index 11
|
||||
# stime = field 15 -> index 12
|
||||
# starttime = field 22 -> index 19
|
||||
_STAT_UTIME_IDX = 11
|
||||
_STAT_STIME_IDX = 12
|
||||
_STAT_STARTTIME_IDX = 19
|
||||
_STAT_MIN_FIELDS = _STAT_STARTTIME_IDX + 1 # need starttime present
|
||||
|
||||
_DEFAULT_CLK_TCK = 100
|
||||
|
||||
|
||||
def parse_btime(stat_text: str) -> int | None:
|
||||
"""Boot time (epoch seconds) from the ``btime <N>`` line of ``/proc/stat``.
|
||||
|
||||
Returns ``None`` when the line is absent / unparseable (never raises) so the
|
||||
caller degrades the whole scan to ``[]`` rather than emitting a bogus age.
|
||||
"""
|
||||
try:
|
||||
for line in stat_text.splitlines():
|
||||
if line.startswith("btime "):
|
||||
parts = line.split()
|
||||
if len(parts) >= 2:
|
||||
return int(parts[1])
|
||||
except Exception as e: # noqa: BLE001 - tolerant: no btime -> no scan
|
||||
logger.warning("watchdog: cannot parse /proc/stat btime: %s", e)
|
||||
return None
|
||||
|
||||
|
||||
def parse_pid_stat(stat_text: str) -> dict | None:
|
||||
"""Parse ``/proc/<pid>/stat`` -> ``{utime, stime, starttime}`` (clock ticks).
|
||||
|
||||
The ``comm`` field (2) is wrapped in parens and may itself contain spaces or
|
||||
parens (e.g. ``(python -m) ()``), so we split AFTER the **last** ``')'`` and
|
||||
index the remaining space-separated fields. Returns ``None`` on a malformed /
|
||||
truncated line (never raises).
|
||||
"""
|
||||
try:
|
||||
rparen = stat_text.rfind(")")
|
||||
if rparen < 0:
|
||||
return None
|
||||
rest = stat_text[rparen + 1:].split()
|
||||
if len(rest) < _STAT_MIN_FIELDS:
|
||||
return None
|
||||
return {
|
||||
"utime": int(rest[_STAT_UTIME_IDX]),
|
||||
"stime": int(rest[_STAT_STIME_IDX]),
|
||||
"starttime": int(rest[_STAT_STARTTIME_IDX]),
|
||||
}
|
||||
except Exception as e: # noqa: BLE001 - one bad line, skip this pid
|
||||
logger.debug("watchdog: cannot parse pid stat: %s", e)
|
||||
return None
|
||||
|
||||
|
||||
def decode_cmdline(raw: bytes | str | None) -> str:
|
||||
"""NUL-separated ``/proc/<pid>/cmdline`` -> a space-joined string.
|
||||
|
||||
Empty for kernel threads (they carry no cmdline) -> never matches a pattern.
|
||||
Tolerant of bytes / str / ``None`` and undecodable bytes (never raises).
|
||||
"""
|
||||
try:
|
||||
if raw is None:
|
||||
return ""
|
||||
if isinstance(raw, str):
|
||||
raw = raw.encode("utf-8", "replace")
|
||||
text = raw.decode("utf-8", "replace")
|
||||
parts = [p for p in text.split("\x00") if p]
|
||||
return " ".join(parts)
|
||||
except Exception: # noqa: BLE001 - undecodable cmdline -> treat as empty
|
||||
return ""
|
||||
|
||||
|
||||
def matches_patterns(cmdline: str, patterns: list[str]) -> bool:
|
||||
"""``True`` iff ``cmdline`` contains ANY pattern as a substring.
|
||||
|
||||
This is the test-class scope (ADR-001 D4): pattern-filtering happens in the
|
||||
collector, so the signal builder only applies the age threshold. The default
|
||||
pattern ``pytest`` never matches a ``claude`` agent cmdline -> zero overlap
|
||||
with ``agent_hung`` by construction (NFR-4 / AC-5).
|
||||
"""
|
||||
if not cmdline:
|
||||
return False
|
||||
for p in patterns or []:
|
||||
if p and p in cmdline:
|
||||
return True
|
||||
return False
|
||||
|
||||
|
||||
def _clk_tck() -> int:
|
||||
"""``os.sysconf('SC_CLK_TCK')`` with a safe fallback (never raises)."""
|
||||
try:
|
||||
v = os.sysconf("SC_CLK_TCK")
|
||||
return int(v) if v and int(v) > 0 else _DEFAULT_CLK_TCK
|
||||
except Exception: # noqa: BLE001 - non-Linux / unsupported -> conventional 100
|
||||
return _DEFAULT_CLK_TCK
|
||||
|
||||
|
||||
def _read_text(path: str) -> str | None:
|
||||
try:
|
||||
with open(path, "r") as f:
|
||||
return f.read()
|
||||
except Exception: # noqa: BLE001 - missing / unreadable -> None (per-pid race)
|
||||
return None
|
||||
|
||||
|
||||
def _read_bytes(path: str) -> bytes:
|
||||
try:
|
||||
with open(path, "rb") as f:
|
||||
return f.read()
|
||||
except Exception: # noqa: BLE001 - missing / unreadable -> empty cmdline
|
||||
return b""
|
||||
|
||||
|
||||
def collect_candidates(
|
||||
patterns: list[str],
|
||||
*,
|
||||
now: float,
|
||||
proc_root: str = "/proc",
|
||||
clk_tck: int | None = None,
|
||||
read_text=None,
|
||||
read_bytes=None,
|
||||
) -> list[dict]:
|
||||
"""Scan ``/proc`` for live processes whose cmdline matches ``patterns``.
|
||||
|
||||
Returns one ``{pid, cmdline, age_s, cpu_s, start_ticks}`` record per matching
|
||||
live process. Pattern-filtering happens HERE (D4); the builder applies the
|
||||
age threshold. ``age_s = now - (btime + starttime/clk_tck)``;
|
||||
``cpu_s = (utime + stime)/clk_tck`` (accumulated CPU time — informational for
|
||||
BR-2, NOT part of activation).
|
||||
|
||||
never-raise (D8): a top-level failure -> ``[]``; a per-pid race (vanished
|
||||
process / unreadable file) is skipped silently. ``proc_root`` / ``now`` /
|
||||
``clk_tck`` / ``read_*`` are injectable so the scan is unit-testable against a
|
||||
fake ``/proc`` tree with no real host.
|
||||
"""
|
||||
out: list[dict] = []
|
||||
try:
|
||||
rt = read_text or _read_text
|
||||
rb = read_bytes or _read_bytes
|
||||
ticks = clk_tck if (clk_tck and clk_tck > 0) else _clk_tck()
|
||||
btime = parse_btime(rt(os.path.join(proc_root, "stat")) or "")
|
||||
if btime is None:
|
||||
return []
|
||||
for entry in os.listdir(proc_root):
|
||||
if not entry.isdigit():
|
||||
continue
|
||||
try:
|
||||
cmdline = decode_cmdline(rb(os.path.join(proc_root, entry, "cmdline")))
|
||||
if not matches_patterns(cmdline, patterns):
|
||||
continue
|
||||
st = parse_pid_stat(rt(os.path.join(proc_root, entry, "stat")) or "")
|
||||
if st is None:
|
||||
continue
|
||||
start_ticks = st["starttime"]
|
||||
age_s = now - (btime + start_ticks / ticks)
|
||||
cpu_s = (st["utime"] + st["stime"]) / ticks
|
||||
out.append(
|
||||
{
|
||||
"pid": int(entry),
|
||||
"cmdline": cmdline,
|
||||
"age_s": age_s,
|
||||
"cpu_s": cpu_s,
|
||||
"start_ticks": start_ticks,
|
||||
}
|
||||
)
|
||||
except Exception as e: # noqa: BLE001 - per-pid race, skip and continue
|
||||
logger.debug("watchdog: skip /proc/%s: %s", entry, e)
|
||||
continue
|
||||
except Exception as e: # noqa: BLE001 - non-Linux / no /proc -> one signal tih
|
||||
logger.warning("watchdog: proc scan error: %s", e)
|
||||
return []
|
||||
return out
|
||||
@@ -116,6 +116,16 @@ class Config:
|
||||
containers: list[str] = field(default_factory=lambda: ["orchestrator"])
|
||||
docker_sock: str = "/var/run/docker.sock"
|
||||
|
||||
# -- blocking test/child processes (opt-in; pid: host /proc scan, D5) --
|
||||
# Default-OFF: the signal needs the `pid: host` privilege (D6) and a
|
||||
# conscious opt-in (mirror of disk_crit_enabled). proc_age_min MUST exceed
|
||||
# max(merge_retest_timeout_s, coverage_run_timeout_s)/60 so a legitimate
|
||||
# in-flight test run never crosses the threshold (D2 / AC-4).
|
||||
proc_enabled: bool = False
|
||||
proc_age_min: float = 60.0 # minutes a test process may live before alerting
|
||||
proc_patterns: list[str] = field(default_factory=lambda: ["pytest"])
|
||||
proc_cooldown_s: float = 1800.0 # per-signal re-alert throttle
|
||||
|
||||
# -- external dependencies -------------------------------------------
|
||||
deps: dict[str, str] = field(default_factory=dict)
|
||||
|
||||
@@ -132,6 +142,10 @@ class Config:
|
||||
def stage_stuck_s(self) -> float:
|
||||
return self.stage_stuck_min * 60.0
|
||||
|
||||
@property
|
||||
def proc_age_s(self) -> float:
|
||||
return self.proc_age_min * 60.0
|
||||
|
||||
@classmethod
|
||||
def from_env(cls, env: dict | None = None) -> "Config":
|
||||
"""Build a Config from ``env`` (defaults to ``os.environ``). never-raise."""
|
||||
@@ -153,6 +167,10 @@ class Config:
|
||||
queue_depth=_int(e, "WATCHDOG_QUEUE_DEPTH", 20),
|
||||
containers=_csv(e, "WATCHDOG_CONTAINERS", ["orchestrator"]),
|
||||
docker_sock=_str(e, "WATCHDOG_DOCKER_SOCK", "/var/run/docker.sock"),
|
||||
proc_enabled=_bool(e, "WATCHDOG_PROC_ENABLED", False),
|
||||
proc_age_min=_float(e, "WATCHDOG_PROC_AGE_MIN", 60.0),
|
||||
proc_patterns=_csv(e, "WATCHDOG_PROC_PATTERNS", ["pytest"]),
|
||||
proc_cooldown_s=_float(e, "WATCHDOG_PROC_COOLDOWN_S", 1800.0),
|
||||
deps=_deps(e, "WATCHDOG_DEPS"),
|
||||
tg_bot_token=_str(e, "WATCHDOG_TG_BOT_TOKEN", ""),
|
||||
tg_chat_id=_str(e, "WATCHDOG_TG_CHAT_ID", ""),
|
||||
|
||||
@@ -19,6 +19,7 @@ from .collectors import containers as containers_mod
|
||||
from .collectors import deps as deps_mod
|
||||
from .collectors import host as host_mod
|
||||
from .collectors import orch as orch_mod
|
||||
from .collectors import proc as proc_mod
|
||||
from .config import Config
|
||||
from .notify import Notifier
|
||||
from . import signals as signals_mod
|
||||
@@ -93,6 +94,18 @@ class Watchdog:
|
||||
logger.warning("watchdog: deps collect error: %s", e)
|
||||
return {}
|
||||
|
||||
def _collect_proc(self, now: float) -> list:
|
||||
# Opt-in: when WATCHDOG_PROC_ENABLED is false the scan is NOT called
|
||||
# (gate mirrors _collect_disk on disk_crit_enabled) -> zero overhead and
|
||||
# byte-for-byte tick behaviour as before ORCH-111 (D5 / AC-7).
|
||||
if not self.cfg.proc_enabled:
|
||||
return []
|
||||
try:
|
||||
return proc_mod.collect_candidates(self.cfg.proc_patterns, now=now)
|
||||
except Exception as e: # noqa: BLE001 - never-raise: one signal skipped
|
||||
logger.warning("watchdog: proc collect error: %s", e)
|
||||
return []
|
||||
|
||||
# -- one tick ---------------------------------------------------------
|
||||
def tick(self) -> list:
|
||||
"""Run one full pass; returns the dispatched ``(action, Signal)`` list.
|
||||
@@ -134,10 +147,53 @@ class Watchdog:
|
||||
# 4) external dependency pings
|
||||
built.extend(signals_mod.dep_signals(self._collect_deps()))
|
||||
|
||||
# 5) long-lived blocking test/child processes (opt-in; pid: host /proc).
|
||||
# Gated entirely on proc_enabled so a disabled sidecar is byte-for-byte
|
||||
# as before ORCH-111 (D5/AC-7); RECOVERY for a vanished process is
|
||||
# synthesised through the SAME decide()/AlertState machinery (D4).
|
||||
if self.cfg.proc_enabled:
|
||||
proc_sigs = signals_mod.proc_signals(self.cfg, self._collect_proc(now))
|
||||
proc_sigs.extend(self._synthesize_proc_recoveries(proc_sigs))
|
||||
built.extend(proc_sigs)
|
||||
|
||||
dispatched = self._dispatch(built, now)
|
||||
self.last_run_ts = now
|
||||
return dispatched
|
||||
|
||||
def _synthesize_proc_recoveries(self, current_sigs: list) -> list:
|
||||
"""Synthesise an inactive ``Signal`` for every vanished proc_blocking key.
|
||||
|
||||
``proc_signals`` emits a signal ONLY for a currently observed candidate,
|
||||
so a process that disappeared leaves an alerting :class:`AlertState` with
|
||||
no fresh signal and would never recover. Reusing ``decide()``/
|
||||
``AlertState`` (FR-5 — no separate anti-spam logic), we emit an
|
||||
``active=False`` signal for each alerting ``("proc_blocking", …)`` key
|
||||
absent from the current set -> ``decide`` yields exactly one RECOVERY and
|
||||
clears the state. This is per-family bookkeeping, not new throttling.
|
||||
"""
|
||||
out: list = []
|
||||
try:
|
||||
current_keys = {s.key for s in current_sigs}
|
||||
for key, state in list(self._states.items()):
|
||||
if (
|
||||
isinstance(key, tuple)
|
||||
and key
|
||||
and key[0] == "proc_blocking"
|
||||
and state.alerting
|
||||
and key not in current_keys
|
||||
):
|
||||
out.append(
|
||||
signals_mod.Signal(
|
||||
key=key,
|
||||
active=False,
|
||||
title="Блокирующий процесс",
|
||||
detail=f"процесс PID {key[1]} завершился",
|
||||
)
|
||||
)
|
||||
except Exception as e: # noqa: BLE001 - never-raise: skip recovery synthesis
|
||||
logger.warning("watchdog: proc recovery synth error: %s", e)
|
||||
return out
|
||||
|
||||
# -- decision + dispatch ----------------------------------------------
|
||||
def _dispatch(self, built: list, now: float) -> list:
|
||||
"""Run each signal through ``decide`` and send alert/realert/recovery."""
|
||||
|
||||
@@ -246,6 +246,54 @@ def container_signals(cfg: Config, statuses: dict) -> list:
|
||||
return sigs
|
||||
|
||||
|
||||
# Max cmdline length surfaced in an alert: truncate so a long arg list does not
|
||||
# leak random arguments into the Telegram channel (ADR-001 D4 / R-2).
|
||||
_PROC_CMDLINE_MAX = 120
|
||||
|
||||
|
||||
def proc_signals(cfg: Config, candidates: list) -> list:
|
||||
"""Build per-process ``proc_blocking`` signals from candidate records. Pure.
|
||||
|
||||
Each candidate is ``{pid, cmdline, age_s, cpu_s?, start_ticks?}`` already
|
||||
filtered to the test-class by the collector (D4). The signal is
|
||||
``active`` iff ``age_s > cfg.proc_age_s`` (the threshold is set above the max
|
||||
legitimate test-run budget, so an in-flight run is never active — AC-4). Key
|
||||
is per-entity ``("proc_blocking", pid)`` (mirror of ``("container_down",
|
||||
name)``) so ``AlertState`` / cooldown work per process. The detail is
|
||||
actionable (RU): truncated cmdline + PID + age (s) + accumulated CPU (s).
|
||||
"""
|
||||
sigs: list = []
|
||||
for rec in candidates or []:
|
||||
try:
|
||||
pid = rec.get("pid")
|
||||
age_s = rec.get("age_s")
|
||||
if pid is None or age_s is None:
|
||||
continue
|
||||
cmdline = (rec.get("cmdline") or "").strip()
|
||||
frag = cmdline[:_PROC_CMDLINE_MAX]
|
||||
if len(cmdline) > _PROC_CMDLINE_MAX:
|
||||
frag += "…"
|
||||
detail = (
|
||||
f"PID {pid} живёт {int(age_s)}s "
|
||||
f"(порог {int(cfg.proc_age_s)}s): {frag}"
|
||||
)
|
||||
cpu_s = rec.get("cpu_s")
|
||||
if cpu_s is not None:
|
||||
detail += f" · CPU {int(cpu_s)}s"
|
||||
sigs.append(
|
||||
Signal(
|
||||
key=("proc_blocking", pid),
|
||||
active=age_s > cfg.proc_age_s,
|
||||
title="Блокирующий процесс",
|
||||
detail=detail,
|
||||
cooldown_s=cfg.proc_cooldown_s,
|
||||
)
|
||||
)
|
||||
except Exception as e: # noqa: BLE001 - one bad record, others still build
|
||||
logger.warning("watchdog: proc signal build error: %s", e)
|
||||
return sigs
|
||||
|
||||
|
||||
def dep_signals(reachability: dict) -> list:
|
||||
"""Build per-dependency down signals from ``{name: reachable}``. Pure."""
|
||||
sigs: list = []
|
||||
|
||||
Reference in New Issue
Block a user