Merge pull request 'fix(staging): tolerate sandbox-infra-only FAILs (C9a/C9b) in deploy-staging verdict (ORCH-061)' (#62) from feature/ORCH-061-bug-deploy-staging-development into main
Some checks failed
CI / test (push) Has been cancelled
Some checks failed
CI / test (push) Has been cancelled
This commit was merged in pull request #62.
This commit is contained in:
@@ -42,6 +42,16 @@ created → analysis → architecture → development → review → testing →
|
||||
### Условный staging-гейт (ORCH-35)
|
||||
`check_staging_status` реален только для self-hosting (`is_self_hosting_repo(repo)` → `orchestrator`); для остальных проектов → no-op `(True, "Staging gate N/A")`. Для orchestrator парсит `staging_status:` из `15-staging-log.md`; FAILED → откат на `development`. Подробнее: [ADR-0003](adr/adr-0003-staging-gate.md).
|
||||
|
||||
### Толерантность staging-вердикта к инфра-FAIL (ORCH-061 — design)
|
||||
Self-hosting зацикливался на `deploy-staging`: `scripts/staging_check.py` давал ложный FAILED на C9a/C9b (ветка в sandbox / analyst-job в очереди), вызванный **отсутствием sandbox-настроек** (bot-аккаунты не члены SANDBOX-проекта), а не регрессом кода → откат `deploy-staging → development` → петля. ORCH-061 классифицирует проверки suite на **REAL** (pipeline) и **SANDBOX_INFRA** (узкий allowlist `{C9a, C9b}`) и делает вердикт толерантным к инфра-FAIL, сохраняя fail-closed для реальных проверок:
|
||||
- Чистая логика — leaf-модуль `src/staging_verdict.py` (`classify_check`, `compute_staging_verdict`, never-raise). Упала хоть одна REAL → FAILED/exit1; упали ТОЛЬКО SANDBOX_INFRA и толерантность вкл → SUCCESS/exit0 (waived); waiver применяется только когда все REAL (вкл. C7/C8) зелёные.
|
||||
- `scripts/staging_check.py` помечает проверки категориями, считает вердикт через `staging_verdict`, печатает `INFRA-WAIVED` (наблюдаемость).
|
||||
- Kill-switch `staging_infra_tolerance_enabled` (env `ORCH_STAGING_INFRA_TOLERANCE_ENABLED`, дефолт `true`, в `.env.staging`); `false` → 1:1 прежнее строгое поведение.
|
||||
- `check_staging_status` / `_parse_staging_status` / `STAGE_TRANSITIONS` / реестр `QG_CHECKS` — **без изменений** (новый QG-чек не вводится); условность ORCH-35 и схема БД сохранены.
|
||||
- Инвариант: «no changes to commit» на action-стадиях (`deploy-staging`/`deploy`) не есть недовыполнение — продвижение определяется exit0 + гейт-вердиктом (launcher не откатывает; добавлена observability-строка).
|
||||
|
||||
Подробнее: [adr-0009](adr/adr-0009-staging-infra-tolerance.md), детально — `docs/work-items/ORCH-061/06-adr/ADR-001-staging-infra-tolerance.md`.
|
||||
|
||||
### Merge-gate: догон `main` + re-test + сериализация слияний (ORCH-043)
|
||||
Детерминированный под-гейт (`check_branch_mergeable`, без LLM) на ребре **`deploy-staging → deploy`**: исполняется ПОСЛЕ `check_staging_status` и ДО запуска deployer'а, который вливает PR в `main` (deployer мержит в начале стадии `deploy`). Стадии (`STAGE_TRANSITIONS`) НЕ меняются — это «под-гейт» ребра, а не отдельная стадия (триггер — то же событие «staging-deployer завершился»).
|
||||
|
||||
@@ -201,4 +211,4 @@ never-raise на единицу работы; тишина при синхрон
|
||||
Схема БД, потоки данных, resilience-слой, детали Dockerfile — [internals.md](internals.md).
|
||||
|
||||
---
|
||||
*Актуально на 2026-06-07. Обновлять при изменении src/stages.py, src/qg/checks.py, src/main.py. Статусы доработок: ORCH-036 (исполняемый самодеплой `deploy`, adr-0007) — реализовано; ORCH-043 (merge-gate, adr-0006) — design, ветка feature/ORCH-043; ORCH-053 (reconciler, adr-0007, src/reconciler.py) — реализовано; ORCH-060 (F-1 skip escalated/Blocked/Needs-Input, `docs/work-items/ORCH-060/06-adr/ADR-001`) — реализовано в ветке feature/ORCH-060 (Guard 1 `developer_retry_count>=MAX_DEVELOPER_RETRIES` + Guard 2 `plane_sync.fetch_issue_state` Blocked/Needs-Input, флаг `ORCH_RECONCILE_SKIP_BLOCKED_ENABLED`); ORCH-058 (провенанс staging-образа: check_staging_image_fresh + staging_check свежего образа + хук-guard, adr-0008) — реализовано в ветке feature/ORCH-058 (обновлять также при изменении src/image_freshness.py, scripts/orchestrator-deploy-hook.sh, Dockerfile).*
|
||||
*Актуально на 2026-06-07. Обновлять при изменении src/stages.py, src/qg/checks.py, src/main.py. Статусы доработок: ORCH-036 (исполняемый самодеплой `deploy`, adr-0007) — реализовано; ORCH-043 (merge-gate, adr-0006) — design, ветка feature/ORCH-043; ORCH-053 (reconciler, adr-0007, src/reconciler.py) — реализовано; ORCH-060 (F-1 skip escalated/Blocked/Needs-Input, `docs/work-items/ORCH-060/06-adr/ADR-001`) — реализовано в ветке feature/ORCH-060 (Guard 1 `developer_retry_count>=MAX_DEVELOPER_RETRIES` + Guard 2 `plane_sync.fetch_issue_state` Blocked/Needs-Input, флаг `ORCH_RECONCILE_SKIP_BLOCKED_ENABLED`); ORCH-058 (провенанс staging-образа: check_staging_image_fresh + staging_check свежего образа + хук-guard, adr-0008) — реализовано в ветке feature/ORCH-058 (обновлять также при изменении src/image_freshness.py, scripts/orchestrator-deploy-hook.sh, Dockerfile); ORCH-061 (толерантность staging-вердикта к инфра-FAIL C9a/C9b, adr-0009, `docs/work-items/ORCH-061/06-adr/ADR-001`) — реализовано в ветке feature/ORCH-061 (обновлять также при изменении src/staging_verdict.py, scripts/staging_check.py, флаг staging_infra_tolerance_enabled).*
|
||||
|
||||
@@ -12,6 +12,14 @@ Per-work-item решения живут в `docs/work-items/<id>/06-adr/ADR-NNN-
|
||||
| adr-0005 | Контейнеры бегут под uid:gid хоста (1000:1000) | accepted | 2026-06-06 | ORCH-040 |
|
||||
| adr-0006 | Merge-gate (догон main + re-test + сериализация слияний) | proposed | 2026-06-06 | ORCH-043 |
|
||||
| adr-0007 | Reconciler застрявших стадий (sweeper потерянных webhook) | accepted | 2026-06-06 | ORCH-053 |
|
||||
| adr-0007 | Исполняемый самодеплой стадии `deploy` (файл adr-0007-executable-self-deploy) | accepted | 2026-06-06 | ORCH-036 |
|
||||
| adr-0008 | Провенанс staging-образа перед BUILD-ONCE retag | accepted | 2026-06-06 | ORCH-058 |
|
||||
| adr-0009 | Толерантность staging-вердикта к инфраструктурным FAIL | accepted | 2026-06-07 | ORCH-061 |
|
||||
|
||||
> ⚠️ Историческая коллизия: номер `0007` занят двумя файлами —
|
||||
> `adr-0007-reconciler.md` (ORCH-053) и `adr-0007-executable-self-deploy.md`
|
||||
> (ORCH-036). Оба accepted; для новых сквозных ADR использовать следующий
|
||||
> свободный номер (текущий максимум — `0009`).
|
||||
|
||||
## Формат
|
||||
**Контекст → Решение → Альтернативы → Последствия → Связи.** Статус: proposed / accepted / superseded.
|
||||
|
||||
56
docs/architecture/adr/adr-0009-staging-infra-tolerance.md
Normal file
56
docs/architecture/adr/adr-0009-staging-infra-tolerance.md
Normal file
@@ -0,0 +1,56 @@
|
||||
# adr-0009: Толерантность staging-вердикта к заведомо инфраструктурным FAIL
|
||||
|
||||
- **Статус:** accepted
|
||||
- **Дата:** 2026-06-07
|
||||
- **Задача:** ORCH-061
|
||||
- **Детально:** `docs/work-items/ORCH-061/06-adr/ADR-001-staging-infra-tolerance.md`
|
||||
|
||||
## Контекст
|
||||
Self-hosting `orchestrator` зацикливался на `deploy-staging`: `staging_check.py`
|
||||
давал 2 ложных FAIL (C9a — ветка в sandbox, C9b — analyst-job в очереди), вызванных
|
||||
отсутствием sandbox-настроек (bot-аккаунты не члены SANDBOX-проекта), а не регрессом
|
||||
кода. `staging_check.py` делал `sys.exit(1)` при любом FAIL → deployer писал
|
||||
`staging_status: FAILED` → `check_staging_status` FAILED → откат `deploy-staging →
|
||||
development` → петля (жгла developer-ретраи и кредиты). Прод-деплой орка приходилось
|
||||
доводить вручную — блокер автономного внедрения (ORCH-54).
|
||||
|
||||
## Решение
|
||||
Классифицировать проверки staging-suite на **REAL** (pipeline) и **SANDBOX_INFRA**
|
||||
(заведомо инфраструктурные, узкий allowlist `{C9a, C9b}`) и сделать вердикт
|
||||
толерантным к инфра-FAIL, сохранив fail-closed для реальных проверок:
|
||||
|
||||
- Новый leaf-модуль `src/staging_verdict.py` (pure, never-raise, stdlib):
|
||||
`classify_check(label)` + `compute_staging_verdict(items, infra_tolerant)`.
|
||||
Правило: упала хоть одна REAL → FAILED/exit1; упали ТОЛЬКО SANDBOX_INFRA и
|
||||
толерантность вкл → SUCCESS/exit0 (waived); толерантность выкл → legacy strict
|
||||
(любой FAIL → FAILED).
|
||||
- `scripts/staging_check.py` помечает проверки категориями, считает вердикт через
|
||||
`staging_verdict`, печатает `INFRA-WAIVED` при вайвере (наблюдаемость).
|
||||
- Kill-switch `staging_infra_tolerance_enabled` (env
|
||||
`ORCH_STAGING_INFRA_TOLERANCE_ENABLED`, дефолт `True`; в `.env.staging`).
|
||||
- `check_staging_status` / `_parse_staging_status` / `STAGE_TRANSITIONS` / реестр
|
||||
`QG_CHECKS` — **без изменений**; новый QG-чек не вводится. Условность ORCH-35
|
||||
сохранена (не-self → no-op N/A).
|
||||
- Инвариант FR-3: «no changes to commit» на action-стадиях (`deploy-staging`/`deploy`)
|
||||
не есть недовыполнение — продвижение определяется exit0 + гейт-вердиктом
|
||||
(launcher уже не откатывает; добавлена observability-строка).
|
||||
|
||||
## Альтернативы
|
||||
- Только починить sandbox-инфру (направление а) — хрупко, не структурно, вне
|
||||
автономной досягаемости таска; оставлено как опциональное hardening.
|
||||
- «Зелёный по умолчанию» при недоступности проверок — запрещён (fail-closed).
|
||||
- Новый QG-чек / структурный артефакт `15-staging-log.md` — избыточно, меняло бы
|
||||
контракты/реестр; толерантность размещена в suite до артефакта.
|
||||
|
||||
## Последствия
|
||||
- Петля устранена; страховка цела (реальный регресс → FAILED → откат).
|
||||
- Чистая вердикт-логика юнит-тестируема без live staging/docker.
|
||||
- Контракты гейтов/стадий/вердиктов/реестра и схема БД неизменны.
|
||||
- Риск: узкое окно — реальный регресс именно в создании ветки/постановке
|
||||
analyst-job может быть заваивен; митигировано allowlist'ом `{C9a,C9b}` + условием
|
||||
«все REAL (вкл. C7/C8) зелёные» + INFRA-WAIVED-логом. Разблокирует ORCH-54.
|
||||
|
||||
## Связи
|
||||
adr-0003 (условный staging-гейт — база `is_self_hosting_repo` / `check_staging_status`),
|
||||
adr-0006 (merge-gate), adr-0007 (исполняемый self-deploy), adr-0008 (провенанс
|
||||
staging-образа). Блокирует ORCH-54.
|
||||
@@ -12,7 +12,9 @@
|
||||
| B | ACCESS | Plane sandbox (R), Gitea sandbox (R+push), реестр проектов |
|
||||
| C | E2E | Создать задачу → триггер конвейера → ветка + коммент → cleanup |
|
||||
|
||||
Exit code: **0** = все PASS, **non-zero** = есть FAIL.
|
||||
Exit code: **0** = advance (все REAL-проверки PASS), **1** = rollback (есть REAL-FAIL).
|
||||
С ORCH-061 exit 0 может включать *waived* sandbox-infra FAIL (C9a/C9b) — см.
|
||||
[«Толерантность к sandbox-infra (ORCH-061)»](#толерантность-к-sandbox-infra-orch-061).
|
||||
|
||||
---
|
||||
|
||||
@@ -85,6 +87,56 @@ B6 «Registry: sandbox present, prod ET/ORCH absent» подтверждает
|
||||
|
||||
---
|
||||
|
||||
## Толерантность к sandbox-infra (ORCH-061)
|
||||
|
||||
**Проблема.** Self-hosting `orchestrator` зацикливался на `deploy-staging → development`:
|
||||
прежде скрипт давал exit 1 при **любом** FAIL, поэтому две чисто инфраструктурные
|
||||
проверки — **C9a** (ветка не появилась в `orchestrator-sandbox`) и **C9b** (job
|
||||
аналитика не встал в очередь staging) — приводили к `staging_status: FAILED` →
|
||||
откат → цикл. Корень: SANDBOX-бот-аккаунты не состоят в sandbox-проекте Plane,
|
||||
поэтому шаги 6+ конвейера в песочнице недостижимы. Это **не** регресс конвейера.
|
||||
|
||||
**Решение.** Проверки классифицируются на две категории (`src/staging_verdict.py`):
|
||||
|
||||
| Категория | Что входит | Поведение |
|
||||
|-----------|-----------|-----------|
|
||||
| `REAL` | все проверки конвейера (A*, B*, C7, C8) | **fail-closed** — любой FAIL = rollback |
|
||||
| `SANDBOX_INFRA` | строго allowlist `{C9a, C9b}` | **waivable** — FAIL терпится, если все REAL зелёные |
|
||||
|
||||
Вердикт сворачивается в `compute_staging_verdict(items, infra_tolerant)`:
|
||||
|
||||
- любой REAL-FAIL → `FAILED` / exit 1 (страховка сохраняется при ЛЮБОМ значении флага);
|
||||
- упали **только** C9a/C9b и толерантность включена → `SUCCESS` / exit 0,
|
||||
упавшие метки попадают в `waived` (наблюдаемость, печатается строкой `INFRA-WAIVED:`);
|
||||
- упали только C9a/C9b, толерантность выключена → `FAILED` / exit 1 (legacy-строгий);
|
||||
- любая внутренняя ошибка вердикта → `FAILED` / exit 1 (никогда не ложный green).
|
||||
|
||||
Blast-radius waiver-а ровно две allowlist-метки; всё неизвестное классифицируется
|
||||
как `REAL` (fail-closed).
|
||||
|
||||
### Kill-switch и `--strict`
|
||||
|
||||
| Управление | Эффект |
|
||||
|-----------|--------|
|
||||
| env `ORCH_STAGING_INFRA_TOLERANCE_ENABLED` (default `true`) | глобальный флаг; `false` → строгий режим (1:1 до ORCH-061) |
|
||||
| CLI `--strict` | форсит строгий режим для одного запуска, игнорируя env |
|
||||
|
||||
Флаг живёт в `.env.staging` (staging-инстанс). `--strict` имеет приоритет над env.
|
||||
|
||||
### Что печатает скрипт
|
||||
|
||||
В конце прогона `summary()` показывает разбивку REAL/SANDBOX_INFRA, затем:
|
||||
|
||||
```
|
||||
INFRA-WAIVED: C9a Branch appears in orchestrator-sandbox; C9b Analyst job enqueued ...
|
||||
VERDICT: SUCCESS (infra-waived): ['C9a …', 'C9b …'] are known sandbox-infra checks; all real checks green
|
||||
```
|
||||
|
||||
Контракт `staging_status: SUCCESS|FAILED` во frontmatter **не меняется** —
|
||||
толерантность применяется в скрипте ДО записи артефакта деплоером.
|
||||
|
||||
---
|
||||
|
||||
## Режимы (`--mode`)
|
||||
|
||||
| Режим | Описание | Скорость |
|
||||
|
||||
7
docs/work-items/ORCH-061/00-business-request.md
Normal file
7
docs/work-items/ORCH-061/00-business-request.md
Normal file
@@ -0,0 +1,7 @@
|
||||
# Business Request: BUG: deploy-staging петля — откат на development (self-deploy)
|
||||
|
||||
Work Item ID: ORCH-061
|
||||
|
||||
## Description
|
||||
|
||||
TBD
|
||||
117
docs/work-items/ORCH-061/01-brd.md
Normal file
117
docs/work-items/ORCH-061/01-brd.md
Normal file
@@ -0,0 +1,117 @@
|
||||
# 01 — BRD: BUG — deploy-staging петля (откат deploy-staging → development) для self-deploy
|
||||
|
||||
Work Item: **ORCH-061**
|
||||
Тип: **BUG**
|
||||
Приоритет: **P0**
|
||||
Репозиторий: `orchestrator` (self-hosting)
|
||||
Эпик-контекст: блокер **ORCH-54** (автономное внедрение self-hosting)
|
||||
|
||||
---
|
||||
|
||||
## 1. Резюме (Executive summary)
|
||||
|
||||
На стадии `deploy-staging` для self-hosting репозитория `orchestrator` задача
|
||||
зацикливается: гейт ребра `deploy-staging → deploy` даёт FAILED, `stage_engine`
|
||||
откатывает задачу `deploy-staging → development`, developer-агент перезапускается,
|
||||
проходит конвейер заново, снова упирается в `deploy-staging`, снова откат — и так
|
||||
по кругу (с расходом developer-ретраев и кредитов LLM), либо до исчерпания лимита
|
||||
ретраев и блокировки.
|
||||
|
||||
Следствие: **прод-деплой self-hosting репо невозможен автономно**. Последние
|
||||
ORCH-задачи (ORCH-58, ORCH-60) доводились до прода **вручную** (ручной merge PR +
|
||||
ручной build-once retag + ручной `--deploy`). Это прямой блокер автономного
|
||||
внедрения (эпик ORCH-54).
|
||||
|
||||
## 2. Бизнес-контекст и проблема
|
||||
|
||||
Оркестратор дорабатывает сам себя (self-hosting). Стадия `deploy-staging`
|
||||
(порт 8501) — обязательная страховка перед прод-деплоем орка (ORCH-35, ADR-0003).
|
||||
На этой стадии deployer гоняет `scripts/staging_check.py` против живого
|
||||
staging-стенда и пишет машинный вердикт `staging_status: SUCCESS|FAILED` в
|
||||
`15-staging-log.md`. Гейт `check_staging_status` читает этот вердикт; `FAILED`
|
||||
→ откат на `development` (ORCH-35, `_handle_qg_failure_rollbacks`).
|
||||
|
||||
Подтверждены **две независимые причины** зацикливания.
|
||||
|
||||
### Причина №1 — ложный FAILED `check_staging_status` (контекст ORCH-58)
|
||||
|
||||
`staging_check.py` в sandbox-прогоне даёт **8/10 PASS, 2 ложных FAIL** на e2e-блоке
|
||||
Block C:
|
||||
- **C9a** — ветка не появляется в `orchestrator-sandbox` (branch not found);
|
||||
- **C9b** — analyst-job не появляется в staging-очереди (`/queue → recent`).
|
||||
|
||||
Сопутствующая пометка suite: «Plane comment check skipped: bot-tokens not added to
|
||||
SANDBOX project» — bot-аккаунты агентов (`ORCH_PLANE_BOT_*`) не добавлены членами
|
||||
SANDBOX-проекта Plane (проект создан после провижининга ботов). Это **отсутствие
|
||||
sandbox-настроек инфраструктуры, а не регресс кода**. Тем не менее `staging_check.py`
|
||||
возвращает ненулевой exit-code → deployer пишет `staging_status: FAILED` → гейт
|
||||
FAILED → откат `deploy-staging → development`.
|
||||
|
||||
### Причина №2 — «no changes to commit» на action-стадии (контекст ORCH-60)
|
||||
|
||||
Стадии деплоя по своей природе **действие, а не правка кода** (рестарт/retag), и
|
||||
закономерно не порождают git-изменений в `src/`/`tests/`. Сигнал «no changes»
|
||||
для action-стадии не должен трактоваться как недовыполнение работы; критерий успеха
|
||||
action-стадии — успешное выполнение действия (exit0 + доказанный health/staging),
|
||||
а не наличие нового коммита. Сейчас отсутствие изменений на стадии деплоя приводит
|
||||
к недопродвижению задачи и откату.
|
||||
|
||||
### Совокупный эффект
|
||||
|
||||
Любая из причин по отдельности достаточна, чтобы зациклить self-deploy. Обе
|
||||
проявились на реальных задачах ORCH-58 и ORCH-60, которые пришлось доводить вручную.
|
||||
|
||||
## 3. Цели (Goals)
|
||||
|
||||
- **G1.** ORCH-задача для self-hosting `orchestrator` проходит
|
||||
`deploy-staging → deploy → done` **без ручного вмешательства** и **без петли**.
|
||||
- **G2.** Ложный (инфраструктурный) FAIL `staging_check` в sandbox **не вызывает**
|
||||
откат `deploy-staging → development`.
|
||||
- **G3.** Отсутствие git-изменений на стадиях деплоя (`deploy-staging` / `deploy`)
|
||||
**не трактуется** как недовыполнение и не приводит к откату.
|
||||
- **G4.** Реальный регресс (настоящий провал staging-проверки или прод-деплоя)
|
||||
**по-прежнему** приводит к откату `→ development` (страховка не ослабляется).
|
||||
|
||||
## 4. Вне области (Non-goals)
|
||||
|
||||
- Полная автоматизация ручного approve прод-деплоя (это ORCH-54).
|
||||
- Изменение конвейера стадий (`STAGE_TRANSITIONS`), реестра гейтов как структуры,
|
||||
контрактов `check_deploy_status` / `check_staging_status` frontmatter-вердиктов.
|
||||
- Изменение поведения для **не**-self-hosting репозиториев (enduro-trails и пр.):
|
||||
для них staging-гейт и self-deploy остаются no-op / прежними.
|
||||
- Изменение схемы БД.
|
||||
|
||||
## 5. Заинтересованные стороны
|
||||
|
||||
| Роль | Интерес |
|
||||
|------|---------|
|
||||
| Owner / оператор оркестратора | Автономный self-deploy без ручных шагов и без ночных петель. |
|
||||
| Другие проекты (enduro-trails) | Их конвейер не должен быть затронут (общий инстанс, общая очередь). |
|
||||
| Агенты (deployer) | Чёткий, не ложно-срабатывающий контракт стадии деплоя. |
|
||||
|
||||
## 6. Кандидатные направления решения (из бизнес-запроса)
|
||||
|
||||
Бизнес-запрос называет два направления (одно или оба); **выбор и механизм —
|
||||
за архитектором (ADR)**, BRD требует лишь достижения G1–G4:
|
||||
|
||||
- **(а)** Сделать sandbox-прогон `staging_check` честным (например, настроить
|
||||
bot-токены SANDBOX Plane-проекта / починить sandbox e2e), чтобы C9a/C9b
|
||||
проходили честно (10/10) и `check_staging_status` не падал ложно.
|
||||
- **(б)** Отвязать продвижение стадий деплоя от git-changes для self-deploy:
|
||||
успех action-стадии = exit0 + health/staging PASS, а не наличие коммита.
|
||||
|
||||
## 7. Бизнес-эффект / риски бездействия
|
||||
|
||||
- **Эффект:** разблокировка автономного внедрения self-hosting (ORCH-54);
|
||||
устранение ручного труда (merge + retag + deploy) и риска ошибки при ручных шагах.
|
||||
- **Риск бездействия:** каждая ORCH-задача требует ручного дотягивания до прода;
|
||||
петли жгут кредиты LLM и developer-ретраи, задачи блокируются.
|
||||
|
||||
## 8. Допущения
|
||||
|
||||
- Прод-контейнер `orchestrator` (8500) обслуживает все проекты из общего инстанса —
|
||||
его **нельзя** ронять/перезапускать в рамках задачи (см. CLAUDE.md, INFRA.md).
|
||||
- Изменения касаются self-hosting пути (`is_self_hosting_repo` / `self_deploy_applies`);
|
||||
для прочих репо поведение не меняется.
|
||||
- Документация — golden source: затронутые `docs/architecture/README.md`,
|
||||
`docs/operations/STAGING_CHECK.md`, `CHANGELOG.md` обновляются в том же PR.
|
||||
145
docs/work-items/ORCH-061/02-trz.md
Normal file
145
docs/work-items/ORCH-061/02-trz.md
Normal file
@@ -0,0 +1,145 @@
|
||||
# 02 — ТЗ: устранение петли deploy-staging → development при self-deploy
|
||||
|
||||
Work Item: **ORCH-061** · Тип: **BUG** · Приоритет: **P0** · Репо: `orchestrator`
|
||||
|
||||
> Это ТЗ фиксирует **требования и контракты**, которые должна удовлетворить
|
||||
> реализация. Конкретный архитектурный механизм (направление (а), (б) или оба;
|
||||
> где именно разместить логику) выбирает архитектор в ADR (`06-adr/`).
|
||||
> ТЗ намеренно не предписывает дизайн, но задаёт инварианты и границы изменений.
|
||||
|
||||
---
|
||||
|
||||
## 1. Затронутые модули `src/` и артефакты
|
||||
|
||||
Прямо относящиеся к дефекту (для контекста; точечный набор правок — за архитектором):
|
||||
|
||||
| Файл | Роль в дефекте |
|
||||
|------|----------------|
|
||||
| `scripts/staging_check.py` | e2e-suite; C9a (branch) / C9b (analyst job) дают ложный FAIL в sandbox; exit-code управляет вердиктом deployer. |
|
||||
| `src/qg/checks.py` → `check_staging_status`, `_parse_staging_status` | гейт ребра `deploy-staging→deploy`; читает `staging_status:` из `15-staging-log.md`. |
|
||||
| `src/stage_engine.py` → `advance_stage`, `_handle_qg_failure_rollbacks` | откат `deploy-staging→development` при FAILED (ветка `agent=="deployer" and qg=="check_staging_status"`). |
|
||||
| `src/agents/launcher.py` → `_handle_completion`/`_try_advance_stage` | пост-ран git-commit; лог «no changes to commit»; обработка deployer-стадий. |
|
||||
| `src/self_deploy.py` | Phase A/B/C исполняемого self-deploy (контекст продвижения `deploy`). |
|
||||
| `src/config.py` | место для kill-switch/настроек нового поведения (если потребуется). |
|
||||
| `.openclaw/agents/deployer.md` | инструкция deployer о написании вердикта; обновить при смене контракта. |
|
||||
| `docs/operations/STAGING_CHECK.md`, `docs/architecture/README.md`, `CHANGELOG.md` | golden-source документация (обновить в том же PR). |
|
||||
|
||||
## 2. Функциональные требования
|
||||
|
||||
### FR-1 — Нет петли на корректном self-deploy
|
||||
Для self-hosting `orchestrator`, при корректном состоянии (реальный pipeline в
|
||||
порядке, staging-стенд здоров), задача проходит `deploy-staging → deploy → done`
|
||||
**без отката** `deploy-staging → development` и **без ручного вмешательства**.
|
||||
|
||||
### FR-2 — Ложный (инфраструктурный) FAIL не вызывает откат
|
||||
Ложное падение `staging_check` в sandbox, вызванное **исключительно** отсутствием
|
||||
sandbox-настроек (например, C9a/C9b при ненастроенных bot-токенах SANDBOX), не
|
||||
приводит к `staging_status: FAILED` → откату. Должно быть реализовано одним из
|
||||
способов (выбор — ADR):
|
||||
- **(а)** sandbox-инфраструктура приведена в состояние, при котором C9a/C9b
|
||||
проходят честно (10/10); и/или
|
||||
- **(б)** вердикт staging-гейта перестаёт зависеть от заведомо инфраструктурных
|
||||
(не пайплайновых) проверок — например, осознанный allowlist/threshold
|
||||
«известных sandbox-инфра» проверок, отделённый от реальных pipeline-проверок.
|
||||
|
||||
> Любой механизм по FR-2 **обязан** сохранить FR-4 (реальный провал ловится).
|
||||
|
||||
### FR-3 — «no changes» на action-стадии не есть недовыполнение
|
||||
На стадиях деплоя (`deploy-staging`, `deploy`) для self-deploy отсутствие
|
||||
git-изменений (`no changes to commit`) **не** трактуется как недовыполнение и
|
||||
**не** приводит к откату/блокировке. Критерий успеха action-стадии = успешный
|
||||
exit агента/хука + доказанный health/staging-вердикт, а **не** наличие нового
|
||||
коммита.
|
||||
|
||||
### FR-4 — Реальный регресс по-прежнему откатывается (страховка цела)
|
||||
- Настоящий провал реальных pipeline-проверок staging → `staging_status: FAILED`
|
||||
→ откат `deploy-staging → development` (как сейчас).
|
||||
- Настоящий провал прод-деплоя (`deploy_status: FAILED`, БАГ-8) → откат
|
||||
`deploy → development` (как сейчас).
|
||||
- Ослабления страховки быть не должно: «зелёный по умолчанию» при недоступности
|
||||
проверок запрещён (fail-closed для реальных проверок сохраняется).
|
||||
|
||||
### FR-5 — Условность self-hosting сохранена
|
||||
Изменения активны **только** для self-hosting пути
|
||||
(`is_self_hosting_repo` / `self_deploy_applies`). Для прочих репозиториев
|
||||
поведение `check_staging_status` (no-op N/A) и стадии деплоя — **без изменений**.
|
||||
|
||||
### FR-6 — Управляемость (kill-switch)
|
||||
Любое новое поведение (толерантность к инфра-FAIL и/или отвязка от git-changes)
|
||||
закрыто отдельным флагом конфигурации (по образцу `merge_gate_enabled`,
|
||||
`image_freshness_enabled`, `self_deploy_enabled`), с безопасным дефолтом и
|
||||
возможностью мгновенно вернуть прежнее поведение без передеплоя кода-логики.
|
||||
|
||||
### FR-7 — Наблюдаемость
|
||||
Срабатывание нового поведения (например, «staging_check: проигнорирован
|
||||
инфра-FAIL C9a/C9b» или «action-стадия: no-changes ожидаемо») логируется явной
|
||||
строкой и при необходимости отражается в Plane-комментарии/Telegram, чтобы
|
||||
оператор отличал «реальный зелёный» от «зелёного с допущением».
|
||||
|
||||
## 3. Изменения API
|
||||
|
||||
API эндпоинты (`/health`, `/status`, `/queue`, `/webhook/*`) — **без изменений**.
|
||||
Допускается расширение снапшота `GET /queue` диагностическим полем (опционально,
|
||||
по решению архитектора) — без удаления/переименования существующих ключей.
|
||||
|
||||
## 4. Изменения схемы БД
|
||||
|
||||
**Нет.** Схема (`events`, `tasks`, `agent_runs`, `jobs`) не меняется. Любое
|
||||
restart-safe состояние (если потребуется) — через существующие паттерны
|
||||
(sentinel-файлы / поля `jobs.task_content`), без миграций.
|
||||
|
||||
## 5. Контракты, которые НЕЛЬЗЯ менять
|
||||
|
||||
- `STAGE_TRANSITIONS` (порядок и состав стадий) и `get_previous_stage`.
|
||||
- Состав/семантика `QG_CHECKS` как реестра; frontmatter-контракты
|
||||
`staging_status:` (`15-staging-log.md`) и `deploy_status:` (`14-deploy-log.md`) —
|
||||
читаются ТОЛЬКО из YAML-frontmatter, значения `SUCCESS|FAILED`.
|
||||
- Откатные контракты БАГ-8 (`deploy→development`) и ORCH-35
|
||||
(`deploy-staging→development`) для **реальных** провалов.
|
||||
- Контракт exit-code хука деплоя (`0/1/2`) и `map_exit_code_to_status`.
|
||||
- Поведение для не-self-hosting репозиториев.
|
||||
|
||||
## 6. Требования к новым/изменённым QG checks
|
||||
|
||||
- Если выбран механизм толерантности (FR-2 вариант б), он реализуется **внутри**
|
||||
существующего пути `check_staging_status` / staging-вердикта (не новая стадия),
|
||||
по образцу условности ORCH-35; контракт «never-raise» сохраняется.
|
||||
- Любая новая проверка/под-чек регистрируется в `QG_CHECKS` и покрывается
|
||||
снапшот-тестом реестра (`tests/test_qg_registry_snapshot.py`).
|
||||
|
||||
## 7. Требования к staging_check.py (если затрагивается)
|
||||
|
||||
- Если выбран механизм классификации проверок (FR-2 вариант б через suite),
|
||||
e2e-проверки, заведомо зависящие от sandbox-инфраструктуры (C9a/C9b и связанные),
|
||||
должны быть **отличимы** (по метке/категории) от реальных pipeline-проверок,
|
||||
чтобы вердикт и/или exit-code мог их учитывать осознанно. Прежний дефолтный
|
||||
режим (`stub`/`full-real`) и существующие проверки A/B сохраняются.
|
||||
- Никакого «всегда 0»: реальный провал реальных проверок обязан давать ненулевой
|
||||
exit-code / FAIL-категорию.
|
||||
|
||||
## 8. Требования к pipeline-артефактам
|
||||
|
||||
- Стадия деплоя по-прежнему производит машинный вердикт-артефакт
|
||||
(`15-staging-log.md` / `14-deploy-log.md`) с корректным frontmatter.
|
||||
- Артефакты, обновляемые по pipeline в этом PR: `docs/architecture/README.md`
|
||||
(раздел про staging-гейт/self-deploy — отметить ORCH-061),
|
||||
`docs/operations/STAGING_CHECK.md` (поведение C9a/C9b и/или sandbox-настройка),
|
||||
`CHANGELOG.md`, при изменении контракта — `.openclaw/agents/deployer.md`.
|
||||
- ADR: `docs/work-items/ORCH-061/06-adr/ADR-001-*.md` (решение по направлению/механизму).
|
||||
|
||||
## 9. Нефункциональные требования
|
||||
|
||||
- **Безопасность self-hosting:** реализация НЕ перезапускает/не роняет прод 8500
|
||||
в рамках задачи; сборки/recreate — только staging (8501).
|
||||
- **Идемпотентность / restart-safe:** новое поведение переживает рестарт инстанса.
|
||||
- **never-raise:** дефект-исправляющая логика не должна пробрасывать исключения в
|
||||
`advance_stage` (по образцу merge-gate / image-freshness).
|
||||
- **Обратная совместимость:** при выключенном флаге (FR-6) — прежнее поведение 1:1.
|
||||
- **Тестируемость:** «чистая» вердикт-логика выделяется так, чтобы покрываться
|
||||
unit-тестами без live staging/docker.
|
||||
|
||||
## 10. Зависимости и связанные задачи
|
||||
|
||||
- ORCH-35 (условный staging-гейт, ADR-0003), ORCH-36 (исполняемый self-deploy,
|
||||
ADR-0007), ORCH-58 (провенанс staging-образа), ORCH-60 (skip escalated/Blocked).
|
||||
- Блокирует: ORCH-54 (автономное внедрение).
|
||||
90
docs/work-items/ORCH-061/03-acceptance-criteria.md
Normal file
90
docs/work-items/ORCH-061/03-acceptance-criteria.md
Normal file
@@ -0,0 +1,90 @@
|
||||
# 03 — Критерии приёмки: ORCH-061
|
||||
|
||||
Work Item: **ORCH-061** · Тип: **BUG** · Приоритет: **P0**
|
||||
|
||||
Формат: каждый критерий имеет чёткое условие **PASS/FAIL**. Критерии outcome-ориентированы
|
||||
(не предписывают механизм); реализация может удовлетворить FR-2 направлением (а), (б) или обоими.
|
||||
|
||||
---
|
||||
|
||||
## AC-1 — Автономный проход self-deploy без петли (главный критерий)
|
||||
- **PASS:** для self-hosting `orchestrator` задача в состоянии `deploy-staging`
|
||||
при здоровом стенде и корректном pipeline продвигается `deploy-staging → deploy`
|
||||
(далее по штатному approve → `done`) **без** отката на `development` и **без**
|
||||
ручного вмешательства в шаги staging/merge/retag/deploy.
|
||||
- **FAIL:** наблюдается хотя бы один автоматический откат `deploy-staging → development`
|
||||
при отсутствии реального регресса, либо для прохода требуется ручной шаг.
|
||||
|
||||
## AC-2 — Ложный инфраструктурный FAIL не откатывает
|
||||
- **PASS:** прогон, где **единственные** падения — заведомо sandbox-инфраструктурные
|
||||
(C9a branch-not-found / C9b analyst-job-not-in-queue при ненастроенных bot-токенах
|
||||
SANDBOX), а все реальные pipeline-проверки зелёные, приводит к
|
||||
`staging_status: SUCCESS` (или эквивалентному «не-FAILED») → **нет** отката.
|
||||
- **FAIL:** такой прогон даёт `staging_status: FAILED` → откат `deploy-staging → development`.
|
||||
|
||||
## AC-3 — Реальный провал staging по-прежнему откатывает (страховка цела)
|
||||
- **PASS:** прогон с провалом **реальной** pipeline-проверки (не инфра-исключение)
|
||||
даёт `staging_status: FAILED` → откат `deploy-staging → development` +
|
||||
`set_issue_blocked`/нотификации (как сейчас, ORCH-35).
|
||||
- **FAIL:** реальный провал staging проходит как успех / задача доходит до `deploy`.
|
||||
|
||||
## AC-4 — «no changes to commit» на action-стадии не есть недовыполнение
|
||||
- **PASS:** на стадиях `deploy-staging`/`deploy` для self-deploy отсутствие
|
||||
git-изменений не вызывает откат/блокировку; продвижение определяется успешным
|
||||
exit + health/staging-вердиктом.
|
||||
- **FAIL:** отсутствие коммита на стадии деплоя приводит к откату/недопродвижению.
|
||||
|
||||
## AC-5 — Реальный провал прод-деплоя по-прежнему откатывает (БАГ-8 цел)
|
||||
- **PASS:** `deploy_status: FAILED` (exit-code хука ≠ 0) → откат `deploy → development`
|
||||
+ `set_issue_blocked` + release merge-lease + clear deploy-state (как сейчас).
|
||||
- **FAIL:** провал прод-деплоя проходит как `done`.
|
||||
|
||||
## AC-6 — Условность self-hosting сохранена
|
||||
- **PASS:** для не-self-hosting репо (`is_self_hosting_repo == False`)
|
||||
`check_staging_status` остаётся `(True, "Staging gate N/A …")`, стадия деплоя
|
||||
работает как прежде; поведение этих репо байт-в-байт не изменилось.
|
||||
- **FAIL:** изменилось поведение для не-self-hosting репозиториев.
|
||||
|
||||
## AC-7 — Kill-switch возвращает прежнее поведение
|
||||
- **PASS:** при выключенном флаге нового поведения (FR-6) система ведёт себя 1:1
|
||||
как до ORCH-061 (включая прежний откат на инфра-FAIL, если флаг выключен).
|
||||
- **FAIL:** новое поведение невозможно отключить / выключение не восстанавливает старое.
|
||||
|
||||
## AC-8 — Контракты не сломаны
|
||||
- **PASS:** `STAGE_TRANSITIONS`, реестр `QG_CHECKS`, frontmatter-контракты
|
||||
`staging_status:`/`deploy_status:` (только YAML, `SUCCESS|FAILED`), exit-code хука
|
||||
(0/1/2) и `map_exit_code_to_status` — без регресса; снапшот-тест реестра гейтов зелёный.
|
||||
- **FAIL:** изменены контракты стадий/гейтов/вердиктов или сломан снапшот реестра.
|
||||
|
||||
## AC-9 — Схема БД не меняется
|
||||
- **PASS:** нет миграций; `events`/`tasks`/`agent_runs`/`jobs` без изменений схемы.
|
||||
- **FAIL:** добавлена/изменена колонка/таблица.
|
||||
|
||||
## AC-10 — never-raise
|
||||
- **PASS:** новая логика в пути `advance_stage`/staging-вердикта при любой внутренней
|
||||
ошибке (docker/ssh/io/парсинг) даёт безопасный детерминированный вердикт и не
|
||||
пробрасывает исключение в `advance_stage`.
|
||||
- **FAIL:** исключение из новой логики всплывает в `advance_stage`/останавливает конвейер.
|
||||
|
||||
## AC-11 — Наблюдаемость
|
||||
- **PASS:** срабатывание нового поведения (игнор инфра-FAIL / ожидаемые no-changes)
|
||||
даёт явную лог-строку (и при необходимости коммент/Telegram), позволяющую отличить
|
||||
«честно зелёный» от «зелёного с допущением».
|
||||
- **FAIL:** новое поведение срабатывает молча, неотличимо от честного зелёного.
|
||||
|
||||
## AC-12 — Безопасность self-hosting
|
||||
- **PASS:** реализация не перезапускает/не роняет прод-контейнер 8500 в рамках
|
||||
задачи; любые сборки/recreate — только staging (8501).
|
||||
- **FAIL:** код пути задачи рестартит/собирает прод 8500.
|
||||
|
||||
## AC-13 — Документация обновлена (golden source)
|
||||
- **PASS:** в том же PR обновлены `docs/architecture/README.md`,
|
||||
`docs/operations/STAGING_CHECK.md` (поведение C9a/C9b и/или sandbox-настройка),
|
||||
`CHANGELOG.md`, и (при смене контракта) `.openclaw/agents/deployer.md`; заведён
|
||||
ADR `docs/work-items/ORCH-061/06-adr/ADR-001-*.md`.
|
||||
- **FAIL:** функционал изменён без обновления документации/ADR.
|
||||
|
||||
## AC-14 — Регрессионные тесты зелёные
|
||||
- **PASS:** `pytest tests/ -q` проходит полностью; новые тесты из `04-test-plan.yaml`
|
||||
присутствуют и зелёные; существующие staging/deploy/qg/stage_engine тесты не упали.
|
||||
- **FAIL:** любой тест из плана отсутствует или красный.
|
||||
147
docs/work-items/ORCH-061/04-test-plan.yaml
Normal file
147
docs/work-items/ORCH-061/04-test-plan.yaml
Normal file
@@ -0,0 +1,147 @@
|
||||
work_item: ORCH-061
|
||||
title: "BUG: deploy-staging петля — откат на development (self-deploy)"
|
||||
description: >
|
||||
План тестов на устранение зацикливания deploy-staging -> development для
|
||||
self-hosting orchestrator. Покрывает обе подтверждённые причины: (1) ложный
|
||||
FAILED check_staging_status из-за заведомо инфраструктурных C9a/C9b в sandbox;
|
||||
(2) трактовку "no changes to commit" на action-стадии как недовыполнения.
|
||||
Тесты outcome-ориентированы и не предписывают механизм: часть кейсов помечена
|
||||
как mechanism-dependent (а=sandbox-инфра честно, б=толерантность/отвязка) —
|
||||
финальный набор подтверждает архитектор в ADR; реализуются тесты под выбранный
|
||||
механизм. Инвариант страховки (реальный регресс откатывает) и условность
|
||||
self-hosting проверяются ВСЕГДА.
|
||||
tests:
|
||||
# --- Главный сценарий: нет петли ----------------------------------------
|
||||
- id: TC-01
|
||||
type: unit
|
||||
description: >
|
||||
Корректный self-deploy: при staging_status SUCCESS и пройденном merge/freshness
|
||||
sub-gate advance_stage(deploy-staging, finished_agent=deployer) продвигает к
|
||||
deploy (Phase A approval-pending), НЕ откатывает на development. (AC-1)
|
||||
module: tests/test_stage_engine.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-02
|
||||
type: unit
|
||||
description: >
|
||||
Регресс-страховка ORCH-35: реальный провал реальной pipeline-проверки ->
|
||||
staging_status FAILED -> advance_stage откатывает deploy-staging -> development
|
||||
+ set_issue_blocked. (AC-3)
|
||||
module: tests/test_stage_engine.py
|
||||
expected: PASS
|
||||
|
||||
# --- Причина №1: ложный инфраструктурный FAIL ---------------------------
|
||||
- id: TC-03
|
||||
type: unit
|
||||
description: >
|
||||
Классификация проверок staging_check: проверки, заведомо зависящие от
|
||||
sandbox-инфраструктуры (C9a/C9b), отличимы (метка/категория) от реальных
|
||||
pipeline-проверок. Чистая логика классификации/вердикта тестируется без
|
||||
live staging/docker. (AC-2, mechanism-dependent: вариант б)
|
||||
module: tests/test_staging_check_b6.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-04
|
||||
type: unit
|
||||
description: >
|
||||
Вердикт-логика: все реальные проверки PASS, падают ТОЛЬКО известные
|
||||
sandbox-инфра проверки (C9a/C9b) -> итог не-FAILED (нет ложного отката).
|
||||
(AC-2)
|
||||
module: tests/test_qg_checks.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-05
|
||||
type: unit
|
||||
description: >
|
||||
Вердикт-логика: падает хотя бы одна РЕАЛЬНАЯ pipeline-проверка (помимо инфра)
|
||||
-> итог FAILED (страховка не ослаблена, fail-closed). (AC-3)
|
||||
module: tests/test_qg_checks.py
|
||||
expected: PASS
|
||||
|
||||
# --- Причина №2: no changes на action-стадии ----------------------------
|
||||
- id: TC-06
|
||||
type: unit
|
||||
description: >
|
||||
На action-стадии (deploy-staging/deploy) для self-deploy отсутствие
|
||||
git-изменений ("no changes to commit") НЕ приводит к откату/недопродвижению;
|
||||
продвижение определяется exit + вердиктом, а не наличием коммита. (AC-4)
|
||||
module: tests/test_launcher.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-07
|
||||
type: unit
|
||||
description: >
|
||||
На code-стадии (development) отсутствие изменений всё ещё обрабатывается
|
||||
прежним образом (нет ложного "успеха" там, где код должен был измениться) —
|
||||
изменение FR-3 не протекает на не-action стадии. (AC-4, regression-guard)
|
||||
module: tests/test_launcher.py
|
||||
expected: PASS
|
||||
|
||||
# --- Условность self-hosting --------------------------------------------
|
||||
- id: TC-08
|
||||
type: unit
|
||||
description: >
|
||||
Для не-self-hosting репо check_staging_status остаётся (True, "Staging gate
|
||||
N/A …") и новое поведение НЕ активируется; поведение этих репо неизменно.
|
||||
(AC-6, FR-5)
|
||||
module: tests/test_qg.py
|
||||
expected: PASS
|
||||
|
||||
# --- Kill-switch / обратная совместимость -------------------------------
|
||||
- id: TC-09
|
||||
type: unit
|
||||
description: >
|
||||
При выключенном флаге нового поведения (FR-6) система ведёт себя 1:1 как до
|
||||
ORCH-061: инфра-FAIL снова приводит к FAILED/откату. Дефолт флага безопасен.
|
||||
(AC-7)
|
||||
module: tests/test_config.py
|
||||
expected: PASS
|
||||
|
||||
# --- БАГ-8: реальный провал прод-деплоя ----------------------------------
|
||||
- id: TC-10
|
||||
type: unit
|
||||
description: >
|
||||
deploy_status FAILED (exit-code хука != 0) -> откат deploy -> development +
|
||||
set_issue_blocked + release merge-lease + clear deploy-state (БАГ-8 не сломан).
|
||||
(AC-5)
|
||||
module: tests/test_deploy_rollback.py
|
||||
expected: PASS
|
||||
|
||||
# --- Контракты / реестр / never-raise -----------------------------------
|
||||
- id: TC-11
|
||||
type: unit
|
||||
description: >
|
||||
Снапшот реестра QG_CHECKS и STAGE_TRANSITIONS не изменён неожиданно;
|
||||
frontmatter-контракты staging_status/deploy_status (SUCCESS|FAILED, только
|
||||
YAML) сохранены. (AC-8)
|
||||
module: tests/test_qg_registry_snapshot.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-12
|
||||
type: unit
|
||||
description: >
|
||||
never-raise: новая логика staging-вердикта/advance при внутренней ошибке
|
||||
(io/парсинг/docker/ssh) возвращает безопасный детерминированный вердикт и не
|
||||
пробрасывает исключение в advance_stage. (AC-10)
|
||||
module: tests/test_stage_engine.py
|
||||
expected: PASS
|
||||
|
||||
# --- Интеграционный сквозной сценарий ------------------------------------
|
||||
- id: TC-13
|
||||
type: integration
|
||||
description: >
|
||||
Сквозной self-deploy на тестовой БД: задача deploy-staging при здоровом
|
||||
стенде с инфра-only недочётами проходит deploy-staging -> deploy (Phase A) ->
|
||||
(approve) -> deploy финализация SUCCESS -> done, БЕЗ единого отката на
|
||||
development в логе переходов. (AC-1, AC-4)
|
||||
module: tests/test_stage_engine.py
|
||||
expected: PASS
|
||||
|
||||
- id: TC-14
|
||||
type: integration
|
||||
description: >
|
||||
Наблюдаемость: при срабатывании нового поведения (игнор инфра-FAIL /
|
||||
ожидаемые no-changes) присутствует явная лог-строка/диагностика, отличающая
|
||||
"честно зелёный" от "зелёного с допущением". (AC-11)
|
||||
module: tests/test_stage_engine.py
|
||||
expected: PASS
|
||||
@@ -0,0 +1,222 @@
|
||||
# ADR-001 — Толерантность staging-вердикта к инфра-FAIL + инвариант «no-changes на action-стадии»
|
||||
|
||||
- **Статус:** Accepted
|
||||
- **Дата:** 2026-06-07
|
||||
- **Задача:** ORCH-061 (BUG, P0) · Репо: `orchestrator` (self-hosting)
|
||||
- **Связи:** ORCH-35/adr-0003 (условный staging-гейт), ORCH-36/adr-0007 (исполняемый self-deploy), ORCH-58/adr-0008 (провенанс staging-образа), ORCH-43/adr-0006 (merge-gate); блокирует ORCH-54.
|
||||
- **Сквозной ADR:** [adr-0009-staging-infra-tolerance](../../../architecture/adr/adr-0009-staging-infra-tolerance.md)
|
||||
|
||||
---
|
||||
|
||||
## Контекст
|
||||
|
||||
На стадии `deploy-staging` self-hosting `orchestrator` зацикливается:
|
||||
`check_staging_status` даёт FAILED → `_handle_qg_failure_rollbacks` откатывает
|
||||
`deploy-staging → development` → developer перезапускается → конвейер заново →
|
||||
снова `deploy-staging` → снова FAILED. Петля жжёт developer-ретраи и LLM-кредиты,
|
||||
а прод-деплой орка приходится доводить вручную (ORCH-58, ORCH-60). Это прямой
|
||||
блокер автономного внедрения (ORCH-54).
|
||||
|
||||
Подтверждены две независимые причины (BRD §2):
|
||||
|
||||
**Причина №1 — ложный FAILED.** `scripts/staging_check.py` в sandbox даёт
|
||||
8/10 PASS, 2 ложных FAIL на e2e-блоке C:
|
||||
- **C9a** — ветка не появляется в `orchestrator-sandbox`;
|
||||
- **C9b** — analyst-job не появляется в staging-очереди.
|
||||
|
||||
Оба завязаны на отсутствие sandbox-настроек (bot-аккаунты `ORCH_PLANE_BOT_*` не
|
||||
добавлены членами SANDBOX-проекта — проект создан после провижининга ботов). Это
|
||||
**отсутствие инфраструктуры sandbox, а не регресс кода**. Но `staging_check.py`
|
||||
суммирует `all_ok = passed == total` и делает `sys.exit(1)` при любом FAIL →
|
||||
deployer пишет `staging_status: FAILED` → откат.
|
||||
|
||||
**Причина №2 — «no changes to commit» на action-стадии.** Стадии деплоя по природе
|
||||
действие (рестарт/retag), а не правка `src/`. Отсутствие git-изменений не должно
|
||||
трактоваться как недовыполнение; критерий успеха action-стадии — exit0 +
|
||||
health/staging-вердикт, а не наличие коммита.
|
||||
|
||||
### Что есть сейчас в коде (точки дефекта)
|
||||
|
||||
- `scripts/staging_check.py`: `Results.summary()` → `all_ok = passed == total`;
|
||||
`main()` → `sys.exit(0 if all_ok else 1)`. Все проверки равнозначны — инфра-FAIL
|
||||
неотличим от регресса.
|
||||
- `src/qg/checks.py` → `check_staging_status` / `_parse_staging_status`: читает
|
||||
`staging_status:` (SUCCESS|FAILED) из `15-staging-log.md`. Условный (ORCH-35):
|
||||
для не-self репо → `(True, "Staging gate N/A …")`.
|
||||
- `src/stage_engine.py` → `_handle_qg_failure_rollbacks`: ветка
|
||||
`agent=="deployer" and qg=="check_staging_status"` → откат на `development`.
|
||||
- `src/agents/launcher.py` → `_monitor_agent`: ветка «no changes to commit» (строка
|
||||
~583) **уже** просто логирует и идёт в `_try_advance_stage` (НЕ откатывает).
|
||||
|
||||
## Рассмотренные направления (BRD §6)
|
||||
|
||||
- **(а) Починить sandbox-инфру** — добавить bot-токены SANDBOX, чтобы C9a/C9b
|
||||
проходили честно (10/10).
|
||||
- *Минусы:* хрупко (зависит от членства ботов в Plane-проекте, поддерживается
|
||||
руками вне кода); не предотвращает структурно будущие инфра-only FAIL;
|
||||
автономный self-deploy-таск не может надёжно выполнить Plane-admin действия сам.
|
||||
Не закрывает Причину №1 на уровне инварианта.
|
||||
- **(б) Отвязать вердикт от заведомо инфраструктурных проверок** — классифицировать
|
||||
проверки suite и сделать вердикт толерантным к инфра-FAIL, сохранив fail-closed
|
||||
для реальных проверок.
|
||||
- *Плюсы:* структурно, юнит-тестируемо (чистая вердикт-логика), управляемо
|
||||
(kill-switch), наблюдаемо (FR-7); сохраняет страховку (FR-4) по построению.
|
||||
|
||||
## Решение
|
||||
|
||||
Выбран механизм **(б)** как основной, с явной фиксацией инварианта по Причине №2.
|
||||
Направление (а) переведено в **необязательное hardening** (см. `07-infra-requirements.md`):
|
||||
с (б) оно перестаёт быть блокером.
|
||||
|
||||
### 1. Классификация проверок + толерантный вердикт (Причина №1, FR-2/FR-4)
|
||||
|
||||
Новый **leaf-модуль `src/staging_verdict.py`** — чистая логика, без I/O, контракт
|
||||
**never-raise**, только stdlib (импортируем и из orchestrator, и из
|
||||
`staging_check.py`, который уже импортирует `src.*` внутри контейнера — паттерн B6/ORCH-048):
|
||||
|
||||
```
|
||||
REAL = "real" # реальная pipeline-проверка
|
||||
SANDBOX_INFRA = "sandbox_infra" # заведомо зависит от sandbox-инфры
|
||||
|
||||
# Узкий allowlist известных инфра-проверок (по префиксу метки):
|
||||
SANDBOX_INFRA_CHECKS = frozenset({"C9a", "C9b"})
|
||||
|
||||
def classify_check(label: str) -> str:
|
||||
"""SANDBOX_INFRA если метка начинается с известного инфра-префикса, иначе REAL.
|
||||
Never-raise: на любом непонятном вводе → REAL (консервативно, fail-closed)."""
|
||||
|
||||
def compute_staging_verdict(items, infra_tolerant: bool) -> StagingVerdict:
|
||||
"""items: список (label, passed: bool, category: str).
|
||||
real_failed = [REAL-проверки с passed=False]
|
||||
infra_failed = [SANDBOX_INFRA-проверки с passed=False]
|
||||
- real_failed непусто -> FAILED, exit 1 (страховка)
|
||||
- infra_failed непусто и infra_tolerant -> SUCCESS, exit 0 (waived)
|
||||
- infra_failed непусто и НЕ infra_tolerant -> FAILED, exit 1 (legacy strict)
|
||||
- иначе -> SUCCESS, exit 0
|
||||
Never-raise: на битом вводе → консервативный FAILED."""
|
||||
```
|
||||
|
||||
`StagingVerdict` несёт `status` (`"SUCCESS"|"FAILED"`), `exit_code` (`0|1`),
|
||||
`waived` (список заваиверенных меток) и `summary` (человекочитаемая строка).
|
||||
|
||||
**Ключевой инвариант страховки (FR-4):** любая упавшая REAL-проверка ⇒ exit 1 ⇒
|
||||
FAILED ⇒ откат. В частности C7 (создать issue) и C8 (триггер `/webhook/plane`) —
|
||||
REAL. Waiver применяется к C9a/C9b **только** когда все REAL-проверки (включая
|
||||
C7/C8) зелёные. Вход в конвейер по-прежнему валидируется C7/C8; C9a/C9b проверяют
|
||||
лишь downstream-артефакты, которым нужна sandbox-инфра. Так blast-radius waiver'а
|
||||
сведён к двум именованным проверкам.
|
||||
|
||||
### 2. Правки `scripts/staging_check.py`
|
||||
|
||||
- `Results.add(label, passed, detail="", category=None)` — при `category is None`
|
||||
авто-классификация через `staging_verdict.classify_check(label)`; хранит категорию
|
||||
в элементе.
|
||||
- `Results.summary()` печатает разбивку по категориям (REAL / SANDBOX_INFRA).
|
||||
- `main()`:
|
||||
- резолвит флаг толерантности `_resolve_tolerance()` (см. ниже);
|
||||
- `verdict = compute_staging_verdict(results.items, infra_tolerant)`;
|
||||
- при `verdict.waived` печатает явную строку
|
||||
`INFRA-WAIVED: <labels> (known sandbox-infra; real checks green)` (FR-7);
|
||||
- `sys.exit(verdict.exit_code)`.
|
||||
- `_resolve_tolerance()`: читает `settings.staging_infra_tolerance_enabled` (через
|
||||
`from src.config import settings` — тот же паттерн, что B6). На ошибке импорта →
|
||||
**strict (False)** (fail-safe: не вайвить при нечитаемом конфиге) + warning.
|
||||
Опциональный CLI-флаг `--strict` принудительно выключает толерантность для ручных
|
||||
«честных» прогонов.
|
||||
|
||||
Прежние режимы (`--mode stub|full-real`) и проверки A/B/C7/C8 — без изменений.
|
||||
«Всегда 0» исключено: упавшая REAL-проверка всегда даёт exit 1 (TRZ §7).
|
||||
|
||||
### 3. Kill-switch (FR-6, AC-7)
|
||||
|
||||
`src/config.py`:
|
||||
```python
|
||||
# ORCH-061: толерантность staging-вердикта к заведомо инфраструктурным FAIL
|
||||
# (C9a/C9b) в sandbox. True -> упавшие ТОЛЬКО sandbox-инфра проверки вайверятся
|
||||
# (real-проверки fail-closed). False -> 1:1 прежнее строгое поведение (любой FAIL
|
||||
# -> staging_status FAILED -> откат). Env ORCH_STAGING_INFRA_TOLERANCE_ENABLED.
|
||||
staging_infra_tolerance_enabled: bool = True
|
||||
```
|
||||
|
||||
Дефолт **True** (как `merge_gate_enabled` / `image_freshness_enabled` /
|
||||
`self_deploy_enabled`): инвариант страховки (FR-4) держится независимо от флага —
|
||||
реальные провалы всё равно fail-closed; флаг существует, чтобы мгновенно вернуть
|
||||
legacy-строгость без передеплоя кода. Флаг живёт в `.env.staging` контейнера
|
||||
(`ORCH_` prefix), поэтому достижим скриптом внутри `orchestrator-staging`.
|
||||
`False` → suite строгий → 1:1 поведение до ORCH-061 (AC-7).
|
||||
|
||||
### 4. Что НЕ меняется (контракты, AC-8)
|
||||
|
||||
- `check_staging_status` / `_parse_staging_status` — **без изменений**: читают
|
||||
`staging_status:` (только YAML, `SUCCESS|FAILED`). Толерантность реализована
|
||||
ДО артефакта (в exit-code suite → вердикт deployer), внутри существующего пути
|
||||
staging-вердикта, не отдельной стадией (TRZ §6).
|
||||
- **Новый QG-чек НЕ добавляется** → реестр `QG_CHECKS` и снапшот-тест
|
||||
(`tests/test_qg_registry_snapshot.py`) неизменны (AC-8 / TC-11).
|
||||
- `STAGE_TRANSITIONS`, `get_previous_stage`, exit-code хука деплоя (0/1/2),
|
||||
`map_exit_code_to_status`, `check_deploy_status`, БАГ-8 — без изменений.
|
||||
- Условность self-hosting (AC-6): `staging_check.py` канонически бежит только для
|
||||
`orchestrator`; `check_staging_status` для не-self репо остаётся
|
||||
`(True, "Staging gate N/A …")`. Поведение прочих репо байт-в-байт неизменно.
|
||||
|
||||
### 5. Инвариант «no-changes на action-стадии» (Причина №2, FR-3/AC-4)
|
||||
|
||||
`launcher._monitor_agent` **уже** не откатывает на «no changes to commit» (просто
|
||||
логирует и идёт в `_try_advance_stage`; продвижение определяется гейтом). ORCH-061:
|
||||
- **Фиксируем инвариант** как покрытый тестами контракт: на `deploy-staging`/`deploy`
|
||||
для self-deploy продвижение определяется exit0 + гейт-вердиктом, НИКОГДА наличием
|
||||
коммита (TC-06).
|
||||
- **Наблюдаемость (FR-7/AC-11):** в ветке «no changes» логировать явную строку,
|
||||
отличающую action-стадию (ожидаемо: артефакт-вердикт, не обязательно код) от
|
||||
code-стадии. Резолв стадии задачи по `(repo, branch)`; при
|
||||
`stage ∈ {deploy-staging, deploy}` и `self_deploy.self_deploy_applies(repo)` →
|
||||
`staging/deploy: no code changes (expected on action stage)`.
|
||||
- **Regression-guard (TC-07):** на `development` (code-стадия) поведение «no changes»
|
||||
неизменно — изменение FR-3 не протекает на не-action стадию.
|
||||
|
||||
Изменение минимальное (self-hosting safety, AC-12): не трогает прод-контейнер 8500,
|
||||
сборки/recreate — только staging (8501).
|
||||
|
||||
## Затронутые файлы (для developer)
|
||||
|
||||
| Файл | Изменение |
|
||||
|------|-----------|
|
||||
| `src/staging_verdict.py` | **новый** leaf-модуль: `classify_check`, `compute_staging_verdict`, `StagingVerdict` (pure, never-raise). |
|
||||
| `scripts/staging_check.py` | категории в `Results`, вердикт через `staging_verdict`, INFRA-WAIVED-лог, `--strict`. |
|
||||
| `src/config.py` | флаг `staging_infra_tolerance_enabled` (env `ORCH_STAGING_INFRA_TOLERANCE_ENABLED`). |
|
||||
| `src/agents/launcher.py` | observability-лог action-stage no-changes (без смены логики продвижения). |
|
||||
| `.openclaw/agents/deployer.md` | уточнение: exit0 может включать «infra-waived»; контракт `staging_status:` SUCCESS\|FAILED неизменен. |
|
||||
| `docs/operations/STAGING_CHECK.md` | поведение C9a/C9b, флаг, INFRA-WAIVED, `--strict`. |
|
||||
| `docs/architecture/README.md` | пометка ORCH-061 в разделе staging-гейта (уже внесена архитектором). |
|
||||
| `CHANGELOG.md` | запись ORCH-061. |
|
||||
| `tests/` | TC-01…TC-14 (см. `04-test-plan.yaml`). |
|
||||
|
||||
## Последствия
|
||||
|
||||
**Плюсы**
|
||||
- Петля устранена структурно: ложный инфра-FAIL → SUCCESS (waived) → нет отката (G1/G2).
|
||||
- Страховка цела: любая реальная pipeline-проверка fail-closed → FAILED → откат (G4/FR-4).
|
||||
- Чистая вердикт-логика юнит-тестируема без live staging/docker (NFR-тестируемость).
|
||||
- Контракты гейтов/стадий/вердиктов/реестра не тронуты (AC-8); схема БД не меняется (AC-9).
|
||||
- Мгновенный откат к legacy через kill-switch (AC-7).
|
||||
- Разблокирует автономный self-deploy (ORCH-54).
|
||||
|
||||
**Минусы / ограничения**
|
||||
- C9a/C9b теперь могут заваиверить **реальный** даунстрим-регресс именно в создании
|
||||
ветки / постановке analyst-job (узкий риск). Митигировано: waiver только когда C7/C8
|
||||
и все прочие REAL зелёные; allowlist жёстко = {C9a, C9b}; INFRA-WAIVED логируется и
|
||||
виден оператору. См. `10-tech-risks.md` (R-1).
|
||||
- Толерантность скрывает «нездоровье sandbox» как зелёное-с-допущением; отличимо
|
||||
только по INFRA-WAIVED-логу/комментарию (наблюдаемость обязательна, FR-7).
|
||||
- Honest 10/10 в sandbox (направление а) остаётся желательным hardening, но не блокером.
|
||||
|
||||
## Альтернативы (отклонены)
|
||||
|
||||
- **Только (а) — починить sandbox-инфру:** хрупко, не структурно, вне автономной
|
||||
досягаемости таска. Оставлено как опциональное hardening.
|
||||
- **«Зелёный по умолчанию» при недоступности проверок:** запрещён FR-4 (fail-closed).
|
||||
- **Новый QG-чек `check_staging_infra_tolerant`:** избыточно — менял бы реестр
|
||||
`QG_CHECKS` и снапшот; толерантность лучше живёт в suite/вердикте до артефакта.
|
||||
- **Толерантность внутри `check_staging_status` через структурный артефакт:**
|
||||
потребовал бы сменить контракт `15-staging-log.md` и научить deployer писать
|
||||
per-check категории — больше движущихся частей; отклонено в пользу решения в suite.
|
||||
37
docs/work-items/ORCH-061/07-infra-requirements.md
Normal file
37
docs/work-items/ORCH-061/07-infra-requirements.md
Normal file
@@ -0,0 +1,37 @@
|
||||
# 07 — Требования к инфраструктуре: ORCH-061
|
||||
|
||||
Work Item: **ORCH-061** · Репо: `orchestrator`
|
||||
|
||||
Топология/контейнеры/порты **не меняются** (TRZ §3, §9). Self-hosting-безопасность
|
||||
сохранена: прод-контейнер `orchestrator` (8500) не перезапускается/не роняется в
|
||||
рамках задачи; любые сборки/recreate — только staging (8501). См.
|
||||
`docs/operations/INFRA.md`.
|
||||
|
||||
## IR-1 — Конфиг-флаг (kill-switch)
|
||||
Новый флаг `staging_infra_tolerance_enabled` (env
|
||||
`ORCH_STAGING_INFRA_TOLERANCE_ENABLED`, дефолт `true`).
|
||||
|
||||
- Должен присутствовать в окружении контейнера **`orchestrator-staging`**
|
||||
(`.env.staging`), т.к. `scripts/staging_check.py` читает его через
|
||||
`src.config.settings` при каноническом запуске `docker exec` внутри стенда.
|
||||
- Для прод-инстанса (`.env`) флаг безвреден (на прод-пути staging-suite не
|
||||
исполняется), но рекомендуется держать значения консистентными.
|
||||
- `false` → мгновенный возврат к строгому (legacy) поведению без передеплоя кода.
|
||||
- Канон секретов/env: значения в `.env`/`.env.staging` на хосте, в гит НЕ
|
||||
коммитятся; задокументировать ключ в `.env.example` (канон ORCH-9).
|
||||
|
||||
## IR-2 — Опциональное hardening sandbox (направление «а», НЕ блокер)
|
||||
Первопричина ложных C9a/C9b — bot-аккаунты агентов (`ORCH_PLANE_BOT_*`) не добавлены
|
||||
членами Plane-проекта **SANDBOX** (`8c5a3025-…`), созданного после провижининга
|
||||
ботов. С выбранным механизмом (б) это перестаёт блокировать конвейер, но честный
|
||||
10/10 в sandbox желателен:
|
||||
|
||||
- Добавить bot-аккаунты агентов членами SANDBOX-проекта в Plane (даст честный
|
||||
C9b: коммент analyst'а перестанет получать 403; и устранит инфра-причину C9a/C9b).
|
||||
- Действие — ручное (Plane-admin), вне автоматической досягаемости таска; выполняется
|
||||
оператором при возможности. После него C9a/C9b проходят честно и waiver не нужен.
|
||||
- Это hardening, а не требование приёмки ORCH-061 (приёмка — на механизме «б»).
|
||||
|
||||
## IR-3 — Без новой инфраструктуры
|
||||
Новые сервисы/порты/тома/сетевые правила/cron — **не требуются**. Никаких
|
||||
изменений в `docker-compose.yml`, образах, реестре проектов.
|
||||
20
docs/work-items/ORCH-061/08-data-requirements.md
Normal file
20
docs/work-items/ORCH-061/08-data-requirements.md
Normal file
@@ -0,0 +1,20 @@
|
||||
# 08 — Требования к данным / схеме БД: ORCH-061
|
||||
|
||||
Work Item: **ORCH-061** · Репо: `orchestrator`
|
||||
|
||||
## DR-1 — Схема БД не меняется (AC-9)
|
||||
Никаких миграций. Таблицы `events`, `tasks`, `agent_runs`, `jobs` — без изменений
|
||||
колонок/индексов/таблиц.
|
||||
|
||||
## DR-2 — Никакого нового персистентного состояния
|
||||
Решение (ADR-001) — чистая вердикт-логика (`src/staging_verdict.py`) + конфиг-флаг +
|
||||
правка exit-code suite. Состояние конвейера не вводится:
|
||||
- толерантность вычисляется на лету при прогоне `staging_check.py`;
|
||||
- restart-safe-состояние не требуется (вердикт фиксируется в существующем артефакте
|
||||
`15-staging-log.md` через прежний контракт `staging_status: SUCCESS|FAILED`).
|
||||
|
||||
## DR-3 — Артефакт-контракт неизменен
|
||||
`15-staging-log.md` по-прежнему несёт frontmatter `staging_status: SUCCESS|FAILED`
|
||||
(только YAML). `14-deploy-log.md` (`deploy_status:`) — без изменений. Гейты читают
|
||||
ТОЛЬКО frontmatter. Толерантность реализована ДО записи артефакта (на уровне
|
||||
exit-code suite → вердикт deployer), поэтому формат и парсинг артефактов не трогаются.
|
||||
25
docs/work-items/ORCH-061/10-tech-risks.md
Normal file
25
docs/work-items/ORCH-061/10-tech-risks.md
Normal file
@@ -0,0 +1,25 @@
|
||||
# 10 — Технические риски: ORCH-061
|
||||
|
||||
Work Item: **ORCH-061** · Репо: `orchestrator` (self-hosting)
|
||||
|
||||
| # | Риск | Вероятн. | Влияние | Митигация |
|
||||
|---|------|----------|---------|-----------|
|
||||
| **R-1** | Waiver C9a/C9b маскирует **реальный** регресс именно в создании ветки / постановке analyst-job (ложно-зелёный staging). | Низкая | Высокое | Allowlist жёстко `{C9a, C9b}`; waiver применяется ТОЛЬКО когда ВСЕ REAL-проверки зелёные, включая C7 (создать issue) и C8 (триггер `/webhook/plane`) — вход в конвейер всегда валидируется реально. `INFRA-WAIVED`-строка в логе/комменте делает допущение видимым (FR-7). Honest 10/10 (IR-2) убирает риск совсем. |
|
||||
| **R-2** | Ослабление страховки: реальный pipeline-FAIL пройдёт как SUCCESS. | Низкая | Критич. | Инвариант `compute_staging_verdict`: любая упавшая REAL → exit1 → FAILED → откат (FR-4/AC-3/TC-05). Покрыто юнит-тестом отдельным кейсом. |
|
||||
| **R-3** | Флаг не достигает скрипта (читается не из того env) → толерантность «молча» не работает или, наоборот, не выключается. | Средняя | Среднее | Скрипт читает `settings.staging_infra_tolerance_enabled` через `from src.config import settings` — тот же канал, что B6/ORCH-048 (внутри `orchestrator-staging`, env `.env.staging`). На ошибке импорта — fail-safe в strict (False) + warning. Документировать ключ в `.env.staging`/`.env.example` (IR-1). Тест kill-switch (TC-09). |
|
||||
| **R-4** | Классификатор ошибочно пометит REAL-проверку как SANDBOX_INFRA (расширение allowlist в будущем). | Низкая | Высокое | `classify_check` — узкий префиксный allowlist; добавление новой инфра-метки требует осознанного PR + теста (TC-03). По умолчанию неизвестная метка → REAL (консервативно). |
|
||||
| **R-5** | Регресс совместимости: изменение exit-code suite ломает другие потребители (deploy-хук, ручные прогоны). | Низкая | Среднее | Exit-code семантика сохранена для honest-прогонов (всё PASS → 0; реальный FAIL → 1). Меняется лишь трактовка «только инфра-FAIL» (теперь 0 при толерантности). Deployer-маппинг exit0→SUCCESS/≠0→FAILED не меняется; deployer.md уточняется. `--strict` даёт ручной honest-режим. |
|
||||
| **R-6** | never-raise нарушен: исключение из `staging_verdict`/классификатора. | Низкая | Среднее | `src/staging_verdict.py` — pure, без I/O; контракт never-raise (на битом вводе → консервативный FAILED). Логика вне пути `advance_stage` (исполняется в subprocess suite), поэтому в конвейер исключение структурно не попадает (AC-10). |
|
||||
| **R-7** | FR-3: правка no-changes протекает на code-стадию (`development`) и маскирует «developer ничего не сделал». | Низкая | Среднее | Observability-строка ограничена `stage ∈ {deploy-staging, deploy}` и `self_deploy_applies(repo)`; логика продвижения launcher не меняется. Regression-guard TC-07. |
|
||||
| **R-8** | Self-hosting: правки случайно затронут прод 8500 / не-self репо. | Низкая | Критич. | Изменения только на self-deploy-пути и в suite (бежит лишь для `orchestrator`-staging). `check_staging_status` для не-self репо неизменно `(True, N/A)` (AC-6/TC-08). Сборки/recreate — только 8501. Прод 8500 не трогается (AC-12). |
|
||||
|
||||
## Контрактные инварианты (не нарушать)
|
||||
- `STAGE_TRANSITIONS`, `get_previous_stage` — без изменений.
|
||||
- Реестр `QG_CHECKS` — без изменений; новый QG-чек НЕ вводится (снапшот-тест зелёный, TC-11).
|
||||
- Frontmatter `staging_status:` / `deploy_status:` — только YAML, `SUCCESS|FAILED`.
|
||||
- Exit-code хука деплоя (0/1/2) и `map_exit_code_to_status` — без изменений.
|
||||
- БАГ-8 (`deploy → development`) и ORCH-35 (`deploy-staging → development`) для
|
||||
**реальных** провалов — сохранены.
|
||||
- Схема БД — без миграций.
|
||||
# ci-rerun 2026-06-07T13:08:38Z after disk cleanup
|
||||
# ci-rerun gitea-restarted 2026-06-07T13:14:14Z
|
||||
88
docs/work-items/ORCH-061/12-review.md
Normal file
88
docs/work-items/ORCH-061/12-review.md
Normal file
@@ -0,0 +1,88 @@
|
||||
---
|
||||
type: review
|
||||
work_item_id: ORCH-061
|
||||
verdict: APPROVED
|
||||
version: 1
|
||||
---
|
||||
|
||||
# Review ORCH-061
|
||||
|
||||
## Summary
|
||||
|
||||
Исправление петли `deploy-staging → development` при self-hosting self-deploy.
|
||||
Реализовано Direction (б) из ADR-001: классификация staging-проверок на `REAL`
|
||||
(fail-closed) и `SANDBOX_INFRA` (узкий allowlist `{C9a, C9b}`, waivable) +
|
||||
толерантный-но-fail-closed вердикт.
|
||||
|
||||
Реализация **полностью соответствует ТЗ (02-trz.md), критериям приёмки
|
||||
(03-acceptance-criteria.md) и ADR-001**. Все контракты сохранены, документация
|
||||
обновлена в том же PR, тесты зелёные.
|
||||
|
||||
Проверено по осям:
|
||||
|
||||
- **Соответствие ТЗ:** FR-1…FR-7 закрыты. Новый leaf-модуль
|
||||
`src/staging_verdict.py` (stdlib-only, never-raise), флаг
|
||||
`staging_infra_tolerance_enabled` (kill-switch, default True), observability
|
||||
через `INFRA-WAIVED:`/`VERDICT:` и `action_stage_no_changes_note`.
|
||||
- **Соответствие ADR-001:** механизм, allowlist `{C9a, C9b}`, fail-closed для
|
||||
REAL, waiver только когда все REAL (вкл. C7/C8) зелёные, `--strict`,
|
||||
`_resolve_tolerance` (fail-safe → strict при нечитаемом конфиге) — реализовано
|
||||
ровно как в «Решении» ADR. Затронутые файлы совпадают с таблицей ADR.
|
||||
- **Контракты (AC-8):** `src/qg/checks.py` (`check_staging_status`/
|
||||
`_parse_staging_status`), `src/stages.py` (`STAGE_TRANSITIONS`, `QG_CHECKS`)
|
||||
— **не изменены** (подтверждено `git diff`). Толерантность живёт в suite ДО
|
||||
записи артефакта; новый QG-чек не вводится; реестр-снапшот цел.
|
||||
- **Схема БД (AC-9):** миграций нет, флаг — только конфиг.
|
||||
- **never-raise (AC-10):** `compute_staging_verdict`/`classify_check`/
|
||||
`_coerce_item`/`action_stage_no_changes_note` ловят всё и деградируют в
|
||||
консервативный FAILED/None. Покрыто TC-12.
|
||||
- **Условность self-hosting / страховка (AC-3/AC-5/AC-6):** rollback на реальном
|
||||
FAIL сохранён (`tests/test_stage_engine.py` TestStaging*), поведение не-self
|
||||
репо неизменно.
|
||||
- **Тесты (AC-14):** `pytest tests/ -q` → **670 passed**. ORCH-061 покрытие:
|
||||
TC-04 (infra waived → SUCCESS), TC-05 (REAL fail → FAILED), TC-09 (strict),
|
||||
TC-12 (garbage never-raise), TC-06/TC-07 (action-stage no-changes note),
|
||||
non-self репо.
|
||||
- **Безопасность self-hosting (AC-12):** код задачи не трогает прод 8500;
|
||||
сборки/recreate — вне пути этой логики.
|
||||
|
||||
Примечание по диффу: при просмотре `git diff main...HEAD` появлялись файлы
|
||||
ORCH-060 (reconciler, plane_sync, config reconcile-флаги). Это артефакт
|
||||
**устаревшего локального ref `main`** — `origin/main` уже содержит ORCH-060
|
||||
(merge `d4c6cc0`, PR #60). Истинный `git diff origin/main...HEAD` — чистый
|
||||
ORCH-061. Бандлинга чужого work-item нет.
|
||||
|
||||
## Findings
|
||||
|
||||
### P0 — Blocker
|
||||
- нет
|
||||
|
||||
### P1 — Must fix
|
||||
- нет
|
||||
|
||||
### P2 — Should fix
|
||||
- [ ] **Стрэй-файлы агентного скрэтча закоммичены в репо:** `.task.md`,
|
||||
`.task-arch.md`, `.task-dev.md` (хэндофф-файлы стадий analysis/architecture/
|
||||
development) попали в коммит и не покрыты `.gitignore`. Это засоряет репо и
|
||||
будет повторяться каждый прогон. Рекомендация: удалить из индекса и добавить
|
||||
`.task*.md` в `.gitignore`. Не функциональный дефект — на корректность
|
||||
ORCH-061 не влияет.
|
||||
|
||||
## Документация
|
||||
|
||||
Обновлена в том же PR (golden source, AC-13) — соответствует требованию CLAUDE.md:
|
||||
|
||||
- `docs/architecture/README.md` — раздел staging-гейта помечен ORCH-061 +
|
||||
статус в футере.
|
||||
- `docs/architecture/adr/adr-0009-staging-infra-tolerance.md` — сквозной ADR
|
||||
заведён; `adr/README.md` обновлён.
|
||||
- `docs/operations/STAGING_CHECK.md` — поведение C9a/C9b, флаг, INFRA-WAIVED,
|
||||
`--strict`.
|
||||
- `.openclaw/agents/deployer.md` — уточнён контракт exit0/INFRA-WAIVED (контракт
|
||||
`staging_status: SUCCESS|FAILED` неизменён).
|
||||
- `.env.example` — `ORCH_STAGING_INFRA_TOLERANCE_ENABLED` (канон, секреты не
|
||||
коммитятся).
|
||||
- `CHANGELOG.md` — запись ORCH-061.
|
||||
- ADR per-work-item `docs/work-items/ORCH-061/06-adr/ADR-001-*.md` — присутствует.
|
||||
|
||||
Документация полная и точная; расхождений с кодом не выявлено.
|
||||
85
docs/work-items/ORCH-061/13-test-report.md
Normal file
85
docs/work-items/ORCH-061/13-test-report.md
Normal file
@@ -0,0 +1,85 @@
|
||||
---
|
||||
type: test-report
|
||||
work_item_id: ORCH-061
|
||||
result: PASS
|
||||
---
|
||||
|
||||
# Test Report — ORCH-061
|
||||
|
||||
BUG: устранение петли `deploy-staging → development` при self-hosting self-deploy.
|
||||
Реализован Direction (б) из ADR-001: классификация staging-проверок на `REAL`
|
||||
(fail-closed) и `SANDBOX_INFRA` (allowlist `{C9a, C9b}`, waivable) + толерантный,
|
||||
но fail-closed вердикт (`src/staging_verdict.py`), kill-switch
|
||||
`staging_infra_tolerance_enabled` (env `ORCH_STAGING_INFRA_TOLERANCE_ENABLED`).
|
||||
|
||||
## Окружение
|
||||
- Python: 3.12.13
|
||||
- pytest: 8.3.3
|
||||
- Дата: 2026-06-07T13:19Z
|
||||
- Ветка: `feature/ORCH-061-bug-deploy-staging-development`
|
||||
- Review verdict: APPROVED (12-review.md)
|
||||
|
||||
## Smoke test API (prod 8500, read-only)
|
||||
| Endpoint | Результат |
|
||||
|----------|-----------|
|
||||
| GET /health | HTTP 200 `{"status":"ok","service":"orchestrator"}` |
|
||||
| GET /status | HTTP 200 (ORCH-061 в стадии `testing`) |
|
||||
| GET /queue | HTTP 200 (counts/resilience/reconcile present) |
|
||||
|
||||
> Прод-контейнер 8500 не перезапускался и не трогался (self-hosting safety, AC-12).
|
||||
|
||||
## Результаты по тест-плану (04-test-plan.yaml)
|
||||
|
||||
| TC ID | Описание | Тест | Результат |
|
||||
|-------|----------|------|-----------|
|
||||
| TC-01 | Корректный self-deploy: staging SUCCESS → advance к deploy, без отката | `test_stage_engine.py::test_tc01_healthy_self_deploy_advances_no_rollback` | PASS |
|
||||
| TC-02 | Страховка ORCH-35: реальный FAIL → откат deploy-staging→development | `test_stage_engine.py::test_tc02_real_staging_failed_rolls_back` | PASS |
|
||||
| TC-03 | Классификация REAL vs SANDBOX_INFRA (C9a/C9b отличимы) | `test_staging_check_b6.py::test_tc03_classify_infra_checks` (+ records/override/strict) | PASS |
|
||||
| TC-04 | Падают только C9a/C9b → итог не-FAILED (нет ложного отката) | `test_qg_checks.py::test_tc04_only_infra_failures_waived_to_success` | PASS |
|
||||
| TC-05 | Падает реальная pipeline-проверка → FAILED (fail-closed) | `test_qg_checks.py::test_tc05_any_real_failure_fails_closed` (+ `_even_alone`) | PASS |
|
||||
| TC-06 | no-changes на action-стадии (deploy-staging/deploy) не есть недовыполнение | `test_launcher.py::test_tc06_deploy_staging_self_deploy_returns_note` / `test_tc06_deploy_self_deploy_returns_note` | PASS |
|
||||
| TC-07 | regression-guard: на code-стадии (development) поведение прежнее | `test_launcher.py::test_tc07_development_stage_returns_none` | PASS |
|
||||
| TC-08 | Не-self-hosting репо: check_staging_status остаётся (True, "N/A …") | `test_qg.py` (no-op N/A) | PASS |
|
||||
| TC-09 | Kill-switch выкл → 1:1 прежнее строгое поведение, безопасный дефолт | `test_qg_checks.py::test_tc09_infra_failure_strict_mode_fails_closed` + `test_config.py::test_staging_infra_tolerance_*` | PASS |
|
||||
| TC-10 | БАГ-8: deploy_status FAILED → откат deploy→development | `test_deploy_rollback.py` | PASS |
|
||||
| TC-11 | Снапшот QG_CHECKS / STAGE_TRANSITIONS не изменён; frontmatter-контракты целы | `test_qg_registry_snapshot.py` | PASS |
|
||||
| TC-12 | never-raise: вердикт-логика при мусоре → безопасный детерминированный FAILED | `test_qg_checks.py::test_tc12_compute_verdict_never_raises_on_garbage` + `test_stage_engine.py::test_tc12_retry_and_rollback_behavior_unchanged` | PASS |
|
||||
| TC-13 | Сквозной self-deploy: deploy-staging→deploy→done без единого отката | `test_stage_engine.py::test_tc13_end_to_end_self_deploy_no_single_rollback` | PASS |
|
||||
| TC-14 | Наблюдаемость: «зелёный с допущением» отличим от честного зелёного | `test_stage_engine.py::test_tc14_waived_green_distinguishable_from_honest_green` | PASS |
|
||||
|
||||
Все 14 TC присутствуют и зелёные.
|
||||
|
||||
## Сопоставление с критериями приёмки (03-acceptance-criteria.md)
|
||||
| AC | Критерий | Покрытие | Статус |
|
||||
|----|----------|----------|--------|
|
||||
| AC-1 | Проход self-deploy без петли | TC-01, TC-13 | PASS |
|
||||
| AC-2 | Инфра-FAIL (C9a/C9b) не откатывает | TC-03, TC-04 | PASS |
|
||||
| AC-3 | Реальный провал staging откатывает | TC-02, TC-05 | PASS |
|
||||
| AC-4 | no-changes на action-стадии ≠ недовыполнение | TC-06, TC-07 | PASS |
|
||||
| AC-5 | БАГ-8: провал прод-деплоя откатывает | TC-10 | PASS |
|
||||
| AC-6 | Условность self-hosting сохранена | TC-08 | PASS |
|
||||
| AC-7 | Kill-switch возвращает прежнее поведение | TC-09 | PASS |
|
||||
| AC-8 | Контракты не сломаны (реестр/frontmatter/exit-code) | TC-11 | PASS |
|
||||
| AC-9 | Схема БД не меняется | миграций нет (флаг — конфиг) | PASS |
|
||||
| AC-10 | never-raise | TC-12 | PASS |
|
||||
| AC-11 | Наблюдаемость (INFRA-WAIVED / waived list) | TC-14 | PASS |
|
||||
| AC-12 | Безопасность self-hosting (прод 8500 не трогается) | smoke + код пути | PASS |
|
||||
| AC-13 | Документация обновлена (golden source) | подтверждено в 12-review.md | PASS |
|
||||
| AC-14 | Регрессионные тесты зелёные | `pytest tests/ -q` → 670 passed | PASS |
|
||||
|
||||
## Вывод pytest
|
||||
```
|
||||
$ python -m pytest tests/ -v --tb=short
|
||||
...
|
||||
======================= 670 passed, 1 warning in 12.15s ========================
|
||||
```
|
||||
Единственный warning — PydanticDeprecatedSince20 (class-based Config в `src/config.py`),
|
||||
не относится к ORCH-061, существовал ранее.
|
||||
|
||||
## Итог
|
||||
**PASS** — полный регресс зелёный (670 passed, 0 failed), все 14 TC из плана и все 14
|
||||
критериев приёмки выполнены. Страховка цела (реальный регресс staging и БАГ-8
|
||||
откатывают), условность self-hosting сохранена, kill-switch работает, never-raise
|
||||
покрыт. Smoke API prod — 200, прод-контейнер не затронут.
|
||||
|
||||
Задача готова к переходу на стадию **deploy-staging**.
|
||||
Reference in New Issue
Block a user