Second realised slice of the determinization-roadmap (ORCH-118 A5, needs-hybrid-fallback): on the `testing` stage for the self-hosting `orchestrator` repo the LLM `tester` agent is replaced by a deterministic test-runner (src/test_runner.py), intercepted in launch_job BEFORE _spawn (deploy-finalizer / post-deploy-monitor / staging-runner precedent). It runs the regression `python -m pytest <target>` in the task worktree via proc_group (tree-kill) + an optional read-only smoke (/health, /status, /queue + serial_gate), maps the exit-code -> result: PASS|FAIL via the existing self_deploy.map_exit_code_to_status contract, writes 13-test-report.md and initiates the EXISTING check_tests_passed gate exactly as a finished LLM-tester. Invariant (NFR-1): only the *producer* changes — the artifact contract (13-test-report.md / result:), the gate check_tests_passed / _parse_tests_verdict, STAGE_TRANSITIONS and the DB schema are byte-for-byte UNCHANGED. Additive, under a kill-switch (test_runner_enabled), never-raise, fail-closed, self-hosting scope, two-level outcome (tool-error DEFER, anti ORCH-110), hybrid (LLM strictly off-control-path). 52c-`status:` is aligned with the verdict (D6.1) so the three-field _parse_tests_verdict never false-negatives a PASS. Docs (ORCH-118 NFR-6, atomic with code): llm-call-sites.md (A5 implemented), llm-determinization-roadmap.md (rank 2 implemented), llm-usage-policy.md, README/internals/overview, tester.md, CLAUDE.md, CHANGELOG.md. Coverage: tests/test_orch116_test_runner.py (TC-01..TC-14); LLM anti-drift tests green. Full suite: 2137 passed. Refs: ORCH-116 Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
11 KiB
Блок 2. Конвейер: стадии, гейты, маршруты
Источник истины — карта переходов
STAGE_TRANSITIONSвsrc/stages.pyи реестр гейтовQG_CHECKSвsrc/qg/checks.py; перечень ниже сверяется с кодом структурным тестом (tests/test_system_docs.py). Норматив структуры доков конвейера — PIPELINE_DOCS.
Схема конвейера
created → analysis → architecture → development → review → testing → deploy-staging → deploy → done
↑ │
└──── REQUEST_CHANGES ─────┘ (откат на доработку, max 3)
Плюс системный сток cancelled — терминальное состояние отменённой задачи (кнопка STOP,
см. ниже). Это не ребро конвейера, а равноправный done сток: попасть в него можно с любой
стадии, выйти — нельзя.
Стадии и гейты выхода
Гейт выхода (exit-гейт) — машинная проверка, без которой задача не покидает стадию:
| Стадия | Кто работает | Гейт выхода (имя в реестре) | Что проверяет |
|---|---|---|---|
created |
— | — | вход конвейера (вебхук Plane) |
analysis |
analyst | check_analysis_approved |
пакет аналитики полон И постановка одобрена человеком |
architecture |
architect | check_architecture_done |
ADR / инфра-требования зафиксированы |
development |
developer | check_ci_green |
CI на ветке задачи зелёный |
review |
reviewer | check_reviewer_verdict |
машинный вердикт ревью: APPROVED |
testing |
tester | check_tests_passed |
машинный вердикт тестера: PASS |
deploy-staging |
deployer | check_staging_status |
репетиция выкладки на песочнице успешна |
deploy |
deployer / finalizer | check_deploy_status |
прод-выкладка реально успешна |
done |
— | — | терминал |
cancelled |
— | — | терминал (сток отмены) |
Детерминированный staging-раннер (ORCH-115). На стадии
deploy-stagingдля self-hostingorchestratorработу ведёт детерминированный код (src/staging_runner.py), а не LLM-агентdeployer: он перехватывается вlaunch_jobдо запуска агента (как Phase A/B/C прод-деплоя), исполняет ту же staging-сюиту, маппит exit-код вstaging_status:и инициирует тот же гейтcheck_staging_status. Это замена продюсера артефакта, а не гейта: контракт15-staging-log.md, имя/семантикаcheck_staging_status,STAGE_TRANSITIONS— не изменились. Под kill-switchstaging_runner_enabled(скоупstaging_runner_repos, пусто → self-hosting only); при выключении на стадии снова работает LLM-deployerбайт-в-байт. Это первый реализованный срез determinization-roadmap (см.docs/architecture/llm-determinization-roadmap.md).
Детерминированный test-раннер (ORCH-116). На стадии
testingдля self-hostingorchestratorработу ведёт детерминированный код (src/test_runner.py), а не LLM-агентtester: он перехватывается вlaunch_jobдо запуска агента (тем же паттерном, что staging-раннер), исполняет регрессpytestв worktree ветки + read-only smoke, маппит exit-код вresult:и инициирует тот же гейтcheck_tests_passed. Это замена продюсера артефакта, а не гейта: контракт13-test-report.md, имя/семантикаcheck_tests_passed/_parse_tests_verdict,STAGE_TRANSITIONS— не изменились. Под kill-switchtest_runner_enabled(скоупtest_runner_repos, пусто → self-hosting only; репо без тест-контракта → LLM-tester); при выключении снова работает LLM-testerбайт-в-байт. Это второй реализованный срез determinization-roadmap (гибрид: LLM-фолбэк остаётся на off-control-path триаж, не на вынесениеresult:).
Под-гейты деплойного ребра — врезки, не стадии
На переходе deploy-staging → deploy исполняются четыре под-гейта в нормативном порядке
(security → merge → coverage → image-freshness):
check_security_gate— секреты/зависимости, вердикт из security-отчёта;check_branch_mergeable— merge-gate: ветка догнана до свежегоmain(под merge-lease) и мержабельна;check_coverage_gate— покрытие тестами не ниже базовой линии/порога (baseline-ratchet);check_staging_image_fresh— staging-образ собран из актуального кода.
Это врезки в переход, а не стадии: они не появляются в карте STAGE_TRANSITIONS, а
исполняются stage engine'ом внутри ребра. Провал любого из них — откат на доработку. Исключение
(ORCH-110): инфра-таймаут локального re-test merge-gate (а не детерминированный красный тест) —
это транзиент, а не дефект кода → ограниченный повтор + отдельный инфра-alert, без отката на
доработку и без расхода developer-retry (красный re-test/конфликт по-прежнему откатывают). На ребре
deploy → done аналогичная врезка merge-verify подтверждает, что код задачи реально слит в
main (слияние — только через PR-API Gitea, см. интеграции).
Откаты
REQUEST_CHANGES от ревьюера, проваленные тесты или красный под-гейт возвращают задачу на
стадию разработки с дословным перечнем замечаний. Лимит — 3 попытки подряд, дальше задача
останавливается и требует человека (анти-петля).
Человеческие гейты и их снятие авто-лейблами
В штатном прогоне человек принимает ровно два решения:
- Одобрение постановки (на
analysis): перевод задачи в статус Approved пропускает её дальше; - Подтверждение прод-выкладки (на
deploy): отдельный статус Confirm Deploy — чтобы привычный «approve» не выкатывал прод случайным кликом.
Оба решения можно снять декларативно — лейблами autoApprove / autoDeploy на задаче (пакетный авто-режим). Снимается только ожидание человеческого сигнала: ни одна техническая проверка не пропускается, autoDeploy физически не может выкатить непрошедшее под-гейты.
Багфикс-маршрут
Задача с меткой Bug едет коротким путём: облегчённая аналитика (но полный пакет
документов) и пропуск стадии architecture — из аналитики сразу в разработку. Срезается
только аналитика/проектирование: все гейты исполняются без изменений. Сложный баг
эскалируется обратно в полный цикл.
Последовательность внутри репозитория (serial gate)
Новая задача репозитория не входит в работу, пока не завершена более ранняя (FIFO): ветка
каждой задачи срезается от свежего main, уже содержащего код предшественника. Деградация
прода после выкладки замораживает репозиторий (freeze) до ручного разбора — следующие задачи
ждут.
Отмена: STOP → cancelled
Перевод задачи в статус STOP останавливает агента, снимает job'ы с очереди, удаляет
рабочую ветку и worktree и переводит задачу в cancelled. Если задача в необратимой фазе
(идёт слияние/выкладка) — отмена откладывается и применяется после честного завершения шага.
STOP никогда не трогает main и прод-контейнер.
Статусная модель Plane: индикация ≠ управление
Статусы в Plane — слой индикации: они показывают человеку осмысленную картину хода задачи,
но никогда не управляют конвейером (машина стадий — только STAGE_TRANSITIONS). Управляющих
статусов ровно три: запуск в работу, Approved/Confirm Deploy (человеческие гейты) и STOP
(отмена). Полная карта статусов — в инженерном справочнике.
Кто работает на каждой стадии и что сдаёт — агенты; как гейты читают вердикты — качество и безопасность.