admin/wiki

Fork 0

Files

Stream 2973571f5e auto-sync: 2026-06-03 00:10:01

2026-06-03 00:10:01 +03:00

38 KiB

Raw Permalink Blame History

2026-06-02 — Daily Log

ET-009: GPS Sources (EnduroRussia + Wikiloc) — Pipeline Completed 🎉

Pipeline stages (all passed):

✅ analysis — analyst (Sonnet), produced BRD, TRZ, acceptance criteria, test plans
✅ architecture — architect v2 (Opus 4.7), ADRs + infrastructure requirements
✅ development — developer (Opus 4.7 1M), 19 files, 1287 lines. Commit 3577ff3
✅ review — reviewer (Opus), found P1 bugs F-01, F-02
✅ development fix — developer (Sonnet), commit fc03746: 159 lines in gps_tracks.js
✅ review round 2 — reviewer (Opus), APPROVED, only P3 minors remain
✅ testing — tester (Sonnet), 25/25 pytest + 24/24 js tests PASS
✅ deploy — deployer (Sonnet), PR #16 merged, image rebuilt, collector running

Key results:

EnduroRussia parser: enduro_russia.py — scraping + GPX parsing
Wikiloc parser: wikiloc.py — Wikiloc GPX integration
Dynamic source filters (F-01): _buildGpsFiltersUI pulls source_id from /api/gps-tracks/health.tracks_by_source
Attribution fix (F-02): attribution set at addSource time via _ensureGpsSources(map, attribution), not by mutating src.attribution (MapLibre AttributionControl issue)
Collector running: 305 EnduroRussia tracks, fetching one per 5s, 34+ already in DB
Commits: eaa6b4c (analyst), 4be7fbf (architect), 3577ff3 (dev), fc03746 (dev fix)
PR: #16 merged → main at b5ba7b2

Known issues:

Nginx 502 on external URL (port 5556 routing) — not ET-009 specific, needs nginx config fix
gps_sources.yaml — ADR files inside Docker image (not volume), old image had proposed; fixed by rebuilding image

Orchestrator Issues Discovered

Critical bug: Launcher Popen broken inside container

All Claude processes (claude.exe) become zombies when launched via orchestrator's Python subprocess
Root cause: docker binary not available inside container, Popen flags wrong
Workaround established: base64-encode Python launch script → ssh to host → decode → docker cp → docker exec python3
This pattern avoids shell quoting hell

Other orchestrator bugs:

.task-arch.md, .task-dev.md, .task-review.md not regenerated per-stage (carry over from previous task)
Workaround: manually rewrite these files before each stage launch
No CI configured in Gitea → every commit triggers false "CI failed" webhook alert
Tokenator API: all 8 models down for maintenance (June 1, still down June 2 morning)

Agent launch manual pattern:

# 1. Base64-encode the Python launch script
cat launch_script.py | base64 -w0

# 2. SSH to host, decode, cp to container, exec
ssh slin@82.22.50.71 "
  echo 'BASE64_STRING' | base64 -d > /tmp/launch.py
  docker cp /tmp/launch.py orchestrator:/tmp/launch.py
  docker exec orchestrator python3 /tmp/launch.py
"

Models Configuration Changes

DeepSeek V4 models added to openclaw.json:
- openrouter/deepseek/deepseek-v4
- openrouter/deepseek/deepseek-v4-pro
- openrouter/deepseek/deepseek-v4-flash
Current model for main agent: openrouter/deepseek/deepseek-v4-pro

User Preferences (re-confirmed during ET-009)

User wants visibility at each pipeline stage — frustrated by silent automated advances
User wants to approve before advancing: analyst → :approved: → architect → developer → reviewer → tester → deployer
Only analyst requires manual :approved:; architect, reviewer, tester should auto-advance but notify
Deployer should ask before deploying

Глубокий аудит оркестратора (мультиагенты) — 2026-06-02

Проведено

Аудит кода: tasks/multi-agent/AUDIT_2026-06-02.md — 3 BLOCKER, 5 SERIOUS, 7 MEDIUM, 5 LOW
Аудит документации: tasks/multi-agent/DOCS_AUDIT_2026-06-02.md
ТЗ для Dev: tasks/multi-agent/DEV_TASK_ORCHESTRATOR_FIXES.md (9 задач)

Корневые баги (BLOCKER)

B-1: нет docker бинарника в контейнере orchestrator → _write_task_file через docker run падает молча → агент читает старый .task-*.md
B-2: Popen + PIPE + daemon-поток → claude-зомби, exit_code теряется (в БД exit=None для всех ET-009)
B-3: .task-*.md тащатся между задачами + коммитятся в git

Ключевая находка по докам

P1 zombie из LESSONS_ET006.md (22 мая) = мой B-2. Баг известен 11 дней, не починен → повторился на ET-008/009
Системная проблема: lessons пишутся, но не конвертируются в задачи
Расхождение код↔док: README говорит review QG=check_review_approved, код использует check_reviewer_verdict

Dev-агент запущен

Model: tokenator/claude-opus-4-8 (modelApplied: true)
taskName: orch_fixes, runId: 2f18ca88
Deploy-хук /home/slin/bin/enduro-deploy-hook.sh СУЩЕСТВУЕТ и корректен
В orchestrator были незакоммиченные правки (M launcher/config/notifications/plane_sync) — Dev разберёт в Task 1

ET-009 Artifacts

Plane issue: 64e98247-509f-4c30-9955-a5531ab7d1ee (sequence #5)
Plane workspace: ag_proj, project 7a79f0a9-5278-49cd-9007-9a338f238f9c
Orchestrator DB: task_id=16
Repo: /home/slin/repos/enduro-trails on mva154
Docs: docs/work-items/ET-009/ — 00 through 14 (BRD, TRZ, acceptance, tests, ADRs, infra, data, risks, review, test report, deploy)
Docker: container enduro-trails, image rebuilt with new ADR files, collector running

2026-06-02 — Daily Log

ET-009: GPS Sources (EnduroRussia + Wikiloc) — Pipeline Completed 🎉

Pipeline stages (all passed):

✅ analysis — analyst (Sonnet), produced BRD, TRZ, acceptance criteria, test plans
✅ architecture — architect v2 (Opus 4.7), ADRs + infrastructure requirements
✅ development — developer (Opus 4.7 1M), 19 files, 1287 lines. Commit 3577ff3
✅ review — reviewer (Opus), found P1 bugs F-01, F-02
✅ development fix — developer (Sonnet), commit fc03746: 159 lines in gps_tracks.js
✅ review round 2 — reviewer (Opus), APPROVED, only P3 minors remain
✅ testing — tester (Sonnet), 25/25 pytest + 24/24 js tests PASS
✅ deploy — deployer (Sonnet), PR #16 merged, image rebuilt, collector running

Key results:

EnduroRussia parser: enduro_russia.py — scraping + GPX parsing
Wikiloc parser: wikiloc.py — Wikiloc GPX integration
Dynamic source filters (F-01): _buildGpsFiltersUI pulls source_id from /api/gps-tracks/health.tracks_by_source
Attribution fix (F-02): attribution set at addSource time via _ensureGpsSources(map, attribution), not by mutating src.attribution (MapLibre AttributionControl issue)
Collector running: 305 EnduroRussia tracks, fetching one per 5s, 34+ already in DB
Commits: eaa6b4c (analyst), 4be7fbf (architect), 3577ff3 (dev), fc03746 (dev fix)
PR: #16 merged → main at b5ba7b2

Known issues:

Nginx 502 on external URL (port 5556 routing) — not ET-009 specific, needs nginx config fix
gps_sources.yaml — ADR files inside Docker image (not volume), old image had proposed; fixed by rebuilding image

Orchestrator Issues Discovered

Critical bug: Launcher Popen broken inside container

All Claude processes (claude.exe) become zombies when launched via orchestrator's Python subprocess
Root cause: docker binary not available inside container, Popen flags wrong
Workaround established: base64-encode Python launch script → ssh to host → decode → docker cp → docker exec python3
This pattern avoids shell quoting hell

Other orchestrator bugs:

.task-arch.md, .task-dev.md, .task-review.md not regenerated per-stage (carry over from previous task)
Workaround: manually rewrite these files before each stage launch
No CI configured in Gitea → every commit triggers false "CI failed" webhook alert
Tokenator API: all 8 models down for maintenance (June 1, still down June 2 morning)

Agent launch manual pattern:

# 1. Base64-encode the Python launch script
cat launch_script.py | base64 -w0

# 2. SSH to host, decode, cp to container, exec
ssh slin@82.22.50.71 "
  echo 'BASE64_STRING' | base64 -d > /tmp/launch.py
  docker cp /tmp/launch.py orchestrator:/tmp/launch.py
  docker exec orchestrator python3 /tmp/launch.py
"

Models Configuration Changes

DeepSeek V4 models added to openclaw.json:
- openrouter/deepseek/deepseek-v4
- openrouter/deepseek/deepseek-v4-pro
- openrouter/deepseek/deepseek-v4-flash
Current model for main agent: openrouter/deepseek/deepseek-v4-pro

User Preferences (re-confirmed during ET-009)

User wants visibility at each pipeline stage — frustrated by silent automated advances
User wants to approve before advancing: analyst → :approved: → architect → developer → reviewer → tester → deployer
Only analyst requires manual :approved:; architect, reviewer, tester should auto-advance but notify
Deployer should ask before deploying

Глубокий аудит оркестратора (мультиагенты) — 2026-06-02

Проведено

Аудит кода: tasks/multi-agent/AUDIT_2026-06-02.md — 3 BLOCKER, 5 SERIOUS, 7 MEDIUM, 5 LOW
Аудит документации: tasks/multi-agent/DOCS_AUDIT_2026-06-02.md
ТЗ для Dev: tasks/multi-agent/DEV_TASK_ORCHESTRATOR_FIXES.md (9 задач)

Корневые баги (BLOCKER)

B-1: нет docker бинарника в контейнере orchestrator → _write_task_file через docker run падает молча → агент читает старый .task-*.md
B-2: Popen + PIPE + daemon-поток → claude-зомби, exit_code теряется (в БД exit=None для всех ET-009)
B-3: .task-*.md тащатся между задачами + коммитятся в git

Ключевая находка по докам

P1 zombie из LESSONS_ET006.md (22 мая) = мой B-2. Баг известен 11 дней, не починен → повторился на ET-008/009
Системная проблема: lessons пишутся, но не конвертируются в задачи
Расхождение код↔док: README говорит review QG=check_review_approved, код использует check_reviewer_verdict

Dev-агент — РЕЗУЛЬТАТ (ПРИНЯТО ✅)

Model: tokenator/claude-opus-4-8 (modelApplied: true), taskName orch_fixes, runId 2f18ca88
Починено: B-1, B-2, B-3, S-5, S-1, M-1 + 2 доп-фикса найденных в бою:
- git safe.directory в Dockerfile (без него auto-commit падал на «dubious ownership»)
- init:true в compose (tini как PID 1, добивает grandchild-зомби от claude/node)
11 коммитов в main orchestrator (Conventional Commits), запушены
Тесты: 26 passed (launcher + qg) — гонял в контейнере (хостовый .venv сломан, symlinks на py3.10)
Автономный прогон: через launcher.launch(), 0 зомби, auto commit+push сработал
Доки обновлены: ARCHITECTURE, README (QG-таблица), BUGFIXES_2026-06-02.md

Моя независимая проверка (на сервере, не на слово)

✅ health {"status":"ok"}, 0 defunct процессов
✅ B-1: _write_task_file через open() + raise (код подтверждён)
✅ S-5: verdict читается только из YAML frontmatter
✅ 26 тестов зелёные
✅ init:true в compose, PR #19 open+mergeable

⚠️ ТРЕБУЕТ ДЕЙСТВИЯ

PR #19 (enduro-trails: .gitignore + reviewer.md) — ветка main защищена, нужен merge человеком. Спросила Славу — ждёт ответа.

Честные расхождения (Dev не скрыл)

Хостовый .venv сломан (symlinks py3.10) — тесты в контейнере
test_webhooks.py — 9 pre-existing падений (401/signature), были ДО правок, вне scope
Вне scope (отдельные задачи на потом): S-2/S-3 (rollback в shared-репо), S-4 (git worktree per task), M-3 (дубль _try_advance_stage), F-2b (очередь задач вместо daemon-потоков — главный целевой рефактор), M-7 (идемпотентность webhook)

Открытый вопрос Славе

Смержить PR #19?
Завести в Plane оставшиеся задачи (worktree, очередь задач)?

ET-009 Artifacts

Plane issue: 64e98247-509f-4c30-9955-a5531ab7d1ee (sequence #5)
Plane workspace: ag_proj, project 7a79f0a9-5278-49cd-9007-9a338f238f9c
Orchestrator DB: task_id=16
Repo: /home/slin/repos/enduro-trails on mva154
Docs: docs/work-items/ET-009/ — 00 through 14 (BRD, TRZ, acceptance, tests, ADRs, infra, data, risks, review, test report, deploy)
Docker: container enduro-trails, image rebuilt with new ADR files, collector running

ORCH-2 [S-4] git worktree — ПРИНЯТО ✅ (2026-06-02)

Dev-агент (Opus 4.8 Tokenator)

taskName: orch2_worktree, TЗ: tasks/orchestrator/DEV_TASK_ORCH2_WORKTREE.md
НОВЫЙ файл: src/git_worktree.py (5 функций: _safe, get_worktree_path, ensure_worktree, remove_worktree, cleanup_orphaned)
Изменены: src/agents/launcher.py (worktree-пути), src/qg/checks.py (чтение артефактов + тесты из worktree), src/webhooks/gitea.py (git-операция), src/config.py (+worktrees_dir)
Тесты: 37 passed (9 fail = pre-existing webhook 401, baseline — не изменилось)
Тест изоляции (live): два worktree на независимые ветки → A≠B, shared repo не тронут ✅
PR #1 в orchestrator: open, mergeable

Замечен побочный эффект (важно!)

В shared /repos/enduro-trails обнаружена ветка ET-012-m-3-stage-engine с авто-коммитом от analyst, run_id=52. Это M-3 (ORCH-4) — оркестратор САМ запустил analyst и тот отработал АВТОНОМНО. Но создал задачу в неправильном репо (enduro-trails вместо orchestrator), потому что default_repo всё ещё enduro-trails. Доказывает: автономность починена, но multi-repo пока не настроено.

Обсуждение self-hosting оркестратора

Слава заметил: оркестратор пилится Dev-агентом в обход своего конвейера
Причина: bootstrap-проблема — нельзя чинить сломанную машину, пока едешь на ней
Цель на будущее: self-hosting (оркестратор берёт свои же задачи через полный конвейер)
Нужна задача ORCH-6: self-hosting (после ORCH-1 очереди задач + multi-repo)

Нейминг — финальное решение

Единое имя: orchestrator
Gitea-репо переименован agent-dev → orchestrator
Plane-проект orchestrator (identifier ORCH, id 8da6aa25-a60e-44d6-a1e2-d8ae59aa7d6a)
Workspace tasks/multi-agent/ → tasks/orchestrator/
Папка/контейнер/compose уже были orchestrator
Plane задачи: ORCH-1 (F-2b), ORCH-2 (S-4), ORCH-3 (S-2/S-3), ORCH-4 (M-3), ORCH-5 (M-7)

Открытые вопросы Славе

Смержить PR #19 (enduro-trails)?
Смержить PR #1 (orchestrator worktree)?

ИНЦИДЕНТ: Plane-webhook авто-запустил конвейер по всем ORCH-1..7 (2026-06-02 19:00)

Что случилось

Создала в Plane задачи ORCH-1..7 — Plane-webhook поймал каждую и авто-запустил конвейер (analyst→architect, auto-commit)
Всё ушло в неправильный репо enduro-trails (plane.py:91 hardcode repo=settings.default_repo), наплодило мусор ET-010..016
Корень: Plane-webhook (id 93f0c342-a614-4248-9d0f-c107276f5620) срабатывает на ЛЮБ\u041eЕ issue в workspace, без фильтра по проекту
⚠️ ПОЗИТИВ: автономность реально работает — analyst exit=0, auto-commit, worktree (ORCH-2) сработал

Меры (сделано)

🛡️ Plane-webhook ДЕАКТИВИРОВАН в Plane postgres: UPDATE webhooks SET is_active=false. Проверено: is_active=f
- Plane postgres: контейнер plane-app-plane-db-1, PGPASSWORD=plane, db plane, user plane, table webhooks
- Обратно включить после ORCH-6: UPDATE webhooks SET is_active=true WHERE id=...
🧹 Вычищено: все ветки ET-010..016 (git local+remote, 204), worktree _wt/enduro-trails/* (root-owned → sudo rm), тестовые iso-A/iso-B, tasks≥19 в БД орка, agent_runs≥19
Plane чист: orchestrator=7 (ORCH-1..7), enduro=5 (родные). Junk ET-issues в Plane не было (орк генерил ET-номера сам в git+БД)
Заметка на сервере: orchestrator/docs/INCIDENT_2026-06-02_webhook_autorun.txt

ROOT FIX = ORCH-6 (multi-repo)

plane.py:91 repo=settings.default_repo → нужен фильтр по plane_project_id + маппинг repo per project
Пока ORCH-6 не сделан — webhook ДЕРЖАТЬ ВЫКЛЮЧЕННЫМ

Открытые вопросы

Смержить PR #19 (enduro-trails) + PR #1 (orchestrator worktree)?

Нейминг — финальное решение

Единое имя: orchestrator
Gitea-репо переименован agent-dev → orchestrator
Plane-проект orchestrator (identifier ORCH, id 8da6aa25-a60e-44d6-a1e2-d8ae59aa7d6a)
Workspace tasks/multi-agent/ → tasks/orchestrator/
Папка/контейнер/compose уже были orchestrator
Plane задачи: ORCH-1 (F-2b), ORCH-2 (S-4), ORCH-3 (S-2/S-3), ORCH-4 (M-3), ORCH-5 (M-7)

Открытые вопросы Славе

Смержить PR #19 (enduro-trails)?
Смержить PR #1 (orchestrator worktree)?

ИНЦИДЕНТ: Plane-webhook авто-запустил конвейер по всем ORCH-1..7 (2026-06-02 19:00)

Что случилось

Создала в Plane задачи ORCH-1..7 — Plane-webhook поймал каждую и авто-запустил конвейер (analyst→architect, auto-commit)
Всё ушло в неправильный репо enduro-trails (plane.py:91 hardcode repo=settings.default_repo), наплодило мусор ET-010..016
Корень: Plane-webhook (id 93f0c342-a614-4248-9d0f-c107276f5620) срабатывает на ЛЮБ\u041eЕ issue в workspace, без фильтра по проекту
⚠️ ПОЗИТИВ: автономность реально работает — analyst exit=0, auto-commit, worktree (ORCH-2) сработал

Меры (сделано)

🛡️ Plane-webhook ДЕАКТИВИРОВАН в Plane postgres: UPDATE webhooks SET is_active=false. Проверено: is_active=f
- Plane postgres: контейнер plane-app-plane-db-1, PGPASSWORD=plane, db plane, user plane, table webhooks
- Обратно включить после ORCH-6: UPDATE webhooks SET is_active=true WHERE id=...
🧹 Вычищено: все ветки ET-010..016 (git local+remote, 204), worktree _wt/enduro-trails/* (root-owned → sudo rm), тестовые iso-A/iso-B, tasks≥19 в БД орка, agent_runs≥19
Plane чист: orchestrator=7 (ORCH-1..7), enduro=5 (родные). Junk ET-issues в Plane не было (орк генерил ET-номера сам в git+БД)
Заметка на сервере: orchestrator/docs/INCIDENT_2026-06-02_webhook_autorun.txt

ROOT FIX = ORCH-6 (multi-repo)

plane.py:91 repo=settings.default_repo → нужен фильтр по plane_project_id + маппинг repo per project
Пока ORCH-6 не сделан — webhook ДЕРЖАТЬ ВЫКЛЮЧЕННЫМ

Открытые вопросы

Смержить PR #19 (enduro-trails) + PR #1 (orchestrator worktree)?

ORCH-6 (Multi-repo) — Dev-прогон (2026-06-02 ~19:20-19:28)

ТЗ

Файл: tasks/orchestrator/DEV_TASK_ORCH6_MULTIREPO.md (снайперское, все точки кода file:line собраны Стрим заранее)
Цель: реестр проектов (Plane id→repo+prefix) + фильтр webhook по проекту + resolve repo + plane_sync в правильный проект + prefix per project. Закрывает корень инцидента, снимает предохранитель.
Маппинг по умолчанию: enduro 7a79f0a9-...→repo enduro-trails/ET; orchestrator 8da6aa25-...→repo orchestrator/ORCH

Прогон 1 (упал по таймауту LLM на Task 2, не вина кода) — но сделал ~75%, ФУНКЦИОНАЛ РАБОТАЕТ

✅ Готово (Task 1-5), проверено вживую:

src/projects.py (4607 байт) — ProjectConfig + 4 резолвера + дефолт-реестр
plane.py — фильтр по проекту (unknown→ignored) + resolve repo
db.py — get_next_work_item_id(repo, prefix) per project (ORCH-001 vs ET-010)
plane_sync.py — _resolve_project_id, параметризация (обратно совместимо)
gitea.py — unknown repo→ignored (3 хэндлера)
Resolve-тест в контейнере прошёл: orchestrator→orchestrator/ORCH, enduro→enduro-trails/ET, unknown→None ✅
Все файлы компилируются; тесты 37 passed / 9 failed (те же pre-existing 401/signature, baseline не сломан) ❌ НЕ доделано (Task 6-7): тесты test_projects/test_plane_webhook, коммит, PR, пересборка, доки. Всё в working tree (не закоммичено).

Решение: НЕ начинать заново, дослать Dev добивку (Task 6-7) — рабочие 75% терять глупо из-за инфра-таймаута

Запущен 2-й прогон (taskName orch6_finish/добивка), session subagent 24ac376a...
⚠️ Дубль-событие о падении прогона 1 (subagent 080bc9bc...) прилетело позже — уже обработано, NO_REPLY

КРИТИЧНО на потом

🚫 Webhook ОСТАЁТСЯ выключенным до моего финального ревью фильтра (иначе риск повторить инцидент)
Включить webhook (is_active=true) — мой шаг ПОСЛЕ проверки что фильтр реально режет unknown-проекты
Tokenator API: жив, ключ в /home/slin/openclaw/data/.env (НЕ в orchestrator/.env). Ключ содержит | — bash sed/grep его режет, брать через Python
Plane API токен (60 симв) в orchestrator/.env РАБОЧИЙ — баг был в bash sed-парсинге, через Python HTTP 200
Тесты орка — ТОЛЬКО в контейнере через образ (хостовый .venv сломан): IMG=$(docker inspect orchestrator --format '{{.Config.Image}}'); docker run --rm -v /home/slin/repos/orchestrator:/code -w /code --entrypoint python3 $IMG -m pytest tests/ -q
Workspace tasks/multi-agent/ → tasks/orchestrator/
Папка/контейнер/compose уже были orchestrator
Plane задачи: ORCH-1 (F-2b), ORCH-2 (S-4), ORCH-3 (S-2/S-3), ORCH-4 (M-3), ORCH-5 (M-7)

Открытые вопросы Славе

Смержить PR #19 (enduro-trails)?
Смержить PR #1 (orchestrator worktree)?

ИНЦИДЕНТ: Plane-webhook авто-запустил конвейер по всем ORCH-1..7 (2026-06-02 19:00)

Что случилось

Создала в Plane задачи ORCH-1..7 — Plane-webhook поймал каждую и авто-запустил конвейер (analyst→architect, auto-commit)
Всё ушло в неправильный репо enduro-trails (plane.py:91 hardcode repo=settings.default_repo), наплодило мусор ET-010..016
Корень: Plane-webhook (id 93f0c342-a614-4248-9d0f-c107276f5620) срабатывает на ЛЮБ\u041eЕ issue в workspace, без фильтра по проекту
⚠️ ПОЗИТИВ: автономность реально работает — analyst exit=0, auto-commit, worktree (ORCH-2) сработал

Меры (сделано)

🛡️ Plane-webhook ДЕАКТИВИРОВАН в Plane postgres: UPDATE webhooks SET is_active=false. Проверено: is_active=f
- Plane postgres: контейнер plane-app-plane-db-1, PGPASSWORD=plane, db plane, user plane, table webhooks
- Обратно включить после ORCH-6: UPDATE webhooks SET is_active=true WHERE id=...
🧹 Вычищено: все ветки ET-010..016 (git local+remote, 204), worktree _wt/enduro-trails/* (root-owned → sudo rm), тестовые iso-A/iso-B, tasks≥19 в БД орка, agent_runs≥19
Plane чист: orchestrator=7 (ORCH-1..7), enduro=5 (родные). Junk ET-issues в Plane не было (орк генерил ET-номера сам в git+БД)
Заметка на сервере: orchestrator/docs/INCIDENT_2026-06-02_webhook_autorun.txt

ROOT FIX = ORCH-6 (multi-repo)

plane.py:91 repo=settings.default_repo → нужен фильтр по plane_project_id + маппинг repo per project
Пока ORCH-6 не сделан — webhook ДЕРЖАТЬ ВЫКЛЮЧЕННЫМ

Открытые вопросы

Смержить PR #19 (enduro-trails) + PR #1 (orchestrator worktree)?

ORCH-6 (Multi-repo) — Dev-прогон (2026-06-02 ~19:20-19:28)

ТЗ

Файл: tasks/orchestrator/DEV_TASK_ORCH6_MULTIREPO.md (снайперское, все точки кода file:line собраны Стрим заранее)
Цель: реестр проектов (Plane id→repo+prefix) + фильтр webhook по проекту + resolve repo + plane_sync в правильный проект + prefix per project. Закрывает корень инцидента, снимает предохранитель.
Маппинг по умолчанию: enduro 7a79f0a9-...→repo enduro-trails/ET; orchestrator 8da6aa25-...→repo orchestrator/ORCH

Прогон 1 (упал по таймауту LLM на Task 2, не вина кода) — но сделал ~75%, ФУНКЦИОНАЛ РАБОТАЕТ

✅ Готово (Task 1-5), проверено вживую:

src/projects.py (4607 байт) — ProjectConfig + 4 резолвера + дефолт-реестр
plane.py — фильтр по проекту (unknown→ignored) + resolve repo
db.py — get_next_work_item_id(repo, prefix) per project (ORCH-001 vs ET-010)
plane_sync.py — _resolve_project_id, параметризация (обратно совместимо)
gitea.py — unknown repo→ignored (3 хэндлера)
Resolve-тест в контейнере прошёл: orchestrator→orchestrator/ORCH, enduro→enduro-trails/ET, unknown→None ✅
Все файлы компилируются; тесты 37 passed / 9 failed (те же pre-existing 401/signature, baseline не сломан) ❌ НЕ доделано (Task 6-7): тесты test_projects/test_plane_webhook, коммит, PR, пересборка, доки. Всё в working tree (не закоммичено).

Решение: НЕ начинать заново, дослать Dev добивку (Task 6-7) — рабочие 75% терять глупо из-за инфра-таймаута

Запущен 2-й прогон (taskName orch6_finish/добивка), session subagent 24ac376a...
⚠️ Дубль-событие о падении прогона 1 (subagent 080bc9bc...) прилетело позже — уже обработано, NO_REPLY

КРИТИЧНО на потом

🚫 Webhook ОСТАЁТСЯ выключенным до моего финального ревью фильтра (иначе риск повторить инцидент)
Включить webhook (is_active=true) — мой шаг ПОСЛЕ проверки что фильтр реально режет unknown-проекты
Tokenator API: жив, ключ в /home/slin/openclaw/data/.env (НЕ в orchestrator/.env). Ключ содержит | — bash sed/grep его режет, брать через Python
Plane API токен (60 симв) в orchestrator/.env РАБОЧИЙ — баг был в bash sed-парсинге, через Python HTTP 200
Тесты орка — ТОЛЬКО в контейнере через образ (хостовый .venv сломан): IMG=$(docker inspect orchestrator --format '{{.Config.Image}}'); docker run --rm -v /home/slin/repos/orchestrator:/code -w /code --entrypoint python3 $IMG -m pytest tests/ -q

✅ ORCH-6 ДОДЕЛАН (прогон 2, ~19:35) — проверено мной вживую, НЕ на слово

PR #2 (orchestrator, ветка feature/ORCH-6-multirepo) — open, mergeable:True
7 коммитов Conventional Commits
Оба тест-файла созданы (test_projects, test_plane_webhook)
Тесты: 57 passed (20 новых зелёных), 9 fail — те же pre-existing 401/TypeError, baseline ЦЕЛ
Контейнер пересобран, health ok
Resolve вживую: orchestrator→ORCH, enduro→ET, unknown→None ✅
🛡️ Webhook ОСТАЁТСЯ выключен (is_active=f) — Dev не трогал, как и договорено

🔵 ЖДЁТ РЕШЕНИЯ СЛАВЫ (спросила, ОК пока нет)

Смержить PR #2 (multi-repo) в main orchestrator
После мержа — включить Plane-webhook (UPDATE webhooks SET is_active=true) — теперь безопасно, фильтр режет чужие проекты

Делать без ОК НЕ буду: мерж в main + включение автозапуска = живая автономная система
Также висят: PR #19 (enduro-trails), PR #1 (orchestrator worktree)

Следующий бэклог ORCH (после ORCH-6 merge+webhook on)

ORCH-1 (F-2b очередь задач вместо in-process daemon) — следующий приоритет
ORCH-3 (S-2/S-3 rollback), ORCH-4 (M-3 stage-engine), ORCH-5 (M-7 идемпотентность webhook dedup)

ORCH-6 ЗАМЕРЖЕН + Webhook ВКЛЮЧЁН (2026-06-02 ~21:00) — проверено вживую

Сделано (с ОК Славы «Делай»)

✅ PR #2 смержен в main orchestrator (HTTP 200, merge commit b021ff7)
✅ Контейнер пересобран из main, health ok
✅ В main также прилетел test_git_worktree.py (ORCH-2 хвост) — норма
✅ Plane-webhook ВКЛЮЧЁН обратно: UPDATE webhooks SET is_active=true → is_active=t, UPDATE 1

Боевой тест предохранителя (двойная защита, подтверждено на проде)

🛡️ HMAC-подпись: webhook без валидной подписи → 401 Invalid signature (секрет 40 симв настроен)
🛡️ Фильтр проекта: webhook с ВАЛИДНОЙ подписью от неизвестного проекта → 200 {"status":"ignored","reason":"unknown project"}, лог ignoring event from unknown project (known: 2)
✅ Задача НЕ создалась (11→11) — инцидент технически невозможен

Грабли (повтор из инцидента — записать чтоб не наступать)

Postgres-пароль Plane: \x27-экранирование кавычек через ssh+docker ЛОМАЕТСЯ. Рабочий способ — писать SQL в файл и psql -f, пароль брать из env Plane-контейнера (len=5)
Plane postgres: контейнер plane-app-plane-db-1, db/user plane

ORCH-1 (F-2b) — Персистентная очередь задач (2026-06-02 ~21:00)

Контекст проблемы (in-process архитектура)

launcher.launch() синхронно: subprocess.Popen(claude) + 2 daemon-thread (_watchdog таймаут-киллер 1800с + _monitor_agent ждёт/коммитит/advance stage)
8 точек вызова: plane.py:189,234,308,389 + gitea.py:126,203,275,300
Беды: рестарт орка = агенты-сироты + потеря работы; нет лимита параллелизма; нет ретраев; webhook блокируется на спавне

ТЗ

tasks/orchestrator/DEV_TASK_ORCH1_QUEUE.md (снайперское, все file:line собраны заранее)
Решение: таблица jobs (queued/running/done/failed) + atomic claim_next_job + queue_worker.py петля + max_concurrency + ретраи + requeue running на старте (restart-safe) + /queue эндпоинт

✅ Базовая очередь готова (PR #3) — проверено мной вживую

76 passed (19 новых тестов очереди, вкл. атомарность claim на 8 потоках/20 jobs), 9 fail — те же pre-existing 401
/queue живой: counts, max_concurrency, recent
PR #3 open, mergeable:True
Фиксы B-1/B-2/M-1/ORCH-2/ORCH-6 не тронуты
Живой прогон: queued→running→done, ретрай, restart-safe

⚠️ Resilience-слой Dev в базовый PR #3 НЕ встроил

Моё уточнение (preflight/429/backoff/breaker) пришло когда Dev уже ушёл в финал T8-T12 → в коде НЕТ ни preflight.py, ни классификатора 429, ни breaker, ни колонок backoff
Урок: при дослыле уточнения в активную сессию Dev — проверять, что оно реально вошло в код, а не только в отчёт «done»

ORCH-1b (Resilience-слой) — дослан отдельной задачей (2026-06-02 ~21:00)

Идея Славы (отличный вопрос про надёжность claude CLI)

Два РАЗНЫХ зверя, лечить раздельно:
- CLI недоступен (бинарь/сеть) → дешёвый preflight claude --version + TCP, кэш 45с, токены НЕ жжёт. Мёртв → job ждёт в очереди, не падает
- Rate limit 429 → предсказать НЕЛЬЗЯ; prompt-ping перед запуском = трата лимита, ТАК НЕ ДЕЛАТЬ. Ловить 429 на ВЫХОДЕ (паттерны в логе: 429/rate limit/overloaded/Retry-After), классифицировать transient vs permanent
Backoff для transient: exp + available_at/next_attempt_at колонка в очереди + уважать Retry-After. Очередь = идеальное место для backoff
Circuit breaker: 3 фейла подряд → пауза 5 мин (CLI не дёргаем, лимит не выжигаем) + алерт → half-open проба → закрыли
Ретраи раздельные: transient (429) ≠ code-fault (attempts=2)

Статус

Задача orch1b_resilience запущена на Dev (Opus 4.8), поверх той же ветки/PR #3 (фокусные коммиты)
Требует: безопасная миграция БД через PRAGMA-проверку (prod-база jobs уже живая)

⚠️ Урок: тест-алерты дёргают Славу

Dev гонял retry-тест с синтетическим repo r-retry / job 3 → fail-алерт долетел в Telegram, Слава испугался («Ау»)
Проверка: /queue всё по нулям, в прод-БД никакого r-retry/job 3 нет — жил только в эфемерной pytest-БД
TODO для ORCH-1b: подавить Telegram-нотификации в тестовых прогонах (нотификации только прод, не pytest)

Следующие шаги

Дождаться orch1b_resilience, проверить вживую (preflight без трат токенов, 429-классификатор, backoff, breaker, миграция)
Слить PR #3 (base queue + resilience) ОДНИМ куском после полной проверки
Дальше бэклог: ORCH-3 (S-2/S-3 rollback), ORCH-4 (M-3 stage-engine), ORCH-5 (M-7 idempotency/webhook dedup)

Висящие вопросы Славе

PR #19 (enduro-trails), PR #1 (orchestrator worktree) — мержить?
PR #2 уже смержен (ORCH-6)

38 KiB Raw Permalink Blame History Unescape Escape

2026-06-02 — Daily Log

ET-009: GPS Sources (EnduroRussia + Wikiloc) — Pipeline Completed 🎉

Pipeline stages (all passed):

Key results:

Known issues:

Orchestrator Issues Discovered

Critical bug: Launcher Popen broken inside container

Other orchestrator bugs:

Agent launch manual pattern:

Models Configuration Changes

User Preferences (re-confirmed during ET-009)

Глубокий аудит оркестратора (мультиагенты) — 2026-06-02

Проведено

Корневые баги (BLOCKER)

Ключевая находка по докам

Dev-агент запущен

ET-009 Artifacts

2026-06-02 — Daily Log

ET-009: GPS Sources (EnduroRussia + Wikiloc) — Pipeline Completed 🎉

Pipeline stages (all passed):

Key results:

Known issues:

Orchestrator Issues Discovered

Critical bug: Launcher Popen broken inside container

Other orchestrator bugs:

Agent launch manual pattern:

Models Configuration Changes

User Preferences (re-confirmed during ET-009)

Глубокий аудит оркестратора (мультиагенты) — 2026-06-02

Проведено

Корневые баги (BLOCKER)

Ключевая находка по докам

Dev-агент — РЕЗУЛЬТАТ (ПРИНЯТО ✅)

Моя независимая проверка (на сервере, не на слово)

⚠️ ТРЕБУЕТ ДЕЙСТВИЯ

Честные расхождения (Dev не скрыл)

Открытый вопрос Славе

ET-009 Artifacts

ORCH-2 [S-4] git worktree — ПРИНЯТО ✅ (2026-06-02)

Dev-агент (Opus 4.8 Tokenator)

Замечен побочный эффект (важно!)

Обсуждение self-hosting оркестратора

Нейминг — финальное решение

Открытые вопросы Славе

ИНЦИДЕНТ: Plane-webhook авто-запустил конвейер по всем ORCH-1..7 (2026-06-02 19:00)

Что случилось

Меры (сделано)

ROOT FIX = ORCH-6 (multi-repo)

Открытые вопросы

Нейминг — финальное решение

Открытые вопросы Славе

ИНЦИДЕНТ: Plane-webhook авто-запустил конвейер по всем ORCH-1..7 (2026-06-02 19:00)

Что случилось

Меры (сделано)

ROOT FIX = ORCH-6 (multi-repo)

Открытые вопросы

ORCH-6 (Multi-repo) — Dev-прогон (2026-06-02 ~19:20-19:28)

ТЗ

Прогон 1 (упал по таймауту LLM на Task 2, не вина кода) — но сделал ~75%, ФУНКЦИОНАЛ РАБОТАЕТ

Решение: НЕ начинать заново, дослать Dev добивку (Task 6-7) — рабочие 75% терять глупо из-за инфра-таймаута

КРИТИЧНО на потом

Открытые вопросы Славе

ИНЦИДЕНТ: Plane-webhook авто-запустил конвейер по всем ORCH-1..7 (2026-06-02 19:00)

Что случилось

Меры (сделано)

ROOT FIX = ORCH-6 (multi-repo)

Открытые вопросы

ORCH-6 (Multi-repo) — Dev-прогон (2026-06-02 ~19:20-19:28)

ТЗ

Прогон 1 (упал по таймауту LLM на Task 2, не вина кода) — но сделал ~75%, ФУНКЦИОНАЛ РАБОТАЕТ

Решение: НЕ начинать заново, дослать Dev добивку (Task 6-7) — рабочие 75% терять глупо из-за инфра-таймаута

КРИТИЧНО на потом

✅ ORCH-6 ДОДЕЛАН (прогон 2, ~19:35) — проверено мной вживую, НЕ на слово

🔵 ЖДЁТ РЕШЕНИЯ СЛАВЫ (спросила, ОК пока нет)

Следующий бэклог ORCH (после ORCH-6 merge+webhook on)

ORCH-6 ЗАМЕРЖЕН + Webhook ВКЛЮЧЁН (2026-06-02 ~21:00) — проверено вживую

Сделано (с ОК Славы «Делай»)

Боевой тест предохранителя (двойная защита, подтверждено на проде)

Грабли (повтор из инцидента — записать чтоб не наступать)

38 KiB

Raw Permalink Blame History