diff --git a/memory/2026-06-07.md b/memory/2026-06-07.md index 98a2314..48fdf70 100644 --- a/memory/2026-06-07.md +++ b/memory/2026-06-07.md @@ -116,3 +116,18 @@ EXPECTED_REVISION прокидывается (2×), image_freshness import OK, q гасить зомби (UPDATE jobs SET status='cancelled' WHERE id=X). Было: job 236 от ORCH-060. - В контейнере НЕТ pkill — гасить job только через БД (status='cancelled'), процесс сам отвалится. - Перезапуск задачи после Blocked: Backlog → (пауза 3с) → In Progress (чистый ре-триггер webhook). + +## ⚠️ ИНЦИДЕНТ: ДИСК 100% на mva154 (12:40 UTC) — клал CI +- ORCH-61 CI красный (`failure`), но локально 670 passed. Причина: **`OSError: No space + left on device`** — диск `/dev/mapper/hk-root` 118G был 100% (17МБ свободно). CI-runner не мог + прогнать тесты. КОД DEV'А БЫЛ ЗДОРОВ — фейл чисто инфраструктурный. +- Главный пожиратель: **docker build cache 11.17G** (наши частые --build-staging/build-once + пересборки за день) + dangling + старые rollback-snapshotы. +- Чистка: `docker builder prune -af` + `docker image prune -f` + удаление старых + rollback-pre-058/rollback-test-backup/broken. **СОХРАНИЛА rollback-pre-060** (откат тек прода). + Стало: 89% (14G свободно). Освободила ~14G. +- **УРОК/TODO:** частые build-once пересборки забивают диск. Нужен авто-prune build cache + (cron/heartbeat: `docker builder prune -af --filter until=24h`) ИЛИ ограничение в daemon.json + (`builder.gc.defaultKeepStorage`). Завести как follow-up. Проверять df перед build-staging. +- При красном CI + зелёных локальных тестах — ПЕРВЫМ делом проверять `df -h /` и + `docker system df`, не копаться в коде.