117 lines
4.9 KiB
Markdown
117 lines
4.9 KiB
Markdown
# Airflow: настройка пайплайна отчетов по миграциям
|
||
|
||
DAG: `dags/migration_reporter_dag.py` — расписание **Пн / Ср / Пт 08:00** (`0 8 * * 1,3,5`).
|
||
|
||
Граф задач:
|
||
|
||
```
|
||
pull_repo → generate_excel → generate_html
|
||
```
|
||
|
||
Скрипт пайплайна: `migration_reporter.py` (лежит в корне репозитория миграций).
|
||
|
||
---
|
||
|
||
## 1. Установка Airflow 3 (docker-compose)
|
||
|
||
В каталоге проекта Airflow (например, `/projects/airflow-docker`) — по официальной документации
|
||
https://airflow.apache.org/docs/apache-airflow/stable/howto/docker-compose/index.html
|
||
|
||
Файл `.env` там же:
|
||
|
||
```env
|
||
_AIP_UID=..
|
||
# дополнительные пакеты в контейнерах (быстрый способ для теста)
|
||
_PIP_ADDITIONAL_REQUIREMENTS=openpyxl
|
||
```
|
||
|
||
> Для постоянной работы лучше свой Dockerfile:
|
||
> ```dockerfile
|
||
> FROM apache/airflow:3.3.2
|
||
> RUN pip install openpyxl
|
||
> ```
|
||
> и в `docker-compose.yaml` в `image:` указать имя собранного образа
|
||
> (`docker build -t airflow-with-pydeps .`).
|
||
|
||
## 2. Volume-монтирования (репозиторий + папка отчетов)
|
||
|
||
В `docker-compose.yaml` в общий блок `x-airflow-common`:
|
||
|
||
```yaml
|
||
x-airflow-common: &airflow-common
|
||
volumes:
|
||
- ./dags:/opt/airflow/dags
|
||
- ./config:/opt/airflow/config
|
||
- ./logs:/opt/airflow/logs
|
||
- ./plugins:/opt/airflow/plugins
|
||
# путь на хосте (Windows) : путь в контейнере
|
||
- C:/Users/veremeytsev_dg/Desktop/migrations_tool:/opt/airflow/migrations_tool # репозиторий миграций
|
||
- C:/Users/veremeytsev_dg/Desktop/migrations_reports:/opt/airflow/reports # общая папка отчетов
|
||
```
|
||
|
||
После этого перезапустить: `docker compose up -d`.
|
||
|
||
Дагфайл кладется в `./dags/migration_reporter_dag.py` (папка dags уже смонтирована).
|
||
|
||
## 3. Git-доступ из контейнера
|
||
|
||
На хосте Windows аутентификация работает через credential-manager — в контейнере его нет.
|
||
Два варианта (один раз, внутри контейнера):
|
||
|
||
```bash
|
||
# а) Токен в remote-url (быстро; хранить токен в Airflow Variable и клонировать им)
|
||
docker compose exec airflow-worker git clone \
|
||
https://<user>:<token>@seedvault.coderocket.ru/SZA_analytics/migrations.git \
|
||
/opt/airflow/migrations_tool
|
||
|
||
# б) SSH-deploy key в volume (надежнее для продакшена)
|
||
# смонтировать ключ и: git -c core.sshCommand="ssh -i /opt/airflow/ssh/key" clone ...
|
||
```
|
||
|
||
Проверка: `docker compose exec airflow-worker git -C /opt/airflow/migrations_tool pull --ff-only`
|
||
|
||
## 4. Airflow Variables (пути)
|
||
|
||
В UI: Admin → Variables, либо CLI:
|
||
|
||
```bash
|
||
docker compose exec airflow-scheduler airflow variables set migrations_repo_dir /opt/airflow/migrations_tool
|
||
docker compose exec airflow-scheduler airflow variables set migrations_reports_dir /opt/airflow/reports
|
||
```
|
||
|
||
Можно не задавать — в DAG есть env-fallback (`MIGRATIONS_REPO_DIR`, `MIGRATIONS_REPORTS_DIR`).
|
||
|
||
## 5. Запуск и проверка
|
||
|
||
```bash
|
||
docker compose exec airflow-scheduler airflow dags list
|
||
docker compose exec airflow-scheduler airflow dags trigger migration_reporter_pipeline
|
||
docker compose exec airflow-scheduler airflow tasks states-for-run migration_reporter_pipeline <run_id>
|
||
```
|
||
|
||
Артефакты прогона (в общей папке `/opt/airflow/reports` ↔ хост):
|
||
|
||
```
|
||
migration_report_YYYYMMDD_HHMMSS.xlsx # Excel (11 листов)
|
||
migration_report_YYYYMMDD_HHMMSS.changes.json # кэш изменений (между задачами DAG)
|
||
migration_report_YYYYMMDD_HHMMSS.html # HTML-отчет (батчи по дате загрузки)
|
||
latest.xlsx / latest.html # фиксированные имена последнего отчета
|
||
```
|
||
|
||
## 6. Локальный запуск без Airflow
|
||
|
||
```bash
|
||
cd migrations_tool
|
||
python migration_reporter.py run --dir pgsql --skip-pull # без git pull
|
||
python migration_reporter.py run --dir pgsql # с git pull
|
||
python migration_reporter.py excel --dir pgsql --output r.xlsx # только Excel
|
||
python migration_reporter.py html --cache r.changes.json --output r.html # только HTML
|
||
```
|
||
|
||
## 7. Ручная генерация отдельного шага
|
||
|
||
| Команда | Что делает |
|
||
|---|---|
|
||
| `excel` | анализ + Excel-отчет + `.changes.json` кэш |
|
||
| `html` | HTML из кэша (быстро, без повторного анализа) |
|
||
| `run` | полный цикл (для локального запуска / восстановления) | |