Описание

Обязанности:

• Разработка, оптимизация и поддержка ETL-процессов с использованием Apache Airflow (Python), Azure Fabric (PySpark), Azure Data Factory.
• Поддержка и развитие корпоративного DWH в среде Microsoft SQL Server и Azure Fabric.
• Оптимизация производительности ETL-процессов, SQL-запросов и джобов; рефакторинг существующих решений, мониторинг и устранение узких мест; улучшение процессов разработки.
• Подготовка и актуализация технической документации по новым и существующим ETL-процессам и data pipelines.
• Взаимодействие с аналитиками и архитекторами данных для проектирования архитектуры DWH и обеспечения качества данных.
• Взаимодействие с представителями IT и бизнес-подразделений для сбора и анализа требований, а также разработки оптимальных решений для поддержки бизнес-процессов.

Требования:

• Глубокое знание SQL и опыт работы с реляционными СУБД (SQL Server, PostgreSQL, Oracle).
• Уверенные знания Python — разработка ETL-скриптов, парсеров и DAG’ов в Airflow.
• Опыт работы с инструментами оркестрации данных (Apache Airflow, Dagster, Prefect), создание и поддержка ETL-процессов в production-среде.
• Практический опыт работы с облачными решениями Microsoft Azure (Data Factory, Synapse Analytics или Fabric) либо с иными облачными платформами (AWS, GCP).
• Опыт работы с Apache Spark (PySpark или Spark SQL) — разработка и оптимизация распределенных трансформаций данных.
• Хорошее понимание принципов построения DWH, Data Lake, Lakehouse, а также ключевых аспектов data governance, data quality, data lineage и лучших практик управления данными.