Сипаттамасы

Міндеттер:

• Apache Airflow (Python), Azure Fabric (PySpark) және Azure Data Factory құралдарын пайдалана отырып, ETL-процестерді әзірлеу, оңтайландыру және қолдау.
• Microsoft SQL Server және Azure Fabric ортасында корпоративтік DWH-ты қолдау және дамыту.
• ETL-процестердің, SQL-сұраулардың және джобтардың өнімділігін оңтайландыру; қолданыстағы шешімдерді рефакторингтеу, мониторинг жүргізу және тар жерлерді жою; әзірлеу үдерістерін жетілдіру.
• Жаңа және қолданыстағы ETL-процестер мен data pipelines бойынша техникалық құжаттаманы дайындау және өзектендіру.
• DWH архитектурасын жобалау және деректер сапасын қамтамасыз ету мақсатында деректер талдаушылары және архитекторларымен өзара әрекеттесу.
• IT және бизнес-бөлімшелер өкілдерімен талаптарды жинау және талдау, сондай-ақ бизнес-процестерді қолдауға арналған оңтайлы шешімдерді әзірлеу бойынша жұмыс істеу.

Талаптар:

• SQL тілін терең меңгеру және реляциялық деректер қорымен (SQL Server, PostgreSQL, Oracle) жұмыс істеу тәжірибесі.
• Python тілін сенімді білу — ETL-скрипттерді, парсерлерді және DAG-тарды Apache Airflow жүйесінде әзірлеу тәжірибесі.
• Деректерді оркестрациялау құралдарымен (Apache Airflow, Dagster, Prefect) жұмыс тәжірибесі, production ортада ETL-процестерді құру және қолдау.
• Microsoft Azure бұлттық шешімдерімен (Data Factory, Synapse Analytics, немесе Fabric) немесе басқа бұлттық платформалармен (AWS, GCP) практикалық жұмыс тәжірибесі.
• Apache Spark (PySpark немесе Spark SQL) жүйесімен жұмыс істеу тәжірибесі — таратылған деректер трансформацияларын әзірлеу және оңтайландыру.
• DWH, Data Lake, Lakehouse архитектураларының қағидаттарын, сондай-ақ data governance, data quality, data lineage және деректерді басқарудың үздік тәжірибелерін жақсы түсіну.