Senior Data Engineer (Snowflake/Databricks)
⚲ Warszawa
18 000–26 700 zł / mies. (zal. od umowy)
Wymagania
- 5+ lat doświadczenia lub 5+ ukończonych projektów
- zaawansowany SQL i optymalizacja zapytań, znajomość różnych baz danych
- Python do data engineeringu i automatyzacji
- platformy chmurowe: Snowflake i/lub Databricks
- usługi chmurowe: AWS i/lub Azure
- transformacja i modelowanie danych z DBT
- projektowanie i utrzymanie pipeline'ów ETL/ELT oraz Apache Spark (PySpark)
Mile widziane
- orkiestracja workflow (Airflow, Dagster), Kafka/Flink, Terraform/Kubernetes, Data Mesh
Opis stanowiska
Projekt migruje dane i raportowanie ze starych systemów na nowoczesną platformę opartą o Databricks i Microsoft Fabric, z dużym naciskiem na jakość inżynierii (uzgadnianie danych, spójność raportów). Będziesz rozwijać i optymalizować hurtownię danych, pipeline'y ETL/ELT, modelowanie wymiarowe i automatyzację procesów. To oferta dla doświadczonego data engineera, który lubi pracę z chmurą i jakością danych. Uwaga: migracja z legacy często oznacza problemy z jakością danych i niejasną dokumentacją.
🔍 Dekoder Ogłoszenia
🔴
5+ years of experience or 5+ completed projects
Może oznaczać, że doświadczenie jest ważniejsze niż formalne lata pracy, ale równie dobrze może być próbą obejścia wymogu lat doświadczenia.
🔴
proficiency across popular database variations
Może oznaczać znajomość kilku popularnych baz danych, ale równie dobrze może być ogólnym stwierdzeniem bez głębszego znaczenia.
🔴
Data Mesh and Data Product concepts
Wymaganie znajomości tych koncepcji może sugerować, że projekt jest na wczesnym etapie wdrażania lub dopiero planuje ich implementację.
🔴
Machine learning data pipelines, feature stores, or AI development experience
Może oznaczać, że ML/AI jest tylko pobocznym elementem lub przyszłym kierunkiem, a nie głównym celem obecnego projektu.
🔴
The project migrates data and reporting from a legacy estate onto a modern platform built on Databricks and Microsoft Fabri
Migracja z systemów legacy często wiąże się z problemami z jakością danych, niejasną dokumentacją i nieprzewidzianymi trudnościami.