Senior Data Enginner
⚲ Warszawa
20 000 - 27 000 PLN (PERMANENT)
Wymagania
- Data engineering
- Python
- PySpark
- SQL
- Terraform
- YAML
- Databricks Asset Bundles
- Apache Spark
- Databricks
- Delta Lake
- Microsoft Azure
- Azure Data Factory
- ADLS
- Azure Databricks
- Unity Catalog
- Azure DevOps
- Azure Event Hub
- Apache Airflow
- CI/CD
- Azure DevOps Repos & Pipelines
- Lakehouse
- Medallion Catalog
- Code review
- Testing
- Automation
- Databricks LakeFusion (nice to have)
- Microsoft Fabric (nice to have)
- Databricks DQX (nice to have)
- Databricks certification (nice to have)
- Data Engineering certificate (nice to have)
Opis stanowiska
O projekcie:
Poszukujemy Data Engineera, który będzie odpowiadał za projektowanie i rozwój Data Platform oraz skalowalnych rozwiązań danych. To rola łącząca zaawansowaną inżynierię danych z realnym wpływem na architekturę platformy, standardy techniczne oraz kierunek jej rozwoju.
Wymagania:
- Minimum 3 lata doświadczenia w obszarze Data Engineering.- Doświadczenie w projektowaniu i utrzymaniu produkcyjnych pipeline'ów danych.- Bardzo dobra znajomość: Python, PySpark, SQL, Terraform, YAML, Databricks Asset Bundles.- Doświadczenie z: Apache Spark, Databricks, Delta Lake, pracą z dużymi wolumenami danych.- Bardzo dobra znajomość usług Microsoft Azure, w szczególności: Azure Data Factory, ADLS, Azure Databricks, Unity Catalog, Azure DevOps, Azure Event Hub.- Doświadczenie z Apache Airflow, CI/CD (Azure DevOps Repos & Pipelines) oraz architekturą Lakehouse i Medallion Architecture.- Znajomość zagadnień: Data Quality, Data Governance, modelowania danych oraz kontroli dostępu w Unity Catalog.- Umiejętność przekładania wymagań biznesowych na rozwiązania techniczne.- Doświadczenie w code review, testowaniu, automatyzacji wdrożeń oraz dokumentowaniu rozwiązań.- Gotowość do pełnienia roli technicznego lidera oraz wspierania zespołu w zakresie standardów i najlepszych praktyk.Mile widziane- Doświadczenie z Databricks LakeFusion, Microsoft Fabric (Data Engineering).- Znajomość Databricks DQX lub innych narzędzi do zarządzania jakością danych.- Certyfikacje Databricks lub Data Engineering.
Codzienne zadania:
- Projektowanie i rozwój Platformy Danych w architekturze Lakehouse.
- Udział w decyzjach architektonicznych dotyczących Data Platform i integracji danych.
- Projektowanie i rozwój procesów ELT na potrzeby raportowania, analityki oraz AI/ML.
- Tworzenie modeli danych i warstw analitycznych.
- Optymalizacja rozwiązań pod kątem wydajności, kosztów i skalowalności.
- Definiowanie standardów Data Engineering, automatyzacji oraz dobrych praktyk.
- Zapewnienie jakości, bezpieczeństwa i zgodności danych.
- Współpraca z biznesem, architektami i zespołami IT przy projektowaniu rozwiązań.
- Pełnienie roli technicznego lidera w inicjatywach Data Platform.
Poszukujemy Data Engineera, który będzie odpowiadał za projektowanie i rozwój Data Platform oraz skalowalnych rozwiązań danych. To rola łącząca zaawansowaną inżynierię danych z realnym wpływem na architekturę platformy, standardy techniczne oraz kierunek jej rozwoju.
Wymagania:
- Minimum 3 lata doświadczenia w obszarze Data Engineering.- Doświadczenie w projektowaniu i utrzymaniu produkcyjnych pipeline'ów danych.- Bardzo dobra znajomość: Python, PySpark, SQL, Terraform, YAML, Databricks Asset Bundles.- Doświadczenie z: Apache Spark, Databricks, Delta Lake, pracą z dużymi wolumenami danych.- Bardzo dobra znajomość usług Microsoft Azure, w szczególności: Azure Data Factory, ADLS, Azure Databricks, Unity Catalog, Azure DevOps, Azure Event Hub.- Doświadczenie z Apache Airflow, CI/CD (Azure DevOps Repos & Pipelines) oraz architekturą Lakehouse i Medallion Architecture.- Znajomość zagadnień: Data Quality, Data Governance, modelowania danych oraz kontroli dostępu w Unity Catalog.- Umiejętność przekładania wymagań biznesowych na rozwiązania techniczne.- Doświadczenie w code review, testowaniu, automatyzacji wdrożeń oraz dokumentowaniu rozwiązań.- Gotowość do pełnienia roli technicznego lidera oraz wspierania zespołu w zakresie standardów i najlepszych praktyk.Mile widziane- Doświadczenie z Databricks LakeFusion, Microsoft Fabric (Data Engineering).- Znajomość Databricks DQX lub innych narzędzi do zarządzania jakością danych.- Certyfikacje Databricks lub Data Engineering.
Codzienne zadania:
- Projektowanie i rozwój Platformy Danych w architekturze Lakehouse.
- Udział w decyzjach architektonicznych dotyczących Data Platform i integracji danych.
- Projektowanie i rozwój procesów ELT na potrzeby raportowania, analityki oraz AI/ML.
- Tworzenie modeli danych i warstw analitycznych.
- Optymalizacja rozwiązań pod kątem wydajności, kosztów i skalowalności.
- Definiowanie standardów Data Engineering, automatyzacji oraz dobrych praktyk.
- Zapewnienie jakości, bezpieczeństwa i zgodności danych.
- Współpraca z biznesem, architektami i zespołami IT przy projektowaniu rozwiązań.
- Pełnienie roli technicznego lidera w inicjatywach Data Platform.
🔍 Dekoder Ogłoszenia
🟡
realnym wpływem na architekturę platformy
Duża odpowiedzialność i szeroki zakres obowiązków — nie tylko wykonawca, ale też architekt
🟡
rola łącząca zaawansowaną inżynierię danych z realnym wpływem
Może oznaczać łączenie wielu ról (inżynier + architekt + lider techniczny)