Data Engineer (GCP)
best HR and PM solutions
⚲ Cracow, Warszawa, Gdańsk, Wrocław, Poznań
150 - 190 PLN/h netto (B2B)
Wymagania
- Apache Spark
- Python
- SQL
- BigQuery
- GCP
- Data
- ETL
- Airflow
Opis stanowiska
🚀 O projekcie Dołączysz do zespołu budującego i rozwijającego centralną platformę danych na Google Cloud Platform. Projekt łączy klasyczny data engineering z elementami data governance – pracujemy nad jakością danych, kontrolą dostępu i ustandaryzowaniem przetwarzania danych w organizacji. 👉 To rola dla osoby, która chce mieć realny wpływ na kształt platformy danych, a nie tylko utrzymywać pipeline’y. 🎯 Zakres obowiązków • Budowa i rozwój pipeline’ów danych (ETL/ELT) na GCP • Projektowanie przetwarzania danych (batch / streaming) • Praca z BigQuery i Dataflow • Implementacja mechanizmów data quality • Współudział w obszarze data governance (kontrola dostępu, filtrowanie danych) • Modelowanie danych (data marts, warstwa analityczna) ✅ Wymagania • Doświadczenie jako Data Engineer (mid+/senior) • Bardzo dobra znajomość:• Python (przetwarzanie danych, pipeline’y) • SQL (złożone zapytania, optymalizacja) • Komercyjne doświadczenie z Google Cloud Platform (GCP) • Praktyczna praca z BigQuery oraz/lub Dataflow • Doświadczenie w budowie pipeline’ów danych (ETL/ELT) • Znajomość modelowania danych (np. star schema, data marts) • Doświadczenie z przetwarzaniem danych (batch i/lub streaming) • Git 👍 Mile widziane • Doświadczenie z data quality / data governance • Znajomość narzędzi GCP: Dataform, Dataplex • Apache Beam / Spark • Airflow / Cloud Composer • CI/CD dla pipeline’ów danych • Znajomość IAM / security w GCP • Doświadczenie w środowiskach regulowanych