Tech Lead Data Engineer - GCP - Customer Value Management & Analytics B2C Departament
⚲ Warszawa, Mokotów
Do uzgodnienia
Wymagania
- BigQuery
- Cloud Storage
- Pub/Sub
- Apache Beam
- Dataflow
- Dataproc
- Spark
- Cloud Composer
- Airflow
- Python
- PySpark
- GitLab CI
- Cloud Build
- Cloud Monitoring
- Cloud Logging
- dbt
- Dataform
- Dataplex
- Data Catalog
- Looker Studio
- Vertex AI
- Feature Store
- Apache Kafka
- Apache Pulsar
- Great Expectations
- Soda
- Oracle
- PL/SQL
Opis stanowiska
Nasze wymagania:
+5 lat doświadczenia na stanowisku Data Engineer oraz doświadczenie w pełnieniu roli wiodącej.
Praktyczna znajomość ekosystemu GCP, w szczególności BigQuery, Cloud Storage, Pub/Sub oraz Dataflow/Apache Beam lub Dataproc/Spark.
Cloud Composer (Airflow) - orkiestracja i harmonogramowanie pipeline’ów danych.
Podstawy bezpieczeństwa w GCP: IAM, KMS, DLP.
Umiejętność programowania w Python (np. pandas, PySpark, testy automatyczne).
Doświadczenie w projektowaniu modeli danych (Kimball, Data Vault, Dimensional Modeling) i budowie warstw danych (raw/bronze, curated/silver, semantic/gold).
Znajomość narzędzi do automatyzacji: CI/CD (np. GitLab CI, Cloud Build).
Praktyka w zapewnieniu jakości danych (testowanie, monitorowanie, alertowanie).
Znajomość narzędzi do monitorowania i rozwiązywania problemów wydajnościowych (Cloud Monitoring, Logging).
Doświadczenie w dokumentacji technicznej oraz code review.
Umiejętność pracy zespołowej i komunikacji z zespołami biznesowymi, technicznymi oraz analitycznymi.
Proaktywność, odpowiedzialność i nastawienie na jakość w obszarze danych.
Mile widziane:
Doświadczenie z narzędziami zarządzania danymi, np. dbt, Dataform (transformacja i dokumentacja danych), Dataplex, Data Catalog (zarządzanie ładem danych).
Praktyczna znajomość narzędzi do analityki takich jak Looker Studio.
Doświadczenie z technologiami MLOps: Vertex AI, Feature Store.
Zaawansowana znajomość Apache Kafka, Apache Pulsar dla streamingu danych.
Znajomość zasad RODO, ISO 27001 i polityk bezpieczeństwa w obszarze danych.
Znajomość narzędzi do zarządzania jakością danych, takich jak Great Expectations/Soda.
Umiejętność tworzenia architektury dla poszczególnych produktów.
Doświadczenie w migracjach danych z systemów on-prem.
Znajomość Oracle (PL/SQL).
O projekcie:
Jako Data Engineer będziesz projektować, implementować i utrzymywać rozwiązania danych w Google Cloud Platform (GCP), wspierając procesy analityczne i biznesowe, budowę modeli ML, aplikacji AI oraz innych rozwiązań opartych na danych.
Szukamy osób, które łączą architekturę z praktyką inżynierską, rozumieją potrzeby biznesowe, są proaktywne, energiczne i chcą współkształtować standardy, wzorce i długoterminowy kierunek rozwoju naszej platformy danych.
Dołącz do zespołu transformacji danych, który redefiniuje sposób, w jaki T‑Mobile pracuje z danymi na co dzień.
Zakres obowiązków:
Projektowanie, rozwój i utrzymanie potoków danych (ETL/ELT) w środowisku GCP.
Integracja danych z różnych źródeł (API, bazy, pliki) do narzędzi takich jak BigQuery i Cloud Storage.
Projektowanie i optymalizacja modeli danych w hurtowniach danych (Kimball, Data Vault, Dimensional Modeling).
Implementacja rozwiązań streamingowych (np. Pub/Sub, Dataflow, Apache Beam).
Automatyzacja procesów wokół danych przy użyciu Cloud Composer (Airflow).
Planowanie prac/sprintów, priorytetyzacja backlogu, facylitacja warsztatów z biznesem, przekładanie wymagań na rozwiązania i SLA/SLO.
Zapewnienie wydajności, jakości, bezpieczeństwa i skalowalności danych.
Współpraca z zespołami ds. analityki danych, Data Science oraz zespołami biznesowymi.
Tworzenie dokumentacji technicznej i udział w code review.
Monitorowanie i rozwiązywanie problemów wydajnościowych oraz optymalizacja kosztów w chmurze.
Optymalizacja wydajności i kosztów implementowanych rozwiązań.
Mentoring, prowadzenie warsztatów, zarządzanie interesariuszami.
Oferujemy:
Dołącz do nowego, strategicznego projektu transformacji danych: przenosimy analitykę z on‑premise do GCP, budując od zera architekturę i model danych z mocnym naciskiem na zwiększanie wartości biznesowej i poprawę CX naszych klientów.
Pracujemy z technologiami takimi jak GCP, Spark, Python, Kubernetes, BigQuery, Vertex AI, Terraform, Looker.
Integrujemy różnorodne, wysokowolumenowe źródła danych, projektujemy warstwy przetwarzania w trybach streaming i batch, wdrażamy data governance, lineage, jakość i bezpieczeństwo danych, a także CI/CD oraz monitoring/SLO.
Tworzymy środowisko sprzyjające eksperymentowaniu, szybkiemu prototypowaniu i innowacjom, oparte na kulturze otwartości i współpracy.
Pracując z najnowocześniejszymi technologiami, masz realny wpływ na strategię danych oraz kierunek rozwoju naszej platformy.
Możliwość współkształtowania standardów, wzorców i długoterminowego kierunku rozwoju naszej platformy danych.
+5 lat doświadczenia na stanowisku Data Engineer oraz doświadczenie w pełnieniu roli wiodącej.
Praktyczna znajomość ekosystemu GCP, w szczególności BigQuery, Cloud Storage, Pub/Sub oraz Dataflow/Apache Beam lub Dataproc/Spark.
Cloud Composer (Airflow) - orkiestracja i harmonogramowanie pipeline’ów danych.
Podstawy bezpieczeństwa w GCP: IAM, KMS, DLP.
Umiejętność programowania w Python (np. pandas, PySpark, testy automatyczne).
Doświadczenie w projektowaniu modeli danych (Kimball, Data Vault, Dimensional Modeling) i budowie warstw danych (raw/bronze, curated/silver, semantic/gold).
Znajomość narzędzi do automatyzacji: CI/CD (np. GitLab CI, Cloud Build).
Praktyka w zapewnieniu jakości danych (testowanie, monitorowanie, alertowanie).
Znajomość narzędzi do monitorowania i rozwiązywania problemów wydajnościowych (Cloud Monitoring, Logging).
Doświadczenie w dokumentacji technicznej oraz code review.
Umiejętność pracy zespołowej i komunikacji z zespołami biznesowymi, technicznymi oraz analitycznymi.
Proaktywność, odpowiedzialność i nastawienie na jakość w obszarze danych.
Mile widziane:
Doświadczenie z narzędziami zarządzania danymi, np. dbt, Dataform (transformacja i dokumentacja danych), Dataplex, Data Catalog (zarządzanie ładem danych).
Praktyczna znajomość narzędzi do analityki takich jak Looker Studio.
Doświadczenie z technologiami MLOps: Vertex AI, Feature Store.
Zaawansowana znajomość Apache Kafka, Apache Pulsar dla streamingu danych.
Znajomość zasad RODO, ISO 27001 i polityk bezpieczeństwa w obszarze danych.
Znajomość narzędzi do zarządzania jakością danych, takich jak Great Expectations/Soda.
Umiejętność tworzenia architektury dla poszczególnych produktów.
Doświadczenie w migracjach danych z systemów on-prem.
Znajomość Oracle (PL/SQL).
O projekcie:
Jako Data Engineer będziesz projektować, implementować i utrzymywać rozwiązania danych w Google Cloud Platform (GCP), wspierając procesy analityczne i biznesowe, budowę modeli ML, aplikacji AI oraz innych rozwiązań opartych na danych.
Szukamy osób, które łączą architekturę z praktyką inżynierską, rozumieją potrzeby biznesowe, są proaktywne, energiczne i chcą współkształtować standardy, wzorce i długoterminowy kierunek rozwoju naszej platformy danych.
Dołącz do zespołu transformacji danych, który redefiniuje sposób, w jaki T‑Mobile pracuje z danymi na co dzień.
Zakres obowiązków:
Projektowanie, rozwój i utrzymanie potoków danych (ETL/ELT) w środowisku GCP.
Integracja danych z różnych źródeł (API, bazy, pliki) do narzędzi takich jak BigQuery i Cloud Storage.
Projektowanie i optymalizacja modeli danych w hurtowniach danych (Kimball, Data Vault, Dimensional Modeling).
Implementacja rozwiązań streamingowych (np. Pub/Sub, Dataflow, Apache Beam).
Automatyzacja procesów wokół danych przy użyciu Cloud Composer (Airflow).
Planowanie prac/sprintów, priorytetyzacja backlogu, facylitacja warsztatów z biznesem, przekładanie wymagań na rozwiązania i SLA/SLO.
Zapewnienie wydajności, jakości, bezpieczeństwa i skalowalności danych.
Współpraca z zespołami ds. analityki danych, Data Science oraz zespołami biznesowymi.
Tworzenie dokumentacji technicznej i udział w code review.
Monitorowanie i rozwiązywanie problemów wydajnościowych oraz optymalizacja kosztów w chmurze.
Optymalizacja wydajności i kosztów implementowanych rozwiązań.
Mentoring, prowadzenie warsztatów, zarządzanie interesariuszami.
Oferujemy:
Dołącz do nowego, strategicznego projektu transformacji danych: przenosimy analitykę z on‑premise do GCP, budując od zera architekturę i model danych z mocnym naciskiem na zwiększanie wartości biznesowej i poprawę CX naszych klientów.
Pracujemy z technologiami takimi jak GCP, Spark, Python, Kubernetes, BigQuery, Vertex AI, Terraform, Looker.
Integrujemy różnorodne, wysokowolumenowe źródła danych, projektujemy warstwy przetwarzania w trybach streaming i batch, wdrażamy data governance, lineage, jakość i bezpieczeństwo danych, a także CI/CD oraz monitoring/SLO.
Tworzymy środowisko sprzyjające eksperymentowaniu, szybkiemu prototypowaniu i innowacjom, oparte na kulturze otwartości i współpracy.
Pracując z najnowocześniejszymi technologiami, masz realny wpływ na strategię danych oraz kierunek rozwoju naszej platformy.
Możliwość współkształtowania standardów, wzorców i długoterminowego kierunku rozwoju naszej platformy danych.
🔍 Dekoder Ogłoszenia
🔴
doświadczenie w pełnieniu roli wiodącej
Może oznaczać zarówno faktyczne prowadzenie zespołu, jak i bycie 'najstarszym' inżynierem w zespole bez formalnych uprawnień managerskich.
🔴
Praktyczna znajomość ekosystemu GCP
Choć brzmi to konkretnie, 'praktyczna znajomość' może oznaczać od podstawowej obsługi po zaawansowane konfiguracje, co wymaga doprecyzowania.
🔴
Umiejętność pracy zespołowej i komunikacji z zespołami biznesowymi, technicznymi oraz analitycznymi
Często oznacza konieczność tłumaczenia skomplikowanych zagadnień technicznych na język zrozumiały dla osób nietechnicznych, co może być czasochłonne.
🔴
Proaktywność, odpowiedzialność i nastawienie na jakość w obszarze danych
Te cechy są pożądane, ale mogą być też sygnałem, że od kandydata oczekuje się samodzielnego rozwiązywania problemów i przejmowania inicjatywy bez ciągłego nadzoru.
🟡
Doświadczenie w projektowaniu modeli danych (Kimball, Data Vault, Dimensional Modeling) i budowie warstw danych (raw/bronze, curated/silver, semantic/gold)
Choć wymienione są konkretne metodyki, głębokość i złożoność tych projektów może być bardzo różna, od prostych implementacji po skomplikowane hurtownie danych.