Tech Lead Data Engineer - GCP - Customer Value Management & Analytics B2C Departament
T-Mobile
⚲ Warszawa, Mokotów
Wymagania
- Google Cloud Platform
- BigQuery
- Airflow
- Python
- CI/CD
Opis stanowiska
Nasze wymagania: +5 lat doświadczenia na stanowisku Data Engineer oraz doświadczenie w pełnieniu roli wiodącej. Praktyczna znajomość ekosystemu GCP, w szczególności: BigQuery - zaawansowany SQL, zarządzanie kosztami, optymalizacja wydajności. Cloud Storage - zarządzanie danymi, wersjonowanie. Pub/Sub oraz Dataflow/Apache Beam lub Dataproc/Spark. Cloud Composer (Airflow) - orkiestracja i harmonogramowanie pipeline’ów danych. Podstawy bezpieczeństwa w GCP: IAM, KMS, DLP. Umiejętność programowania w Python (np. pandas, PySpark, testy automatyczne). Doświadczenie w projektowaniu modeli danych (Kimball, Data Vault, Dimensional Modeling) i budowie warstw danych (raw/bronze, curated/silver, semantic/gold). Znajomość narzędzi do automatyzacji: CI/CD (np. GitLab CI, Cloud Build). Praktyka w zapewnieniu jakości danych (testowanie, monitorowanie, alertowanie). Znajomość narzędzi do monitorowania i rozwiązywania problemów wydajnościowych (Cloud Monitoring, Logging). Doświadczenie w dokumentacji technicznej oraz code review. Umiejętność pracy zespołowej i komunikacji z zespołami biznesowymi, technicznymi oraz analitycznymi. Proaktywność, odpowiedzialność i nastawienie na jakość w obszarze danych. Mile widziane: Doświadczenie z narzędziami zarządzania danymi, np.: dbt, Dataform (transformacja i dokumentacja danych). Dataplex, Data Catalog (zarządzanie ładem danych). Praktyczna znajomość narzędzi do analityki takich jak Looker Studio. Doświadczenie z technologiami MLOps: Vertex AI, Feature Store. Zaawansowana znajomość Apache Kafka, Apache Pulsar dla streamingu danych. Znajomość zasad RODO, ISO 27001 i polityk bezpieczeństwa w obszarze danych. Znajomość narzędzi do zarządzania jakością danych, takich jak Great Expectations/Soda. Umiejętność tworzenia architektury dla poszczególnych produktów (dostosowanie od Doświadczenie w migracjach danych z systemów on-prem. Znajomość Oracle (PL/SQL). O projekcie: Dołącz do nowego, strategicznego projektu transformacji danych: przenosimy analitykę z on‑premise do GCP, budując od zera architekturę i model danych z mocnym naciskiem na zwiększanie wartości biznesowej i poprawę CX naszych klientów. Pracujemy z technologiami takimi jak GCP, Spark, Python, Kubernetes, BigQuery, Vertex AI, Terraform, Looker. Integrujemy różnorodne, wysokowolumenowe źródła danych, projektujemy warstwy przetwarzania w trybach streaming i batch, wdrażamy data governance, lineage, jakość i bezpieczeństwo danych, a także CI/CD oraz monitoring/SLO — wszystko po to, aby skrócić drogę od pytania do odpowiedzi i stworzyć solidny fundament pod rozwiązania AI/LLM. To część szerszego programu transformacji danych, który redefiniuje sposób, w jaki T‑Mobile pracuje z danymi na co dzień. Tworzymy środowisko sprzyjające eksperymentowaniu, szybkiemu prototypowaniu i innowacjom, oparte na kulturze otwartości i współpracy. Pracując z najnowocześniejszymi technologiami, masz realny wpływ na strategię danych oraz kierunek rozwoju naszej platformy. Jako Data Engineer będziesz projektować, implementować i utrzymywać rozwiązania danych w Google Cloud Platform (GCP), wspierając procesy analityczne i biznesowe, budowę modeli ML, aplikacji AI oraz innych rozwiązań opartych na danych. Szukamy osób, które łączą architekturę z praktyką inżynierską, rozumieją potrzeby biznesowe, są proaktywne, energiczne i chcą współkształtować standardy, wzorce i długoterminowy kierunek rozwoju naszej platformy danych. Zakres obowiązków: Projektowanie, rozwój i utrzymanie potoków danych (ETL/ELT) w środowisku GCP. Integracja danych z różnych źródeł (API, bazy, pliki) do narzędzi takich jak BigQuery i Cloud Storage. Projektowanie i optymalizacja modeli danych w hurtowniach danych (Kimball, Data Vault, Dimensional Modeling). Implementacja rozwiązań streamingowych (np. Pub/Sub, Dataflow, Apache Beam). Automatyzacja procesów wokół danych przy użyciu Cloud Composer (Airflow). Planowanie prac/sprintów, priorytetyzacja backlogu, facylitacja warsztatów z biznesem, przekładanie wymagań na rozwiązania i SLA/SLO. Zapewnienie wydajności, jakości, bezpieczeństwa i skalowalności danych. Współpraca z zespołami ds. analityki danych, Data Science oraz zespołami biznesowymi. Tworzenie dokumentacji technicznej i udział w code review. Monitorowanie i rozwiązywanie problemów wydajnościowych oraz optymalizacja kosztów w chmurze. Optymalizacja wydajności i kosztów implementowanych rozwiązań. Mentoring, prowadzenie warsztatów, zarządzanie interesariuszami.