Senior Data Engineer | Branża technologiczna
⚲ Warszawa
Do uzgodnienia
Wymagania
- Python
- PySpark
- SQL
- PL/SQL
- AWS
- Terraform
- CloudFormation
- Power BI
- Tableau
Opis stanowiska
Nasze wymagania:
Minimum 5 lat doświadczenia w projektowaniu i utrzymaniu rozwiązań ETL/ELT w środowisku chmurowym.
Praktyczna znajomość Python, PySpark oraz zaawansowanego SQL/PLSQL.
Doświadczenie z usługami AWS (m.in. S3, Lambda, Athena, SNS, Secrets Manager).
Znajomość narzędzi Infrastructure as Code (Terraform, CloudFormation) oraz praktyk CI/CD.
Doświadczenie w pracy z hurtowniami danych, integracją danych, walidacją danych oraz monitorowaniem procesów ETL.
Znajomość systemów kontroli wersji oraz narzędzi do zarządzania projektami.
Doświadczenie w pracy w środowisku Agile.
Samodzielność, proaktywność oraz umiejętność efektywnej współpracy z zespołami technicznymi i biznesowymi.
Dobra organizacja pracy, umiejętność zarządzania czasem oraz rozwinięte zdolności komunikacyjne.
Mile widziane:
Doświadczenie z narzędziami BI (Power BI, Tableau).
O projekcie:
Projekt koncentruje się na projektowaniu, tworzeniu i utrzymaniu natywnych rozwiązań inżynierii danych w chmurze, wspierających obszary zgodności z regulacjami (compliance) oraz zarządzania ryzykiem.
Zakres obowiązków:
Projektowanie, budowa i utrzymanie skalowalnych oraz wydajnych potoków przetwarzania danych w środowisku chmurowym.
Tworzenie i utrzymanie procesów ETL/ELT służących do integracji oraz transformacji danych.
Zapewnienie zgodności z wymaganiami w zakresie bezpieczeństwa informacji i ładu danych (Data Governance).
Utrzymanie i rozwój chmurowych środowisk danych, w tym jezior danych (Data Lakes) oraz hurtowni danych (Data Warehouses).
Ścisła współpraca z zespołami inżynierskimi, zespołami produktowymi oraz interesariuszami biznesowymi.
Udział w badaniach technologicznych, działaniach związanych z ciągłym doskonaleniem oraz wdrażaniem nowych technologii.
Dbanie o wysoką jakość kodu z wykorzystaniem systemów kontroli wersji oraz praktyk CI/CD.
Wspieranie strategicznego rozwoju rozwiązań i infrastruktury z obszaru inżynierii danych.
Oferujemy:
Indywidualne wsparcie Service Delivery Managera, który pomoże zaplanować ścieżkę kariery i zadba o komfort i satysfakcję z pracy w projekcie.
Szkolenia, certyfikaty i konferencje - dofinansowanie lub pełne pokrywanie kosztów rozwoju kompetencji technicznych.
SmartChange – możliwość zmiany projektu i dobrania kolejnego zgodnie z preferencjami.
Elastyczne benefity – możliwość wyboru, na co przeznaczyć punkty w systemie benefitowym.
Lekcje języka angielskiego – dopasowane do poziomu, idealne do pracy w międzynarodowym środowisku.
Minimum 5 lat doświadczenia w projektowaniu i utrzymaniu rozwiązań ETL/ELT w środowisku chmurowym.
Praktyczna znajomość Python, PySpark oraz zaawansowanego SQL/PLSQL.
Doświadczenie z usługami AWS (m.in. S3, Lambda, Athena, SNS, Secrets Manager).
Znajomość narzędzi Infrastructure as Code (Terraform, CloudFormation) oraz praktyk CI/CD.
Doświadczenie w pracy z hurtowniami danych, integracją danych, walidacją danych oraz monitorowaniem procesów ETL.
Znajomość systemów kontroli wersji oraz narzędzi do zarządzania projektami.
Doświadczenie w pracy w środowisku Agile.
Samodzielność, proaktywność oraz umiejętność efektywnej współpracy z zespołami technicznymi i biznesowymi.
Dobra organizacja pracy, umiejętność zarządzania czasem oraz rozwinięte zdolności komunikacyjne.
Mile widziane:
Doświadczenie z narzędziami BI (Power BI, Tableau).
O projekcie:
Projekt koncentruje się na projektowaniu, tworzeniu i utrzymaniu natywnych rozwiązań inżynierii danych w chmurze, wspierających obszary zgodności z regulacjami (compliance) oraz zarządzania ryzykiem.
Zakres obowiązków:
Projektowanie, budowa i utrzymanie skalowalnych oraz wydajnych potoków przetwarzania danych w środowisku chmurowym.
Tworzenie i utrzymanie procesów ETL/ELT służących do integracji oraz transformacji danych.
Zapewnienie zgodności z wymaganiami w zakresie bezpieczeństwa informacji i ładu danych (Data Governance).
Utrzymanie i rozwój chmurowych środowisk danych, w tym jezior danych (Data Lakes) oraz hurtowni danych (Data Warehouses).
Ścisła współpraca z zespołami inżynierskimi, zespołami produktowymi oraz interesariuszami biznesowymi.
Udział w badaniach technologicznych, działaniach związanych z ciągłym doskonaleniem oraz wdrażaniem nowych technologii.
Dbanie o wysoką jakość kodu z wykorzystaniem systemów kontroli wersji oraz praktyk CI/CD.
Wspieranie strategicznego rozwoju rozwiązań i infrastruktury z obszaru inżynierii danych.
Oferujemy:
Indywidualne wsparcie Service Delivery Managera, który pomoże zaplanować ścieżkę kariery i zadba o komfort i satysfakcję z pracy w projekcie.
Szkolenia, certyfikaty i konferencje - dofinansowanie lub pełne pokrywanie kosztów rozwoju kompetencji technicznych.
SmartChange – możliwość zmiany projektu i dobrania kolejnego zgodnie z preferencjami.
Elastyczne benefity – możliwość wyboru, na co przeznaczyć punkty w systemie benefitowym.
Lekcje języka angielskiego – dopasowane do poziomu, idealne do pracy w międzynarodowym środowisku.
🔍 Dekoder Ogłoszenia
🟡
Minimum 5 lat doświadczenia w projektowaniu i utrzymaniu rozwiązań ETL/ELT w środowisku chmurowym.
Może oznaczać, że szukają kogoś, kto już rozwiązywał podobne problemy, ale też może być to po prostu standardowy wymóg bez głębszego uzasadnienia.
🔴
Praktyczna znajomość Python, PySpark oraz zaawansowanego SQL/PLSQL.
Podkreślenie 'zaawansowanego' SQL/PLSQL może sugerować, że oczekiwane są optymalizacje zapytań i skomplikowane procedury, a nie tylko podstawowe zapytania.
🟡
Doświadczenie z usługami AWS (m.in. S3, Lambda, Athena, SNS, Secrets Manager).
Lista usług AWS jest przykładowa, co oznacza, że mogą pojawić się inne usługi, z którymi trzeba będzie się zapoznać.
🔴
Samodzielność, proaktywność oraz umiejętność efektywnej współpracy z zespołami technicznymi i biznesowymi.
Często oznacza, że zespół jest mały lub brakuje lidera, a od kandydata oczekuje się inicjatywy i samodzielnego rozwiązywania problemów.
🟡
Projekt koncentruje się na projektowaniu, tworzeniu i utrzymaniu natywnych rozwiązań inżynierii danych w chmurze, wspierających obszary zgodności z regulacjami (compliance) oraz zarządzania ryzykiem.
Praca może być bardziej formalna i obarczona dużą odpowiedzialnością za zgodność z przepisami, co może oznaczać więcej procedur i dokumentacji.