Technical Lead Platformy Danych
⚲ Warszawa, Wola
Do uzgodnienia
Wymagania
- Python
- Rust
- Java
- SQL
- Google Cloud Platform
- AWS
Opis stanowiska
Nasze wymagania:
masz minimum 7 lat doświadcznia w Data Engineering'u,
masz co najmniej 3 lata na stanowisku Tech Leada/Architekti/Architekta,
posiadasz zaawansowaną biegłość SQL oraz przynajmniej jednego z języków programowania: Python, Rust lub Java,
posiadasz praktyczne doświadczenie z jednym z wiodących ekosystemów chmurowych, preferowana znajomość GCP (BigQuery, GCS, DataProc, kubernetes enterprise) lub ich odpowiedników w chmurze Azure lub AWS,
posiadasz solidną wiedzę na temat modelowania danych, a także praktyczne doświadczenie z nowoczesnymi koncepcjami: Lakehouse i Data Mesh,
masz doświadczenie w pracy z potokami przetwarzania danych, narzędziami orkiestracyjnymi (apache airflow i mile widziana znajomość AutomateNow),
posiadasz znajomość zasad zarządzania infrastrukturą jako kodem (Infrastructure as Code - Terraform)
posiadasz znajomość i umiejętność aplikowania technologii Generatywnej AI w kontekście zarządzania danymi,
masz doświadczenie w prowadzeniu projektów po stronie IT lub praca w roli Technical Product Ownera,
posiadasz umiejętność tłumaczenia złożonych zagadnień technicznych na język zrozumiały dla interesariuszy biznesowych.
Zakres obowiązków:
projektujesz i rozwijasz nowoczesną i skalowaną platformę danych w architekturze data lakehouse środowisku chmurowym,
współtworzysz długoterminową strategię rozwoju platformy danych oraz bierzesz udział w kluczowych decyzjach technologicznych,
budujesz zaawansowane rozwiązania w tym przetwarzanie strumieniowe w czasie semi-rzeczywistym i architektury opartej na zdarzeniach (Event Driven Architecture),
projektujesz, implementujesz i utrzymujesz potoki danych (Data Pipelines/ETL),
optymalizujesz koszty, wydajność i niezawodności usług chmurowych oraz baz danych w ramach istniejącej infrastruktury,
zapewniasz najwyższe standardy bezpieczeństwa, dostępności oraz zarządzania jakością danych,
współpracujesz z biznesem (data stakeholders) przy ocenie wykonalności pomysłów i przekładaniu ich na rozwiązania techniczne,
prowadzisz inicjatywy rozwojowe,
mentorujesz, szkolisz i rozwijasz członków zespołu Data Engineers (łącznie z częściowym zarządzaniem zespołem),
definiujesz standardy kodowania, przeprowadzasz core review oraz wspierasz wdrażanie najlepszych praktyk inżynierskich (DataOps),
poprawiasz proces realizacji zadań (np. planowanie sprintów), identyfikowanie i aktywne usuwanie długu technologicznego.
masz minimum 7 lat doświadcznia w Data Engineering'u,
masz co najmniej 3 lata na stanowisku Tech Leada/Architekti/Architekta,
posiadasz zaawansowaną biegłość SQL oraz przynajmniej jednego z języków programowania: Python, Rust lub Java,
posiadasz praktyczne doświadczenie z jednym z wiodących ekosystemów chmurowych, preferowana znajomość GCP (BigQuery, GCS, DataProc, kubernetes enterprise) lub ich odpowiedników w chmurze Azure lub AWS,
posiadasz solidną wiedzę na temat modelowania danych, a także praktyczne doświadczenie z nowoczesnymi koncepcjami: Lakehouse i Data Mesh,
masz doświadczenie w pracy z potokami przetwarzania danych, narzędziami orkiestracyjnymi (apache airflow i mile widziana znajomość AutomateNow),
posiadasz znajomość zasad zarządzania infrastrukturą jako kodem (Infrastructure as Code - Terraform)
posiadasz znajomość i umiejętność aplikowania technologii Generatywnej AI w kontekście zarządzania danymi,
masz doświadczenie w prowadzeniu projektów po stronie IT lub praca w roli Technical Product Ownera,
posiadasz umiejętność tłumaczenia złożonych zagadnień technicznych na język zrozumiały dla interesariuszy biznesowych.
Zakres obowiązków:
projektujesz i rozwijasz nowoczesną i skalowaną platformę danych w architekturze data lakehouse środowisku chmurowym,
współtworzysz długoterminową strategię rozwoju platformy danych oraz bierzesz udział w kluczowych decyzjach technologicznych,
budujesz zaawansowane rozwiązania w tym przetwarzanie strumieniowe w czasie semi-rzeczywistym i architektury opartej na zdarzeniach (Event Driven Architecture),
projektujesz, implementujesz i utrzymujesz potoki danych (Data Pipelines/ETL),
optymalizujesz koszty, wydajność i niezawodności usług chmurowych oraz baz danych w ramach istniejącej infrastruktury,
zapewniasz najwyższe standardy bezpieczeństwa, dostępności oraz zarządzania jakością danych,
współpracujesz z biznesem (data stakeholders) przy ocenie wykonalności pomysłów i przekładaniu ich na rozwiązania techniczne,
prowadzisz inicjatywy rozwojowe,
mentorujesz, szkolisz i rozwijasz członków zespołu Data Engineers (łącznie z częściowym zarządzaniem zespołem),
definiujesz standardy kodowania, przeprowadzasz core review oraz wspierasz wdrażanie najlepszych praktyk inżynierskich (DataOps),
poprawiasz proces realizacji zadań (np. planowanie sprintów), identyfikowanie i aktywne usuwanie długu technologicznego.
🔍 Dekoder Ogłoszenia
🔴
masz doświadczenie w prowadzeniu projektów po stronie IT lub praca w roli Technical Product Ownera
Może to oznaczać zarówno faktyczne zarządzanie projektami, jak i bardziej ograniczoną rolę w nadzorowaniu technicznych aspektów produktu.
🔴
współtworzysz długoterminową strategię rozwoju platformy danych oraz bierzesz udział w kluczowych decyzjach technologicznych
Twoja rola może być bardziej doradcza i wpływać na strategię, ale ostateczne decyzje mogą należeć do wyższego kierownictwa.
🟡
posiadasz znajomość i umiejętność aplikowania technologii Generatywnej AI w kontekście zarządzania danymi
Oznacza to prawdopodobnie wykorzystanie narzędzi AI do automatyzacji zadań związanych z danymi, a niekoniecznie tworzenie własnych modeli AI.
🟡
mile widziana znajomość AutomateNow
Jest to dodatkowy atut, ale nie kluczowy wymóg, co może oznaczać, że narzędzie to nie jest powszechnie używane w firmie.
🔴
projektujesz i rozwijasz nowoczesną i skalowaną platformę danych w architekturze data lakehouse środowisku chmurowym
Choć brzmi ambitnie, rzeczywisty zakres projektu i jego 'nowoczesność' mogą być subiektywne i zależeć od istniejącej infrastruktury.