Lead Data Engineer (Python | PySpark | Databricks)

O projekcie: Lead Data Engineer (Python | PySpark | Databricks) Szukamy doświadczonego Senior Data Engineera, który potrafi płynnie przechodzić od strategicznego planowania architektury danych do wdrażania produkcyjnych pipeline'ów. Jeśli chcesz mieć realny wpływ na kształt platform danych, optymalizować nowoczesny stos technologiczny (Modern Data Stack) i wspierać rozwój zespołu – dołącz do nas. Prosimy o aplikacje CV w języku angielskim. --- Warunki zaangażowania: Obszar: Consulting IT Lokalizacja: 100% zdalnie Start: ASAP (akceptujemy kandydatury z max 3msc okresem wypowiedzenia) Stawka (ustalana indywidualnie): 155 - 165 PLN netto + VAT / h Zaangażowanie: B2B (outsourcing z 1dea), full-time, długofalowo Proces rekrutacyjny (100% zdalnie): - Krótka rozmowa telefoniczna informacyjno-zapoznawcza z rekruterem 1dea (~10 min)- Weryfikacja techniczno-projektowa z Klientem (~1 - 1,5 h)- (Jeśli OK) Rozmowa zapoznawcza z przedstawicielem projektu u Klienta końcowego (~ 30 min)- Decyzja o podjęciu współpracy Zakres obowiązków- Projektowanie i architektura: Tworzenie skalowalnych, niezawodnych i efektywnych kosztowo platform oraz pipeline'ów danych dopasowanych do potrzeb biznesu- Wdrożenie (Hands-on): Budowanie i optymalizacja zaawansowanych procesów przetwarzania danych strukturyzowanych i niestrukturyzowanych (end-to-end: od ingestii po warstwę konsumpcyjną)- Standardy i jakość: Wyznaczanie standardów architektonicznych, dbanie o Data Quality, bezpieczeństwo (Security & Compliance) oraz najlepsze praktyki w zespole- Liderstwo techniczne: Mentoring młodszych inżynierów, wsparcie techniczne dla cross-funkcjonalnych zespołów oraz przekładanie wymagań biznesowych na architekturę IT- Rozwiązywanie krytycznych incydentów produkcyjnych i zapewnianie wysokiej dostępności systemów danych Oferujemy- Stabilna współpraca B2B z perspektywą wieloletniej relacji- Rozwój w strukturach dojrzałej organizacji o ugruntowanej renomie i silnej pozycji rynkowej- Kompletne stanowisko pracy: dostarczamy nowoczesny, spersonalizowany sprzęt oraz pełne zaplecze software'owe gotowe do działania- Pełna elastyczność i balans: pracujesz w 100% zdalnie, a dzień zaczynasz tak, jak lubisz – ruchomy start między 7:00 a 11:00- Dedykowany mentoring: stała opieka i partnerskie wsparcie w kreowaniu Twojej ścieżki zawodowej od zespołu ekspertów 1dea- Stawiamy na relacje – budujemy kulturę opartą na wzajemnym szacunku, grze do jednej bramki i dzieleniu się wiedzą- Realny wpływ na projekty: u nas nie ma sztywnych schematów. Masz pełną przestrzeń na zgłaszanie własnych inicjatyw, a Twoje pomysły kształtują nasze rozwiązania Wymagania: Wymagania:- Minimum 5 lat doświadczenia w inżynierii danych, łączącego projektowanie rozwiązań z ich samodzielnym wdrażaniem - Ekspercka znajomość Python: Pisanie czystego, modułowego kodu gotowego na środowiska produkcyjne - Big Data & Ecosystem: Silne doświadczenie z PySpark oraz systemami rozproszonego przetwarzania danych (np. Databricks, Spark) - Architektura danych: Głębokie zrozumienie i praktyka w projektowaniu struktur typu Data Lake, Lakehouse oraz Medallion Architecture  - Cloud Expertise: Praktyczna znajomość usług danych w chmurze (AWS, Azure lub GCP) - Orkiestracja i SQL: Doświadczenie z narzędziami do orkiestracji (np. Apache Airflow, Prefect) oraz zaawansowany SQL (bazy relacyjne i NoSQL) - DevOps dla Data: Dobre zrozumienie praktyk CI/CD, kontroli wersji (Git) i automatyzacji pipeline'ów - Angielski: komunikatywny w mowie i piśmie - poziom B2+  Mile widziane (bonusy): - Zaawansowana znajomość Databricks (Delta Lake, MLflow, optymalizacja wydajności). - Znajomość technik modelowania danych (modele dymensjonalne i znormalizowane) oraz frameworków Data Governance. - Orientacja w pipeline'ach dla Data Science / Machine Learning. Codzienne zadania: - Projektowanie i architektura: Tworzenie skalowalnych, niezawodnych i efektywnych kosztowo platform oraz pipeline'ów danych dopasowanych do potrzeb biznesu - Wdrożenie (Hands-on): Budowanie i optymalizacja zaawansowanych procesów przetwarzania danych strukturyzowanych i niestrukturyzowanych (end-to-end: od ingestii po warstwę konsumpcyjną) - Standardy i jakość: Wyznaczanie standardów architektonicznych, dbanie o Data Quality, bezpieczeństwo (Security & Compliance) oraz najlepsze praktyki w zespole - Liderstwo techniczne: Mentoring młodszych inżynierów, wsparcie techniczne dla cross-funkcjonalnych zespołów oraz przekładanie wymagań biznesowych na architekturę IT - Rozwiązywanie krytycznych incydentów produkcyjnych i zapewnianie wysokiej dostępności systemów danych