Senior Databricks Engineer (he/she)

O projekcie: O Grupie Astek Założona w 1988 roku we Francji Grupa Astek jest światowym partnerem w obszarze doradztwa inżynieryjnego oraz IT. Dzięki swojej wiedzy specjalistycznej w wielu sektorach przemysłowych i technologicznych, Astek wspiera międzynarodowych Klientów w rozwijaniu i wdrażaniu produktów oraz usług, jednocześnie uczestnicząc w ich transformacji cyfrowej. Grupa Astek od momentu powstania opiera swój rozwój na kulturze przedsiębiorczości i innowacyjności oraz na budowaniu umiejętności swoich ponad 10 000 pracowników, którzy codziennie uczestniczą w zróżnicowanych projektach technologicznych i inżynieryjnych. Dołącz do silnie rozwijającej się we Francji i na całym świecie Grupy, której obroty w 2024 r. wyniosły 705 milionów euro. Stanowisko Obecnie dla naszego klienta z branży commerce poszukujemy kandydata/kandydatki na stanowisko Senior Databricks Engineera/-ki. Oferowane wynagrodzenie Wynagrodzenie: od 1200 - 1360 PLN netto/dzień, w zależności od posiadanego doświadczenia i kompetencji. Model pracy : 100% zdalnie – najlepiej, gdybyś pracował z terytorium PL. Nasz proces rekrutacji Rozmowa z naszym Rekruterem -> Rozmowa z naszym Business Managerem -> Spotkanie z Klientem W uzasadnionych przypadkach po rozmowie z Rekruterem wprowadzamy dodatkowy etap weryfikacji technicznej Potrzebujesz więcej informacji? Skontaktuj się ze mną: anna.jarecka@astek.net Co oferujemy - Długoterminowa współpraca - Szkolenia techniczne, certyfikaty i podnoszenie kwalifikacji - Mentoring Competence Center - bycie członkiem społeczności CC od pierwszego dnia pracy jest szansą na rozwijanie swoich umiejętności, uczestniczenie w różnych konferencjach oraz dzielenie się wiedzą i doświadczeniem z ludźmi, którzy na co dzień mierzą się z tymi samymi wyzwaniami - Jasna ścieżka kariery - Pakiet benefitów pracowniczych (Multisport, prywatna opieka medyczna, ubezpieczenie na życie) - Przyjazną atmosferę pracy, imprezy integracyjne i spotkania team-buildingowe System rekomendacji Znasz kogoś, kogo zainteresuje ta oferta? Skorzystaj z naszego systemu rekomendacji i zgarnij bonus do 7000 zl! Nr ref AO225421 Wymagania: - Posiadasz ekspercką znajomość PySpark - Zaawansowana znajomość Spark SQL. - Praktyczna znajomość Delta Lake (Delta tables, Z-Ordering, OPTIMIZE, VACUUM, Time Travel). - Doświadczenie z Azure DevOps, pipelines CI/CD. - Bardzo dobra znajomość Git, w tym branching strategies. - Praktyczna praca z Databricks Repos. - Umiejętność przygotowywania zestawów danych i modeli na potrzeby raportowania. - Bardzo zaawansowana znajomość Azure Databricks oraz Azure Data Lake Storage (ADLS Gen2). - Doświadczenie w budowaniu architektury medallion (bronze/silver/gold). - Bardzo dobra znajomość Azure Synapse Analytics LUB - Doświadczenie z Azure SQL Database / SQL Server (modelowanie, optymalizacja zapytań, performance tuning). - Doświadczenie w Azure Data Factory – pipelines, mapping data flows, triggerowanie procesów. Codzienne zadania: - Projektowanie, implementacja i optymalizacja rozwiązań data engineeringowych w oparciu o Azure Databricks, ADLS Gen2 oraz format Delta Lake. - Tworzenie i utrzymywanie pipeline'ów przetwarzania danych z wykorzystaniem PySpark, Spark SQL oraz architektury medallion. - Projektowanie wydajnych i niezawodnych procesów ETL/ELT oraz ich orkiestracja w Azure Data Factory. - Implementacja modeli danych i warstw servingowych w oparciu o Azure Synapse Analytics lub Azure SQL Database/SQL Server. - Budowa i utrzymanie środowiska deweloperskiego z użyciem Git, Azure DevOps oraz Databricks Repos (branching, code review, standardy kodowania). - Dbałość o jakość i optymalizację kosztową pipeline’ów – cluster sizing, autoscaling, tuning Spark. - Tworzenie integracji z systemami zewnętrznymi z wykorzystaniem REST API. - Współtworzenie infrastruktury jako kod przy użyciu Terraform (IaC). - Przygotowywanie danych na potrzeby raportowania i analityki, w tym integracja z Power BI. - Udział w projektowaniu architektury platformy danych i rekomendowanie najlepszych praktyk. - Pełnienie roli technicznego autorytetu w zespole (benchmark), mentoring, wsparcie merytoryczne, wprowadzanie standardów i dobrych praktyk. - Współpraca z analitykami, data scientistami i zespołem biznesowym w celu dostarczenia skalowalnych i odpornych rozwiązań.