Senior Databricks Engineer (he/she)

O Grupie Astek Założona w 1988 roku we Francji Grupa Astek jest światowym partnerem w obszarze doradztwa inżynieryjnego oraz IT. Dzięki swojej wiedzy specjalistycznej w wielu sektorach przemysłowych i technologicznych, Astek wspiera międzynarodowych Klientów w rozwijaniu i wdrażaniu produktów oraz usług, jednocześnie uczestnicząc w ich transformacji cyfrowej. Grupa Astek od momentu powstania opiera swój rozwój na kulturze przedsiębiorczości i innowacyjności oraz na budowaniu umiejętności swoich ponad 10 000 pracowników, którzy codziennie uczestniczą w zróżnicowanych projektach technologicznych i inżynieryjnych. Dołącz do silnie rozwijającej się we Francji i na całym świecie Grupy, której obroty w 2024 r. wyniosły 705 milionów euro. Zapraszamy na https://astek.net po więcej szczegółów.  Stanowisko Obecnie dla naszego klienta z branży commerce poszukujemy kandydata/kandydatki na stanowisko Senior Databricks Engineera/-ki. Oferowane wynagrodzenie Wynagrodzenie: od 1200 - 1360 PLN netto/dzień, w zależności od posiadanego doświadczenia i kompetencji. Model pracy : 100% zdalnie – najlepiej, gdybyś pracował z terytorium PL. Sprawdzisz się w tej roli, jeżeli: • Posiadasz ekspercką znajomość PySpark • Zaawansowana znajomość Spark SQL. • Praktyczna znajomość Delta Lake (Delta tables, Z-Ordering, OPTIMIZE, VACUUM, Time Travel). Dodatkowo: • Doświadczenie z Azure DevOps, pipelines CI/CD. • Bardzo dobra znajomość Git, w tym branching strategies. • Praktyczna praca z Databricks Repos. • Umiejętność przygotowywania zestawów danych i modeli na potrzeby raportowania. • Bardzo zaawansowana znajomość Azure Databricks oraz Azure Data Lake Storage (ADLS Gen2). • Doświadczenie w budowaniu architektury medallion (bronze/silver/gold). • Bardzo dobra znajomość Azure Synapse Analytics LUB • Doświadczenie z Azure SQL Database / SQL Server (modelowanie, optymalizacja zapytań, performance tuning). • Doświadczenie w Azure Data Factory – pipelines, mapping data flows, triggerowanie procesów. Mile widziane: • Znajomość Pythona w kontekście skryptów i integracji poza Sparkiem. • Znajomość REST API – implementacja i konsumpcja. • Znajomość Terraform – provisioning infrastruktury (ADF, Databricks, storage, networking). Zadania, które na Ciebie czekają: • Projektowanie, implementacja i optymalizacja rozwiązań data engineeringowych w oparciu o Azure Databricks, ADLS Gen2 oraz format Delta Lake. • Tworzenie i utrzymywanie pipeline'ów przetwarzania danych z wykorzystaniem PySpark, Spark SQL oraz architektury medallion. • Projektowanie wydajnych i niezawodnych procesów ETL/ELT oraz ich orkiestracja w Azure Data Factory. • Implementacja modeli danych i warstw servingowych w oparciu o Azure Synapse Analytics lub Azure SQL Database/SQL Server. • Budowa i utrzymanie środowiska deweloperskiego z użyciem Git, Azure DevOps oraz Databricks Repos (branching, code review, standardy kodowania). • Dbałość o jakość i optymalizację kosztową pipeline’ów – cluster sizing, autoscaling, tuning Spark. • Tworzenie integracji z systemami zewnętrznymi z wykorzystaniem REST API. • Współtworzenie infrastruktury jako kod przy użyciu Terraform (IaC). • Przygotowywanie danych na potrzeby raportowania i analityki, w tym integracja z Power BI. • Udział w projektowaniu architektury platformy danych i rekomendowanie najlepszych praktyk. • Pełnienie roli technicznego autorytetu w zespole (benchmark), mentoring, wsparcie merytoryczne, wprowadzanie standardów i dobrych praktyk. • Współpraca z analitykami, data scientistami i zespołem biznesowym w celu dostarczenia skalowalnych i odpornych rozwiązań. Nasz proces rekrutacji Rozmowa z naszym Rekruterem -> Rozmowa z naszym Business Managerem -> Spotkanie z Klientem W uzasadnionych przypadkach po rozmowie z Rekruterem wprowadzamy dodatkowy etap weryfikacji technicznej Potrzebujesz więcej informacji? Skontaktuj się ze mną: anna.jarecka@astek.netCo oferujemy • Długoterminowa współpraca • Szkolenia techniczne, certyfikaty i podnoszenie kwalifikacji • Mentoring Competence Center - bycie członkiem społeczności CC od pierwszego dnia pracy jest szansą na rozwijanie swoich umiejętności, uczestniczenie w różnych konferencjach oraz dzielenie się wiedzą i doświadczeniem z ludźmi, którzy na co dzień mierzą się z tymi samymi wyzwaniami • Jasna ścieżka kariery • Pakiet benefitów pracowniczych (Multisport, prywatna opieka medyczna, ubezpieczenie na życie) • Przyjazną atmosferę pracy, imprezy integracyjne i spotkania team-buildingowe System rekomendacji Znasz kogoś, kogo zainteresuje ta oferta? Skorzystaj z naszego systemu rekomendacji i zgarnij bonus do 7000 zl! Link: https://astek.pl/system-rekomendacji/ Klauzula informacyjna Administratorem Pana/Pani danych osobowych jest ASTEK Polska sp. z o.o. z siedziba w Warszawie (00-133) przy Al. Jana Pawla II 22. Przysługuje Pani/Panu prawo do wglądu do danych, prawo żądania usunięcia danych itp. Szczegółowe informacje dotyczace przetwarzania: http://astek.pl/polityka-prywatnosci W dowolnym momencie przysługuje Panu/Pani prawo do wycofania wyrażonych zgód. W razie wycofania zgód prosimy o kontakt e-mailowy na adresprivacy@astek.pllub pisemnie na adres administratora. Procedura dokonywania zgłoszeń przez sygnalistów w ASTEK Polska sp. z o. o.: https://astek.pl/sygnalisci/ Nr ref AO225421