Senior Data Engineer
⚲ Warszawa
24 360 - 29 400 PLN netto (B2B)
Wymagania
- Python
- Pandas
- Databricks
- PySpark
Opis stanowiska
W ITLT pomagamy naszym zaprzyjaźnionym firmom przekształcać ambitne pomysły w cyfrową rzeczywistość. Z nastawieniem na wyzwania, ciekawość technologii i zwinność współtworzymy wyjątkowe rozwiązania IT i zapewniamy doświadczone osoby eksperckie, które pomagają przyspieszać cyfrową transformację.
Aktualnie poszukujemy profilu na stanowisko: Senior Data Engineer
Informacje organizacyjne:
•
Forma współpracy: Kontrakt B2B (bezpośrednio z IT LeasingTeam).
• Budżet: Do 145-175 PLN/h netto + VAT
• Tryb pracy: W 100% zdalnie lub hybrydowo (do pełnego ustalenia).
• Wymiar pracy: Full-time (współpraca długoterminowa), standardowe godziny pracy.
• Dostępność: Najlepiej od zaraz (maksymalnie 1-miesięczny okres wypowiedzenia jest akceptowalny).
• Sektor: Doradztwo biznesowe / Finanse.
• Projekt:
Dołączysz do nowo budowanego zespołu, tworzącego nowoczesne, oparte na sztucznej inteligencji rozwiązania wspierające procesy w obszarze usług podatkowych. Inicjatywa realizowana jest we współpracy z naszym globalnym partnerem technologicznym dla absolutnego lidera na rynku doradztwa i audytu.
To środowisko tętniące nowoczesnymi technologiami – znajdziesz tu chmurę Azure, architekturę mikrousługową, a także najnowsze rozwiązania z obszaru GenAI (RAG Pipelines, LangGraph, LangChain). Twoim głównym zadaniem, jako Senior Data Engineera, będzie zaprojektowanie i dostarczenie wysoce skalowalnych i wydajnych przepływów danych (głównie w Databricks), które będą stanowiły fundament dla tych innowacyjnych platform.
• Do Twoich głównych obowiązków na tym stanowisku należeć będzie:
• Kompleksowe projektowanie, implementacja i utrzymanie zaawansowanych aplikacji opartych na Apache Spark.
• Wyznaczanie i egzekwowanie standardów kodowania oraz najlepszych praktyk inżynierskich poprzez merytoryczny code review.
• Przekładanie procedur składowanych SQL na nowoczesne, zoptymalizowane rozwiązania w ekosystemie PySpark/Spark SQL.
• Zapewnienie maksymalnej wydajności i skalowalności dla przetwarzanych wolumenów danych w środowisku produkcyjnym.
• Bieżąca, ścisła współpraca z interdyscyplinarnym zespołem (architekci, deweloperzy, eksperci biznesowi) oraz bezpośrednia komunikacja z klientem.
• Diagnozowanie i sprawne usuwanie technicznych wąskich gardeł w przepływach danych.
• Tworzenie i aktualizowanie dokumentacji technicznej dla wdrażanych rozwiązań i procesów.
Oczekiwania:
• Minimum 5 lat komercyjnego doświadczenia w obszarze wytwarzania oprogramowania (z wyraźnym fokusem na inżynierię danych).
• Zaawansowana, praktyczna znajomość języka Python i jego bibliotek służących do przetwarzania i analizy danych (szczególnie Pandas lub Polars).
• Głęboka znajomość ekosystemu Databricks i PySpark (w tym zarządzanie klastrami, orkiestracja zadań).
• Biegłość w pracy z kolumnowymi formatami zapisu danych (głównie Parquet) oraz biegłość w architekturze Delta Tables.
• Doświadczenie w udanej migracji klasycznego SQL (stored procedures) do nowoczesnych środowisk Sparkowych.
• Udokumentowane sukcesy w optymalizowaniu wydajności procesów Spark w systemach o rygorystycznych wymaganiach produkcyjnych.
• Zrozumienie założeń architektury rozproszonej i mikrousługowej z perspektywy skalowania systemów danych.
• Zdolności analityczne na najwyższym poziomie oraz umiejętność wypracowywania pragmatycznych, elastycznych rozwiązań dopasowanych do potrzeb biznesowych.• Mile widziane:
Praktyczna znajomość ekosystemu chmury Microsoft Azure (w tym takich usług jak: Data Lake, Blob Storage, Service Bus, Redis).
Znajomość narzędzi do konteneryzacji i zarządzania aplikacjami (Docker, Kubernetes).
Doświadczenie z frameworkiem FastAPI.
Oferujemy:
• Długofalową współpracę B2B z IT LeasingTeam.
• Dostęp do benefitów: Multisport, ubezpieczenie PZU, opieka medyczna LuxMed.
• Przejrzysty kontakt z rekruterem ITLT, dzięki czemu zawsze wiesz, na jakim etapie procesu jesteś – gramy w otwarte karty na każdym kroku rekrutacji
Aktualnie poszukujemy profilu na stanowisko: Senior Data Engineer
Informacje organizacyjne:
•
Forma współpracy: Kontrakt B2B (bezpośrednio z IT LeasingTeam).
• Budżet: Do 145-175 PLN/h netto + VAT
• Tryb pracy: W 100% zdalnie lub hybrydowo (do pełnego ustalenia).
• Wymiar pracy: Full-time (współpraca długoterminowa), standardowe godziny pracy.
• Dostępność: Najlepiej od zaraz (maksymalnie 1-miesięczny okres wypowiedzenia jest akceptowalny).
• Sektor: Doradztwo biznesowe / Finanse.
• Projekt:
Dołączysz do nowo budowanego zespołu, tworzącego nowoczesne, oparte na sztucznej inteligencji rozwiązania wspierające procesy w obszarze usług podatkowych. Inicjatywa realizowana jest we współpracy z naszym globalnym partnerem technologicznym dla absolutnego lidera na rynku doradztwa i audytu.
To środowisko tętniące nowoczesnymi technologiami – znajdziesz tu chmurę Azure, architekturę mikrousługową, a także najnowsze rozwiązania z obszaru GenAI (RAG Pipelines, LangGraph, LangChain). Twoim głównym zadaniem, jako Senior Data Engineera, będzie zaprojektowanie i dostarczenie wysoce skalowalnych i wydajnych przepływów danych (głównie w Databricks), które będą stanowiły fundament dla tych innowacyjnych platform.
• Do Twoich głównych obowiązków na tym stanowisku należeć będzie:
• Kompleksowe projektowanie, implementacja i utrzymanie zaawansowanych aplikacji opartych na Apache Spark.
• Wyznaczanie i egzekwowanie standardów kodowania oraz najlepszych praktyk inżynierskich poprzez merytoryczny code review.
• Przekładanie procedur składowanych SQL na nowoczesne, zoptymalizowane rozwiązania w ekosystemie PySpark/Spark SQL.
• Zapewnienie maksymalnej wydajności i skalowalności dla przetwarzanych wolumenów danych w środowisku produkcyjnym.
• Bieżąca, ścisła współpraca z interdyscyplinarnym zespołem (architekci, deweloperzy, eksperci biznesowi) oraz bezpośrednia komunikacja z klientem.
• Diagnozowanie i sprawne usuwanie technicznych wąskich gardeł w przepływach danych.
• Tworzenie i aktualizowanie dokumentacji technicznej dla wdrażanych rozwiązań i procesów.
Oczekiwania:
• Minimum 5 lat komercyjnego doświadczenia w obszarze wytwarzania oprogramowania (z wyraźnym fokusem na inżynierię danych).
• Zaawansowana, praktyczna znajomość języka Python i jego bibliotek służących do przetwarzania i analizy danych (szczególnie Pandas lub Polars).
• Głęboka znajomość ekosystemu Databricks i PySpark (w tym zarządzanie klastrami, orkiestracja zadań).
• Biegłość w pracy z kolumnowymi formatami zapisu danych (głównie Parquet) oraz biegłość w architekturze Delta Tables.
• Doświadczenie w udanej migracji klasycznego SQL (stored procedures) do nowoczesnych środowisk Sparkowych.
• Udokumentowane sukcesy w optymalizowaniu wydajności procesów Spark w systemach o rygorystycznych wymaganiach produkcyjnych.
• Zrozumienie założeń architektury rozproszonej i mikrousługowej z perspektywy skalowania systemów danych.
• Zdolności analityczne na najwyższym poziomie oraz umiejętność wypracowywania pragmatycznych, elastycznych rozwiązań dopasowanych do potrzeb biznesowych.• Mile widziane:
Praktyczna znajomość ekosystemu chmury Microsoft Azure (w tym takich usług jak: Data Lake, Blob Storage, Service Bus, Redis).
Znajomość narzędzi do konteneryzacji i zarządzania aplikacjami (Docker, Kubernetes).
Doświadczenie z frameworkiem FastAPI.
Oferujemy:
• Długofalową współpracę B2B z IT LeasingTeam.
• Dostęp do benefitów: Multisport, ubezpieczenie PZU, opieka medyczna LuxMed.
• Przejrzysty kontakt z rekruterem ITLT, dzięki czemu zawsze wiesz, na jakim etapie procesu jesteś – gramy w otwarte karty na każdym kroku rekrutacji
🔍 Dekoder Ogłoszenia
🟡
współtworzymy wyjątkowe rozwiązania IT
Może oznaczać, że będziesz miał realny wpływ na kształt rozwiązań, ale równie dobrze może to być ogólne stwierdzenie marketingowe.
🟡
zapewniamy doświadczone osoby eksperckie
Sugestia wsparcia i wiedzy od innych, ale może też oznaczać, że będziesz musiał dużo tłumaczyć nowym osobom lub że zespół jest mocno zróżnicowany pod względem doświadczenia.
🟡
Dołączysz do nowo budowanego zespołu
Oznacza to szansę na kształtowanie procesów i kultury zespołu od podstaw, ale także potencjalne wyzwania związane z brakiem ustalonych procedur i koniecznością szybkiego adaptowania się.
🟡
Nowoczesne, oparte na sztucznej inteligencji rozwiązania
Choć brzmi to ekscytująco, może oznaczać, że projekt jest na wczesnym etapie rozwoju i wymagać będzie dużo eksperymentowania oraz rozwiązywania problemów związanych z nowymi technologiami.
🟡
absolutnego lidera na rynku doradztwa i audytu
Współpraca z dużym, renomowanym klientem może oznaczać stabilność i prestiż, ale także potencjalnie sztywne wymagania, długie procesy decyzyjne i biurokrację.