Platform Data Engineer

Razem z naszym Klientem, jednym z liderów w branży ubezpieczeniowej, poszukujemy osoby na stanowisko Platform Data Engineer. Projekt dotyczy budowy i skalowania platformy danych IoT w sektorze ubezpieczeniowym, która umożliwia przekształcanie danych z urządzeń i sensorów w insighty biznesowe. 💡 TWOJA ROLA: • Projektowanie rozwój oraz utrzymanie wydajnych pipeline’ów danych (ETL/ELT) z wykorzystaniem Spark, Python oraz usług AWS. • Budowa i rozwój nowoczesnej platformy danych typu Data Lakehouse wspierającej wiele produktów i obszarów biznesowych. • Implementacja i rozwój orkiestracji workflow oraz automatyzacji procesów CI/CD z wykorzystaniem AWS Step Functions. • Współpraca z zespołami ML w zakresie przygotowania i dostarczania danych pod rozwiązania oparte o SageMaker. • Integracja oraz przetwarzanie danych z różnych źródeł zewnętrznych, m.in. IoT, OEM oraz systemów partnerskich. • Optymalizacja wydajności przetwarzania danych oraz kosztów infrastruktury w środowisku chmurowym. • Zapewnienie jakości danych poprzez walidację, monitoring i observability. 🔍 CZEGO OCZEKUJEMY OD CIEBIE? • Minimum 4 letnie doświadczenie komercyjne w roli Data Engineer lub podobnej. • Doświadczenie komercyjne w pracy w środowisku AWS oraz technologiami Spark, Python i SQL. • Praktyczna znajomość architektury Data Mesh oraz rozwiązań do przetwarzania dużych zbiorów danych. • Doświadczenie w budowie skalowalnych i wysokowydajnych rozwiązań data engineeringowych w środowisku cloud-native. • Praktyczna znajomość Amazon SageMaker oraz zdolność przygotowywania środowisk i danych pod rozwiązania AI/ML. • Doświadczenie z narzędziami orkiestracji i automatyzacji procesów, w szczególności AWS Step Functions. • Znajomość AWS Glue, w tym tworzenia i utrzymania Glue Jobs oraz zarządzania danymi w Glue Catalog. Mile widziane: • Doświadczenie z Terraform w zakresie automatyzacji i zarządzania infrastrukturą jako kodem (IaC). • Doświadczenie w pracy z chmurą Azure oraz narzędziem Azure DevOps. • znajomość narzędzi oraz rozwiązań AI/ML. ✨ OFERUJEMY: • 🤖 Nowoczesny proces rekrutacji z AI Rekruterem (AIR) - podczas aplikacji możesz odbyć rozmowę z wirtualnym rekruterem 24/7, bez czekania na telefon, z natychmiastowym feedbackiem i możliwością powtórzenia rozmowy (liczy się ostatnia wersja). Finalną decyzję zawsze podejmuje Rekruter Connectis. • Uczestnictwo w spotkaniach integracyjnych oraz meetupach technologicznych, umożliwiających dzielenie się wiedzą i doświadczeniem. • Wsparcie dedykowanej osoby kontaktowej z Connectis, dostępnej w celu pomocy w sprawach związanych z projektem. • Rozwój kariery i długofalową współpracę w firmie o ugruntowanej pozycji na rynku. • 5000 PLN za polecenie znajomych do naszych projektów. • Dostęp do najnowszych technologii i narzędzi pracy. • Możliwość pracy 100% zdalnej. • Szybki i zdalny proces. Dziękujemy za wszystkie zgłoszenia. Uprzejmie informujemy, że skontaktujemy się z wybranymi osobami. 12876/RJ