Platform Data Engineer

O projekcie: Razem z naszym Klientem, jednym z liderów w branży ubezpieczeniowej, poszukujemy osoby na stanowisko Platform Data Engineer. Projekt dotyczy budowy i skalowania platformy danych IoT w sektorze ubezpieczeniowym, która umożliwia przekształcanie danych z urządzeń i sensorów w insighty biznesowe. OFERUJEMY: - Nowoczesny proces rekrutacji z AI Rekruterem (AIR) - podczas aplikacji możesz odbyć rozmowę z wirtualnym rekruterem 24/7, bez czekania na telefon, z natychmiastowym feedbackiem i możliwością powtórzenia rozmowy (liczy się ostatnia wersja). Finalną decyzję zawsze podejmuje Rekruter Connectis.- Uczestnictwo w spotkaniach integracyjnych oraz meetupach technologicznych, umożliwiających dzielenie się wiedzą i doświadczeniem.- Wsparcie dedykowanej osoby kontaktowej z Connectis, dostępnej w celu pomocy w sprawach związanych z projektem.- Rozwój kariery i długofalową współpracę w firmie o ugruntowanej pozycji na rynku.- 5000 PLN za polecenie znajomych do naszych projektów.- Dostęp do najnowszych technologii i narzędzi pracy.- Możliwość pracy 100% zdalnej.- Szybki i zdalny proces. Dziękujemy za wszystkie zgłoszenia. Uprzejmie informujemy, że skontaktujemy się z wybranymi osobami. 12869/RJ Wymagania: - Minimum 4 letnie doświadczenie komercyjne w roli Data Engineera lub podobnej.- Doświadczenie komercyjne w pracy w środowisku AWS oraz technologiami Spark, PySpark, Python i SQL.- Praktyczna znajomość architektury Data Lakehouse oraz rozwiązań do przetwarzania dużych wolumenów danych.- Doświadczenie w budowie skalowalnych i wysokowydajnych rozwiązań data engineeringowych w środowisku cloud-native.- Praktyczna znajomość Amazon SageMaker oraz zdolność przygotowywania środowisk i danych pod rozwiązania AI/ML.- Znajomość dobrych praktyk związanych z jakością danych, monitoringiem i optymalizacją kosztów infrastruktury.- Doświadczenie z narzędziami orkiestracji i automatyzacji procesów, w szczególności AWS Step Functions.- Znajomość Terraform, Azure DevOps oraz praktyk CI/CD w projektach chmurowych. Mile widziane: - Doświadczenie z Azure Databricks, Apache Airflow lub rozwiązaniami opartymi o Apache Kafka.- Praktyczna znajomość koncepcji Data Mesh, Data Catalog oraz Event-Driven Architecture.- Podstawowa znajomość Node.js, TypeScript oraz narzędzi observability. Codzienne zadania: - Projektowanie rozwój oraz utrzymanie wydajnych pipeline’ów danych (ETL/ELT) z wykorzystaniem Spark, Python oraz usług AWS. - Budowa i rozwój nowoczesnej platformy danych typu Data Lakehouse wspierającej wiele produktów i obszarów biznesowych. - Implementacja i rozwój orkiestracji workflow oraz automatyzacji procesów CI/CD z wykorzystaniem AWS Step Functions. - Współpraca z zespołami ML w zakresie przygotowania i dostarczania danych pod rozwiązania oparte o SageMaker. - Integracja oraz przetwarzanie danych z różnych źródeł zewnętrznych, m.in. IoT, OEM oraz systemów partnerskich. - Optymalizacja wydajności przetwarzania danych oraz kosztów infrastruktury w środowisku chmurowym. - Zapewnienie jakości danych poprzez walidację, monitoring i observability.