Data Platform Engineer

Nasze wymagania: Minimum 5 lat doświadczenia na stanowisku Data Engineer Bardzo dobra znajomość Pythona, w szczególności w obszarze skryptów, API i budowy pipeline’ów danych Doświadczenie w pracy z Snowflake lub inną nowoczesną hurtownią danych, np. Redshift lub BigQuery Doświadczenie z Apache Airflow w zakresie orkiestracji pipeline’ów danych Dobra znajomość środowiska AWS, w szczególności Glue i Lambda Doświadczenie z Apache Spark w obszarze przetwarzania rozproszonego Znajomość procesów CI/CD oraz narzędzi takich jak GitHub Actions lub podobnych Doświadczenie w integracji z API zewnętrznymi i wewnętrznymi Praktyczna znajomość Git / GitHub workflow Doświadczenie w pracy z PostgreSQL lub innymi bazami OLTP Proaktywne podejście i umiejętność samodzielnego prowadzenia tematów Umiejętność pracy w środowisku cross-funkcyjnym Mile widziane: Doświadczenie z Snowflake Cortex Znajomość Scali, szczególnie w kontekście przetwarzania rozproszonego Znajomość frameworków wykorzystywanych w rozwiązaniach agentowych, np. LangChain, Pydantic Znajomość modeli uprawnień w Snowflake, w tym RBAC i ABAC Doświadczenie z alternatywnymi narzędziami do orkiestracji, np. Dagster lub Prefect O projekcie: Nasz klient to wiodąca globalna firma doradcza z obszaru management consultingu, dostarczająca rozwiązania o wysokim wpływie biznesowym dla różnych branż. Współpracuje z dużymi przedsiębiorstwami z sektora finansowego, medialnego, technologicznego oraz publicznego. O projekcie Projekt jest częścią federacyjnej inicjatywy związanej z dostarczaniem danych. Skupia się na budowie i utrzymaniu solidnych pipeline’ów danych, zbierających i przetwarzających dane z wielu systemów enterprise oraz platform chmurowych. Celem projektu jest dostarczanie kadrze zarządzającej użytecznych insightów, wspieranie zespołów produktowych w targetowaniu grup użytkowników oraz mierzenie inicjatyw związanych z produktywnością opartą na AI. Zakres obowiązków: Budowa pipeline’ów ingestujących dane, integrujących narzędzia AI oraz wewnętrzne platformy do Snowflake Usprawnianie i standaryzacja istniejącej infrastruktury Snowflake Wdrażanie rozwiązań przez pipeline’y CI/CD do Airflow/Glue Obsługa wniosków o dostęp Współpraca z PM-ami i inżynierami przy identyfikowaniu potrzeb danych Oferujemy: Indywidualne wsparcie Service Delivery Managera, który pomoże Ci zaplanować ścieżkę kariery i zadba o komfort w projekcie Szkolenia, certyfikaty i konferencje - dofinansowujemy lub w pełni pokrywamy koszty rozwoju kompetencji technicznych SmartChange – umożliwiamy zmianę projektu i dobieramy kolejny zgodnie z Twoimi preferencjami Nie tylko praca – wyjścia, sport i nasze webinary #edge1talks Aktywność fizyczna – wspieramy sportowe inicjatywy i wynajem sal treningowych Pakiet zdrowotny – prywatna opieka, karta sportowa, ubezpieczenie i wsparcie psychologiczne (HearMe) Elastyczne benefity – sam decydujesz, na co przeznaczasz punkty w naszym systemie benefitowym Bezpłatne lekcje języka angielskiego – dopasowane do Twojego poziomu, idealne do pracy w międzynarodowym środowisku