Data Engineer

Zakres obowiązków ·        Projektowanie, budowa i utrzymanie skalowalnych pipeline’ów danych (ETL/ELT) od pozyskania po udostępnienie danych. ·        Rozwój i optymalizacja systemów przetwarzania danych batch i real-time (w tym architektury oparte o zdarzenia i streaming). ·        Tworzenie i utrzymywanie procesów integracji danych z wielu źródeł - strukturalnych, półstrukturalnych i nieustrukturalnych. ·        Praca z technologiami Big Data i chmurowymi (np. AWS/GCP/Azure, Spark, Kafka, AWS Glue, Athena, Amazon Kinesis). ·        Wdrażanie i rozwój orkiestracji workflowów danych (np. Airflow, Prefect, dbt). ·        Zapewnienie jakości danych poprzez walidację, czyszczenie, monitoring i obsługę błędów w pipeline’ach. ·        Optymalizacja wydajności, niezawodności i skalowalności systemów przetwarzania danych. ·        Udział w procesach DevOps dla data pipeline’ów (CI/CD, automatyzacja wdrożeń, obserwowalność systemów). Wymagania ·        Min. 5 lat doświadczenia w inżynierii danych, Big Data ·        Bardzo dobra znajomość języka Python oraz podstaw backend developmentu. ·        Praktyczne doświadczenie w pracy z Apache Spark (PySpark/Scala) oraz SQL. ·        Znajomość przetwarzania danych w dużej skali i optymalizacji wydajności. ·        Doświadczenie w pracy z chmurą (AWS/GCP/Azure), w tym S3 i pokrewnymi usługami. ·        Doświadczenie w budowie i utrzymaniu pipeline’ów danych (ETL/ELT). ·        Znajomość narzędzi takich jak Airflow oraz CI/CD (DevOps). ·        Umiejętność projektowania skalowalnych modeli danych oraz pracy z bazami relacyjnymi (np. PostgreSQL) i time-stream ·        Mile widziane doświadczenie w konfiguracji, zasilaniu i optymalizacji baz wektorowych. ·        Doświadczenie w przetwarzaniu danych strumieniowych (z np. Amazon Kinesis, Kafka) ·        Doświadczenie w zapewnianiu jakości danych, testowaniu, monitoringu i utrzymaniu niezawodnych systemów produkcyjnych. ·        Bardzo dobre umiejętności analityczne, komunikacyjne i organizacyjne. ·        Biegła znajomość języka angielskiego i polskiego. Mile widziane ·       Praktyczna znajomość narzędzi analitycznych, w szczególności MS Power BI oraz Amazon Redshift.  Oferujemy  ·        Współpracę opartą w pełni na modelu B2B ·        Swobodę w sposobie realizacji usług ·        Wynagrodzenie za świadczone usługi: 145-160 PLN netto + VAT ·        Realizację ciekawych projektów