Data Engineer

Klient to dynamicznie rozwijająca się firma działająca w obszarze analityki danych i Data-as-a-Service. Specjalizuje się w przetwarzaniu dużych wolumenów danych rynkowych i udostępnianiu ich w nowoczesnych, otwartych formatach. Organizacja buduje skalowalne platformy danych i zaawansowane pipeline’y wspierające klientów z sektora finansowego w analizie i podejmowaniu decyzji inwestycyjnych. Obowiązki: • Wsparcie w migracji wielopetabajtowych danych z Snowflake/Parquet do Databricks na AWS (S3), z silnym naciskiem na praktyczne wsparcie inżynierskie. • Projektowanie i implementacja struktur danych w formacie Delta Lake dla efektywnego Delta Sharing i dalszego wykorzystania. • Współudział w budowie nowoczesnego Data Warehouse i Data Lakehouse (Delta Lake) – w tym najlepsze praktyki dotyczące układu danych, partycjonowania, wydajności i zarządzania. • Weryfikacja i konsultacje dotyczące obecnej roadmapy technologicznej (Databricks, Snowflake, AWS, Delta Lake). • Ścisła współpraca z zespołem danych w zakresie:• transferu wiedzy, • wsparcia wdrożenia najlepszych praktyk, • usuwania wąskich gardeł technicznych i przyspieszania realizacji projektów. Wymagania techniczne • Bardzo zaawansowane, praktyczne doświadczenie z Databricks na AWS, w tym: • praca z formatem Delta Lake, • Delta Sharing, • optymalizacja ETL/ELT, • orkiestracja i tuning wydajności w środowisku chmurowym (AWS + S3). • Doświadczenie produkcyjne w Snowflake, w tym: • migracje danych, • modelowanie danych, • integracje między platformami (Snowflake, Databricks, inne źródła danych). • Doświadczenie w pracy z dużymi wolumenami danych (do petabajtów) i transformacjami w formacie Parquet, w tym konwersja do Delta Lake. • Projektowanie i implementacja architektur danych umożliwiających szybkie, wydajne i bezpieczne udostępnianie danych (szczególnie Delta Lake i Delta Sharing). • Doświadczenie w projektach migracyjnych, optymalizacji wydajności oraz budowie skalowalnych i niezawodnych pipeline’ów na AWS. • Umiejętność współpracy z zespołem technicznym i biznesowym – w tym udział w dyskusjach architektonicznych i proponowanie rozwiązań alternatywnych. • Silne umiejętności SQL oraz Python lub Scala (preferowane przy Databricks na AWS).