Data Engineer/Architect

Senior Data Engineer / Data Platform Engineer (z elementami architektury) Lokalizacja: Zdalnie Forma współpracy: B2B Wynagrodzenie: 180 - 220zł/h O projekcie Budujemy centralną platformę danych, która integruje dane z wielu systemów operacyjnych i udostępnia je do analityki, raportowania oraz modeli machine learning. System przetwarza zarówno dane wsadowe, jak i strumieniowe, a jego celem jest zapewnienie jednego, spójnego źródła prawdy dla całej organizacji. Projekt obejmuje: • budowę i rozwój hurtowni danych / lakehouse • tworzenie pipeline’ów ETL/ELT • projektowanie warstw danych: raw → staging → curated • wsparcie dla zespołów analitycznych i data science Twoja rola Na tym stanowisku będziesz łączyć pracę inżynierską i architektoniczną: • rozwijać i utrzymywać pipeline’y danych • projektować strukturę i przepływy danych • podejmować decyzje technologiczne dotyczące data stacku • dbać o skalowalność, jakość i wydajność przetwarzania danych Zakres obowiązków • Projektowanie i implementacja pipeline’ów ETL/ELT • Modelowanie danych w hurtowni danych • Optymalizacja zapytań SQL i procesów przetwarzania • Współtworzenie architektury platformy danych • Wdrażanie dobrych praktyk: versioning, testy danych, monitoring • Współpraca z analitykami, data scientistami i zespołem backend Wymagania (must-have) • Bardzo dobra znajomość SQL • Minimum 4–5 lat doświadczenia jako Data Engineer • Doświadczenie w pracy z Pythonem (np. Pandas, PySpark) • Praktyczna znajomość narzędzi orkiestracji (np. Airflow) • Doświadczenie z hurtowniami danych (BigQuery / Snowflake / Redshift / PostgreSQL) • Znajomość przetwarzania dużych wolumenów danych (np. Spark) • Doświadczenie z chmurą: AWS, GCP lub Azure Mile widziane (nice to have) • Doświadczenie w projektowaniu architektury danych • Znajomość koncepcji Data Lake / Lakehouse / Data Mesh • Przetwarzanie strumieniowe (Kafka, Pub/Sub, Kinesis) • Narzędzia do transformacji danych, np. dbt • Docker, Kubernetes i CI/CD Szukamy osoby, która • potrafi pisać wydajny i czytelny kod, ale też myśli o systemie jako całości • interesuje się architekturą danych i chce mieć wpływ na decyzje technologiczne • potrafi proponować ulepszenia i brać odpowiedzialność za rozwiązania Oferujemy • realny wpływ na architekturę platformy danych • pracę z nowoczesnym stackiem chmurowym • dużą autonomię technologiczną • budżet szkoleniowy i czas na rozwój • stabilny projekt z długoterminową perspektywą