Data Platform Engineer (Apache Druid) [M/F]

Wymagania:
- Min. 5-letnie doświadczenie na podobnym stanowisku,- Praktyczne doświadczenie z Apache Druid, w szczególności w zakresie ingestii danych i tworzenia rozszerzeń.- Doświadczenie w budowaniu i utrzymywaniu pipeline’ów danych opartych na Apache Kafka.- Znajomość Apache Flink lub innych technologii przetwarzania strumieniowego.- Bardzo dobra znajomość MySQL, w tym optymalizacji zapytań i tuningu wydajności baz danych.- Doświadczenie w implementacji mechanizmów metadata enrichment w platformach danych.- Praktyczne doświadczenie w integracji i utrzymaniu rozwiązań RBAC w środowiskach obejmujących wiele baz i źródeł danych.- Doświadczenie w pracy z AWS, szczególnie S3, Aurora i IAM.- Umiejętność rozwiązywania złożonych problemów związanych z inżynierią danych i skalowalnością platform.- Umiejętność analitycznego myślenia i efektywnej współpracy zespołowej.

Codzienne zadania:
- Rozwój i utrzymanie procesów ingestii danych w Apache Druid oraz tworzenie dedykowanych rozszerzeń (extensions).
- Projektowanie, budowanie i utrzymanie pipeline’ów danych opartych na Apache Kafka.
- Rozwój rozwiązań do przetwarzania danych strumieniowych z wykorzystaniem Apache Flink lub podobnych technologii.
- Implementacja mechanizmów preagregacji i wzbogacania danych (data enrichment).
- Optymalizacja zapytań MySQL oraz poprawa wydajności baz danych w środowiskach o dużej skali.
- Projektowanie i wdrażanie mechanizmów wzbogacania metadanych (metadata enrichment) w różnych systemach danych.
- Integracja i utrzymanie mechanizmów kontroli dostępu RBAC w ramach platformy danych.
- Praca z usługami AWS, w szczególności S3, Aurora i IAM.
- Współpraca z zespołami odpowiedzialnymi za rozwój platform danych i architektury lakehouse.