Senior Data Engineer [M/F]

O projekcie:
Projekt obejmuje budowę i optymalizację pipeline’ów danych wspierających analitykę, systemy rekomendacyjne oraz rozwiązania Machine Learning. Będziesz współpracować z zespołami Data Science i Engineering, dbając o niezawodność, wydajność oraz wysoką jakość danych w środowisku produkcyjnym.

Wymagania:
- min. 6-letnie doświadczenie w roli Data Engineera,- bardzo dobra znajomość Python, SQL oraz Spark,- doświadczenie w budowie i utrzymaniu dużych pipeline’ów ETL/ELT,- doświadczenie z narzędziami orkiestracyjnymi, np. Apache Airflow,- praktyczne doświadczenie z chmurą: GCP, AWS lub Azure,- doświadczenie w pracy z dużymi wolumenami danych,- znajomość Kubernetes,- dobra znajomość praktyk Software Engineering,- doświadczenie z Git oraz CI/CD,- samodzielność i umiejętność przejmowania odpowiedzialności za działające systemy produkcyjne,- bardzo dobre umiejętności analityczne i rozwiązywania problemów,- zaawansowana znajomość języka angielskiego (min. B2).

Codzienne zadania:
- rozwój, utrzymanie i optymalizację skalowalnych platform danych,
- budowę i obsługę złożonych pipeline’ów ETL/ELT,
- zapewnienie niezawodności pipeline’ów przetwarzających miliardy zdarzeń dziennie,
- monitoring, observability oraz zapewnienie wysokiej jakości danych,
- rozwiązywanie problemów produkcyjnych i dbanie o stabilność infrastruktury,
- współpracę z Data Scientistami, Analystami i zespołami Engineering,
- rozwój narzędzi i frameworków wspierających Data Platform,
- pracę przy rozwiązaniach związanych z ML, streamingiem oraz systemami rekomendacyjnymi,
- utrzymywanie i rozwój infrastruktury działającej w środowisku Kubernetes/GKE,
- rozwój standardów Software Engineering i Data Engineering.