Data Engineer (Airflow, ClickHouse)
SQUARE ONE RESOURCES sp. z o.o.
⚲ Kraków
100–110 zł netto (+ VAT) / godz.
Wymagania
- ClickHouse
- Apache Airflow
- ETL/ELT
- SQL
- Hive
- Big Data
Opis stanowiska
Nasze wymagania: Minimum 2 lata komercyjnego doświadczenia z ClickHouse oraz Apache Airflow Znajomość SQL, w tym tworzenie i optymalizacja zapytań Doświadczenie w tworzeniu i utrzymaniu procesów ETL/ELT Umiejętność analizy i walidacji danych (kontrola kompletności i poprawności wyników po zmianach) Doświadczenie w pracy w projektach prowadzonych metodykami zwinnymi Mile widziane: Praktyczna znajomość środowisk Big Data (np. Hive) Doświadczenie w migracji zapytań/procesów między różnymi silnikami analitycznymi O projekcie: Aktualnie do Zespołu Baz i Hurtowni Danych poszukujemy osoby na stanowisko Data Engineer (Airflow, ClickHouse). Zespół składa się z inżynierów danych i backendu pracujących z hurtownią danych oraz bazami PostgreSQL i MySQL. Stale się powiększamy i planujemy utrzymać ten trend. Wspieramy i rozwijamy usługi oraz aplikacje backendowe oparte na hurtowni danych i bazach danych. Tworzymy i utrzymujemy procesy ETL związane ze zbieraniem, przetwarzaniem oraz udostępnianiem danych. Tworzymy nowoczesne rozwiązania dla serwisów internetowych. Zakres obowiązków: Dostosowanie i rozwój DAG-ów w Apache Airflow i ClickHouse Refaktoryzacja oraz optymalizacja zapytań SQL pod ClickHouse (wydajność, koszty, czas wykonania) Projektowanie i modyfikacja struktur oraz procesów w obszarze hurtowni danych Walidacja poprawności danych po migracji (porównania wyników, kontrola kompletności, testy regresji) Monitoring i utrzymanie procesów ETL (analiza błędów, usprawnienia, automatyzacja) Oferujemy: Sprzęt zapewnia klient 100% zdalnie/hybryda Dofinansowanie do Medicover, Medicover Sport