Data Engineer (Airflow, ClickHouse)

Nasze wymagania: minimum rok komercyjnego doświadczenia z ClickHouse oraz Apache Airflow znajomość SQL, w tym tworzenie i optymalizacja zapytań doświadczenie w tworzeniu i utrzymaniu procesów ETL/ELT umiejętność analizy i walidacji danych (kontrola kompletności i poprawności wyników po zmianach) kreatywność i umiejętność rozwiązywania problemów doświadczenie w pracy w projektach prowadzonych metodykami zwinnymi Mile widziane: praktyczna znajomość środowisk Big Data (np. Hive) doświadczenie w migracji zapytań/procesów między różnymi silnikami analitycznych O projekcie: Zespół składa się z inżynierów danych i backendu pracujących z hurtownią danych oraz bazami PostgreSQL i MySQL. Stale się powiększamy i planujemy utrzymać ten trend. Wspieramy i rozwijamy usługi oraz aplikacje backendowe oparte na hurtowni danych i bazach danych. Tworzymy i utrzymujemy procesy ETL związane ze zbieraniem, przetwarzaniem oraz udostępnianiem danych. Tworzymy nowoczesne rozwiązania dla serwisów Interia.pl oraz poczta.interia.pl. Zakres obowiązków: dostosowanie i rozwój DAG-ów w Apache Airflow i ClickHouse refaktoryzacja oraz optymalizacja zapytań SQL pod ClickHouse (wydajność, koszty, czas wykonania) projektowanie i modyfikacja struktur oraz procesów w obszarze hurtowni danych walidacja poprawności danych po migracji (porównania wyników, kontrola kompletności, testy regresji) monitoring i utrzymanie procesów ETL (analiza błędów, usprawnienia, automatyzacja) aktywne uczestnictwo w ocenie technologii i narzędzi oraz proponowanie najlepszych rozwiązań dzielenie się wiedzą w zespole Oferujemy: zatrudnienie na podstawie umowy o pracę lub współpracę B2B pracę w modelu hybrydowym lub zdalnym oraz przyjazną przestrzeń biurową pracę w firmie o ugruntowanej pozycji rynkowej – u jednego z największych wydawców internetowych w Polsce, będącej częścią największej grupy medialnej w naszym kraju pakiet benefitów pozapłacowych (prywatna opieka medyczna, karta sportowa, ubezpieczenie na życie, zniżki na firmowe produkty i usługi, spotkania firmowe) niekorporacyjną, swobodną i kreatywną atmosferę – startupowy klimat w połączeniu z możliwościami i stabilnością dużej firmy cykliczne spotkania Dev Tank, bo stawiamy na dzielenie się wiedzą i rozwój dostęp do szkoleń i konferencji