Inżynier Danych (Data Engineer / Analytics Engineer) ( m/k)
⚲ Warszawa, Targówek
Wymagania
- Apache Airflow
- OLAP
- Docker
- SQL
- data build tool
- PostgreSQL
Opis stanowiska
Nasze wymagania: Kompetencje techniczne: ETL/ELT: Praktyczna umiejętność projektowania i edycji złożonych procesów przepływu danych. Modelowanie danych: Biegłość w projektowaniu struktur bazodanowych oraz znajomość technologii OLAP (przetwarzanie analityczne). Airflow: Bardzo dobra znajomość narzędzia Apache Airflow w zakresie budowy DAG-ów oraz administracji środowiskiem. Konteneryzacja: Praktyczna znajomość środowisk Docker (tworzenie i modyfikacja obrazów, zarządzanie kontenerami). SQL & Validation: Zaawansowana znajomość SQL oraz umiejętność projektowania systemów kontroli jakości danych. Mile widziane: Doświadczenie w pracy z dbt (data build tool) i pisanie czystego kodu w języku Python. Znajomość narzędzia Apache Superset do wizualizacji i eksploracji danych. Znajomość środowiska bazodanowego PostgreSQL Doświadczenie w pracy z zewnętrznymi API O projekcie: Szukamy osoby samodzielnej, która potrafi spojrzeć na dane nie tylko przez pryzmat kodu, ale przede wszystkim ich wartości biznesowej. Jeśli potrafisz sprawnie poruszać się między czystym SQL-em a konfiguracją kontenera na produkcji – to stanowisko jest dla Ciebie. Zakres obowiązków: • Projektowanie i rozwój: Tworzenie oraz optymalizacja procesów ETL/ELT z wykorzystaniem technologii dbt (data build tool) oraz Python. • Architektura danych: Projektowanie i rozwój struktur bazodanowych (hurtowni danych) dedykowanych pod zaawansowaną analitykę i raportowanie. • Orkiestracja: Pełne utrzymanie platformy Apache Airflow (konfiguracja, aktualizacje, wdrażanie nowych funkcjonalności). • DevOps & Docker: Zarządzanie i edycja środowisk kontenerowych (Docker) w celu zapewnienia stabilności procesów przetwarzania danych. • Jakość danych: Implementacja i nadzór nad procesami walidacji danych wewnątrz baz danych.