JustJoin.IT
Stacjonarnie
Mid
Analytics Engineer (m/k/os)
⚲ Warszawa
Do uzgodnienia
Wymagania
- Python
- Databricks
- PySpark
- Delta Lake
- Azure
- Terraform
- IaC
- Docker
- Kubernetes
- CI/CD
Opis stanowiska
Twój zakres obowiązków
• Projektowanie i implementacja skalowalnych potoków danych w Azure, orkiestrowanych w Dagster
• Przetwarzanie danych na platformie Databricks: optymalizacja zadań Spark, zarządzanie klastrami, rozwiązania oparte na Delta Lake
• Budowa rozwiązań przetwarzania danych w czasie rzeczywistym w architekturze zdarzeniowej (Apache Kafka, Debezium)
• Tworzenie reużywalnych komponentów i bibliotek w Pythonie, które standaryzują procesy ETL/ELT
• Zarządzanie infrastrukturą Azure w Terraform, w tym AKS, zasobami Databricks, bazami danych i siecią
• Konteneryzacja aplikacji i procesów danych (Docker) oraz ich orkiestracja i skalowanie na Kubernetes
• Budowa w pełni zautomatyzowanych procesów CI/CD (Azure DevOps / GitHub Actions) dla Kubernetes i Databricks
• Wdrażanie podejścia „Everything as Code”: kod, testy, Dockerfile, manifesty K8s i Terraform wersjonowane w Git
• Projektowanie systemów monitorowania, logowania i alertowania oraz observability (np. OpenMetadata)
• Optymalizacja wydajności i kosztów procesów na Azure i Databricks
• Współpraca z zespołami Data Engineering, Data Science i BI oraz mentoring w zakresie praktyk DataOps
Nasze wymagania
• Min. 3 lata doświadczenia w obszarze Data Engineering, DataOps lub DevOps dla danych
• Bardzo dobra znajomość Pythona (kod produkcyjny, tworzenie bibliotek) oraz SQL
• Praktyczne doświadczenie z Databricks i PySpark, w tym Delta Lake
• Doświadczenie z usługami chmury Azure
• Znajomość Terraform i podejścia Infrastructure as Code
• Praktyczna znajomość Dockera i Kubernetes (mile widziane AKS)
• Doświadczenie w budowie pipeline’ów CI/CD (Azure DevOps lub GitHub Actions) oraz biegła praca z Git
• Doświadczenie z narzędziami do orkiestracji (Dagster, Airflow lub podobne)
• Znajomość języka angielskiego na poziomie umożliwiającym pracę z dokumentacją techniczną
Mile widziane
• Doświadczenie z Apache Kafka i Change Data Capture (Debezium)
• Znajomość narzędzi observability i katalogowania danych (OpenMetadata, Prometheus, Grafana)
• Doświadczenie z Unity Catalog
• Certyfikaty Databricks lub Microsoft Azure
• Doświadczenie w branży retail lub e-commerce
To oferujemy
• 👩💻 ambitną pracę, w której nie sposób się nudzić
• 🔏możliwość dołączenia do dobrego ubezpieczenia grupowego na preferencyjnych warunkach, które zapewni poczucie bezpieczeństwa Tobie i Twoim bliskim
• 🩺prywatną opiekę medyczną dzięki, której będziesz miał możliwość skonsultowania się ze specjalistami na trenie całego kraju
• 💉akcje profilaktyczne dzięki którym chcemy zadbać o Twoje zdrowie!
• ☕pyszną kawę w miłym towarzystwie współpracowników
• 📉zniżki oraz karty rabatowe na wybrane produkty
• 💪karty sportowe dzięki którym zadbasz o swoje dobre samopoczucie
• 👼udział w akcjach CSR, bo lubimy pomagać
• 🤝regularny feedback, który pomoże rozwijać Twoje kompetencje
• Udział w akcjach CSR (np. akcje charytatywne)
Benefity
• dofinansowanie zajęć sportowych
• prywatna opieka medyczna
• dofinansowanie szkoleń i kursów
• ubezpieczenie na życie
• zniżki na firmowe produkty i usługi
• brak dress code’u
• wyprawka dla dziecka
• wyprawka szkolna
• umowa o pracę
• atrakcyjny system premiowy
• dofinansowanie do karty sportowej
• akcje profilaktyczne, programy prozdrowotne
• Projektowanie i implementacja skalowalnych potoków danych w Azure, orkiestrowanych w Dagster
• Przetwarzanie danych na platformie Databricks: optymalizacja zadań Spark, zarządzanie klastrami, rozwiązania oparte na Delta Lake
• Budowa rozwiązań przetwarzania danych w czasie rzeczywistym w architekturze zdarzeniowej (Apache Kafka, Debezium)
• Tworzenie reużywalnych komponentów i bibliotek w Pythonie, które standaryzują procesy ETL/ELT
• Zarządzanie infrastrukturą Azure w Terraform, w tym AKS, zasobami Databricks, bazami danych i siecią
• Konteneryzacja aplikacji i procesów danych (Docker) oraz ich orkiestracja i skalowanie na Kubernetes
• Budowa w pełni zautomatyzowanych procesów CI/CD (Azure DevOps / GitHub Actions) dla Kubernetes i Databricks
• Wdrażanie podejścia „Everything as Code”: kod, testy, Dockerfile, manifesty K8s i Terraform wersjonowane w Git
• Projektowanie systemów monitorowania, logowania i alertowania oraz observability (np. OpenMetadata)
• Optymalizacja wydajności i kosztów procesów na Azure i Databricks
• Współpraca z zespołami Data Engineering, Data Science i BI oraz mentoring w zakresie praktyk DataOps
Nasze wymagania
• Min. 3 lata doświadczenia w obszarze Data Engineering, DataOps lub DevOps dla danych
• Bardzo dobra znajomość Pythona (kod produkcyjny, tworzenie bibliotek) oraz SQL
• Praktyczne doświadczenie z Databricks i PySpark, w tym Delta Lake
• Doświadczenie z usługami chmury Azure
• Znajomość Terraform i podejścia Infrastructure as Code
• Praktyczna znajomość Dockera i Kubernetes (mile widziane AKS)
• Doświadczenie w budowie pipeline’ów CI/CD (Azure DevOps lub GitHub Actions) oraz biegła praca z Git
• Doświadczenie z narzędziami do orkiestracji (Dagster, Airflow lub podobne)
• Znajomość języka angielskiego na poziomie umożliwiającym pracę z dokumentacją techniczną
Mile widziane
• Doświadczenie z Apache Kafka i Change Data Capture (Debezium)
• Znajomość narzędzi observability i katalogowania danych (OpenMetadata, Prometheus, Grafana)
• Doświadczenie z Unity Catalog
• Certyfikaty Databricks lub Microsoft Azure
• Doświadczenie w branży retail lub e-commerce
To oferujemy
• 👩💻 ambitną pracę, w której nie sposób się nudzić
• 🔏możliwość dołączenia do dobrego ubezpieczenia grupowego na preferencyjnych warunkach, które zapewni poczucie bezpieczeństwa Tobie i Twoim bliskim
• 🩺prywatną opiekę medyczną dzięki, której będziesz miał możliwość skonsultowania się ze specjalistami na trenie całego kraju
• 💉akcje profilaktyczne dzięki którym chcemy zadbać o Twoje zdrowie!
• ☕pyszną kawę w miłym towarzystwie współpracowników
• 📉zniżki oraz karty rabatowe na wybrane produkty
• 💪karty sportowe dzięki którym zadbasz o swoje dobre samopoczucie
• 👼udział w akcjach CSR, bo lubimy pomagać
• 🤝regularny feedback, który pomoże rozwijać Twoje kompetencje
• Udział w akcjach CSR (np. akcje charytatywne)
Benefity
• dofinansowanie zajęć sportowych
• prywatna opieka medyczna
• dofinansowanie szkoleń i kursów
• ubezpieczenie na życie
• zniżki na firmowe produkty i usługi
• brak dress code’u
• wyprawka dla dziecka
• wyprawka szkolna
• umowa o pracę
• atrakcyjny system premiowy
• dofinansowanie do karty sportowej
• akcje profilaktyczne, programy prozdrowotne
🔍 Dekoder Ogłoszenia
✓ Ogłoszenie wygląda transparentnie — brak typowych czerwonych flag.