Spark / Data Lakehouse Developer
⚲ Wrocław
23 520 - 29 400 PLN netto (B2B)
Wymagania
- Apache Spark
- PySpark
- Spark
- MongoDB
- Apache
- Jenkins
- Python
- Prometheus
- Grafana
Opis stanowiska
O projekcie
Poszukujemy doświadczonego inżyniera danych do zespołu Data Platform dla jednego z naszych klientów z sektora finansowego. Projekt polega na rozwijaniu zaawansowanej architektury danych. Skupisz się na projektowaniu rozwiązań rekoncyliacji danych w warstwie ODS oraz budowie nowoczesnego środowiska Data Lakehouse. Praca zdalna, wizyta w biurze we Wrocławiu 1 dzień w miesiącu.
Twój zakres obowiązków
• Projektowanie i implementacja rozwiązań rekoncyliacji danych w warstwie ODS opartej o MongoDB.
• Synchronizacja danych z systemami źródłowymi.
• Budowa i utrzymanie warstw danych w architekturze Data Lakehouse (Delta Lake, Apache Iceberg, Hudi).
• Przetwarzanie danych od warstwy surowej po warstwy prezentacyjne (curated, silver, gold).
Czego oczekujemy
• Minimum 4 lata komercyjnego doświadczenia w pracy z Apache Spark w środowiskach produkcyjnych.
• Praktyczna znajomość PySpark, Spark-SQL, DataFrames oraz Structured Streaming.
• Doświadczenie w pracy z MongoDB, w tym modelowanie dokumentowe, indeksowanie oraz użycie Spark Connector.
• Praktyczna znajomość Apache Iceberg, zarządzanie tabelami wersjonowanymi oraz optymalizacja zapisów.
• Znajomość narzędzi CI/CD, w szczególności Jenkins do automatyzacji wdrożeń.
• Doświadczenie z narzędziami monitoringu takimi jak Prometheus i Grafana.
• Znajomość metodyk zwinnych (Scrum, Kanban) oraz narzędzi Jira i Confluence.
Poszukujemy doświadczonego inżyniera danych do zespołu Data Platform dla jednego z naszych klientów z sektora finansowego. Projekt polega na rozwijaniu zaawansowanej architektury danych. Skupisz się na projektowaniu rozwiązań rekoncyliacji danych w warstwie ODS oraz budowie nowoczesnego środowiska Data Lakehouse. Praca zdalna, wizyta w biurze we Wrocławiu 1 dzień w miesiącu.
Twój zakres obowiązków
• Projektowanie i implementacja rozwiązań rekoncyliacji danych w warstwie ODS opartej o MongoDB.
• Synchronizacja danych z systemami źródłowymi.
• Budowa i utrzymanie warstw danych w architekturze Data Lakehouse (Delta Lake, Apache Iceberg, Hudi).
• Przetwarzanie danych od warstwy surowej po warstwy prezentacyjne (curated, silver, gold).
Czego oczekujemy
• Minimum 4 lata komercyjnego doświadczenia w pracy z Apache Spark w środowiskach produkcyjnych.
• Praktyczna znajomość PySpark, Spark-SQL, DataFrames oraz Structured Streaming.
• Doświadczenie w pracy z MongoDB, w tym modelowanie dokumentowe, indeksowanie oraz użycie Spark Connector.
• Praktyczna znajomość Apache Iceberg, zarządzanie tabelami wersjonowanymi oraz optymalizacja zapisów.
• Znajomość narzędzi CI/CD, w szczególności Jenkins do automatyzacji wdrożeń.
• Doświadczenie z narzędziami monitoringu takimi jak Prometheus i Grafana.
• Znajomość metodyk zwinnych (Scrum, Kanban) oraz narzędzi Jira i Confluence.
🔍 Dekoder Ogłoszenia
🟡
doświadczonego inżyniera danych
Oczekiwanie doświadczenia bez podania konkretnego poziomu w nagłówku — może oznaczać wysokie wymagania przy standardowej stawce.