Senior Data Engineer – Spark / Data Lakehouse
⚲ Wrocław
24 360 - 26 880 PLN netto (B2B)
Wymagania
- min. 4 lata praktycznego doświadczenia w środowiskach produkcyjnych z Apache Spark
- doświadczenie z PySpark, Spark-SQL, DataFrames oraz Structured Streaming
- doświadczenie w odczycie i zapisie danych z/do MongoDB przy użyciu MongoDB Spark Connector
- praktyczne doświadczenie z architekturą Data Lakehouse (Iceberg, Delta Lake lub Hudi)
- znajomość Jenkinsa i umiejętność automatyzacji testów (unit/integration) oraz deploymentu aplikacji Spark
- znajomość narzędzi do monitoringu i obserwowalności (Prometheus, Grafana)
- swobodna komunikacja w języku angielskim (min. B2) i praca w Agile (Scrum/Kanban)
Mile widziane
- praktyczna znajomość Dynatrace i OpenTelemetry oraz doświadczenie z Docker i Spark Operator w Kubernetes
Opis stanowiska
Clurgo szuka Senior Data Engineera do zespołu Data Platform klienta z sektora bankowego. Będziesz projektować i wdrażać rozwiązania do rekoncyliacji danych w ODS opartym na MongoDB oraz budować warstwy danych w architekturze Data Lakehouse z użyciem Apache Spark, PySpark i Spark SQL. Rola łączy rozwój rozwiązań danych z optymalizacją przetwarzania, wdrażaniem CI/CD oraz monitoringiem procesów batch i streamingowych. To oferta dla inżyniera danych z min. 4-letnim doświadczeniem produkcyjnym ze Sparkiem, który chce mieć wpływ na jakość i wydajność kluczowych procesów danych w dużej organizacji bankowej.
🔍 Dekoder Ogłoszenia
🟡
firma stworzona przez developerów dla developerów
Chwyt marketingowy, trudny do zweryfikowania
🟡
dbając o dobre praktyki programistyczne i zachowanie work-life balance
Deklaracja work-life balance – warto zweryfikować na rozmowie
🟡
rozwiązania, które mają znaczenie
Ogólnik marketingowy