Spark / Data Lakehouse Developer
⚲ Wrocław
21 000 - 26 250 PLN netto (B2B)
Wymagania
- Apache Spark
- PySpark
- Spark
- SQL
- MongoDB
- MongoDB Spark Connector
- Apache Iceberg
- CI/CD
- Jenkins
- Prometheus
Opis stanowiska
Kogo szukamy?
Do zespołu Data Platform szukamy doświadczonego Spark / Data Lakehouse Developera, który będzie rozwijał rozwiązania Data Engineeringowe związane z rekoncyliacją danych, MongoDB oraz architekturą Data Lakehouse.
Oczekiwania
• min. 4 lata doświadczenia z Apache Spark,
• bardzo dobra znajomość PySpark i Spark SQL,
• doświadczenie z MongoDB i MongoDB Spark Connector,
• praktyczna znajomość Apache Iceberg,
• doświadczenie w budowie warstw Data Lakehouse: raw/bronze/silver/gold,
• znajomość CI/CD i Jenkins,
• znajomość Prometheus i Grafana,
• doświadczenie w Scrum/Kanban oraz pracy z Jira/Confluence.
Wymagania
• umiejętność optymalizacji procesów Spark,
• doświadczenie w rekoncyliacji i kontroli jakości danych,
• znajomość partitioningu, caching, broadcast joins i AQE,
• doświadczenie w pracy z dużymi zbiorami danych,
• samodzielność i analityczne podejście do rozwiązywania problemów,
• umiejętność współpracy z zespołami Data, QA i DevOps.
Oferujemy
• pracę przy nowoczesnej platformie Data Lakehouse,
• udział w ciekawych projektach związanych z dużymi zbiorami danych,
• pracę z nowoczesnym stackiem: Spark, MongoDB, Iceberg, Kubernetes, Prometheus, Grafana,
• możliwość rozwoju i wpływu na rozwiązania technologiczne,
• współpracę z doświadczonym zespołem,
Do zespołu Data Platform szukamy doświadczonego Spark / Data Lakehouse Developera, który będzie rozwijał rozwiązania Data Engineeringowe związane z rekoncyliacją danych, MongoDB oraz architekturą Data Lakehouse.
Oczekiwania
• min. 4 lata doświadczenia z Apache Spark,
• bardzo dobra znajomość PySpark i Spark SQL,
• doświadczenie z MongoDB i MongoDB Spark Connector,
• praktyczna znajomość Apache Iceberg,
• doświadczenie w budowie warstw Data Lakehouse: raw/bronze/silver/gold,
• znajomość CI/CD i Jenkins,
• znajomość Prometheus i Grafana,
• doświadczenie w Scrum/Kanban oraz pracy z Jira/Confluence.
Wymagania
• umiejętność optymalizacji procesów Spark,
• doświadczenie w rekoncyliacji i kontroli jakości danych,
• znajomość partitioningu, caching, broadcast joins i AQE,
• doświadczenie w pracy z dużymi zbiorami danych,
• samodzielność i analityczne podejście do rozwiązywania problemów,
• umiejętność współpracy z zespołami Data, QA i DevOps.
Oferujemy
• pracę przy nowoczesnej platformie Data Lakehouse,
• udział w ciekawych projektach związanych z dużymi zbiorami danych,
• pracę z nowoczesnym stackiem: Spark, MongoDB, Iceberg, Kubernetes, Prometheus, Grafana,
• możliwość rozwoju i wpływu na rozwiązania technologiczne,
• współpracę z doświadczonym zespołem,
🔍 Dekoder Ogłoszenia
🔴
doświadczonego Spark / Data Lakehouse Developera
Oczekuje się, że kandydat będzie miał głęboką wiedzę i praktyczne umiejętności w obu technologiach, a nie tylko podstawową znajomość.
🔴
rozwijał rozwiązania Data Engineeringowe związane z rekoncyliacją danych, MongoDB oraz architekturą Data Lakehouse
Może oznaczać zarówno tworzenie nowych rozwiązań, jak i utrzymanie oraz rozbudowę istniejących, co może być mniej ekscytujące.
🔴
min. 4 lata doświadczenia z Apache Spark
Chociaż podane są konkretne lata, 'doświadczenie' może być interpretowane różnie – od pracy projektowej po samo zapoznanie się z technologią.
🔴
możliwość rozwoju i wpływu na rozwiązania technologiczne
Może oznaczać, że firma jest otwarta na sugestie, ale faktyczny wpływ zależy od struktury decyzyjnej i hierarchii.
🔴
współpracę z doświadczonym zespołem
Może oznaczać, że zespół jest kompetentny, ale także że może być trudno o własną przestrzeń do inicjatywy, jeśli zespół jest bardzo ugruntowany.