Senior Data Engineer – AWS & Databricks (k/m)
Lumicode Sp. z o.o. (Pentacomp Group)
⚲ Warszawa
20 160 - 25 200 PLN netto (B2B)
Wymagania
- AWS
- Databricks
- SQL
Opis stanowiska
Kim jesteśmy?
Lumicode Sp. z o.o. jest częścią Grupy Pentacomp – od blisko 30 lat dostarczającej rozwiązania IT i usługi technologiczne dla największych przedsiębiorstw oraz instytucji sektora publicznego.
Realizujemy projekty wspierające cyfrową transformację naszych klientów, łącząc doświadczenie z nowoczesnymi technologiami.
Kogo szukamy?
Szukamy osoby, która dobrze czuje się w środowisku AWS i Databricks, potrafi projektować skalowalne rozwiązania data engineeringowe i samodzielnie przeprowadzać dane od warstwy surowej do gotowych danych wykorzystywanych przez biznes.
To rola dla osoby, która chce mieć realny wpływ na architekturę i sposób przetwarzania danych, a nie tylko realizować pojedyncze zadania ETL.
Co oferujemy?
• Pracę zdalną
• Stawkę do 150 zł/h/ B2B
• \Współpracę w środowisku opartym na chmurze i rozwiązaniach do przetwarzania dużych zbiorów danych
• Dofinansowanie do karty sportowej
• Możliwość skorzystania z prywatnej opieki zdrowotnej
Twój zakres obowiązków
• Projektowanie i rozwijanie skalowalnych pipeline'ów danych w środowisku AWS i Databricks
• Budowanie procesów przetwarzania danych od warstwy surowej do warstw wykorzystywanych przez analitykę i produkty danych
• Projektowanie i rozwijanie modeli danych oraz procesów ETL/ELT
• Praca z dużymi zbiorami danych i optymalizacja procesów pod kątem wydajności oraz kosztów
• Rozwijanie i utrzymywanie procesów przetwarzania danych w Databricks
• Integracja danych pochodzących z różnych źródeł
• Monitorowanie pipeline'ów oraz diagnozowanie problemów związanych z jakością i wydajnością danych
• Dbanie o jakość kodu, testowalność i dobre praktyki software engineeringowe
• Współpraca z Data Engineers, Data Product Managers oraz zespołami analitycznymi
• Wspieranie rozwoju architektury i standardów data engineeringowych w projekcie
Wymagane umiejętności
Najważniejsze będzie doświadczenie w:
•
AWS – swobodne poruszanie się po usługach chmurowych wykorzystywanych w przetwarzaniu i przechowywaniu danych
• Databricks – praktyczne doświadczenie w budowaniu i utrzymywaniu procesów data engineeringowych
• SQL – bardzo dobra znajomość i umiejętność pracy z dużymi zbiorami danych
• Projektowaniu skalowalnych pipeline'ów oraz modeli danych
• Budowaniu procesów ETL/ELT i pracy z hurtowniami / platformami danych
• Optymalizacji procesów pod kątem wydajności, kosztów i niezawodności
• Pracy z danymi pochodzącymi z różnych źródeł i transformowaniu ich do postaci użytecznej dla analityki
• Stosowaniu dobrych praktyk związanych z jakością kodu, testowaniem i kontrolą wersji
• Samodzielnym rozwiązywaniu problemów technicznych i podejmowaniu decyzji dotyczących sposobu realizacji zadań
• Komunikacji w języku angielskim na poziomie min. B2+
Mile widziane
•
Python i doświadczenie w automatyzacji procesów data engineeringowych
• Doświadczenie z narzędziami do orkiestracji, np. Airflow
• Znajomość AWS S3 oraz Athena
• Doświadczenie w budowaniu procesów CI/CD, np. z wykorzystaniem GitHub Actions
• Doświadczenie w branży AdTech / Programmatic
Lumicode Sp. z o.o. jest częścią Grupy Pentacomp – od blisko 30 lat dostarczającej rozwiązania IT i usługi technologiczne dla największych przedsiębiorstw oraz instytucji sektora publicznego.
Realizujemy projekty wspierające cyfrową transformację naszych klientów, łącząc doświadczenie z nowoczesnymi technologiami.
Kogo szukamy?
Szukamy osoby, która dobrze czuje się w środowisku AWS i Databricks, potrafi projektować skalowalne rozwiązania data engineeringowe i samodzielnie przeprowadzać dane od warstwy surowej do gotowych danych wykorzystywanych przez biznes.
To rola dla osoby, która chce mieć realny wpływ na architekturę i sposób przetwarzania danych, a nie tylko realizować pojedyncze zadania ETL.
Co oferujemy?
• Pracę zdalną
• Stawkę do 150 zł/h/ B2B
• \Współpracę w środowisku opartym na chmurze i rozwiązaniach do przetwarzania dużych zbiorów danych
• Dofinansowanie do karty sportowej
• Możliwość skorzystania z prywatnej opieki zdrowotnej
Twój zakres obowiązków
• Projektowanie i rozwijanie skalowalnych pipeline'ów danych w środowisku AWS i Databricks
• Budowanie procesów przetwarzania danych od warstwy surowej do warstw wykorzystywanych przez analitykę i produkty danych
• Projektowanie i rozwijanie modeli danych oraz procesów ETL/ELT
• Praca z dużymi zbiorami danych i optymalizacja procesów pod kątem wydajności oraz kosztów
• Rozwijanie i utrzymywanie procesów przetwarzania danych w Databricks
• Integracja danych pochodzących z różnych źródeł
• Monitorowanie pipeline'ów oraz diagnozowanie problemów związanych z jakością i wydajnością danych
• Dbanie o jakość kodu, testowalność i dobre praktyki software engineeringowe
• Współpraca z Data Engineers, Data Product Managers oraz zespołami analitycznymi
• Wspieranie rozwoju architektury i standardów data engineeringowych w projekcie
Wymagane umiejętności
Najważniejsze będzie doświadczenie w:
•
AWS – swobodne poruszanie się po usługach chmurowych wykorzystywanych w przetwarzaniu i przechowywaniu danych
• Databricks – praktyczne doświadczenie w budowaniu i utrzymywaniu procesów data engineeringowych
• SQL – bardzo dobra znajomość i umiejętność pracy z dużymi zbiorami danych
• Projektowaniu skalowalnych pipeline'ów oraz modeli danych
• Budowaniu procesów ETL/ELT i pracy z hurtowniami / platformami danych
• Optymalizacji procesów pod kątem wydajności, kosztów i niezawodności
• Pracy z danymi pochodzącymi z różnych źródeł i transformowaniu ich do postaci użytecznej dla analityki
• Stosowaniu dobrych praktyk związanych z jakością kodu, testowaniem i kontrolą wersji
• Samodzielnym rozwiązywaniu problemów technicznych i podejmowaniu decyzji dotyczących sposobu realizacji zadań
• Komunikacji w języku angielskim na poziomie min. B2+
Mile widziane
•
Python i doświadczenie w automatyzacji procesów data engineeringowych
• Doświadczenie z narzędziami do orkiestracji, np. Airflow
• Znajomość AWS S3 oraz Athena
• Doświadczenie w budowaniu procesów CI/CD, np. z wykorzystaniem GitHub Actions
• Doświadczenie w branży AdTech / Programmatic
🔍 Dekoder Ogłoszenia
🔴
To rola dla osoby, która chce mieć realny wpływ na architekturę i sposób przetwarzania danych, a nie tylko realizować pojedyncze zadania ETL.
Chociaż deklarowany jest wpływ na architekturę, rzeczywista możliwość jego realizacji może zależeć od dynamiki zespołu i hierarchii decyzyjnej.
🔴
Stawkę do 150 zł/h/ B2B
Kwota 'do 150 zł/h' oznacza, że faktyczna stawka może być niższa i zależy od negocjacji oraz doświadczenia kandydata.
🔴
Pracę zdalną
Choć praca jest zdalna, może wymagać sporadycznych spotkań stacjonarnych lub być ograniczona do konkretnych stref czasowych.
🔴
Projektowanie i rozwijanie skalowalnych pipeline'ów danych w środowisku AWS i Databricks
Skalowalność może być teoretyczna lub wymagać znaczących nakładów pracy na optymalizację, a nie być wbudowana od razu.
🔴
Praca z dużymi zbiorami danych i optymalizacja procesów pod kątem wydajności oraz kosztów
Optymalizacja kosztów może oznaczać presję na ograniczanie zasobów chmurowych, co może wpływać na wydajność lub czas pracy.