Senior Data Engineer (AWS) - Data Platform (M/F/NB)
Etteplan Poland Sp. z o. o.
⚲ Wrocław, Katowice, Warszawa, Gdańsk, Poznań
Wymagania
- Time-series Data
- IoT
- Batch & Streaming
- Medallion
- Spark
- AWS Data Lake
Opis stanowiska
W Etteplan wierzymy, że technologia ma sens tylko wtedy, gdy realnie wspiera ludzi i procesy biznesowe. Wspieramy naszych klientów w tworzeniu i rozwoju systemów IT, które są stabilne, skalowalne i dopasowane do rzeczywistych potrzeb użytkowników. Pracujemy blisko biznesu, stawiając na prostotę, odpowiedzialność i partnerską współpracę. O zespole i projekcie Dołączysz do projektu z obszaru smart metering / IoT, w którym budujemy nowoczesną platformę danych od podstaw w oparciu o AWS. Celem projektu jest przebudowa istniejącego rozwiązania on-premise do skalowalnej, chmurowej platformy danych, zdolnej do przetwarzania dużych wolumenów danych z urządzeń (m.in. wodomierzy). Nowa architektura oparta jest o Data Lake oraz model medallion (bronze / silver / gold). To projekt typu greenfield - tworzysz fundamenty systemu, który będzie rozwijany przez lata. Szukamy osoby, która chce mieć realny wpływ na architekturę i sposób budowy platformy danych, a nie tylko implementować gotowe rozwiązania. To rola w centralnej warstwie przetwarzania danych - miejscu, gdzie dane z urządzeń są normalizowane, transformowane i przygotowywane do dalszego wykorzystania (logika biznesowa, analityka, aplikacje). Pracujesz nad „silnikiem” platformy danych, który odpowiada za jakość, spójność i dostępność danych w całym systemie. Dlaczego warto? To rola, w której: • budujesz platformę danych od podstaw – masz wpływ na fundamenty systemu, a nie tylko jego fragmenty, • pracujesz z realnymi danymi z urządzeń (IoT / smart metering), które mają bezpośrednie przełożenie na biznes, • podejmujesz decyzje techniczne i współtworzysz architekturę Data Lake, • rozwijasz się w kierunku architektury i systemów data platform, • pracujesz w środowisku, które stawia na jakość, odpowiedzialność i dobre praktyki inżynierskie, • masz realny wpływ na standardy data engineeringu w projekcie, • współpracujesz z doświadczonym zespołem, który ma wpływ na kierunek rozwoju rozwiązania. W tej roli będziesz odpowiadać za: • projektowanie i rozwój architektury danych w AWS, • budowę i rozwój pipeline’ów danych (ETL) dla dużych wolumenów danych, • implementację przetwarzania danych w modelu batch i streaming, • projektowanie transformacji i normalizacji danych (bronze / silver / gold), • zapewnienie jakości, spójności i obserwowalności danych, • optymalizację wydajności i kosztów przetwarzania w AWS, • współpracę z architektami i zespołami projektowymi, • definiowanie dobrych praktyk i standardów w data engineeringu. Jesteś naszym brakującym ogniwem, jeśli: • masz doświadczenie jako Data Engineer w projektach opartych o AWS, • pracowałeś/aś z architekturą Data Lake i dużymi zbiorami danych, • masz praktyczne doświadczenie z Apache Spark lub podobnymi technologiami, • rozumiesz modelowanie danych dla systemów analitycznych i operacyjnych, • programujesz w Python, Scala lub innym języku używanym w data engineeringu, • masz doświadczenie z danymi time-series lub IoT, • potrafisz podejmować decyzje techniczne i brać udział w projektowaniu architektury, • komunikujesz się swobodnie w języku angielskim. Docenimy również: • doświadczenie z AWS Glue, Lambda, Step Functions, Kinesis lub Kinesis Firehose, • znajomość CI/CD i praktyk DevOps w środowiskach cloud, • doświadczenie z hurtowniami danych, • znajomość Infrastructure as Code (Terraform, CloudFormation), • background developerski (np. Java, backend, fullstack), • certyfikacje AWS, • doświadczenie w projektach IoT lub systemach opartych o urządzenia. W Etteplan możesz liczyć na: • rozwój poprzez pracę w międzynarodowym środowisku i różnorodnych projektach, • budżet szkoleniowy i wsparcie w rozwoju kompetencji, • benefity (opieka medyczna, Multisport, ubezpieczenie, dofinansowanie posiłków), • elastyczność w zakresie godzin pracy i formy współpracy, • udział w inicjatywach technologicznych i społecznościach eksperckich. Jak przebiega proces rekrutacyjny? • Wyślij nam swoje CV – najlepiej w języku angielskim. W formularzu daj nam znać, jakie masz oczekiwania finansowe, preferowaną formę współpracy oraz od kiedy możesz rozpocząć pracę. • Sprawdzimy Twoją aplikację – przyjrzymy się Twojemu doświadczeniu i zobaczymy, jak pasuje do tej roli i projektu. • Rozmowa z HR (online) – luźna, partnerska rozmowa (ok. 40–60 minut), żeby lepiej się poznać, porozmawiać o Twojej drodze zawodowej, motywacji i oczekiwaniach. • Rozmowa techniczna (online) – spotkanie z osobami z zespołu projektowego, podczas którego porozmawiamy o Twoim doświadczeniu programistycznym, realizowanych projektach oraz podejściu do rozwiązywania problemów technicznych. • Feedback – po zakończeniu procesu wrócimy do Ciebie z informacją zwrotną. Możesz też zajrzeć na naszą stronę internetową lub Facebooka i zobaczyć, co ciekawego się u nas dzieje! - Nasza firma wdrożyła procedury ochrony sygnalistów zgodnie z obowiązującą ustawą. Każda osoba ma prawo zgłaszać nieprawidłowości w bezpieczny sposób, a zgłoszenia są objęte pełną ochroną prawną. Więcej informacji: https://www.etteplan.com/pl/kodeks-postepowania/ Skorzystaj z naszych benefitów • Medicover - prywatna opieka medyczna • Multisport Plus - karta sportowa • PZU - grupowe ubezpieczenie na życie • Pyszne Pay - 200 zł / mc dofinansowania do posiłków • Dofinansowanie do okularów korekcyjnych i soczewek - 400 zł • Program poleceń - 8 000 PLN brutto • Ogólnofirmowe i zespołowe wydarzenia integracyjne • Elastyczne godziny pracy i praca w modelu hybrydowym • PKUP - możliwość rozliczenia podwyższonych kosztów uzyskania przychodu