Data Engineer Senior (F/M)
⚲ Warszawa
20 160 - 23 520 PLN netto (B2B)
Wymagania
- ETL
- Data Warehousing
- BigQuery
- Linux
- Kafka
- Informatica Powercenter
Opis stanowiska
O projekcie
Zespół buduje rozwiązania Data Lake/DWH dla dużego środowiska bankowego, obejmujące zasilanie danych online i offline w środowisku on-prem oraz GCP. Rola łączy modelowanie danych, budowę pipeline'ów ETL/ELT i tuning SQL, zgodnie z modelem DevSecOps.
Twój zakres obowiązków
Projektowanie i realizacja rozwiązań zasilania danych
Budowa pipeline'ów ETL/ELT
Praca z Oracle, PostgreSQL, BigQuery i Informatica PowerCenter
Praca z Kafka/Pub/Sub
Tuning zapytań SQL on-prem i w GCP
Tworzenie rozwiązań ładowania danych w Pythonie i Rust
Modelowanie danych i przygotowywanie datamartów
Wsparcie testów, wdrożeń i rozwiązywania incydentów
Nasze wymagania
Doświadczenie w budowie rozwiązań Data Lake/DWH i datamartów
Doświadczenie w projektowaniu i utrzymaniu pipeline'ów ETL/ELT
Ekspercka znajomość Oracle i PostgreSQL (projektowanie, tuning SQL)
Znajomość Google BigQuery
Praktyczna znajomość Informatica PowerCenter
Znajomość Kafka/Pub/Sub
Znajomość Linuxa na poziomie zaawansowanym
Doświadczenie w testach, wdrożeniach i rozwiązywaniu incydentów
Gotowość do pracy w modelu DevSecOps
Mile widziane
Python
Airflow
Rust
Apache Spark
Zespół buduje rozwiązania Data Lake/DWH dla dużego środowiska bankowego, obejmujące zasilanie danych online i offline w środowisku on-prem oraz GCP. Rola łączy modelowanie danych, budowę pipeline'ów ETL/ELT i tuning SQL, zgodnie z modelem DevSecOps.
Twój zakres obowiązków
Projektowanie i realizacja rozwiązań zasilania danych
Budowa pipeline'ów ETL/ELT
Praca z Oracle, PostgreSQL, BigQuery i Informatica PowerCenter
Praca z Kafka/Pub/Sub
Tuning zapytań SQL on-prem i w GCP
Tworzenie rozwiązań ładowania danych w Pythonie i Rust
Modelowanie danych i przygotowywanie datamartów
Wsparcie testów, wdrożeń i rozwiązywania incydentów
Nasze wymagania
Doświadczenie w budowie rozwiązań Data Lake/DWH i datamartów
Doświadczenie w projektowaniu i utrzymaniu pipeline'ów ETL/ELT
Ekspercka znajomość Oracle i PostgreSQL (projektowanie, tuning SQL)
Znajomość Google BigQuery
Praktyczna znajomość Informatica PowerCenter
Znajomość Kafka/Pub/Sub
Znajomość Linuxa na poziomie zaawansowanym
Doświadczenie w testach, wdrożeniach i rozwiązywaniu incydentów
Gotowość do pracy w modelu DevSecOps
Mile widziane
Python
Airflow
Rust
Apache Spark
🔍 Dekoder Ogłoszenia
🔴
Senior (F/M)
Określenie 'Senior' może sugerować dużą samodzielność i odpowiedzialność, ale bez konkretnych lat doświadczenia może oznaczać również pozycję dla osoby z kilkoma latami praktyki, która niekoniecznie jest ekspertem.
🔴
Dużego środowiska bankowego
Praca w sektorze bankowym często wiąże się z restrykcyjnymi procedurami, długimi cyklami wdrożeniowymi i wysokimi wymaganiami dotyczącymi bezpieczeństwa, co może spowalniać pracę.
🔴
Modelowanie danych
Choć wymienione, może oznaczać zarówno zaawansowane projektowanie złożonych struktur danych, jak i prostsze zadania związane z tworzeniem tabel i relacji.
🔴
Tuning SQL on-prem i w GCP
Może oznaczać zarówno optymalizację istniejących zapytań, jak i konieczność głębokiej analizy i przebudowy skomplikowanych zapytań w różnych środowiskach.
🔴
Tworzenie rozwiązań ładowania danych w Pythonie i Rust
Wymienienie Pythona jako 'mile widziane', a Rust jako wymagane do ładowania danych, może sugerować, że główny nacisk będzie kładziony na bardziej niszowe i potencjalnie trudniejsze w implementacji rozwiązania.