Data Engineer (k/m)
⚲ Warszawa
13 440 - 16 632 PLN netto (B2B)
Wymagania
- SQL
- PL/SQL
- T-SQL
- Oracle
- ETL
- OpenShift
- IaC
Opis stanowiska
Dla dużej instytucji finansowej poszukujemy doświadczonego inżyniera do zespołu odpowiedzialnego za budowę i utrzymanie platformy danych opartej na Apache Airflow.
Twój zakres obowiązków
• Tworzenie, optymalizacja i utrzymanie DAG-ów w Apache Airflow
• Konfiguracja Task Flow API, mechanizmów XComs oraz zarządzanie zależnościami i harmonogramowaniem zadań
• Automatyzacja wdrożeń DAG-ów i kodu ETL na środowisku OpenShift (GitLab CI/CD, Jenkins, ArgoCD)
• Zarządzanie obiektami OpenShift (Pods, Deployments, Routes, ConfigMaps, Secrets) oraz skalowanie aplikacji w kontenerach
• Pisanie i optymalizacja zapytań w SQL, PL/SQL i Transact-SQL oraz praca ze środowiskami Oracle
• Wdrażanie rozwiązań Infrastructure as Code
• Współpraca z zespołami analitycznymi i inżynierskimi przy projektowaniu procesów przetwarzania danych
•
Nasze wymagania
• Praktyczna znajomość Apache Airflow (DAG-i, Task Flow API, XComs, zarządzanie zależnościami)
• Doświadczenie z SQL, PL/SQL, Transact-SQL oraz środowiskami Oracle
• Znajomość OpenShift/Kubernetes – obiekty klastra, uruchamianie zadań, skalowanie aplikacji w kontenerach
• Doświadczenie z narzędziami CI/CD (GitLab, Jenkins lub ArgoCD)
• Znajomość Pythona i bibliotek do przetwarzania danych oraz integracji z bazami
• Znajomość narzędzi Infrastructure as Code
• Samodzielność, dociekliwość i analityczne podejście do rozwiązywania problemów
• Przejrzysty sposób komunikacji
• Znajomość języka angielskiego umożliwiająca czytanie dokumentacji techniczne
Twój zakres obowiązków
• Tworzenie, optymalizacja i utrzymanie DAG-ów w Apache Airflow
• Konfiguracja Task Flow API, mechanizmów XComs oraz zarządzanie zależnościami i harmonogramowaniem zadań
• Automatyzacja wdrożeń DAG-ów i kodu ETL na środowisku OpenShift (GitLab CI/CD, Jenkins, ArgoCD)
• Zarządzanie obiektami OpenShift (Pods, Deployments, Routes, ConfigMaps, Secrets) oraz skalowanie aplikacji w kontenerach
• Pisanie i optymalizacja zapytań w SQL, PL/SQL i Transact-SQL oraz praca ze środowiskami Oracle
• Wdrażanie rozwiązań Infrastructure as Code
• Współpraca z zespołami analitycznymi i inżynierskimi przy projektowaniu procesów przetwarzania danych
•
Nasze wymagania
• Praktyczna znajomość Apache Airflow (DAG-i, Task Flow API, XComs, zarządzanie zależnościami)
• Doświadczenie z SQL, PL/SQL, Transact-SQL oraz środowiskami Oracle
• Znajomość OpenShift/Kubernetes – obiekty klastra, uruchamianie zadań, skalowanie aplikacji w kontenerach
• Doświadczenie z narzędziami CI/CD (GitLab, Jenkins lub ArgoCD)
• Znajomość Pythona i bibliotek do przetwarzania danych oraz integracji z bazami
• Znajomość narzędzi Infrastructure as Code
• Samodzielność, dociekliwość i analityczne podejście do rozwiązywania problemów
• Przejrzysty sposób komunikacji
• Znajomość języka angielskiego umożliwiająca czytanie dokumentacji techniczne
🔍 Dekoder Ogłoszenia
🔴
budowę i utrzymanie platformy danych
Może oznaczać zarówno tworzenie od podstaw, jak i pracę z istniejącą, potencjalnie problematyczną infrastrukturą.
🔴
automatyzacja wdrożeń DAG-ów i kodu ETL na środowisku OpenShift
Wymaga głębokiej znajomości OpenShift i narzędzi CI/CD, a nie tylko podstawowej obsługi.
🔴
zarządzanie obiektami OpenShift (Pods, Deployments, Routes, ConfigMaps, Secrets) oraz skalowanie aplikacji w kontenerach
Oznacza, że będziesz odpowiedzialny za operacyjne aspekty infrastruktury kontenerowej, a nie tylko za pisanie kodu.
🔴
praca ze środowiskami Oracle
Może oznaczać pracę z bardzo starymi lub skomplikowanymi bazami danych, wymagającymi specyficznych umiejętności.
🔴
samodzielność, dociekliwość i analityczne podejście do rozwiązywania problemów
Oczekuje się, że będziesz w stanie samodzielnie diagnozować i naprawiać złożone problemy bez ciągłego wsparcia.