Data Engineer - Google Cloud Platform (GCP)
⚲ Kraków
Do uzgodnienia
Wymagania
- GCP
- BigQuery
- Kubernetes
Opis stanowiska
Data Engineer – Google Cloud Platform (GCP)
•
Kraków - hybryda
•
współpraca B2B
Poszukujemy doświadczonego Data Engineera, który dołączy do dużego, międzynarodowego projektu technologicznego z sektora finansowego.
Projekt koncentruje się na migracji rozwiązań on-premise do Google Cloud Platform oraz budowie nowoczesnej, wydajnej platformy danych wspierającej procesy podejmowania decyzji kredytowych. System działa w dużej skali i przetwarza ogromne ilości danych, dlatego istotnymi elementami roli są wydajność, skalowalność, niezawodność oraz optymalizacja kosztów rozwiązań chmurowych.
Zakres obowiązków
• Projektowanie i rozwój aplikacji backendowych odpowiedzialnych za przetwarzanie danych w środowisku Google Cloud Platform.
• Praca z rozwiązaniami storage'owymi GCP, w szczególności BigQuery, Cloud SQL oraz Google Cloud Storage.
• Tworzenie i optymalizacja Airflow DAGs / Cloud Composer.
• Wykorzystanie Google Cloud Dataflow do przetwarzania danych.
• Rozwój cloud-native applications oraz wdrażanie aplikacji w środowisku GKE / Kubernetes.
• Tworzenie procesów i pipeline'ów umożliwiających migrację danych z infrastruktury on-premise do GCP.
• Praca z Cloud Storage, Pub/Sub oraz innymi usługami zarządzanymi GCP.
• Tworzenie raportów w Looker zgodnie z wymaganiami biznesowymi.
• Optymalizacja przetwarzania danych pod kątem wydajności oraz kosztów.
• Integracja rozwiązań backendowych z innymi komponentami aplikacji.
• Dbanie o bezpieczeństwo, autoryzację i uwierzytelnianie.
• Budowanie i rozwój procesów CI/CD z wykorzystaniem m.in. Cloud Build, GitHub Actions oraz Jenkins.
• Zapewnienie wysokiej jakości, bezpieczeństwa i niezawodności tworzonych rozwiązań.
Wymagania
• Minimum 5 lat doświadczenia w obszarze Data Engineering / Cloud Engineering.
• Bardzo dobra, praktyczna znajomość Google Cloud Platform (GCP).
• Doświadczenie z:
BigQuery,
• Cloud SQL,
• Google Cloud Storage / GCP buckets,
• Airflow / Cloud Composer,
• Google Cloud Dataflow,
• GKE / Kubernetes.
• Doświadczenie w projektowaniu rozwiązań wykorzystujących bazy SQL i NoSQL, z uwzględnieniem wolumenu danych, kosztów, retencji oraz backupu.
• Znajomość Cloud Build, Cloud Logging i Cloud Monitoring.
• Doświadczenie w tworzeniu wydajnych i skalowalnych procesów przetwarzania danych.
• Znajomość zasad Site Reliability Engineering (SRE) i budowania niezawodnych systemów.
• Znajomość CI/CD oraz narzędzi wspierających jakość i bezpieczeństwo kodu, np. Jenkins, SonarQube.
Mile widziane
• Doświadczenie z Looker.
• Znajomość Pub/Sub.
• Doświadczenie w obszarze Analytics / Decisioning.
• Znajomość rozwiązań Machine Learning oraz Vertex AI / JupyterLab.
• Doświadczenie w sektorze bankowym lub finansowym, szczególnie w obszarze Credit Lending / Decisioning.
• Doświadczenie we wsparciu środowisk produkcyjnych end-to-end.
• Doświadczenie w performance tuningu oraz budowaniu wysoko dostępnych i odpornych systemów.
Projekt
To możliwość pracy przy dużej transformacji technologicznej obejmującej migrację systemów do Google Cloud Platform i rozwój nowoczesnej platformy danych. Projekt łączy Data Engineering, rozwiązania cloud-native, automatyzację oraz technologie wykorzystywane do przetwarzania danych na dużą skalę.
Co zyskasz dzięki aplikacji na ofertę Antal?
Gdy Twoja aplikacja zostanie rozpatrzona pozytywnie (zostaniesz zaproszony/a do procesu), otrzymasz wsparcie Konsultanta/Konsultantki, który/a utrzyma z Tobą stały kontakt (mailowo lub telefonicznie), pomoże Ci przygotować się do rozmowy rekrutacyjnej z przyszłym pracodawcą oraz zatroszczy się o jakość procesu rekrutacyjnego, w którym aktualnie bierzesz udział.
Kim jesteśmy?
Jesteśmy liderem rekrutacji specjalistów i menedżerów oraz doradztwa w obszarze HR. Marka obecna jest w 35 krajach, w Polsce działa od 1996 roku. Przez ten czas zbudowaliśmy wiele karier kandydatów, dzięki elastycznemu i kompleksowemu podejściu do wszystkich rekrutacji. Antal tworzy ponad 130 profesjonalnych konsultantów ds. rekrutacji, którzy są oni nie tylko skutecznymi rekruterami, ale także wykwalifikowanymi doradcami, specjalizującymi się zarówno w zakresie wybranego sektora, jak i stanowiska.
•
Kraków - hybryda
•
współpraca B2B
Poszukujemy doświadczonego Data Engineera, który dołączy do dużego, międzynarodowego projektu technologicznego z sektora finansowego.
Projekt koncentruje się na migracji rozwiązań on-premise do Google Cloud Platform oraz budowie nowoczesnej, wydajnej platformy danych wspierającej procesy podejmowania decyzji kredytowych. System działa w dużej skali i przetwarza ogromne ilości danych, dlatego istotnymi elementami roli są wydajność, skalowalność, niezawodność oraz optymalizacja kosztów rozwiązań chmurowych.
Zakres obowiązków
• Projektowanie i rozwój aplikacji backendowych odpowiedzialnych za przetwarzanie danych w środowisku Google Cloud Platform.
• Praca z rozwiązaniami storage'owymi GCP, w szczególności BigQuery, Cloud SQL oraz Google Cloud Storage.
• Tworzenie i optymalizacja Airflow DAGs / Cloud Composer.
• Wykorzystanie Google Cloud Dataflow do przetwarzania danych.
• Rozwój cloud-native applications oraz wdrażanie aplikacji w środowisku GKE / Kubernetes.
• Tworzenie procesów i pipeline'ów umożliwiających migrację danych z infrastruktury on-premise do GCP.
• Praca z Cloud Storage, Pub/Sub oraz innymi usługami zarządzanymi GCP.
• Tworzenie raportów w Looker zgodnie z wymaganiami biznesowymi.
• Optymalizacja przetwarzania danych pod kątem wydajności oraz kosztów.
• Integracja rozwiązań backendowych z innymi komponentami aplikacji.
• Dbanie o bezpieczeństwo, autoryzację i uwierzytelnianie.
• Budowanie i rozwój procesów CI/CD z wykorzystaniem m.in. Cloud Build, GitHub Actions oraz Jenkins.
• Zapewnienie wysokiej jakości, bezpieczeństwa i niezawodności tworzonych rozwiązań.
Wymagania
• Minimum 5 lat doświadczenia w obszarze Data Engineering / Cloud Engineering.
• Bardzo dobra, praktyczna znajomość Google Cloud Platform (GCP).
• Doświadczenie z:
BigQuery,
• Cloud SQL,
• Google Cloud Storage / GCP buckets,
• Airflow / Cloud Composer,
• Google Cloud Dataflow,
• GKE / Kubernetes.
• Doświadczenie w projektowaniu rozwiązań wykorzystujących bazy SQL i NoSQL, z uwzględnieniem wolumenu danych, kosztów, retencji oraz backupu.
• Znajomość Cloud Build, Cloud Logging i Cloud Monitoring.
• Doświadczenie w tworzeniu wydajnych i skalowalnych procesów przetwarzania danych.
• Znajomość zasad Site Reliability Engineering (SRE) i budowania niezawodnych systemów.
• Znajomość CI/CD oraz narzędzi wspierających jakość i bezpieczeństwo kodu, np. Jenkins, SonarQube.
Mile widziane
• Doświadczenie z Looker.
• Znajomość Pub/Sub.
• Doświadczenie w obszarze Analytics / Decisioning.
• Znajomość rozwiązań Machine Learning oraz Vertex AI / JupyterLab.
• Doświadczenie w sektorze bankowym lub finansowym, szczególnie w obszarze Credit Lending / Decisioning.
• Doświadczenie we wsparciu środowisk produkcyjnych end-to-end.
• Doświadczenie w performance tuningu oraz budowaniu wysoko dostępnych i odpornych systemów.
Projekt
To możliwość pracy przy dużej transformacji technologicznej obejmującej migrację systemów do Google Cloud Platform i rozwój nowoczesnej platformy danych. Projekt łączy Data Engineering, rozwiązania cloud-native, automatyzację oraz technologie wykorzystywane do przetwarzania danych na dużą skalę.
Co zyskasz dzięki aplikacji na ofertę Antal?
Gdy Twoja aplikacja zostanie rozpatrzona pozytywnie (zostaniesz zaproszony/a do procesu), otrzymasz wsparcie Konsultanta/Konsultantki, który/a utrzyma z Tobą stały kontakt (mailowo lub telefonicznie), pomoże Ci przygotować się do rozmowy rekrutacyjnej z przyszłym pracodawcą oraz zatroszczy się o jakość procesu rekrutacyjnego, w którym aktualnie bierzesz udział.
Kim jesteśmy?
Jesteśmy liderem rekrutacji specjalistów i menedżerów oraz doradztwa w obszarze HR. Marka obecna jest w 35 krajach, w Polsce działa od 1996 roku. Przez ten czas zbudowaliśmy wiele karier kandydatów, dzięki elastycznemu i kompleksowemu podejściu do wszystkich rekrutacji. Antal tworzy ponad 130 profesjonalnych konsultantów ds. rekrutacji, którzy są oni nie tylko skutecznymi rekruterami, ale także wykwalifikowanymi doradcami, specjalizującymi się zarówno w zakresie wybranego sektora, jak i stanowiska.
🔍 Dekoder Ogłoszenia
🔴
współpraca B2B
Oznacza umowę o współpracy między firmami, a nie umowę o pracę, co wiąże się z brakiem świadczeń pracowniczych.
🔴
dużego, międzynarodowego projektu technologicznego z sektora finansowego
Może oznaczać dużą biurokrację i złożone procesy decyzyjne.
🔴
System działa w dużej skali i przetwarza ogromne ilości danych
Może oznaczać pracę pod presją czasu i konieczność radzenia sobie z problemami wydajnościowymi.