Data Engineer (Google Cloud)
⚲ Warszawa
23 520 - 24 864 PLN netto (B2B)
Wymagania
- DWH
- Airflow
- PostgreSQL
- ETL
- AI
- BigQuery
- Kubernetes
- Kafka
- Python
- Big Data
Opis stanowiska
Jako firma rekrutacyjna jesteśmy świadomi, że każdy solidny biznes napędzają ludzie z odpowiednio dopasowanymi kompetencjami. Nasz styl zarządzania i partnerskie podejście pozwalają nam na elastyczne dostosowanie się do Twoich potrzeb i zapewniają pełne wsparcie podczas współpracy. W związku z ciągłym rozwojem i dużą liczbą projektów rekrutacyjnych, jakie prowadzimy dla naszych Partnerów, szukamy osoby na stanowisko:
Data Engineer (Google Cloud)
Zakres obowiązków:
• Budowanie rozwiązań klasy Data Lake i DWH oraz procesów zasilania danych zarówno on-line, jak i off-line
• Projektowanie i realizacja rozwiązań informatycznych w obszarze zasilania danych
• Analizowanie danych oraz przygotowywanie modeli logicznych i fizycznych
• Strojenie zapytań SQL na bazach relacyjnych i hurtownianych w środowiskach on-prem oraz GCP
• Tworzenie przepływów off-line i on-line w narzędziach on-prem oraz GCP
• Tworzenie rozwiązań do ładowania danych w językach Python i Rust dla danych strukturalnych i niestrukturalnych
• Przygotowywanie datamartów tematycznych na bazach relacyjnych i kolumnowych
• Opracowywanie koncepcji oraz implementowanie rozwiązań w oparciu o wymagania i potrzeby biznesowe
• Usuwanie incydentów oraz udział w rozwiązywaniu problemów
• Wspieranie testów i wdrożeń zmian w zakresie procesów zasilania danych
• Wspieranie serwisowania wdrożonego oprogramowania
• Praca zgodnie z modelem DevSecOps
Wymagania:
• Znajomość aspektów związanych z budową pipeline-ów zasilających ETL/ELT
• Doświadczenie w budowaniu i projektowaniu rozwiązań Data Lake i DWH
• Znajomość technologii wykorzystywanych w ramach architektury sterowanej zdarzeniami takich jak np. Kafka, Pub/Sub
• Znajomość aspektów związanych z budową rozwiązań BigData wykorzystujących możliwości GenAI
• Znajomość Google BigQuery
• Znajomość Kubernetes (najlepiej Google Kubernetes Engine i OpenShift)
• Znajomość relacyjnych baz danych Oracle i PostgreSQL (projektowanie, budowa i tuning baz danych)
• Biegła znajomość Python i/lub Rust
• Dobrze znasz Apache AirFlow
Mile widziane:
• Wiedza z zakresu: koncepcji data mesh, baz wektorowych i grafowych
• Znajomosć Apache Spark - najlepiej GCP Data Proc; Apache Beam – najlepiej GCP DataFlow; AutomateNow; Informatica Power Center
Oferujemy:
• Prywatną opiekę medyczną
• Dofinansowanie karty sportowej
• Szkolenia
• Stałe wsparcie konsultanta
• Program rekomendacji pracowników
Data Engineer (Google Cloud)
Zakres obowiązków:
• Budowanie rozwiązań klasy Data Lake i DWH oraz procesów zasilania danych zarówno on-line, jak i off-line
• Projektowanie i realizacja rozwiązań informatycznych w obszarze zasilania danych
• Analizowanie danych oraz przygotowywanie modeli logicznych i fizycznych
• Strojenie zapytań SQL na bazach relacyjnych i hurtownianych w środowiskach on-prem oraz GCP
• Tworzenie przepływów off-line i on-line w narzędziach on-prem oraz GCP
• Tworzenie rozwiązań do ładowania danych w językach Python i Rust dla danych strukturalnych i niestrukturalnych
• Przygotowywanie datamartów tematycznych na bazach relacyjnych i kolumnowych
• Opracowywanie koncepcji oraz implementowanie rozwiązań w oparciu o wymagania i potrzeby biznesowe
• Usuwanie incydentów oraz udział w rozwiązywaniu problemów
• Wspieranie testów i wdrożeń zmian w zakresie procesów zasilania danych
• Wspieranie serwisowania wdrożonego oprogramowania
• Praca zgodnie z modelem DevSecOps
Wymagania:
• Znajomość aspektów związanych z budową pipeline-ów zasilających ETL/ELT
• Doświadczenie w budowaniu i projektowaniu rozwiązań Data Lake i DWH
• Znajomość technologii wykorzystywanych w ramach architektury sterowanej zdarzeniami takich jak np. Kafka, Pub/Sub
• Znajomość aspektów związanych z budową rozwiązań BigData wykorzystujących możliwości GenAI
• Znajomość Google BigQuery
• Znajomość Kubernetes (najlepiej Google Kubernetes Engine i OpenShift)
• Znajomość relacyjnych baz danych Oracle i PostgreSQL (projektowanie, budowa i tuning baz danych)
• Biegła znajomość Python i/lub Rust
• Dobrze znasz Apache AirFlow
Mile widziane:
• Wiedza z zakresu: koncepcji data mesh, baz wektorowych i grafowych
• Znajomosć Apache Spark - najlepiej GCP Data Proc; Apache Beam – najlepiej GCP DataFlow; AutomateNow; Informatica Power Center
Oferujemy:
• Prywatną opiekę medyczną
• Dofinansowanie karty sportowej
• Szkolenia
• Stałe wsparcie konsultanta
• Program rekomendacji pracowników
🔍 Dekoder Ogłoszenia
🟡
Nasze podejście partnerskie pozwalają nam na elastyczne dostosowanie się do Twoich potrzeb i zapewniają pełne wsparcie podczas współpracy.
Może oznaczać, że firma rekrutacyjna będzie starała się dopasować ofertę do kandydata, ale równie dobrze może to być standardowy frazes marketingowy bez konkretnych zobowiązań.
🟡
w związku z ciągłym rozwojem i dużą liczbą projektów rekrutacyjnych, jakie prowadzimy dla naszych Partnerów
Może sugerować stabilność i wiele możliwości rozwoju, ale równie dobrze może oznaczać, że firma rekrutacyjna jest po prostu bardzo aktywna i szuka wielu kandydatów do różnych projektów, niekoniecznie gwarantując długoterminowe zatrudnienie u jednego klienta.
🟡
Budowanie rozwiązań klasy Data Lake i DWH oraz procesów zasilania danych zarówno on-line, jak i off-line
Choć brzmi ambitnie, może oznaczać pracę nad istniejącymi, być może przestarzałymi systemami, a niekoniecznie tworzenie czegoś od zera w nowoczesnych technologiach.
🔴
Usuwanie incydentów oraz udział w rozwiązywaniu problemów
Może oznaczać, że duża część pracy będzie polegać na reagowaniu na bieżące problemy i naprawianiu błędów, a nie na proaktywnym projektowaniu i budowaniu nowych rozwiązań.
🟡
Wspieranie testów i wdrożeń zmian w zakresie procesów zasilania danych
Może oznaczać, że kandydat będzie głównie wspierał inne zespoły w procesie testowania i wdrażania, a nie samodzielnie podejmował kluczowe decyzje projektowe.