Data Engineer with GCP
⚲ Kraków
24 360 - 27 720 PLN netto (B2B)
Wymagania
- GCP
- Python
- PostgreSQL
- PL/SQL
- Apache Beam
Opis stanowiska
Clurgo to firma stworzona przez developerów dla developerów. Nasze zespoły łączą pełne spektrum kompetencji - od rozwoju oprogramowania i infrastruktury, przez analizę oraz testy, aż po strategiczne zarządzanie produktem i procesami. Realizujemy różnorodne projekty IT dla klientów z wielu branż, dbając o dobre praktyki programistyczne i zachowanie work-life balance. Tworzymy rozwiązania, które mają znaczenie - dla firm w Polsce i na całym świecie.
✅Dołącz do projektu dużej organizacji z sektora finansowego obejmującego projektowanie, rozwój i utrzymanie batchowych oraz strumieniowych pipeline'ów danych w środowisku Google Cloud Platform. Będziesz pracować nad rozwiązaniami ETL/ELT, integracją danych, orkiestracją procesów oraz optymalizacją modeli danych i zapytań.
✅Technologie i narzędzia: GCP, Dataflow, Apache Beam, Airflow, Cloud Composer, Python, SQL, PostgreSQL, PL/SQL, BigQuery, Cloud SQL, Cloud Storage, Pub/Sub, Google Cloud SDK, Git, Jenkins
Szukamy Ciebie, jeśli:
👉posiadasz minimum 10 lat doświadczenia w branży IT, w tym silne doświadczenie w obszarze Data Engineering
👉masz praktyczne doświadczenie z usługami Google Cloud Platform (GCP)
👉potrafisz kodować w Pythonie
👉bardzo dobrze znasz SQL, PostgreSQL oraz PL/SQL
👉masz doświadczenie z Apache Beam
👉posiadasz dobrą znajomość Google Cloud SDK, API oraz skryptów
👉znasz podstawy DevOps, w tym Git, CI/CD, procesy release'owe
Mile widziane:
• znajomość Dataproc
• doświadczenie w pracy z dużymi, rozproszonymi zbiorami danych
• doświadczenie w rozwiązaniach streamingowych i architekturach event-driven
• doświadczenie w bezpośredniej współpracy z klientem i interesariuszami biznesowymi
Zadania:
• projektowanie, rozwój i utrzymanie batchowych oraz streamingowych pipeline'ów danych z wykorzystaniem usług GCP
• budowanie procesów ETL/ELT przy użyciu Dataflow, Apache Beam i Python
• projektowanie oraz optymalizacja modeli danych i zapytań w PostgreSQL i PL/SQL
• tworzenie i utrzymywanie workflowów orkiestracyjnych w Airflow / Cloud Composer
• integracja danych z wielu źródeł oraz przygotowywanie ich do analityki i raportowania w BigQuery i Cloud SQL
• zapewnianie jakości danych, walidacji, monitoringu oraz niezawodności pipeline'ów
• optymalizacja wydajności procesów przetwarzania danych i zapytań SQL
• współpraca z zespołami biznesowymi, analitycznymi i aplikacyjnymi przy przekładaniu wymagań na rozwiązania techniczne
• stosowanie praktyk Agile i DevOps w zakresie CI/CD, testowania, wdrażania i utrzymania rozwiązań
• praca z Git i Jenkins w obszarze procesów DevOps
Czego możesz się spodziewać:
• współpracy w oparciu o kontrakt B2B
• pracy hybrydowej: 8 dni w miesiącu z biura w Krakowie
• profesjonalnego procesu rekrutacyjnego – zawsze otrzymasz od nas feedback niezależnie od decyzji
Poznaj nas lepiej👉 https://www.facebook.com/clurgo/
✅Dołącz do projektu dużej organizacji z sektora finansowego obejmującego projektowanie, rozwój i utrzymanie batchowych oraz strumieniowych pipeline'ów danych w środowisku Google Cloud Platform. Będziesz pracować nad rozwiązaniami ETL/ELT, integracją danych, orkiestracją procesów oraz optymalizacją modeli danych i zapytań.
✅Technologie i narzędzia: GCP, Dataflow, Apache Beam, Airflow, Cloud Composer, Python, SQL, PostgreSQL, PL/SQL, BigQuery, Cloud SQL, Cloud Storage, Pub/Sub, Google Cloud SDK, Git, Jenkins
Szukamy Ciebie, jeśli:
👉posiadasz minimum 10 lat doświadczenia w branży IT, w tym silne doświadczenie w obszarze Data Engineering
👉masz praktyczne doświadczenie z usługami Google Cloud Platform (GCP)
👉potrafisz kodować w Pythonie
👉bardzo dobrze znasz SQL, PostgreSQL oraz PL/SQL
👉masz doświadczenie z Apache Beam
👉posiadasz dobrą znajomość Google Cloud SDK, API oraz skryptów
👉znasz podstawy DevOps, w tym Git, CI/CD, procesy release'owe
Mile widziane:
• znajomość Dataproc
• doświadczenie w pracy z dużymi, rozproszonymi zbiorami danych
• doświadczenie w rozwiązaniach streamingowych i architekturach event-driven
• doświadczenie w bezpośredniej współpracy z klientem i interesariuszami biznesowymi
Zadania:
• projektowanie, rozwój i utrzymanie batchowych oraz streamingowych pipeline'ów danych z wykorzystaniem usług GCP
• budowanie procesów ETL/ELT przy użyciu Dataflow, Apache Beam i Python
• projektowanie oraz optymalizacja modeli danych i zapytań w PostgreSQL i PL/SQL
• tworzenie i utrzymywanie workflowów orkiestracyjnych w Airflow / Cloud Composer
• integracja danych z wielu źródeł oraz przygotowywanie ich do analityki i raportowania w BigQuery i Cloud SQL
• zapewnianie jakości danych, walidacji, monitoringu oraz niezawodności pipeline'ów
• optymalizacja wydajności procesów przetwarzania danych i zapytań SQL
• współpraca z zespołami biznesowymi, analitycznymi i aplikacyjnymi przy przekładaniu wymagań na rozwiązania techniczne
• stosowanie praktyk Agile i DevOps w zakresie CI/CD, testowania, wdrażania i utrzymania rozwiązań
• praca z Git i Jenkins w obszarze procesów DevOps
Czego możesz się spodziewać:
• współpracy w oparciu o kontrakt B2B
• pracy hybrydowej: 8 dni w miesiącu z biura w Krakowie
• profesjonalnego procesu rekrutacyjnego – zawsze otrzymasz od nas feedback niezależnie od decyzji
Poznaj nas lepiej👉 https://www.facebook.com/clurgo/
🔍 Dekoder Ogłoszenia
🟡
Clurgo to firma stworzona przez developerów dla developerów.
Może to oznaczać, że kultura firmy jest bardziej zorientowana na potrzeby techniczne, ale niekoniecznie gwarantuje to idealne warunki pracy dla każdego developera.
🔴
dbając o dobre praktyki programistyczne i zachowanie work-life balance.
Choć brzmi to pozytywnie, 'dobre praktyki' i 'work-life balance' są subiektywne i mogą być różnie interpretowane przez firmę i pracownika.
🟡
Tworzymy rozwiązania, które mają znaczenie
Jest to ogólne stwierdzenie marketingowe, które nie precyzuje, jakiego rodzaju 'znaczenie' mają te rozwiązania ani jaki będzie realny wpływ pracy developera.
🔴
minimum 10 lat doświadczenia w branży IT, w tym silne doświadczenie w obszarze Data Engineering
Wymaganie 10 lat doświadczenia w IT, a jednocześnie 'silne doświadczenie w Data Engineering' może sugerować, że szukają kogoś, kto jest ekspertem w tej dziedzinie, a nie tylko ma ogólne doświadczenie w IT.
🟡
Szukamy Ciebie, jeśli: ... masz doświadczenie z Apache Beam
Apache Beam jest specyficzną technologią, a jej wymienienie jako wymóg sugeruje, że projekt będzie intensywnie z niej korzystał, co może być zarówno pozytywne, jak i negatywne w zależności od preferencji kandydata.