Pracuj.pl Hybrydowo Mid New

Data Engineer

STS S.A.

⚲ Katowice

Wymagania

  • Python
  • SQL
  • Apache Kafka
  • Kafka Connect
  • Docker
  • Kubernetes
  • Airflow
  • GoLang
  • BigQuery
  • Google Cloud Platform

Opis stanowiska

Nasze wymagania: Doświadczenie w programowaniu w Pythonie/GO oraz posiadasz zaawansowaną znajomość SQL Wiedza w zakresie prowadzenia hurtowni danych (np. BigQuery) W praktyce korzystałeś z Apache Kafka oraz Kafka Connect Posiadasz doświadczenie w integracji danych z wielu różnych źródeł Wykorzystujesz Dataforma/DBT w celu budowania i skalowania procesów ELT Doświadczenie w korzystaniu z Airflow (lub podobnych narzędzi) do orkiestracji potoków danych Nieobce są Ci relacyjne oraz nierelacyjne bazy danych oraz praca z nimi Znasz Dockera oraz Kubernetesa nie tylko z definicji Posiadasz nastawienie na optymalizację rozwiązań pod kątem ich wydajności oraz skalowania Jesteś proaktywny, masz umiejętności pracy w zespole i pozytywną postawę do nowych wyzwań Znasz język angielski na poziomie minimum B2 Masz minimum 2 lata doświadczenia w podobnej roli lub pracy z podobnymi technologiami Ponadto, wielki plus jeżeli masz doświadczenie z ekosystemem Google Cloud Zakres obowiązków: Projektowanie, implementowanie oraz utrzymywanie rozwiązań związanych z przetwarzaniem danych w środowisku GCP Branie udziału w ciągłym rozwijaniu hurtowni danych w BigQuery Projektowanie i budowa systemu zarządzania procesami ETL (Airflow/Dataform) Zapewnienie spójności, użyteczności i jakości danych do wykorzystania przez docelowych odbiorców Konfiguracja i zarządzanie monitoringiem oraz alertami dotyczącymi przepływu i jakości danych. Tworzenie dokumentacji przepływów danych, schematów i architektury systemu. Oferujemy: Pracę w świetnym zespole, którego siłą jest pasja i współpraca, Pracę pod skrzydłami przypisanego partnera w procesie onboardingu, Nowoczesne biuro w Katowicach z konsolą PS5 i piłkarzykami, Bezpłatne zajęcia z języka angielskiego, Kartę MedicoverSport, ubezpieczenie na życie i opiekę medyczną, Bezpłatne bilety na mecze reprezentacji Polski, Urozmaicone śniadania i obiady w dobrej cenie w naszym Bistro, Ścieżkę rozwoju osobistego oraz budżet na kursy i szkolenia, Codziennie świeże owoce, dobra kawa i zdrowe przekąski, Poszanowanie równowagi między życiem zawodowym a prywatnym.