Data Engineer
STS
⚲ Katowice
Wymagania
- Python
- Golang
- BigQuery
- Apache Kafka
- Docker
- Kubernetes
Opis stanowiska
Wymagania: • Doświadczenie w programowaniu w Pythonie/GO oraz posiadasz zaawansowaną znajomość SQL • Wiedza w zakresie prowadzenia hurtowni danych (np. BigQuery) • W praktyce korzystałeś z Apache Kafka oraz Kafka Connect • Posiadasz doświadczenie w integracji danych z wielu różnych źródeł • Wykorzystujesz Dataforma/DBT w celu budowania i skalowania procesów ELT • Doświadczenie w korzystaniu z Airflow (lub podobnych narzędzi) do orkiestracji potoków danych • Nieobce są Ci relacyjne oraz nierelacyjne bazy danych oraz praca z nimi • Znasz Dockera oraz Kubernetesa nie tylko z definicji • Posiadasz nastawienie na optymalizację rozwiązań pod kątem ich wydajności oraz skalowania • Jesteś proaktywny, masz umiejętności pracy w zespole i pozytywną postawę do nowych wyzwań • Znasz język angielski na poziomie minimum B2 • Masz minimum 2 lata doświadczenia w podobnej roli lub pracy z podobnymi technologiami • Ponadto, wielki plus jeżeli masz doświadczenie z ekosystemem Google Cloud Obowiązki: • Projektowanie, implementowanie oraz utrzymywanie rozwiązań związanych z przetwarzaniem danych w środowisku GCP • Branie udziału w ciągłym rozwijaniu hurtowni danych w BigQuery • Projektowanie i budowa systemu zarządzania procesami ETL (Airflow/Dataform) • Zapewnienie spójności, użyteczności i jakości danych do wykorzystania przez docelowych odbiorców • Konfiguracja i zarządzanie monitoringiem oraz alertami dotyczącymi przepływu i jakości danych. • Tworzenie dokumentacji przepływów danych, schematów i architektury systemu. Oferujemy: • Pracę w świetnym zespole, którego siłą jest pasja i współpraca, • Pracę pod skrzydłami przypisanego partnera w procesie onboardingu, • Nowoczesne biuro w Katowicach z konsolą PS5 i piłkarzykami, • Bezpłatne zajęcia z języka angielskiego, • Kartę MedicoverSport, ubezpieczenie na życie i opiekę medyczną, • Bezpłatne bilety na mecze reprezentacji Polski, • Urozmaicone śniadania i obiady w dobrej cenie w naszym Bistro, • Ścieżkę rozwoju osobistego oraz budżet na kursy i szkolenia, • Codziennie świeże owoce, dobra kawa i zdrowe przekąski, • Poszanowanie równowagi między życiem zawodowym a prywatnym.