Data Engineer
STS S.A.
⚲ Katowice
Wymagania
- Python
- SQL
- Apache Kafka
- Kafka Connect
- Docker
- Kubernetes
- Airflow
- GoLang
- BigQuery
- Google Cloud Platform
Opis stanowiska
Nasze wymagania: Doświadczenie w programowaniu w Pythonie/GO oraz posiadasz zaawansowaną znajomość SQL Wiedza w zakresie prowadzenia hurtowni danych (np. BigQuery) W praktyce korzystałeś z Apache Kafka oraz Kafka Connect Posiadasz doświadczenie w integracji danych z wielu różnych źródeł Wykorzystujesz Dataforma/DBT w celu budowania i skalowania procesów ELT Doświadczenie w korzystaniu z Airflow (lub podobnych narzędzi) do orkiestracji potoków danych Nieobce są Ci relacyjne oraz nierelacyjne bazy danych oraz praca z nimi Znasz Dockera oraz Kubernetesa nie tylko z definicji Posiadasz nastawienie na optymalizację rozwiązań pod kątem ich wydajności oraz skalowania Jesteś proaktywny, masz umiejętności pracy w zespole i pozytywną postawę do nowych wyzwań Znasz język angielski na poziomie minimum B2 Masz minimum 2 lata doświadczenia w podobnej roli lub pracy z podobnymi technologiami Ponadto, wielki plus jeżeli masz doświadczenie z ekosystemem Google Cloud Zakres obowiązków: Projektowanie, implementowanie oraz utrzymywanie rozwiązań związanych z przetwarzaniem danych w środowisku GCP Branie udziału w ciągłym rozwijaniu hurtowni danych w BigQuery Projektowanie i budowa systemu zarządzania procesami ETL (Airflow/Dataform) Zapewnienie spójności, użyteczności i jakości danych do wykorzystania przez docelowych odbiorców Konfiguracja i zarządzanie monitoringiem oraz alertami dotyczącymi przepływu i jakości danych. Tworzenie dokumentacji przepływów danych, schematów i architektury systemu. Oferujemy: Pracę w świetnym zespole, którego siłą jest pasja i współpraca, Pracę pod skrzydłami przypisanego partnera w procesie onboardingu, Nowoczesne biuro w Katowicach z konsolą PS5 i piłkarzykami, Bezpłatne zajęcia z języka angielskiego, Kartę MedicoverSport, ubezpieczenie na życie i opiekę medyczną, Bezpłatne bilety na mecze reprezentacji Polski, Urozmaicone śniadania i obiady w dobrej cenie w naszym Bistro, Ścieżkę rozwoju osobistego oraz budżet na kursy i szkolenia, Codziennie świeże owoce, dobra kawa i zdrowe przekąski, Poszanowanie równowagi między życiem zawodowym a prywatnym.