Data Platform Engineer
Devire
⚲ Remote
25 200 - 28 560 PLN (B2B)
Wymagania
- Python
- Data engineering
- Kubernetes
- Helm
- Docker
- Git
- GitLab
- Spark (nice to have)
- HDFS (nice to have)
- SQL (nice to have)
- Airflow (nice to have)
- MLflow (nice to have)
- ArgoCD (nice to have)
- Hive (nice to have)
- HashiCorp Vault (nice to have)
- Security (nice to have)
Opis stanowiska
O projekcie: Devire Outsourcing IT to forma współpracy dedykowana dla specjalistów z branży IT, oparta na zasadach własnej działalności gospodarczej - B2B, realizująca projekty dla Klientów prowadzących innowacyjne i nowoczesne projekty. Dla naszego klienta, z branży telekomunikacyjnej poszukujemy osoby na stanowisko Data Platform Engineera. - Lokalizacja: praca 100% zdalna - Stawka: 150-170 PLN netto+VAT/h B2B - Kontrakt B2B za pośrednictwem Devire - Praca zdalna - Elastyczne godziny pracy - Pakiet benefitów Wymagania: - Bardzo dobra znajomość Pythona (wykorzystywanego do budowy wszystkich wewnętrznych aplikacji) - Doświadczenie w data engineering lub przy platformach analitycznych - Bardzo dobra znajomość Kubernetes (wdrożenia, utrzymanie, rozwiązywanie problemów) - Praktyczne doświadczenie z Helm i Dockerem - Doświadczenie w pracy z workflow opartym o Git (GitLab) - Solidna znajomość środowisk opartych na Linuxie - Umiejętność pracy na styku developmentu i infrastruktury - Dobre umiejętności komunikacyjne oraz poczucie odpowiedzialności za powierzony obszar Mile widziane: - Doświadczenie ze Spark i/lub HDFS - Znajomość silników SQL, takich jak Trino - Doświadczenie w utrzymaniu produkcyjnym open source’owych narzędzi związanych z danymi - Znajomość praktyk CI/CD dla zespołów platformowych Przydatne technologie/narzędzia: Apache Airflow JupyterHub Apache Superset MLflow ArgoCD Rozwiązania metastore (np. Hive Metastore) HashiCorp Vault FastAPI Streamlit Apache Ranger lub narzędzia security związane z obszarem danych Codzienne zadania: - Rozwój, wdrażanie i utrzymanie wewnętrznej platformy danych i analityki działającej na Kubernetesie - Integracja oraz utrzymanie narzędzi open source wspierających obszary analytics, experimentation i ML workflows - Tworzenie i rozwój wewnętrznych usług oraz narzędzi w Pythonie - Zarządzanie wdrożeniami z wykorzystaniem Helm, Docker, GitLab i ArgoCD - Wspieranie oraz rozwijanie narzędzi używanych przez analityków i data scientistów - Dbanie o stabilność, skalowalność i bezpieczeństwo platformy - Współpraca z zespołami data, analytics i infrastruktury