Senior Full Stack Data Engineer (Cloud Data Platform) (m/k/n)
UPVANTA SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ
⚲ Wrocław, Fabryczna
120–140 zł netto (+ VAT) / godz.
Wymagania
- Python
- pyspark
- SQL
- Bash
- Shell
- Snowflake Data Cloud
- dbt
- Kafka
- Kinesis
- Airflow
- AWS
- MongoDB
- Git
- GitHub
- GitHub Actions
Opis stanowiska
Nasze wymagania: Wymagania techniczne Języki programowania & przetwarzanie danych - Python - PySpark - SQL - Bash / Shell scripting Platformy i narzędzia danych - Snowflake - dbt - Kafka / Kinesis - Airflow - AWS Glue - Lakehouse / Data Lake / Data Warehouse Bazy danych - NoSQL (MongoDB) Cloud & DevOps - AWS (praktyczne doświadczenie w budowie platform danych) - Terraform (Infrastructure as Code) - Git / GitHub - GitHub Actions (CI/CD) Architektura i dobre praktyki - Nowoczesne architektury danych: Data Lake, Data Warehouse, Lakehouse, Data Mesh - Modelowanie danych i data governance - CI/CD dla pipeline’ów danych i infrastruktury - Budowa kosztowo efektywnych pipeline’ów Mile widziane: Doświadczenie w transformacjach platform danych do chmury Praca na bardzo dużej skali danych (large-scale data processing) Doświadczenie w środowisku międzynarodowym O projekcie: Kogo szukamy? Doświadczonego Senior / Full Stack Data Engineera, który ma praktyczne doświadczenie w budowie i transformacji dużych platform danych w chmurze oraz pracy na dużej skali danych. Jeśli chcesz mieć realny wpływ na budowę globalnej, nowoczesnej platformy danych i pracować z zespołami na całym świecie — ta rola jest dla Ciebie. Zakres obowiązków: Projektowanie, rozwój i utrzymanie skalowalnych pipeline’ów danych (ETL/ELT) Budowa i rozwój hurtowni danych oraz rozwiązań data lake / lakehouse Tworzenie modeli danych wspierających potrzeby biznesowe i analityczne Pisanie wydajnego, skalowalnego kodu (Python / PySpark, opcjonalnie Scala lub Java) End-to-end ownership pipeline’ów zasilających platformę danych Zapewnienie wysokiej jakości, dostępności i aktualności danych Współpraca z zespołem Data Governance (GDPR, CISO, data quality wbudowane w pipeline’y) Optymalizacja istniejących rozwiązań pod kątem wydajności, kosztów i stabilności Ścisła współpraca z zespołami product, analytics i biznesem Definiowanie standardów technicznych i architektonicznych Prototypowanie i wdrażanie nowych podejść oraz technologii Współpraca z Data Product Managerem przy definiowaniu źródeł danych i wymagań Tworzenie roadmapy danych dla kluczowych datasetów Jasna komunikacja rozwiązań technicznych do odbiorców technicznych i nietechnicznych Mentoring mniej doświadczonych Data Engineerów Reprezentowanie zespołu Data & Analytics w inicjatywach cross-funkcyjnych Promowanie wartości nowoczesnych rozwiązań danych w organizacji Oferujemy: Tryb pracy: Praca zdalna