Senior Full Stack Data Engineer (Cloud Data Platform) (m/k/n)

Wymagania: - Wymagania techniczne - Języki programowania & przetwarzanie danych - - Python - - PySpark - - SQL - - Bash / Shell scripting - Platformy i narzędzia danych - - Snowflake - - dbt - - Kafka / Kinesis - - Airflow - - AWS Glue - - Lakehouse / Data Lake / Data Warehouse - Bazy danych - - NoSQL (MongoDB) - Cloud & DevOps - - AWS (praktyczne doświadczenie w budowie platform danych) - - Terraform (Infrastructure as Code) - - Git / GitHub - - GitHub Actions (CI/CD) - Architektura i dobre praktyki - - Nowoczesne architektury danych: Data Lake, Data Warehouse, Lakehouse, Data Mesh - - Modelowanie danych i data governance - - CI/CD dla pipeline’ów danych i infrastruktury - - Budowa kosztowo efektywnych pipeline’ów Mile widziane: - Doświadczenie w transformacjach platform danych do chmury - Praca na bardzo dużej skali danych (large-scale data processing) - Doświadczenie w środowisku międzynarodowym O firmie: - Welcome to Upvanta, where our motto is “We Care More”. - Founded in 2018, we have grown into a dynamic IT services company with a team of over 180 dedicated professionals. Our journey has been marked by exceptional year-over-year growth, driven by our unwavering commitment to our clients. Zakres obowiązków: - Projektowanie, rozwój i utrzymanie skalowalnych pipeline’ów danych (ETL/ELT) - Budowa i rozwój hurtowni danych oraz rozwiązań data lake / lakehouse - Tworzenie modeli danych wspierających potrzeby biznesowe i analityczne - Pisanie wydajnego, skalowalnego kodu (Python / PySpark, opcjonalnie Scala lub Java) - End-to-end ownership pipeline’ów zasilających platformę danych - Zapewnienie wysokiej jakości, dostępności i aktualności danych - Współpraca z zespołem Data Governance (GDPR, CISO, data quality wbudowane w pipeline’y) - Optymalizacja istniejących rozwiązań pod kątem wydajności, kosztów i stabilności - Ścisła współpraca z zespołami product, analytics i biznesem - Definiowanie standardów technicznych i architektonicznych - Prototypowanie i wdrażanie nowych podejść oraz technologii - Współpraca z Data Product Managerem przy definiowaniu źródeł danych i wymagań - Tworzenie roadmapy danych dla kluczowych datasetów - Jasna komunikacja rozwiązań technicznych do odbiorców technicznych i nietechnicznych - Mentoring mniej doświadczonych Data Engineerów - Reprezentowanie zespołu Data & Analytics w inicjatywach cross-funkcyjnych - Promowanie wartości nowoczesnych rozwiązań danych w organizacji Oferujemy: - Tryb pracy: Praca zdalna