Data Engineer
WeNet sp. z o.o.
⚲ Warszawa, Mokotów
Wymagania
- SQL
- Python
- Git
- Docker
- Google Cloud Platform
- Dataform
- Terraform
- Airflow
- Cloud Composer
Opis stanowiska
Nasze wymagania: Minimum 3-5 lat doświadczenia komercyjnego w inżynierii danych Bardzo dobra znajomość SQL i Pythona Znajomość Dataform lub dbt Doświadczenie z CI/CD w środowisku danych (GitHub Actions, Cloud Build lub odpowiednik) Biegła obsługa narzędzi inżynierskich: Git, Docker Doświadczenie z GCP (BigQuery) lub inną platformą chmurową Znajomość architektury ETL/ELT Praktyczne podejście do jakości danych, szczególnie w kontekście systemów AI Mile widziane: Znajomość narzędzi orkiestracji (Airflow, Cloud Composer) Terraform lub inne podejście Infrastructure as Code Znajomość modelowania wymiarowego (Kimball) O projekcie: Dołączasz do zespołu realizującego pełną transformację platformy danych na GCP. Projektujesz, budujesz i utrzymujesz warstwy Silver i Gold w architekturze medalion, które stają się fundamentem dla analityki, autonomicznych agentów AI i całego ekosystemu danych organizacji przechodzącej w model agentic. Pracujesz na realnych danych, w małym zespole, z bezpośrednim wpływem na kierunek techniczny projektu. Zakres obowiązków: Budowa i utrzymanie pipeline'ów ETL/ELT na GCP: ingestia danych z wielu źródeł Implementacja transformacji Silver i Gold w Dataform, w tym warstwa semantyczna (metadane, słowniki) Utrzymanie środowiska CI/CD i standardów inżynierskich zespołu (testy, wdrożenia, dokumentacja) Zapewnienie jakości danych: walidacja, testy, alerty na odchylenia Budowa i utrzymanie katalogu danych: lineage, opisy tabel, ownership (Dataplex) Optymalizacja kosztów BigQuery i wydajności transformacji Oferujemy: Pracę przy projekcie rozwoju platformy danych wspierającej rozwiązania AI i LLM Realny wpływ na architekturę i jakość danych w systemach produkcyjnych Współpracę z doświadczonym zespołem technicznym i biznesowym Możliwość rozwoju kompetencji w obszarze chmury i AI Możliwość pracy zdalnej Nowoczesne narzędzia i środowisko pracy sprzyjające jakości i automatyzacji Bogata kafeteria benefitów (kafeteria Worksmile, platforma Mindgram, prywatna opieka medyczna, karta sportowa, ubezpieczenie grupowe)