Senior Data Engineer (AWS/PySpark) [M/F]

O projekcie:
Poszukujemy doświadczonego Senior Data Engineera, który dołączy do niewielkiego zespołu odpowiedzialnego za rozwój i utrzymanie nowoczesnej platformy danych działającej w środowisku AWS.

Platforma wykorzystuje m.in. Amazon Redshift, S3, EMR, PySpark, AWS Glue, Lambda, Step Functions, dbt oraz Airflow do przetwarzania, transformacji i udostępniania danych na potrzeby analityki biznesowej, raportowania oraz integracji z systemami produktowymi i marketingowymi.

Projekt obejmuje zarówno rozwój istniejącej infrastruktury danych, jak i zwiększanie jej niezawodności, optymalizację wydajności i kosztów oraz automatyzację procesów. Ważnym kierunkiem rozwoju jest również przygotowanie platformy do szerszego wykorzystania Machine Learning i AI, w tym budowania pipeline'ów danych dla modeli ML oraz wdrażania rozwiązań opartych na LLM.

Wymagania:
- Min. 4 lata komercyjnego doświadczenia w obszarze Data Engineering, w tym pracy z produkcyjnymi hurtowniami danych.- Bardzo dobra znajomość SQL i Pythona, w tym praktyczne doświadczenie z PySpark.- Doświadczenie z Amazon Redshift lub inną hurtownią danych typu MPP, obejmujące optymalizację wydajności i modelowanie wymiarowe danych (w tym SCD).- Praktyczna znajomość dbt, w szczególności modeli inkrementalnych, testowania danych i zarządzania źródłami.- Doświadczenie z AWS: S3, IAM, Glue, Lambda, Step Functions, EMR oraz RDS/Aurora.- Znajomość platformy Segment lub podobnego rozwiązania CDP oraz doświadczenie w projektowaniu schematów zdarzeń.- Doświadczenie w projektowaniu niezawodnych, idempotentnych pipeline'ów danych z możliwością ponownego przetwarzania danych historycznych.- Praktyczna znajomość Infrastructure as Code (CloudFormation, AWS SAM lub Terraform) oraz procesów CI/CD.- Doświadczenie w przygotowywaniu danych na potrzeby projektów ML/AI, np. feature engineering, tworzenie zbiorów treningowych lub wdrażanie modeli.

Codzienne zadania:
- Rozwój, utrzymanie i optymalizacja pipeline'ów danych w środowisku AWS.
- Projektowanie i implementacja procesów ETL/ELT z wykorzystaniem PySpark, dbt, AWS Glue, EMR i Step Functions.
- Integracja nowych źródeł danych, w tym baz PostgreSQL (Aurora), Amazon SQS oraz zewnętrznych API.
- Rozwój i optymalizacja hurtowni danych Amazon Redshift, w tym poprawa wydajności zapytań i redukcja kosztów infrastruktury.
- Tworzenie i rozwijanie modeli danych w dbt, wdrażanie testów jakości danych oraz monitorowanie ich aktualności.
- Utrzymanie i rozwój integracji z platformami Segment, Braze, Amplitude i AppsFlyer oraz zapewnianie spójności danych między systemami.
- Monitorowanie procesów przetwarzania danych, diagnozowanie błędów i rozwiązywanie problemów produkcyjnych.
- Projektowanie i wdrażanie mechanizmów automatyzacji oraz zarządzanie infrastrukturą jako kodem (IaC) z wykorzystaniem CloudFormation/SAM lub Terraform i CI/CD.
- Przygotowywanie zbiorów danych treningowych i pipeline'ów cech na potrzeby modeli Machine Learning oraz wspieranie ich wdrażania w Amazon SageMaker.
- Wsparcie inicjatyw AI/LLM, w szczególności w zakresie dostępu do danych, przygotowywania zbiorów ewaluacyjnych i optymalizacji kosztów.