AWS Data Engineer (DataBricks+DataLake)

Kim jest H2B Group?
Jesteśmy firmą konsultingową, która pomaga klientom w automatyzacji procesów biznesowych przy pomocy AI, a specjalistom IT rozwijać karierę w modelu B2B. Oferujemy projekty z branż takich jak fintech, medtech, edutech czy automatyka przemysłowa. Dzięki ścisłej współpracy wspieramy rozwój naszych klientów poprzez dostarczanie szybkich i mierzalnych efektów, jednocześnie zapewniając specjalistom IT możliwości rozwoju kariery i zdobywania cennego doświadczenia.

Dlaczego warto z nami współpracować?
✨ Elastyczność – Wybierasz projekty dopasowane do swoich umiejętności i zainteresowań, z możliwością zmiany w ramach naszej firmy lub grupy Euvic, której jesteśmy częścią.
💡 Przejrzystość – Masz jasne zasady współpracy i pełną transparentność wynagrodzenia oraz warunków.
🚀 Szybkość działania – Dzięki naszej efektywności szybko znajdziesz lub zmienisz projekt, który idealnie odpowiada Twoim kompetencjom.
🌟 Możliwość rozwoju – Pracujesz przy innowacyjnych projektach, rozwijając kluczowe kompetencje i zdobywając cenne doświadczenie.

Do projektu naszego klienta poszukujemy osoby na stanowisko AWS Data Engineer'a (DataBricks+DataLake)

Dla naszego klienta — międzynarodowej korporacji z siedzibą w Kanadzie/USA - poszukujemy kandydatów z płynnym językiem polskim o następującym profilu: Databricks + Data Lake na AWS. Kandydat powinien mieć kompetencje w 6 obszarach: 

Warunki Dostępność: od zaraz/2 tygodnie max
Dyspozycyjność do godziny 17:00.

Wymagania:

-4+ lat w data engineering. 
-2+ lata hands-on w Databricks.
-2+ lata hands-on w AWS.
-Doświadczenie w co najmniej jednej dużej migracji danych lub platformy

1. Data Engineering i Databricks
-Bardzo dobra znajomość Spark i PySpark.
-Praktyka w Delta Lake: ACID, partitioning, Z-Ordering, optimize, vacuum.
-Budowanie pipeline'ów batch i near real-time.
-Znajomość Databricks Workflows, Jobs, Unity Catalog.
-Pisanie wydajnych transformacji i debugowanie problemów wydajnościowych. 

2. AWS i architektura Data Lake
-Mocna znajomość S3 jako warstwy storage.
-Praktyka z IAM, KMS, VPC, PrivateLink, Secrets Manager.
-Integracja z usługami typu Lambda, SNS/SQS, Glue (jeśli używane).
-Projektowanie środowisk dev/test/prod i separacja kont/uprawnień.
-Koszt i wydajność w chmurze: tagging, monitoring, optymalizacja. 

3. SQL i migracje baz danych
-Bardzo dobry SQL, najlepiej również doświadczenie z SQL Server i PostgreSQL.
-Umiejętność konwersji logiki T-SQL do podejścia zgodnego z Databricks/PG.
-Doświadczenie w migracji schematów, procedur, funkcji i walidacji danych.
-Reconciliation po migracji: kontrole jakości, zgodność rekordów, raportowanie różnic. 

4. Data Governance, Security, Compliance
-Projektowanie modelu uprawnień na poziomie katalogu, schemy, tabeli, kolumny.
-Dobra praktyka z data lineage, audytem i politykami dostępu.
-Rozumienie wymagań compliance i zasady least privilege.
-Praca z danymi wrażliwymi: maskowanie, tokenizacja, kontrola dostępu. 

5. DevOps i jakość
-CI/CD dla pipeline'ów danych i infrastruktury. Infrastructure as Code, najlepiej Terraform.
-Testy danych: unit, integration, data quality checks.
-Monitoring i alerting: SLA/SLO pipeline'ów, obsługa incydentów, runbooki. 

6. Kompetencje projektowe i komunikacyjne
-Umiejętność pracy cross-team z zespołami aplikacyjnymi i architektami.
-Dobre zarządzanie ryzykiem migracji klient-po-kliencie.
-Jasna komunikacja statusu, blockerów i decyzji technicznych.
-Myślenie produktowe: nie tylko dowieźć kod, ale stabilną ścieżkę migracji. 

Mile widziane
-Databricks Certified Data Engineer Associate/Professional.
-AWS Certified Data Analytics albo AWS Solutions Architect.
-Doświadczenie z Unity Catalog i governance w środowisku enterprise.