Lead Data Architect

O projekcie
Realizujemy długoterminowy projekt dla klienta z branży ubezpieczeniowej w Wielkiej Brytanii.
Projekt obejmuje rozwój i modernizację całego ekosystemu cyfrowego – od gateway’ów integracyjnych, przez portale webowe i aplikacje mobilne, aż po nowoczesną platformę danych.
Obszar Data składa się z kilku zespołów pracujących z różnymi technologiami, m.in. Snowflake, ClickHouse oraz Microsoft SQL Server. Klient aktywnie rozwija swoje rozwiązania chmurowe i modernizuje istniejącą architekturę danych.
Szukamy osoby, która pomoże uporządkować i rozwinąć architekturę przepływu danych – nie tylko zaprojektować rozwiązania na papierze, ale również wesprzeć ich realną implementację.
To rola dla osoby, która łączy bardzo dobrą znajomość SQL Server internals, doświadczenie w CDC (Change Data Capture) oraz kompetencje architektoniczne.
O roli
Poszukujemy Principal Data Replication Architecta, który będzie odpowiedzialny za projektowanie strategii replikacji danych oraz architektury przepływu danych w dużym środowisku enterprise.

Szukamy osoby, która:
• rozumie wewnętrzne mechanizmy działania SQL Server,
• potrafi projektować rozwiązania replikacyjne na poziomie platformy,
• zna ograniczenia i możliwości różnych podejść CDC,
• potrafi podejmować decyzje architektoniczne oraz komunikować je interesariuszom.

Zakres obowiązków
• Projektowanie architektury replikacji danych wykorzystującej:• SQL Server Native CDC,
• log-based capture,
• Change Tracking,
• batch, streaming oraz hybrydowe modele przesyłania danych.

• Projektowanie strategii:
• incremental data movement,
• ciągłości LSN,
• retencji CDC,
• odzyskiwania danych,
• failover oraz failback.

• Analiza i optymalizacja działania SQL Server, w szczególności:
• transaction log,
• VLF management,
• log backup chain,
• log reuse waits,
• AlwaysOn Availability Groups,
• CDC capture oraz cleanup jobs.

• Projektowanie docelowej architektury przepływu danych oraz ocena różnych podejść:
• SQL Server Native CDC,
• Qlik Replicate,
• Debezium,
• HVR,
• inne rozwiązania CDC.

• Definiowanie strategii zapewniających:
• spójność danych,
• możliwość ponownego przetwarzania,
• mechanizmy reconciliation,
• obsługę zmian schematu danych.

• Współpraca z zespołami DBA oraz Data:
• definiowanie standardów replikacji,
• poprawa niezawodności platformy,
• wsparcie techniczne i mentoring.

• Przygotowywanie dokumentacji architektonicznej oraz prezentowanie rozwiązań technicznych stakeholderom.

Wymagania:
• Doświadczenie eksperckie z Microsoft SQL Server.
• Bardzo dobra znajomość:• transaction log internals,
• LSN progression,
• log truncation,
• CDC capture i cleanup mechanisms,
• wpływu AlwaysOn Availability Groups na CDC.

• Praktyczne doświadczenie produkcyjne z:
• SQL Server Native CDC,
• projektowaniem incremental loads,
• obsługą dużych wolumenów danych,
• monitorowaniem opóźnień replikacji.

• Doświadczenie w projektowaniu architektury danych end-to-end.
• Umiejętność:
• tworzenia diagramów architektonicznych,
• dokumentowania rozwiązań,
• analizy kompromisów technologicznych.

• Bardzo dobra znajomość języka angielskiego – codzienna współpraca z klientem z Wielkiej Brytanii.

Mile widziane
• Doświadczenie z:• Qlik Replicate,
• Debezium,
• Kafka CDC,
• Oracle GoldenGate,
• HVR,
• Fivetran.

• Znajomość:
• Snowflake,
• procesów ingestowania danych,
• Data Quality Frameworks,
• Infrastructure as Code,
• rozwiązań chmurowych.

Technologie
• Microsoft SQL Server
• SQL Server CDC
• AlwaysOn Availability Groups
• Snowflake
• ClickHouse
• Qlik Replicate / narzędzia CDC
• Cloud Data Platforms

Oferujemy
• 100% pracę zdalną.
• Długoterminowy projekt – pierwsza umowa na 6 miesięcy z możliwością kontynuacji nawet do 2 lat.
• Stabilną współpracę przy dużym projekcie dla klienta z Wielkiej Brytanii.
• Realny wpływ na architekturę i rozwój platformy danych.
• Pracę z zespołami Data, DBA oraz architektami.
• Start projektu ASAP (możliwość rozpoczęcia w ciągu ok. 1–1,5 miesiąca).

Forma współpracy: B2B
Model pracy: 100% remote
Język projektu: angielski
Start: ASAP