Lead Data Engineer

Lead Data Engineer 
Dołącz do projektu, którego celem jest kompleksowa migracja platformy danych z Hadoop do GCP, z docelowym wykorzystaniem BigQuery.
Poszukujemy doświadczonej osoby, która obejmie techniczne przywództwo nad migracją, uporządkuje istniejące procesy ETL oraz wyznaczy kierunek dalszego rozwoju środowiska Data Engineering.
To rola dla osoby, która poza mocnym doświadczeniem technicznym potrafi podejmować decyzje architektoniczne, organizować pracę zespołu i brać ownership za cały obszar migracji.
Zakres obowiązków
• Prowadzenie techniczne migracji platformy danych z Hadoop do GCP / BigQuery
• Analiza obecnego środowiska i identyfikacja obszarów wymagających uporządkowania oraz modernizacji
• Projektowanie i rozwój docelowej architektury danych w środowisku GCP
• Uporządkowanie, optymalizacja i modernizacja istniejących procesów ETL/ELT
• Przygotowanie strategii oraz podejścia do migracji danych i procesów
• Podejmowanie decyzji technologicznych i architektonicznych dotyczących Data Engineering
• Współpraca z zespołami technicznymi oraz interesariuszami biznesowymi
• Koordynowanie pracy zespołu Data Engineering i wyznaczanie kierunku jego rozwoju
• Dbanie o skalowalność, wydajność, jakość i niezawodność procesów danych
• Identyfikowanie ryzyk i zależności związanych z migracją oraz proponowanie odpowiednich rozwiązań
Wymagania
• Min. 5–7 lat doświadczenia w Data Engineering
• Bardzo dobra znajomość ekosystemu Hadoop
• Praktyczne doświadczenie z GCP, w szczególności BigQuery
• Bardzo dobra znajomość projektowania i rozwijania procesów ETL/ELT
• Doświadczenie w projektach związanych z migracją lub modernizacją platform danych
• Bardzo dobra znajomość SQL
• Znajomość Pythona lub innego języka wykorzystywanego w Data Engineering
• Doświadczenie w projektowaniu architektury rozwiązań danych
• Doświadczenie w pełnieniu roli Technical Leada / Data Engineering Leada lub w prowadzeniu zespołu technicznego
• Umiejętność samodzielnego podejmowania decyzji technicznych i brania odpowiedzialności za obszar end-to-end
• Dobra znajomość języka angielskiego
Mile widziane
•

Apache Spark

•

Hive / HDFS

•

Cloud Composer / Airflow

•

Dataflow

•

dbt

•

Terraform / Infrastructure as Code

• Doświadczenie z dużymi, enterprise'owymi platformami danych
• Doświadczenie w projektach modernizacji legacy data platforms
Kogo szukamy?
Szukamy osoby, która nie ogranicza się do implementacji pojedynczych zadań, ale potrafi spojrzeć na cały ekosystem danych, uporządkować istniejące rozwiązania i wyznaczyć kierunek jego transformacji.
Jeśli masz doświadczenie w środowisku Hadoop, znasz GCP/BigQuery i masz na koncie prowadzenie zespołów lub dużych inicjatyw Data Engineering — ta rola może być dla Ciebie.