Senior Data Engineer (AI Consumer Intelligence Platform)
⚲ New York
Do uzgodnienia
Wymagania
- 5+ lat budowania i utrzymania produkcyjnych pipeline'ów ETL/ELT
- 2+ lata pracy z danymi tekstowymi/NLP (tokenizacja, embeddingi, przetwarzanie wielojęzyczne)
- 3+ lata pracy z produktami danych wdrożonymi do produkcji dla aktywnych użytkowników biznesowych
- Python: 4+ lata w środowiskach produkcyjnych
- PySpark: 2+ lata (lub Spark 1+ rok + silny Python 4+ lata)
- SQL: 3+ lata, w tym złożone zapytania i optymalizacja wydajności
- Databricks: 1+ rok w produkcji (notebooki, Delta Lake, job scheduling)
- doświadczenie z Azure (preferowane) lub AWS/GCP oraz Kubernetes
Opis stanowiska
Kratos Growth szuka Senior Data Engineer do architektury i skalowania produkcyjnych pipeline'ów danych zasilających systemy NLP i ML przetwarzające miliardy wielojęzycznych punktów danych dziennie. Będziesz raportować do CTO, odpowiadać za pełny cykl życia danych (od ingestii po observability) i definiować standardy infrastruktury dla rosnącego zespołu. Rola o wysokiej samodzielności na wczesnym etapie — bez legacy code i hierarchii. Szczera uwaga: ogłoszenie mówi o 'high-ownership role at an early stage' i 'establish DataOps/DevOps standards' — to może oznaczać brak ugruntowanych procesów, potrzebę tworzenia wielu rzeczy od podstaw oraz pracę z niedojrzałymi produktami (MVP), co wiąże się z niepewnością i zmianami wymagań.
🔍 Dekoder Ogłoszenia
🔴
This is a high-ownership role at an early stage: no legacy code politics and no entrenched hierarchies.
Może oznaczać brak ugruntowanych procesów i potrzebę samodzielnego tworzenia wielu rzeczy od podstaw, co dla niektórych może być wyzwaniem.
🔴
You'll convert MVPs into scalable products
Oznacza, że będziesz pracować z niedojrzałymi produktami i będziesz musiał je rozbudowywać, co może wiązać się z niepewnością i zmianami wymagań.
🔴
establish DataOps/DevOps standards
Sugeruje, że obecne standardy mogą być słabo zdefiniowane lub nie istnieć, co wymagać będzie od Ciebie ich stworzenia.
🔴
design governance mechanisms that prevent technical debt
Wskazuje na potencjalne problemy z jakością kodu lub architekturą, które wymagają naprawy i zapobiegania w przyszłości.
🟡
Your architectural decisions will directly impact how Fortune 500 companies access real-time consumer intelligence.
Podkreśla znaczenie roli i odpowiedzialność, ale może też sugerować presję związaną z obsługą dużych klientów.