Senior Data Infrastructure Engineer (Scraping & Scale)
Do uzgodnienia
Wymagania
- doświadczenie w budowie i utrzymaniu infrastruktury scrapingu na dużą skalę (proxy residential, TLS fingerprinting, browser automation, rotacja sesji)
- doświadczenie w projektowaniu rozproszonych kolejek i orkiestracji workflow (Temporal, Ray, Kafka, Celery)
- doświadczenie w architekturze storage dla danych structured/unstructured (Parquet, Iceberg, Snowflake, S3)
- doświadczenie w monitoringu, alertach i mechanizmach recovery dla systemów ingestion
- doświadczenie w utrzymaniu ingestionu na poziomie milionów rekordów dziennie
Opis stanowiska
Budowa i skalowanie infrastruktury do masowego scrapingu mediów społecznościowych — miliony profili, postów i nagrań dziennie z Instagrama, TikToka, YouTube i X. Rola dla inżyniera, który lubi walczyć z anty-botami (proxy residential, TLS fingerprinting, automatyzacja przeglądarki) i projektować odporne rozproszone pipeline'y oraz warstwę storage dla danych ustrukturyzowanych i nieustrukturyzowanych. Praca w pełni zdalna, na styku data engineeringu i infrastruktury AI.
🔍 Dekoder Ogłoszenia
✓ Ogłoszenie wygląda transparentnie — brak typowych czerwonych flag.