Senior Data Infrastructure Engineer (Scraping & Scale)
Do uzgodnienia
Wymagania
- doświadczenie w budowie infrastruktury scrapingu z użyciem residential proxy, TLS fingerprinting i browser automation
- doświadczenie w budowie rozproszonych, odpornych na awarie pipeline'ów o wysokiej przepustowości
- doświadczenie w orkiestracji workflow (Temporal, Ray, Kafka, Celery)
- doświadczenie w architekturze storage dla danych strukturalnych i niestrukturalnych (Parquet, Iceberg, Snowflake, S3)
- doświadczenie w monitoringu, alertach i mechanizmach recovery dla systemów scrapujących
Opis stanowiska
Budowa i skalowanie infrastruktury do scrapingu i ingestii danych z serwisów społecznościowych (Instagram, TikTok, YouTube, X) na poziomie milionów rekordów dziennie. Będziesz projektować rozproszone pipeline'y, orkiestrację (Temporal, Ray, Kafka, Celery) oraz warstwę storage (Iceberg, Snowflake, S3), a także mierzyć się z anty-botowymi zabezpieczeniami i rotacją proxy. Szczera uwaga: rola wiąże się z omijaniem zabezpieczeń platform i masowym zbieraniem danych osobowych z social mediów — warto dopytać o zgodność z RODO, ToS i źródła danych, zanim zdecydujesz się aplikować.
🔍 Dekoder Ogłoszenia
🔴
complex anti-bot challenges
Praca przy scrapingu z obejściami zabezpieczeń — może budzić wątpliwości etyczne i prawne (ToS, RODO).
🔴
millions of social media profiles, posts, and video records daily
Skala zbierania danych osobowych z social mediów — warto dopytać o zgodność z RODO i źródła danych.