Senior Webscraping & Data Engineer
⚲ Warszawa
38 000 - 48 000 PLN brutto (UoP)
Wymagania
- min. 6 lat doświadczenia w software lub data engineering
- silne doświadczenie w web scrapingu, crawlowaniu i automatycznym zbieraniu danych
- doskonała znajomość Pythona, w tym pandas
- doświadczenie w budowie pipeline'ów danych
- doświadczenie z zbieraniem danych na dużą skalę lub w systemach rozproszonych
Mile widziane
- doświadczenie z alternative data w finansach lub researchu
- znajomość Airflow, Kafka, Docker lub Kubernetes
- doświadczenie z AWS lub innymi platformami chmurowymi
Opis stanowiska
Rola w Link Group przy budowie skalowalnych systemów do zbierania danych z różnorodnych źródeł online. Będziesz projektować i rozwijać systemy web scrapingu i crawlowania, przetwarzać i standaryzować surowe dane oraz budować zautomatyzowane pipeline'y dla zespołów badawczych i inwestycyjnych. Część pracy obejmuje eksplorację technologii AI/ML i agentowych do ekstrakcji i walidacji danych. To oferta dla doświadczonego inżyniera, który łączy umiejętności scrapingu, inżynierii danych i chce pracować z trudno dostępnymi danymi.
🔍 Dekoder Ogłoszenia
🟡
AI-driven solutions
Może oznaczać, że część pracy będzie związana z narzędziami AI, ale niekoniecznie z ich rozwijaniem – warto dopytać o konkretne zastosowania.
🟡
dynamic online sources
Może sugerować konieczność ciągłego dostosowywania się do zmieniających się stron i technologii, co bywa czasochłonne.