Data Engineer (Regular Expressions)

Data Engineer (Regular Expressions) W IT LeasingTeam łączymy najwyższej klasy ekspertów z prestiżowymi projektami technologicznymi. Obecnie poszukujemy Inżyniera Danych ze ścisłą specjalizacją w Regular Expressions, który dołączy do nowo budowanego zespołu wspierającego jednego z globalnych liderów branży telekomunikacyjnej.  Szukamy osoby, dla której zaawansowana analiza wzorców tekstowych i optymalizacja wyrażeń regularnych to absolutny priorytet. Jeśli świetnie odnajdujesz się w budowaniu wysokowydajnych reguł ekstrakcji, rozumiesz mechanikę silników Regex (np. PCRE ) i nie przeraża Cię praca z wolumenem przekraczającym milion rekordów na sekundę – to rola właśnie dla Ciebie. Dołączysz do 7-osobowego zespołu specjalistów, tworząc od podstaw logikę przetwarzania logów w potężnym ekosystemie Big Data, gdzie wymogiem krytycznym jest zachowanie latencji poniżej 5 sekund.  Informacje organizacyjne: • Tryb pracy: W pełni zdalny. • Forma współpracy: Kontrakt B2B z IT LeasingTeam • Budżet: 130-160 PLN/h netto + VAT (z możliwością negocjacji w górę, jeśli posiadasz doświadczenie z technologiami z sekcji "Mile widziane"). • Czas trwania: Współpraca długofalowa. • Sektor: Telekomunikacja / Big Data. • Zespół: ~7 osób. • Zakres zadań: • Projektowanie i optymalizacja Regex: Tworzenie od podstaw i utrzymywanie wysoce wydajnych wyrażeń regularnych dla nowych tematów logów telekomunikacyjnych. Świadome zarządzanie optymalizacją (np. stosowanie grup nieprzechwytujących i eliminacja zbędnych nawiasów ) w celu radykalnej poprawy wydajności.   • Przetwarzanie strumieniowe: Implementacja wzorców do procesów Spark Structure Streaming, które czytają dane bezpośrednio z Apache Kafka z prędkością ok. 1 000 000 rekordów na sekundę. • Transformacja danych: Wzbogacanie, kategoryzacja oraz filtracja wyekstrahowanych informacji z surowych logów, a następnie zasilanie nimi bazy Elasticsearch. • Skalowanie operacji: Projektowanie reguł w sposób umożliwiający utrzymanie wysokiej czytelności dla procesów Code Review, przy jednoczesnym spełnianiu rygorystycznych wymogów wydajnościowych (latencja < 5s przy rosnącej skali obciążeń) Oczekiwania: • Ekspertyza techniczna (Must-have): Głębokie, udokumentowane doświadczenie komercyjne w tworzeniu i optymalizowaniu Regular Expressions. Jeśli nie posiadasz klasycznego doświadczenia w Data Engineeringu, ale wywodzisz się np. ze środowisk NLP / lingwistyki komputerowej, analizy bezpieczeństwa czy administracji i jesteś mistrzem Regexów – aplikuj, porozmawiamy o możliwościach. • Znajomość języków obcych: Biegła znajomość języka angielskiego w mowie i piśmie na poziomie min. B2+ (praca w środowisku w pełni międzynarodowym).   • Fundamenty analityczne: Umiejętność pisania skryptów wspierających (np. Python, Java ) przydatna w testowaniu i automatyzacji rozwiązań.   • Kierunek rozwoju: Silne zainteresowanie obszarem Big Data i chęć nauki/rozwoju w nowoczesnych architekturach danych. • Mile widziany stos technologiczny: Spark, Scala, Hadoop, Airflow, Kafka, ElasticSearch (Open Distro). Oferujemy: • Unikalną skalę projektu: Praca w globalnej infrastrukturze IT, gdzie Twoje autorskie wyrażenia regularne będą na żywo przetwarzać setki milionów rekordów na godzinę. • Nowoczesne środowisko: Realny wpływ na architekturę strumieniowego przesyłu danych i okazję do pracy w otoczeniu topowych narzędzi Big Data. • Stabilność: Długofalowy kontrakt z gwarancją rozwoju w zespole wybitnych ekspertów technicznych. • Kompleksowość: Stała opieka Rekrutera po stronie ITLT, z regularnym aktualizowaniem procesu rekrutacyjnego, żeby było szybko i sprawnie.