Data Engineer
B2Bnetwork
⚲ Gdańsk, Gdynia, Warszawa
Wymagania
- MS SQL Server
- Apache Kafka
- SQL (T-SQL/PL-SQL)
- ETL
- Data modeling
- API
Opis stanowiska
Poszukujemy Data Engineera do projektu związanego z budową nowoczesnego Data Productu w obszarze zarządzania metadanymi. Osoba na tym stanowisku będzie odpowiedzialna za rozwój rozwiązań umożliwiających efektywne udostępnianie danych pomiędzy różnymi aplikacjami oraz budowę i utrzymanie procesów przetwarzania danych. Zakres obowiązków: • Projektowanie, budowa i rozwój procesów ETL oraz pipeline’ów danych • Integracja danych pomiędzy różnymi systemami i aplikacjami • Modelowanie danych oraz praca z różnymi strukturami danych • Współpraca przy budowie rozwiązań wspierających zarządzanie metadanymi • Optymalizacja i utrzymanie istniejących procesów przetwarzania danych • Wykorzystanie API oraz narzędzi streamingowych do wymiany danych • Współpraca z zespołami technicznymi i biznesowymi w zakresie rozwoju środowiska danych Wymagania (must-have): • Doświadczenie w pracy na stanowisku Data Engineer lub pokrewnym • Bardzo dobra znajomość SQL (T-SQL, PL/SQL lub inne dialekty) • Doświadczenie w pracy z bazami danych, w szczególności SQL Server • Doświadczenie w budowie ETL oraz pipeline’ów danych • Znajomość modelowania danych • Doświadczenie w pracy z Apache Kafka • Doświadczenie w pracy z API • Zrozumienie zagadnień związanych z architekturą danych i Data Landscape Mile widziane: • Znajomość DB2 • Doświadczenie z Snowflake • Doświadczenie z rozwiązaniami chmurowymi (np. S3)