Senior Data Engineer

O projekcie: - Nazwa stanowiska* Senior Data Engineer - Lokalizacja* Warszawa - Tryb pracy* Hybrydowo - Współpraca* B2B - Stawka* 120zł/h netto B2B + Vat Co oferujemy - Pracę na kontrakcie B2B - Dostęp do systemu myBenefit, w tym prywatne ubezpieczenie medyczne, Multisport i wiele innych - Prezenty na różne okazje - Wydarzenia firmowe Wymagania: Wymagania - Znajomość zasad projektowania i budowy nowoczesnych hurtowni danych, - Znajomość aspektów związanych z budową pipeline-ów zasilających ETL/ELT : - Ekspercka znajomość relacyjnych baz danych Oracle, PostgeSQL (projektowanie, budowa i tuning baz danych), - Znajomość Google BigQuery - Znajomość Informatica Power Center, - Znajomość technologii wykorzystywanych w ramach architektury sterowanej zdarzeniami takie jak np. Kafka, Pub/Sub, - Znajomość systemu operacyjnego Linux na poziomie zaawansowanego użytkownika Mile widziane - AutomatenNow - Python - AirFlow - Rust2 - Apache Spark Codzienne zadania: - Budowa rozwiązań klasy Data Lake i Data Warehouse, obejmujących procesy zasilania danych zarówno online, jak i offline. - Projektowanie oraz implementacja rozwiązań informatycznych odpowiedzialnych za zasilanie, przetwarzanie i integrację danych. - Analiza danych oraz przygotowywanie modeli logicznych i fizycznych zgodnie z wymaganiami biznesowymi. - Optymalizacja i strojenie zapytań SQL w relacyjnych i hurtownianych bazach danych, działających zarówno on‑premises, jak i w środowisku Google Cloud Platform. - Tworzenie oraz utrzymanie przepływów danych (offline i online) z wykorzystaniem narzędzi on‑premises oraz GCP. - Opracowywanie rozwiązań do ładowania danych w Pythonie i Ruście dla danych strukturalnych i niestrukturalnych. - Przygotowywanie datamartów tematycznych opartych o bazy relacyjne oraz kolumnowe. - Tworzenie koncepcji technicznych oraz realizacja implementacji w oparciu o potrzeby i wymagania biznesowe. - Usuwanie incydentów oraz udział w procesach diagnozowania i rozwiązywania problemów związanych z przetwarzaniem danych. - Wspieranie testów i wdrażania zmian w obszarze procesów zasilania danych. - Udzielanie wsparcia w zakresie serwisowania wdrożonego oprogramowania. - Realizacja zadań zgodnie z praktykami DevSecOps.