Data Engineer

Charakterystyka oferty: • Miejsce pracy: 1x w tygodniu praca z biura w Warszawie • Start: ASAP • Godziny pracy: Standardowe godziny pracy • Branża: bankowa • Wynagrodzenie: 120 - 137 zł netto/h + VAT (bez płatnych urlopów) • Proces rekrutacyjny: Krótka rozmowa telefoniczna z ITFS ➡ Rozmowa techniczna ➡ Rozmowa projektowa ➡ Decyzja Twoje zadania: • Projektowanie i rozwój procesów integracji danych w środowisku GCP i on-premise. • Budowa oraz utrzymanie procesów ETL/ELT. • Projektowanie, optymalizacja i tuning baz danych. • Rozwój rozwiązań streamingowych i kolejkowych. • Tworzenie i utrzymanie workflowów oraz harmonogramów przetwarzania danych. • Wystawianie i rozwój usług REST API. • Tworzenie narzędzi wspierających wydajne ładowanie danych w Pythonie • Monitorowanie i optymalizacja wydajności procesów danych. Wymagania: • Min. 5 lat doświadczenia jako Data Engineer w środowisku GCP. • Bardzo dobra znajomość BigQuery, Bigtable, Scylla Cloud oraz relacyjnych baz danych (Oracle, PostgreSQL, ScyllaDB). • Doświadczenie w projektowaniu, optymalizacji i tuningu baz danych. • Dobra znajomość Apache Airflow, Dataflow, Dataproc oraz narzędzi ETL on-premise (Informatica PowerCenter, Apache NiFi). • Doświadczenie w pracy z Kafka i Google Pub/Sub. • Bardzo dobra znajomość Python i PySpark • Umiejętność projektowania i wystawiania REST API. • Znajomość AutomateNow firmy Infinity Data. • Doświadczenie w budowie wysokowydajnych rozwiązań przetwarzania danych.