Big Data Engineer

Projekt realizowany jest w obszarze bankowości B2B i B2C, w domenie C-Profit odpowiedzialnej za konsolidację i udostępnianie zespołom sprzedaży transakcji na produktach finansowych banku inwestycyjnego. Obejmuje modernizację platformy danych opartej na technologiach Big Data oraz równoległą migrację do Azure.

Zakres usług

• Dokumentacja techniczna, plany testów oraz deliverables projektowe, dostarczane etapami zgodnie z harmonogramem uzgodnionym w ramach realizacji zlecenia.
• Projektowanie i wdrożenie rozwiązań do zbierania, transformacji i przetwarzania dużych zbiorów danych z wykorzystaniem Spark, Java, Hive i SQL.
• Joby przetwarzania i mapowania danych realizowane z użyciem Spark/Scala, dostarczane zgodnie z wymaganiami biznesowymi.
• Analiza danych pochodzących z wielu źródeł oraz opracowanie specyfikacji technicznych na podstawie uzyskanych wyników.
• Rekomendacje dotyczące strategii architektury Big Data, przygotowane na podstawie ustaleń z interesariuszami projektu.
• Uindustrializowanie procesów przetwarzania danych pod kątem niezawodności, odporności i wydajności.
• Zapewnienie wsparcia aplikacji oraz rozwiązywanie zgłaszanych problemów produkcyjnych.

Wymagane kompetencje

• Minimum 4–5 lat doświadczenia w rozwoju oprogramowania.
• Praktyczne stosowanie TDD (Test-Driven Development) w ramach realizacji zleceń.
• Wykształcenie wyższe kierunkowe (informatyka / inżynieria oprogramowania).
• Ekspercka znajomość Spark, Java, Hive oraz SQL.
• Biegła znajomość języka angielskiego.

Mile widziane

• Doświadczenie z DevOps, CI/CD oraz architekturą mikroserwisów i API.
• Znajomość narzędzi Big Data oraz systemu kontroli wersji Git.
• Znajomość Pythona, w tym w kontekście Airflow.

Oferujemy

• Realizację usług w środowisku o globalnej obecności i wysokich standardach operacyjnych.
• Otwartość na okazjonalne spotkania projektowe w Warszawie, ustalane zależnie od potrzeb projektu i uzgadniane między stronami.
• Uczestnictwo w wydarzeniach branżowych oraz meetupach technologicznych, umożliwiających dzielenie się wiedzą i doświadczeniem.
• Współpracę w modelu projektowym, z rozliczeniem opartym na etapach i protokołach odbioru poszczególnych deliverables.
• Realizację usług w obszarze modernizacji platformy danych oraz migracji do Azure.
• Elastyczną formę współpracy B2B.
• Szybki i zdalny proces.