Senior Data Engineer

Poszukujemy doświadczonego Spark Engineera!

Umowa: B2B

Stawka: 160-200 zł/h + VAT

Lokalizacja: hybrydowo (3 dni w tygodniu z biura w Karkowie)

Projekt:

Rozwój i utrzymanie platformy dedykowanej klientom giełdowym.

Dołączysz do zespołu, odpowiedzialnego za rozwój i dostarczanie strategicznego rozwiązania łączącego systemy Dealstores z aplikacjami Operacyjnymi i Regulacyjnymi w ramach Digital Operations Stream.Projekt jest częścią wieloletniej strategii migracji do chmury oraz modernizacji obecnego ekosystemu technologicznego.

Zadania:

• Projektowanie i rozwój platformy umożliwiającej przepływ danych o transakcjach pomiędzy Dealstores a systemami Operacyjnymi i Regulacyjnymi.

• Realizacja funkcjonalności na podstawie epików i wymagań produktowych.

• Współpraca z członkami zespołu w sprintach w celu iteracyjnego dostarczania rozwiązań.

• Ścisła współpraca z zespołem produktowym w zakresie implementacji nowych funkcjonalności.

Wymagania:

• Przynajmniej 5-6 lat doświadczenia w roli developera.

• Wykształcenie wyższe (informatyka lub pokrewne) lub odpowiednie certyfikaty.

• Bardzo dobra znajomość Spark i PySpark – doświadczenie w budowie skalowalnych rozwiązań przetwarzania danych (wymagane).

• Doświadczenie w tworzeniu i integracji przepływów danych w czasie rzeczywistym i wsadowym przy użyciu Kafka.

• Znajomość Databricks i Delta Tables – duży atut.

• Doświadczenie w pracy z CI/CD (preferowane: GitLab, ADO lub GitHub).

• Umiejętność pracy w modelu Test-Driven Development (TDD) i stosowania zasad projektowania oprogramowania.

• Znajomość architektury chmurowej i wdrożeń w Azure (preferowane) lub AWS/GCP.

• Mile widziane doświadczenie w Java backend development, wspierające współpracę z szerszym systemem opartym na Javie.

• Znajomość Kubernetes i nowoczesnej infrastruktury danych będzie dodatkowym atutem.

Proces rekrutacyjny:

1. Screening

2. Rozmowa Techniczna

3. Rozmowa projektowa z klientem Końcowym

4. Feedback