Lead Software Engineer

Model pracy hybrydowej: 6 dni w miesiącu z biura.

Współpraca w modelu B2B.

Zakres obowiązków

• Analiza i zbieranie wymagań funkcjonalnych oraz niefunkcjonalnych dla bieżących wdrożeń i długoterminowego rozwoju platformy.
• Prowadzenie projektowania oraz wdrażania procesów przetwarzania danych i zarządzania tabelami z wykorzystaniem PySpark oraz Apache Iceberg.
• Optymalizacja wydajności i kosztów związanych z wykorzystaniem Apache Iceberg, w tym strategii partycjonowania, rozmiaru plików, klastrowania danych oraz efektywności zapytań.
• Utrzymanie i rozwój operacji administracyjnych w Apache Iceberg, m.in. kompakcja danych, zarządzanie snapshotami i metadanymi, usuwanie osieroconych plików, oraz automatyzacja tych procesów.
• Wykorzystywanie dogłębnej znajomości architektury wewnętrznej Apache Iceberg — metadanych, manifestów, snapshotów, specyfikacji partycjonowania i ewolucji schematów — do rozwiązywania problemów i usprawniania działania platformy.
• Promowanie wysokich standardów inżynierskich poprzez code review, automatyzację testów, praktyki CI/CD, rozwój monitoringu i gotowości produkcyjnej.
• Wsparcie dla usług i zbiorów danych utrzymywanych przez zespół, w tym udział w dyżurach produkcyjnych, jeśli wymagane.
• Mentoring i wsparcie mniej doświadczonych inżynierów, aktywny udział w dyskusjach technicznych oraz podejmowaniu decyzji projektowych.
• Współpraca z zespołami architektonicznymi, platformowymi oraz obszarem governance w celu zapewnienia bezpiecznych, skalowalnych i zgodnych z wymaganiami rozwiązań.

Wymagania

• Bardzo dobra praktyczna znajomość PySpark, w szczególności DataFrame API, optymalizacji wydajności, debugowania i optymalizacji zadań Spark.
• Praktyczne doświadczenie z Apache Iceberg, obejmujące techniki optymalizacji: partycjonowanie, organizację i rozmiar plików oraz wydajność operacji odczytu i zapisu.
• Znajomość architektury wewnętrznej Apache Iceberg: snapshotów, manifestów, plików metadanych, ewolucji schematów i partycji.
• Doświadczenie w realizacji i automatyzacji operacji utrzymaniowych w środowiskach produkcyjnych: kompakcji danych, usuwaniu przestarzałych snapshotów, czyszczeniu metadanych i usuwaniu osieroconych plików.
• Silne podstawy inżynierii oprogramowania: projektowanie niezawodnych i łatwych w utrzymaniu systemów, pisanie czytelnego i testowalnego kodu oraz rozwinięte umiejętności rozwiązywania problemów.
• Doświadczenie w utrzymaniu produkcyjnych środowisk przetwarzania danych oraz odpowiedzialne podejście właścicielskie, obejmujące obsługę incydentów, analizę przyczyn źródłowych i działania stabilizujące.
• Umiejętność efektywnej pracy zespołowej, bardzo dobre zdolności komunikacyjne oraz umiejętność wpływania na decyzje w międzynarodowym środowisku.
• Samodzielność, inicjatywa, odpowiedzialność za pełny cykl dostarczania rozwiązań oraz dobra organizacja pracy.
• Bardzo dobra znajomość języka angielskiego w mowie i piśmie.

Oferujemy

• Pracę w międzynarodowym środowisku jednej z największych instytucji finansowych na świecie.
• Udział w strategicznych projektach związanych z platformami danych, analityką i nowoczesnymi technologiami Big Data.
• Współpracę z globalnymi zespołami ekspertów z Polski, Wielkiej Brytanii, Indii i Chin.
• Realny wpływ na architekturę, rozwój oraz kierunek technologiczny platform wykorzystywanych przez biznes.
• Możliwość pracy z nowoczesnym stosem technologicznym, w tym Apache Iceberg, PySpark i rozwiązaniami chmurowymi.
• Kulturę opartą na współpracy, wymianie wiedzy i wysokich standardach inżynierskich.
• Elastyczny model pracy hybrydowej.
• Bogaty pakiet benefitów, w tym prywatną opiekę medyczną, ubezpieczenie na życie i kartę sportową.
• Konkurencyjne wynagrodzenie i stabilne zatrudnienie w globalnej organizacji.