Senior Data Engineer

Informacje organizacyjne

• Budżet: do 145–175 PLN/h netto + VAT.
• Tryb pracy: w 100% zdalnie lub hybrydowo, do ustalenia.
• Wymiar pracy: full-time, współpraca długoterminowa, standardowe godziny pracy.
• Dostępność: najlepiej od zaraz; akceptowalny maksymalnie miesięczny okres wypowiedzenia.
• Sektor: doradztwo biznesowe / finanse.

Projekt

Dołączysz do nowo budowanego zespołu tworzącego nowoczesne rozwiązania oparte na sztucznej inteligencji, wspierające procesy w obszarze usług podatkowych. Projekt jest realizowany we współpracy z globalnym partnerem technologicznym dla lidera rynku doradztwa i audytu.

Środowisko obejmuje chmurę Azure, architekturę mikrousługową oraz rozwiązania GenAI, w tym RAG Pipelines, LangGraph i LangChain. Głównym zadaniem będzie projektowanie i dostarczanie wysoce skalowalnych, wydajnych przepływów danych, głównie w Databricks, stanowiących fundament innowacyjnych platform.

Zakres obowiązków

• Kompleksowe projektowanie, implementacja i utrzymanie zaawansowanych aplikacji opartych na Apache Spark.
• Wyznaczanie i egzekwowanie standardów kodowania oraz najlepszych praktyk inżynierskich poprzez merytoryczny code review.
• Przekładanie procedur składowanych SQL na nowoczesne, zoptymalizowane rozwiązania w ekosystemie PySpark/Spark SQL.
• Zapewnienie maksymalnej wydajności i skalowalności przetwarzanych wolumenów danych w środowisku produkcyjnym.
• Ścisła współpraca z interdyscyplinarnym zespołem — architektami, deweloperami i ekspertami biznesowymi — oraz bezpośrednia komunikacja z klientem.
• Diagnozowanie i sprawne usuwanie technicznych wąskich gardeł w przepływach danych.
• Tworzenie i aktualizowanie dokumentacji technicznej wdrażanych rozwiązań i procesów.

Oczekiwania

• Minimum 5 lat komercyjnego doświadczenia w wytwarzaniu oprogramowania, z wyraźnym fokusem na inżynierię danych.
• Zaawansowana, praktyczna znajomość Python oraz bibliotek do przetwarzania i analizy danych, w szczególności Pandas lub Polars.
• Głęboka znajomość ekosystemu Databricks i PySpark, w tym zarządzania klastrami oraz orkiestracji zadań.
• Biegłość w pracy z kolumnowymi formatami zapisu danych, głównie Parquet, oraz architekturą Delta Tables.
• Doświadczenie w udanej migracji klasycznego SQL, w tym stored procedures, do nowoczesnych środowisk Spark.
• Udokumentowane sukcesy w optymalizacji wydajności procesów Spark w systemach o rygorystycznych wymaganiach produkcyjnych.
• Zrozumienie architektury rozproszonej i mikrousługowej z perspektywy skalowania systemów danych.
• Wysokie zdolności analityczne oraz umiejętność tworzenia pragmatycznych, elastycznych rozwiązań dopasowanych do potrzeb biznesowych.

Mile widziane

• Praktyczna znajomość ekosystemu Microsoft Azure, w tym Data Lake, Blob Storage, Service Bus i Redis.
• Znajomość Docker i Kubernetes.
• Doświadczenie z FastAPI.

Oferujemy

• Dostęp do benefitów: Multisport, ubezpieczenie PZU i opieka medyczna LuxMed.