Data Engineer

W Scalo zajmujemy się dostarczaniem projektów software'owych i wspieraniem naszych partnerów w rozwijaniu ich biznesu. Tworzymy oprogramowanie, które umożliwia ludziom dokonywanie zmian, działanie w szybszym tempie oraz osiąganie lepszych rezultatów. Jesteśmy firmą, która wykorzystuje szerokie spektrum usług IT, żeby pomagać klientom. 

Obszary naszego działania to m.in.: doradztwo technologiczne, tworzenie oprogramowania, systemy wbudowane, rozwiązania chmurowe, zarządzanie danymi, dedykowane zespoły developerskie.

Cześć! 

U nas znajdziesz to, czego szukasz - przekonaj się! 

W Scalo czeka na Ciebie:

• uczestnictwo w projekcie dotyczącym utrzymania i dalszego rozwoju przepływów danych wykorzystywanych przez aplikację w środowisku Azure + Databricks. Cel projektu sprowadza się do zapewnienia niezawodnej, wydajnej i bezpiecznej obsługi procesów integracji danych z API, ich transformacji w PySpark/Spark SQL oraz publikacji zaufanych zbiorów danych do wykorzystania biznesowego,

• zarządzanie codzienną pracą przepływów danych,

• rozwój i utrzymanie notebook'ów w Databricks oraz pipelineów/trigerów w Azure Data Factory,

• obsługa Jobs/Workflows oraz procesów CI/CD w Azure DevOps,

• implementacja kontroli jakości danych, monitoringu i alertowania (SLA/SLO), analiza incydentów i usuwanie przyczyn źródłowych,

• zapewnienie bezpieczeństwa przepływów danych (Key Vault, sekrety, tożsamości) i zgodności ze standardami platformy (Unity Catalog, środowiska, branching),

• współpraca z Analitykami BI i Architektami przy dopasowaniu modeli danych i wyników do potrzeb biznesowych,

• dokumentowanie przepływów danych, zbiorów i runbook'ów oraz rozwój Ingestion Framework,

• praca w modelu hybrydowym: spotkania 2 razy w tygodniu w biurze we Wrocławiu,

• stawka do 148 zł/h przy B2B w zależności od doświadczenia.

Ta oferta jest dla Ciebie, jeśli:

• posiadasz 5+ lat doświadczenia na stanowisku Data Engineer lub podobnym,

• bardzo dobrze znasz Azure Databricks (PySpark, Spark SQL, Unity Catalog, Jobs/Workflows),

• masz doświadczenie w pracy z usługami Azure: Data Factory, Key Vault, ADLS oraz podstawowa wiedza z zakresu sieci i tożsamości,

• możesz pochwalić się zaawansowaną znajomością SQL i wiedzą z zakresu modelowania danych w architekturze Lakehouse/Delta,

• znasz Python w kontekście inżynierii danych (obsługa API, narzędzia pomocnicze, testy),

• posiadasz doświadczenie w pracy z Azure DevOps (Repos, Pipelines, YAML), 

• zazwyczaj pracujesz w oparciu o Git.

• doświadczenie w obsłudze produkcyjnych przepływów danych (m. in. monitoring, alerting, incydenty, optymalizacja kosztów),

• wyróżniasz się proaktywnym podejściem i umiejętnością samodzielnego prowadzenia tematów end-to-end,

• potrafisz pracować na styku IT i biznesu,

• poza tym jesteś komunikatywn_, ceniąc_ sobie współpracę z innymi i jakościowe wykonanie zadań.

Mile widziane:

• doświadczenie w obszarze AI.

Co dla Ciebie mamy:

• długofalową współpracę - różnorodne projekty (działamy w ramach Software Services, Embedded Services, Data Services, Cloud Services), 

• możliwość rozwoju kompetencji we współpracy z naszym Center of Excellence,  

• kafeteryjny system benefitów – Motivizer, 

• prywatną opiekę medyczną – Luxmed.

Brzmi interesująco? Aplikuj – czekamy na Twoje CV!