Cloud Data Engineer (f/m/x)

Quick Facts

• Centrum Kompetencyjne Data & Analytics
• Obszary: Data Science, Big Data, Machine Learning

Description

Projektowanie, budowanie i rozwijanie skalowalnych oraz wysokowydajnych platform przetwarzania danych (Data Lake / Data Platform) oraz wdrażanie pipeline’ów ETL/ELT i rozwiązań batch lub near real-time w środowisku Azure Databricks.

Responsibilities

• Projektowanie, budowanie i rozwijanie skalowalnych oraz wysokowydajnych platform przetwarzania danych w architekturze Data Lake / Data Platform
• Tworzenie oraz utrzymanie pipeline’ów ETL/ELT do integracji danych z różnych źródeł oraz ich przetwarzania w środowisku Azure Databricks
• Modelowanie danych oraz przygotowywanie struktur danych dostosowanych do potrzeb analitycznych i biznesowych
• Implementacja rozwiązań do przetwarzania danych (batch i/lub near real-time)
• Monitorowanie, optymalizacja i rozwój istniejących pipeline’ów oraz procesów przetwarzania danych
• Współpraca z analitykami danych, zespołami BI oraz Data Science w zakresie przygotowania i udostępniania danych
• Zbieranie wymagań biznesowych i proponowanie optymalnych rozwiązań technologicznych
• Tworzenie i utrzymywanie dokumentacji technicznej dla rozwijanych rozwiązań
• Wsparcie oraz mentoring mniej doświadczonych członków zespołu, dzielenie się wiedzą i najlepszymi praktykami

Requirements

• Minimum 4 lata doświadczenia w projektach związanych z przetwarzaniem i integracją dużych wolumenów danych
• Bardzo dobra znajomość SQL oraz Python
• Doświadczenie w pracy z frameworkami do przetwarzania danych: Apache Spark / PySpark
• Praktyczne doświadczenie w projektowaniu i budowie rozwiązań Data Lake oraz Data Warehouse
• Umiejętność budowania i utrzymywania pipeline’ów ETL/ELT oraz pracy z narzędziami do orkiestracji i integracji danych
• Komercyjne doświadczenie w projektach opartych o rozwiązania chmurowe Microsoft Azure w obszarze przetwarzania danych (Databricks, Azure Data Factory, Synapse, Fabric)
• Znajomość koncepcji przetwarzania danych w środowisku rozproszonym oraz optymalizacji pipeline’ów danych
• Umiejętność swobodnej komunikacji w języku angielskim
• Wymagana płynna znajomość języka polskiego
• Wymagane przebywanie na terenie Polski

Benefits

• Tytuł Great Place to Work od 2015 roku
• Stabilność zatrudnienia
• Dzielimy się zyskiem z pracownikami
• Bogaty pakiet benefitów: prywatna opieka zdrowotna, platforma kafeteryjna, zniżki na samochody i więcej
• Komfortowe miejsce pracy: biura klasy A lub zdalnie
• Dziesiątki fascynujących projektów dla prestiżowych marek z całego świata
• 1 000 000 PLN rocznie na pomysły i akcje wolontariackie
• Rozwój: meetupy, webinary, platforma szkoleniowa i blog technologiczny
• Fantastyczna atmosfera