MLOps Engineer (Azure & Databricks)

Dla klienta z branży HVAC budowany jest zespół ekspertów do przebudowy wewnętrznie opracowanego oprogramowania ML, służącego do prognozowania kilku tysięcy szeregów czasowych w każdym cyklu przetwarzania. Celem jest stworzenie rozwiązania klasy produkcyjnej, spełniającego wysokie standardy utrzymania, elastyczności, skalowalności i doskonałości operacyjnej.

Główne zadania

• Budowanie solidnych fundamentów inżynieryjnych.
• Automatyzacja, zapewnienie skalowalności i obserwowalności.
• Wdrożenie procesów wydawniczych i zarządzania cyklem życia modeli ML, zapewniających niezawodne i efektywne kosztowo wdrażanie oraz eksploatację zadań danych i uczenia maszynowego w środowisku Databricks.

Oczekiwania

• Minimum 5 lat komercyjnego doświadczenia na takim samym lub podobnym stanowisku.
• Ekspercka wiedza i doświadczenie w pracy z platformą Databricks: Unity Catalog, obszary robocze, klastry, zadania/jobs, Databricks Asset Bundles lub wdrożenia deklaratywne oraz separacja środowisk dev, qa i prod.
• Zaawansowane umiejętności programowania w Pythonie z wykorzystaniem współbieżności i równoległego przetwarzania zadań w Databricks, szczególnie w środowisku Spark.
• Automatyzacja procesów CI/CD z użyciem GitHub Actions, w tym budowanie, testowanie, wdrażanie i bramki jakościowe.
• Optymalizacja wydajności i kosztów środowisk Spark/Databricks poprzez dostrajanie klastrów, przetwarzanie równoległe i profilowanie czasu wykonywania zadań.
• Wdrażanie monitorowania i obserwowalności: logi, metryki, alerty, pulpity nawigacyjne, procedury operacyjne/runbooki oraz monitorowanie jakości danych.
• Zarządzanie wydaniami, wersjonowanie, nadzór nad wdrożeniami i strategie wycofywania zmian.
• Praktyczne wykorzystanie narzędzi programistycznych wspieranych przez AI w celu zwiększania efektywności inżynierskiej.
• Co najmniej średniozaawansowane doświadczenie z MLflow, w tym śledzenie eksperymentów, rejestr modeli i zarządzanie cyklem życia modelu.