Senior GenAI / LLMOps Engineer

Projekt

Budowa i rozwój technicznych fundamentów bezpiecznego, kontrolowanego i efektywnego kosztowo wykorzystania Generative AI (GenAI) w środowisku enterprise. Projekt obejmuje centralną warstwę dostępową do modeli LLM, observability oraz mechanizmy bezpieczeństwa i kontroli kosztów dla aplikacji, agentów AI i zespołów developerskich.

Tryb współpracy

• 100% zdalnie
• Dostępność: od zaraz lub maksymalnie w ciągu 1 miesiąca

Czym będziesz się zajmować?

• Projektowaniem i rozwojem bezpiecznej warstwy dostępu do modeli LLM, w tym rozwiązań klasy LLM Gateway / API Gateway, umożliwiających centralne zarządzanie modelami różnych dostawców.
• Rozwojem integracji API z modelami LLM, obejmujących uwierzytelnianie, autoryzację, routing, limitowanie dostępu oraz kontrolę wykorzystania modeli.
• Budowaniem mechanizmów observability dla środowiska GenAI, w tym centralnego logowania oraz monitoringu wykorzystania modeli, aplikacji, tokenów, błędów i kosztów.
• Testowaniem i oceną modeli LLM, sposobów ich hostowania oraz technologii GenAI pod kątem jakości, bezpieczeństwa, wydajności, integracji i kosztów, także dla rozwiązań on-premise i private cloud.
• Realizacją technicznych Proof of Concept oraz analiz nowych modeli, narzędzi i możliwości GenAI, a następnie wsparciem we wdrażaniu wybranych rozwiązań do standardu produkcyjnego.
• Współpracą z zespołami DevOps, Cloud, Security, Data i Architecture przy przekładaniu zasad AI Governance oraz bezpieczeństwa na rozwiązania technologiczne.

Wymagania

• Praktyczne doświadczenie projektowe z Generative AI / LLM oraz udział w budowie rzeczywistych rozwiązań wykorzystujących modele językowe.
• Bardzo dobra znajomość integracji z modelami LLM przez API oraz architektury rozwiązań GenAI w środowiskach enterprise.
• Doświadczenie lub bardzo dobra znajomość LLMOps / GenAIOps, w tym udostępniania, monitoringu i zarządzania modelami.
• Znajomość mechanizmów API Gateway, uwierzytelniania, zarządzania dostępem, routingu, logowania, monitoringu i observability.
• Dobra znajomość ekosystemu modeli LLM, w tym rozwiązań OpenAI, Anthropic, Google oraz modeli open-source.
• Znajomość SQL oraz doświadczenie w samodzielnej realizacji analiz technicznych, eksperymentów i Proof of Concept.

Mile widziane

• Doświadczenie z LiteLLM, AI Gateway, model routerem lub proxy dla modeli LLM.
• Doświadczenie z Azure OpenAI, Google Vertex AI, Anthropic lub hostowaniem modeli open-source / on-premise.
• Znajomość Snowflake oraz doświadczenie z platformami danych lub hurtowniami danych.
• Znajomość Kubernetes, konteneryzacji, CI/CD oraz środowisk chmurowych.
• Doświadczenie z observability, FinOps lub optymalizacją kosztów usług AI/cloud.
• Znajomość RAG, agentów AI i narzędzi developerskich wykorzystujących LLM.

Dlaczego warto?

• Projekt obejmujący budowę technicznych fundamentów środowiska GenAI, w tym LLM Gateway, integracje API, observability, security oraz optymalizację kosztów.
• Hands-on charakter współpracy z przestrzenią na samodzielne eksperymenty, Proof of Concept oraz wdrażanie nowych rozwiązań technologicznych.
• Praca z dynamicznie rozwijającym się ekosystemem LLM / GenAI oraz modelami komercyjnymi i open-source.
• Współpraca z doświadczonymi zespołami DevOps, Cloud, Security, Data i Architecture.
• 100% zdalny model współpracy.