GenAI Data Engineer

Quick Facts

B2B • Projekt dla banku PKO BP. Platforma do przetwarzania i udostępniania danych niestrukturalnych (dokumenty, obrazy, audio) oraz rozwiązania: wyszukiwanie semantyczne, RAG i „chat with data”.

Description

Dołączysz do zespołu rozwijającego platformę do przetwarzania i udostępniania danych niestrukturalnych, takich jak dokumenty, obrazy i nagrania audio. Budujemy rozwiązania wspierające wyszukiwanie semantyczne, RAG oraz narzędzia typu „chat with data”.

Responsibilities

• Budowa i rozwój pipeline’ów przetwarzania danych w trybie online i offline
• Przetwarzanie dokumentów, obrazów i nagrań audio, w tym ekstrakcja tekstu i metadanych
• Tworzenie usług oraz integracji API w Pythonie i/lub Rust
• Indeksowanie danych i rozwój wyszukiwania semantycznego z wykorzystaniem Qdrant
• Integracja z modelami embeddingowymi i rozwiązaniami GenAI
• Wdrażanie, monitorowanie i utrzymywanie rozwiązań zgodnie z podejściem DevSecOps
• Diagnozowanie incydentów oraz dbanie o jakość, wydajność i niezawodność procesów

Requirements

• Dobra znajomość Pythona i/lub Rusta
• Doświadczenie w budowie pipeline’ów i usług przetwarzających dane
• Praktyczna znajomość wektorowych baz danych, w szczególności Qdrant
• Znajomość embeddingów, wyszukiwania semantycznego, filtrowania po metadanych i indeksowania
• Doświadczenie z REST API
• Mile widziana znajomość FastAPI
• Znajomość architektury sterowanej zdarzeniami, np. Kafka lub Pub/Sub
• Dobra znajomość systemu Linux
• Znajomość relacyjnych baz danych, np. PostgreSQL
• Nie oczekujemy znajomości wszystkich wymienionych technologii; szukamy osoby z solidnymi podstawami inżynierii danych i gotowością do rozwoju w obszarze danych niestrukturalnych oraz AI

Benefits

• Praca nad projektem dla banku PKO BP
• Szansa na rozwój w obszarze danych niestrukturalnych oraz AI