April 28, 2026

PySpark / Foundry Engineer

Mid • Remote

Katowice, Poland

BPX to przede wszystkim ludzie tworzący nasz wyjątkowy team oraz wartości, którymi kierujemy się w naszej codziennej pracy. Od ponad 18 lat tworzymy zgrany zespół dynamicznie rozwijającej się firmy konsultingowej. Specjalizujemy się w doskonaleniu procesów zarządzania z wykorzystaniem nowoczesnych technologii i systemów do zarządzania klasy ERP i Business Intelligence. Z sukcesem realizujemy projekty dla znanych marek w Polsce i na całym świecie.

PySpark / Foundry Engineer 

 

Udział w budowie i migracji procesów ETL/ELT w środowisku Palantir Foundry w ramach MediCom Data Sphere – docelowo Foundry jako główny Data Lake dla obszaru Healthcare Commercial.

 

Zakres obowiązków:

 

Budowa i optymalizacja przepływów danych (data flows) z systemów źródłowych do Data Lake (Foundry) z wykorzystaniem PySpark

Tworzenie struktur danych w Data Lake (Foundry)

Implementacja procesów ETL zgodnie z architekturą definiowaną przez architektów klienta

Estymacja i realizacja zadań w systemie ticketowym (Azure DevOps / Jira)

Udział w ceremoniach SCRUM (planowanie, review)

Tworzenie dokumentacji technicznej (Confluence)

Konsultacje i wsparcie zespołu oraz użytkowników końcowych (handover wiedzy)

Technologie / narzędzia:

 

PySpark / Python

Palantir Foundry (Data Lake)

Azure DevOps / Jira

Confluence

Model pracy:

 

Praca w Scrumie (sprinty 3-tygodniowe)

Zadania przydzielane podczas sprint planning, review z Product Ownerem na koniec sprintu

 

Rezultat:

Zbudowanie struktur danych w Palantir Foundry dla krajów objętych priorytetem w programie MediCom.

Similar jobs you might like

Technology

Be in IT

Senior Data Engineer

Senior

Remote

Wroclaw, Poland

140 - 170 PLN/hr

🏢 Summary: Long-term remote contract for a Senior Data Engineer focused on large-scale migration from SQL Server to Databricks/Delta Lake in an enterprise insurance environment. The role involves transforming complex SQL logic into scalable PySpark/Python solutions and developing production-grade data engineering code within Medallion architecture. You will work with petabyte-scale data and contribute to architectural design, code reviews, and CI/CD processes. 🗂️ Requirements: Strong commercial experience in data engineering (Mid/Senior level), Very good practical knowledge of Python, Hands-on experience with PySpark, Commercial experience with Databricks, Experience with Delta Lake, Advanced SQL skills and ability to analyze complex stored procedures, Experience with large shared codebases, Strong OOP knowledge, Application of Clean Code and refactoring principles, Experience in data modeling (transactional and analytical), Understanding of Medallion architecture, Experience with enterprise development workflows, Ability to write production-grade PySpark/Python code 📃 Skills: Python, PySpark, Databricks, DeltaLake, SQL, SQLServer, OOP, CleanCode, Medallion, Azure, DataFactory, Git, CICD, DevOps, PowerBI, Spark 🏢 Description: Be in IT to firma rekrutacyjna, wyspecjalizowana w poszukiwaniu Specjalistów z branży technologii informatycznych. Obecnie, dla naszego klienta, poszukujemy osoby na stanowisko Senior Data Engineer . Zakres obowiązków: Długofalowa współpraca z międzynarodową, topową firmą consultingową, świadcząca usługi IT dla dużych i średnich firm z różnorodnych sektorów jak automotive, healthcare, finanse, bankowość czy produkcja. Wsparcie wielkoskalowej transformacji systemów z SQL Server do platformy Databricks / Delta Lake w środowisku ubezpieczeniowym klienta. Analiza i transformacja złożonej logiki biznesowej (stored procedures) w SQL na czysty, skalowalny i łatwy w utrzymaniu kod w technologiach Python / PySpark. Aktywny rozwój i utrzymanie dużej bazy kodu inżynierii danych (data engineering codebase), współdzielonej przez wiele zespołów. Projektowanie i rozwijanie modeli danych w ramach Medallion Architecture (warstwy Bronze / Silver / Gold). Implementacja kodu transformacyjnego klasy produkcyjnej (pakiety, moduły, reużywalne komponenty), wykraczającego poza użycie samych notebooków. Zastosowanie najlepszych praktyk inżynierii oprogramowania (Clean Code, OOP, modularyzacja, refaktoryzacja). Praca z bardzo dużymi wolumenami danych (petabajty) oraz wysoce równoległymi, opartymi na zdarzeniach (event-driven) transformacjami. Udział w code reviews oraz dyskusjach dotyczących projektowania technicznego architektury. Opcjonalnie: wsparcie workflowów orkiestracyjnych (np. Azure Data Factory) oraz rozwój procesów i CI/CD pipelines. Oczekujemy: Praktycznego doświadczenia technicznego (poziom Strong Mid-Level / Senior) – weryfikowanego na podstawie rzeczywistych umiejętności inżynieryjnych, a nie wyłącznie lat pracy. Bardzo dobrej, praktycznej znajomości języka Python oraz technologii PySpark. Udokumentowanego doświadczenia w pracy z Databricks oraz Delta Lake. Umiejętności pracy w dużych, współdzielonych środowiskach kodu. Biegłej znajomości SQL, szczególnie w zakresie czytania i rozumienia bardzo złożonej logiki. Solidnego doświadczenia w programowaniu obiektowym (OOP) oraz stosowaniu zasad Clean Code i refaktoryzacji. Praktyki w pracy z przepływami dla rozwiązań klasy enterprise (enterprise development workflows) oraz zdolności analitycznego rozkładania istniejącego kodu linijka po linijce. Silnych kompetencji w modelowaniu danych (transakcyjnym i analitycznym) oraz zrozumienia architektur wielowarstwowych (Bronze / Silver / Gold). Gotowości do przejścia rozmowy technicznej weryfikującej produkcyjny kod PySpark/Python. Mile widziane: doświadczenie z Azure Data Factory, Git, CI/CD pipelines, DevOps oraz narzędziami analitycznymi takimi jak Power BI Znajomości języka angielskiego na poziomie B2 lub C1 – umożliwiająca swobodną komunikację w międzynarodowym środowisku oraz mile widziana jest znajomość języka niemieckiego. Mile widziana jest dostępność ASAP; akceptowalny jest maksymalnie miesięczny okres wypowiedzenia, ze skutkiem na koniec miesiąca. Oferujemy: Długofalowa współpraca z wynagrodzeniem w przedziale 140-170 PLN netto/godz. + VAT. Wsparcie przy zakładaniu i prowadzeniu działalności gospodarczej, dla osób bez takiego doświadczenia. Sprawny proces rekrutacyjny - dwie rozmowy techniczne z managerami, online (każda maksymalnie po godzinie). Współpraca w pełni zdalna. Benefity - prywatna opieka medyczna, karta Multisport. Nowoczesny sprzęt zapewniany przez firmę, wraz z softem i konfiguracją.

Technology

Be in IT

Databricks Data Engineer

Senior

Remote

Wroclaw, Poland

110 - 140 PLN/hr

🏢 Summary: Long-term, fully remote contract for a Databricks Data Engineer to design and implement large-scale data processing solutions for international clients across multiple industries. The role focuses on building and optimizing scalable data pipelines in cloud environments while ensuring data security, governance, and best practices. You will collaborate with Solution Architects and contribute to the maintenance and evolution of existing data platforms. 🗂️ Requirements: 5–6 years experience in data engineering, Hands-on experience with Databricks on large-scale datasets, Experience building and optimizing data pipelines in Python, Experience with cloud-based data processing tools, Knowledge of data security principles in cloud environments, Knowledge of Data Governance principles, Ability to collaborate with Solution Architects and follow best practices, English level B2 or higher 📃 Skills: Databricks, Python, Cloud, DataEngineering, DataGovernance, Security, ETL, SQL 🏢 Description: Be in IT to firma rekrutacyjna, wyspecjalizowana w poszukiwaniu Specjalistów z branży technologii informatycznych. Obecnie, dla naszego klienta, poszukujemy osoby na stanowisko Databricks Data Engineer . Zakres obowiązków: Długofalowa współpraca z międzynarodową, topową firmą consultingową, świadcząca usługi IT dla dużych i średnich firm z różnorodnych sektorów jak automotive, finanse, bankowość czy produkcja. Projektowanie i wdrażanie rozwiązań do przetwarzania danych przy użyciu Databricks dla wielkoskalowych i zróżnicowanych zbiorów danych. Tworzenie, rozwijanie i optymalizacja data pipeline'ów z wykorzystaniem Pythona oraz narzędzi chmurowych. Współpraca z Solution Architects w celu definiowania i stosowania best practices w obszarze inżynierii danych. Zapewnienie spójności, bezpieczeństwa i skalowalności danych w środowiskach chmurowych. Udział w utrzymaniu i dalszym rozwoju istniejących rozwiązań danych. Oczekujemy: Mile widziane 5–6 lat doświadczenia w obszarze inżynierii danych. Praktycznej znajomości platformy Databricks w pracy z dużymi i zróżnicowanymi zbiorami danych. Doświadczenia w tworzeniu i optymalizacji data pipeline'ów z wykorzystaniem Python. Znajomości narzędzi chmurowych stosowanych w przetwarzaniu danych. Umiejętności współpracy z architekturą rozwiązań i stosowania best practices w data engineering. Znajomości zasad bezpieczeństwa i Data Governance w środowiskach chmurowych. Znajomości języka angielskiego na poziomie B2 lub C1 – umożliwiającej swobodną komunikację w międzynarodowym środowisku. Mile widziana dostępność ASAP; akceptowalny jest maksymalnie miesięczny okres wypowiedzenia ze skutkiem na koniec miesiąca. Oferujemy: Długofalowa współpraca z wynagrodzeniem w przedziale 110-140 PLN netto/godz. + VAT. Wsparcie przy zakładaniu i prowadzeniu działalności gospodarczej, dla osób bez takiego doświadczenia. Sprawny proces rekrutacyjny - dwie rozmowy techniczne z managerami, online (każda maksymalnie po godzinie). Współpraca w pełni zdalna. Benefity - prywatna opieka medyczna, karta Multisport. Nowoczesny sprzęt zapewniany przez firmę, wraz z softem i konfiguracją.

Technology

Axians IT Poland

Programista/Programistka Python

Mid

Remote

Warsaw, Poland

🏢 Summary: Offer for a Python Developer focused on designing and implementing ETL/ELT processes in on-premise Big Data environments. The role involves building data pipelines, orchestrating workflows with Airflow, and processing large-scale datasets using Spark and Hadoop. The position includes optimization of SQL queries, work with PostgreSQL/EnterpriseDB, and participation in CI/CD processes within enterprise-scale projects. 🗂️ Requirements: Minimum 2 years of experience in large-scale data processing, Experience in Big Data projects (Spark/Hadoop) within last 24 months, Participation in large-scale IT projects (enterprise/data warehouse/Big Data), Practical experience in on-premise environments, Higher education in technical field, Advanced commercial experience with Python, Experience building ETL/ELT pipelines, Experience with Apache Airflow DAGs, Strong SQL knowledge with query optimization, Experience with Apache Spark for batch processing, Knowledge of Hadoop ecosystem, Experience with PostgreSQL or EnterpriseDB, Practical knowledge of CI/CD processes, Experience with Git version control 📃 Skills: Python, Spark, Airflow, SQL, Hadoop, PostgreSQL, EnterpriseDB, Git, CI/CD, ETL, ELT 🏢 Description: Programista/Programistka Python Twój zakres obowiązków: Projektowanie i implementacja procesów ETL/ELT w środowisku on-premise. Tworzenie i optymalizacja kodu w Python w projektach Big Data. Budowa i zarządzanie DAG-ami w Apache Airflow (orkiestracja procesów). Przetwarzanie dużych zbiorów danych z wykorzystaniem Apache Spark i Hadoop . Optymalizacja zapytań SQL oraz analiza danych w PostgreSQL / EnterpriseDB . Współpraca przy projektach klasy enterprise (hurtownie danych, big volumes). Udział w procesach CI/CD (pipeline’y, testy, deployment). Praca w interdyscyplinarnych zespołach projektowych. Nasze wymagania: Minimum 2 lata doświadczenia w obszarze przetwarzania dużych zbiorów danych. Udział w projektach Big Data o budżecie ≥ 1 mln zł, realizowanych w ostatnich 24 miesiącach. Doświadczenie w projektach IT o dużej skali (preferowane w obszarze ochrony zdrowia, Hurtowni Danych oraz Big Data (Spark/Hadoop)). Praktyka w środowiskach on-premise. Wykształcenie wyższe (kierunek techniczny lub pokrewny). Umiejętność pracy w złożonych projektach i interdyscyplinarnych zespołach. Bardzo dobra organizacja pracy, orientacja na realizację celów. Stack technologiczny, który należy znać: Python – zaawansowana znajomość, doświadczenie projektowe i komercyjne. Apache Spark – przetwarzanie dużych zbiorów danych, joby batchowe, optymalizacja. Apache Airflow – budowa DAG-ów, orkiestracja procesów ETL/ELT. SQL – bardzo dobra znajomość, w tym optymalizacja zapytań. Hadoop – znajomość architektury i ekosystemu. Git – praktyczna umiejętność pracy z systemem kontroli wersji. PostgreSQL / EnterpriseDB – analiza oraz przetwarzanie danych o dużej wolumetrii. Znajomość procesów CI/CD. Mile widziane certyfikaty: Agile PM lub równoważny. Apache Airflow (np. Airflow Fundamentals, DAG Authoring). Apache Spark (np. Spark Developer Associate). To oferujemy: Stabilne zatrudnienie w oparciu o umowę o pracę lub B2B. Pracę w dynamicznie rozwijającej się organizacji będącej częścią międzynarodowej grupy VINCI Energies. Onboarding i szkolenia wprowadzające. Możliwość pracy w trybie zdalnym. Pakiet medyczny Medicover. Pakiet rekreacyjno-sportowy Multisport. Nauka języka angielskiego na platformie TUTLO. Możliwość przystąpienia do ubezpieczenia grupowego na preferencyjnych warunkach.

Technology

Trans.eu Group SA

Data Architect

Senior

Hybrid

Wroclaw, Poland

🏢 Summary: Role for a Data Architect responsible for designing and optimizing logical data models and ETL/ELT processes in a Snowflake environment to support decision-making. The position focuses on building efficient, scalable data architectures and bridging business requirements with technical solutions. The offer emphasizes ownership of data modeling, performance optimization, and modern data warehouse development. 🗂️ Requirements: Proven experience in data modeling design and implementation, Experience in designing and optimizing ETL/ELT processes, Experience with Snowflake and large datasets, Knowledge of data warehouse architectures, Experience with relational database design, Ability to translate business requirements into technical data solutions, Experience with data modeling tools, English level B2 or higher, Polish language proficiency 📃 Skills: Snowflake, SQL, Python, Jinja, Snowpark, DBT, Dagster, Airbyte, GitLab, ETL, ELT, DataModeling, DataWarehousing, Databases 🏢 Description: Czy to Ciebie szukamy? Szukamy eksperta, który dołączy do Data Architects Team i weźmie odpowiedzialność za projektowanie logicznego modelu danych wspierającego procesy decyzyjne naszej organizacji. Twoim nadrzędnym celem będzie optymalizacja procesów ETL/ELT, co bezpośrednio przełoży się na maksymalną wydajność i spójność naszego ekosystemu analitycznego. Wykorzystując środowisko Snowflake i język SQL, staniesz się pomostem między światem biznesu a technologią, kształtując nowoczesną architekturę danych. Dołącz do nas, jeśli cenisz niezależność i chcesz mieć realny wpływ na innowacyjne rozwiązania w zarządzaniu danymi. Twoja rola w naszym zespole: analiza wymagań biznesowych i ich transformacja na techniczne rozwiązania rozwijające nasz model danych, zarządzanie logicznymi modelami odzwierciedlającymi strukturę informacji i realnie wspierającymi działania biznesowe, projektowanie oraz ciągła optymalizacja procesów ETL / ELT gwarantująca ich najwyższą wydajność i niezawodność, modelowanie zdarzeń biznesowych i tworzenie struktur w bazach relacyjnych pod kątem przepływu danych, identyfikowanie i wdrażanie nowych rozwiązań technologicznych usprawniających obszar zarządzania informacją, tworzenie i aktualizacja przejrzystej dokumentacji architektonicznej celem zapewnienia zgodności i łatwości utrzymania systemów. Co musisz umieć: Doświadczenie: doświadczenie w projektowaniu i wdrażaniu modeli danych, doświadczenie w projektowaniu przetwarzań danych ETL / ELT oraz struktur bazodanowych, doświadczenie w przygotowywaniu projektów architektonicznych z zakresu modelowania danych, doświadczenie w pracy ze środowiskiem Snowflake i dużymi zbiorami danych, znajomość architektur hurtowni danych oraz narzędzi do modelowania danych. Języki: polski, angielski na poziomie co najmniej B2. Znajomość narzędzi: środowisko Snowflake (mile widziany badge Snowflake Badge 1-6 i Snowflake Certificate Pro), SQL, Python, Jinja, Snowpark, narzędzia: DBT, Dagster, Airbyte, repozytorium GitLab lub podobne. Umiejętności miękkie: umiejętność przejrzystej i efektywnej komunikacji z inżynierami i interesariuszami biznesowymi, zdolność tłumaczenia złożonych zagadnień na prosty i zrozumiały język techniczny oraz biznesowy, samodzielność, kreatywność oraz nastawienie na współpracę i wspólne rozwiązywanie problemów, elastyczność i interdyscyplinarność. Co dostajesz w pakiecie: prywatna opieka LuxMed, bezpłatne badania profilaktyczne oraz masaże odciążające kręgosłup, budżet na doposażenie stanowiska pracy zdalnej oraz vouchery podarunkowe, śniadania w formie bufetu przygotowywane na miejscu, wyjazdy integracyjne i rodzinne do prywatnego ośrodka nad jeziorem, dofinansowanie karty Multisport. Kim jesteśmy i dlaczego warto nas poznać: Trans.eu W sercu cyfrowej rewolucji w transporcie. Od 2004 roku tworzymy jedną z największych platform logistycznych w Europie , łącząc przewoźników, spedytorów i załadowców w jednym miejscu. Automatyzujemy procesy, podnosimy bezpieczeństwo transakcji i sprawiamy, że transport jest bardziej efektywny . Jesteśmy międzynarodową firmą technologiczną działającą w 63 krajach, i dopiero się rozkręcamy. Tworzymy nowoczesne cyfrowe rozwiązania dla transportu, spedycji i logistyki, napędzane wiedzą najlepszych programistów, specjalistów customer experience, inżynierów machine learning i ekspertów AI . Jeśli chcesz kształtować przyszłość technologii w transporcie - to miejsce dla Ciebie! W Trans.eu wierzymy w Smart & Fair Logistics - bardziej wydajną i transparentną branżę. Dlatego powiększyliśmy naszą grupę kapitałową, budując sieć wyspecjalizowanych firm, które pomagają nam realizować tę misję.

Technology

Nexio Management

Python Developer (Azure) (m/f/d)

Mid

Remote

Warsaw, Poland

🏢 Summary: The offer is for a Python Developer responsible for building scalable, distributed systems and data workflows using modern technologies. The role focuses on high-quality architecture and code, performance optimization, and developing resilient microservices-based solutions in the Azure cloud. The position involves collaboration with international teams and contributing to innovative, large-scale IT projects. 🗂️ Requirements: Minimum 3 years of experience as Python Developer, Very good knowledge of Python, Strong knowledge of SQL and PostgreSQL, Experience with NoSQL databases (MongoDB), Experience in designing horizontally scalable systems, Knowledge of synchronous and asynchronous communication patterns, Understanding of reliability mechanisms: idempotency, retries, caching, Ability to optimize code and SQL queries, Experience with Azure cloud, Knowledge of microservices architecture, Experience in designing distributed systems 📃 Skills: Python, SQL, PostgreSQL, MongoDB, Azure, Microservices, DistributedSystems, Caching, Idempotency, Retries, Performance, DataWorkflows 🏢 Description: Nexio Management to zaufany partner biznesowy w drodze do cyfrowej przyszłości. Posiadamy prawie 20-letnie doświadczenie na rynku IT w Polsce i poza jej granicami. Prowadzimy działania w oparciu o transparentne i szczere relacje. Tworzymy innowacyjne rozwiązania technologiczne, kreując przy tym interesujące i rozwojowe środowisko pracy dla naszych ekspertów. Obecnie zatrudniamy 550 konsultantów, którzy świadczą usługi IT dla Klientów na całym świecie. Nasza główna siedziba mieści się w Warszawie, poza tym mamy biura w Rumunii oraz Wielkiej Brytanii. Posiadamy również własne R&D Center, które jest miejscem powstawania innowacyjnych projektów m.in .: w obszarach testów, Big Data, Cloud czy AI.W ramach naszych usług tworzymy szyte na miarę rozwiązania, utrzymujemy i rozwijamy nawet najbardziej wymagające systemy IT. Działamy w takich modelach biznesowych jak managed services, fixed prices oraz wspieramy zespoły naszych klientów w modelach scale up the team. Naszymi klientami są firmy z wielu zróżnicowanych branż, szukające wsparcia najwyższej klasy ekspertów. Zadania: Tworzenie nowoczesnych, skalowalnych rozwiązań w środowisku rozproszonym z wykorzystaniem nowoczesnych technologii, z naciskiem na ciągłe doskonalenie i utrzymanie wysokich standardów jakości. Projektowanie oraz implementacja usług i przepływów danych (data workflows), z dbałością o innowacyjność, wydajność i efektywność rozwiązań. Zapewnianie wysokiej jakości rozwiązań zarówno na poziomie architektury, jak i kodu, w tym przygotowywanie testów oraz optymalizacja wydajności. Współpraca z międzynarodowymi zespołami oraz interesariuszami projektu, aktywne poszukiwanie nowych możliwości i rozwijanie kompetencji. Udział w inicjatywach i projektach wewnętrznych, z nastawieniem na rozwój zawodowy oraz elastyczne reagowanie na zmieniające się potrzeby organizacji. Wymagania: Minimum 3 lata doświadczenia zawodowego na stanowisku Python Developer Bardzo dobra znajomość języka Python oraz solidna wiedza z zakresu baz danych SQL (PostgreSQL) i NoSQL (MongoDB) . Doświadczenie w projektowaniu i budowie systemów skalujących się poziomo , odpornych na duże obciążenia. Znajomość wzorców komunikacji w systemach rozproszonych (synchronicznej i asynchronicznej), a także mechanizmów zwiększających niezawodność systemów, takich jak idempotency, retries czy caching . Umiejętność optymalizacji wydajności kodu oraz zapytań SQL . Doświadczenie w pracy z chmurą Azure oraz w projektowaniu systemów rozproszonych . Dobra znajomość zasad architektury mikroserwisowej . Mile widziana pasja do rozwiązywania złożonych problemów technicznych oraz dążenie do tworzenia eleganckich, efektywnych rozwiązań . Oferujemy: Stabilność zatrudnienia – długofalowe projekty, współpraca z wiodącymi firmami, możliwość rozwoju w różnych obszarach branży IT Elastyczne formy współpracy – umowa B2B, umowa o pracę lub zlecenie. Benefity: Medicover (rozszerzony o stomatologię), FitProfit, lekcje języka angielskiego. Treningi na siłowni F45 - zlokalizowanej w naszym biurze. Wspólnie ćwiczymy pod okiem profesjonalnych trenerów. Wewnętrzny program poleceń. Możliwość finansowania certyfikatów IT. W zależności od projektu pracujemy w trybie hybrydowym, zdalnym lub stacjonarnym. Wydarzenia okolicznościowe oraz wyjazdy integracyjne - budujemy zgrany zespól również poza biurem. Lubimy pomagać - wspieramy akcje charytatywne, takie jak Szlachetna Paczka, a w ramach #PomagamyNexio angażujemy się tam, gdzie naprawdę możemy coś zmienić

Technology

BPX S.A.

AWS Senior Cloud Engineer (Developer/Application Focus)

Senior

Remote

Katowice, Poland

🏢 Summary: Short-term contract role for a Senior AWS Cloud Engineer focused on designing and implementing scalable, reliable data ingestion and transformation pipelines in AWS. The position combines hands-on development in PySpark and Python with architectural responsibility, CI/CD and IaC practices, and integration with analytical platforms such as Snowflake. The role also includes establishing data engineering standards and ensuring security, governance, and data quality across solutions. 🗂️ Requirements: Minimum 8 years of experience in AWS Data Engineering, Strong experience with AWS data services (S3, Glue, Lambda, Step Functions), Strong programming skills in Python, Strong programming skills in PySpark, Experience designing and maintaining scalable data pipelines, Knowledge of data modeling and ETL/ELT patterns, Experience with data quality, data lineage and observability mechanisms, Experience with CI/CD for data and code, Experience with Infrastructure as Code (Terraform or CloudFormation), Experience integrating AWS with analytical platforms such as Snowflake 📃 Skills: AWS, S3, Glue, Lambda, StepFunctions, Python, PySpark, Snowflake, Terraform, CloudFormation, CI/CD, ETL, ELT, IAM 🏢 Description: Poszukujemy doświadczonego AWS Senior Cloud Engineera, który łączy praktyczne umiejętności developerskie z kompetencjami architektonicznymi. Idealny kandydat będzie projektować i wdrażać solidne pipeline’y ingestujące dane, transformacje danych zgodne z wymaganiami biznesowymi oraz ustanawiać najlepsze praktyki developmentu w środowisku AWS. Wymagane jest doświadczenie z PySpark oraz Pythonem. Rola obejmuje również mentoring członków zespołu, przeprowadzanie code review oraz wyznaczanie standardów data engineeringowych w projektach. Projekt start: lipiec 2026 do końca grudnia 2026 1 FTE (19 dni w miesiącu) Główne obowiązki Projektowanie, rozwijanie i operacyjne utrzymanie kompleksowych pipeline’ów do ingestii danych w AWS, wspierających różne strategie ładowania danych, z naciskiem na niezawodność, skalowalność i optymalizację kosztów. Budowanie, walidacja i optymalizacja transformacji danych zgodnie z wymaganiami biznesowymi z wykorzystaniem PySpark i Python. Projektowanie i wdrażanie mechanizmów kontroli jakości danych, logowania, monitoringu oraz alertowania dla pipeline’ów ingestii i transformacji danych. Definiowanie i egzekwowanie najlepszych praktyk natywnych dla AWS w zakresie developmentu, bezpieczeństwa, IAM governance, networkingu, data governance oraz optymalizacji kosztów. Wsparcie procesów CI/CD oraz praktyk IaC (Infrastructure as Code), np. z wykorzystaniem CloudFormation/Terraform, dla powtarzalnych i audytowalnych wdrożeń. Zapewnienie uwzględnienia aspektów bezpieczeństwa danych, prywatności i compliance we wszystkich pipeline’ach danych. Prowadzenie projektowania i implementacji pipeline’ów danych w AWS oraz integracja z downstreamowymi platformami analitycznymi, takimi jak Snowflake. Dokumentowanie szczegółów technicznych i architektury w wiki. Mentoring i wsparcie zespołu, prowadzenie dokładnych code review, udzielanie konstruktywnego feedbacku oraz promowanie standardów jakości kodu i testowalności. Identyfikowanie, prototypowanie i ewaluacja nowych usług AWS oraz narzędzi third-party w celu poprawy niezawodności platformy i produktywności developerów. Wymagane kwalifikacje Minimum 8 lat praktycznego doświadczenia w AWS Data Engineering, ze szczególnym naciskiem na development i architekturę. Bardzo dobra znajomość budowania pipeline’ów ingestujących dane z wykorzystaniem usług AWS (S3, AWS Glue, Lambda, Step Functions oraz pokrewnych usług). Mocne umiejętności programowania w PySpark i Python oraz doświadczenie w tworzeniu wydajnych i skalowalnych pipeline’ów przetwarzania danych. Dogłębna wiedza z zakresu modelowania danych, data lake/data warehouse oraz wzorców ETL/ELT. Doświadczenie we wdrażaniu mechanizmów kontroli jakości danych, data lineage, logowania i observability. Doświadczenie z CI/CD dla danych i kodu, IaC (Terraform/CloudFormation) oraz workflow opartymi o version control. Bardzo dobre umiejętności analityczne i komunikacyjne oraz zdolność do mentoringu i przewodzenia zespołowi poprzez przykład.